컨텍스트 엔지니어링이라는 개념이 등장한 이후, AI를 업무에 적용하기 시작한 팀들은 한동안 더 많은 컨텍스트를 넣는 방향으로 움직였습니다. 시스템 프롬프트를 길게 쓰고, 예시를 추가하고, 문서와 스킬, 참조 파일을 붙여 모델에게 최대한 많은 정보를 주려고 했습니다.
그러나 최근에는 모델의 성능이 고도화되면서, 이전과는 다른 양상을 보입니다. Anthropic은 최근 공개한 아티클에서 Claude Code의 시스템 프롬프트를 80% 이상 줄였는데도, coding evaluation에서 성능 저하가 없었다고 밝혔습니다.
이 사례는 컨텍스트 엔지니어링의 초점이 바뀌고 있음을 보여줍니다. 모델이 강력해질수록 모든 규칙과 예시를 프롬프트에 길게 넣는 방식은 다시 조정되고 있습니다. 이제 우리가 던져야 할 질문은 컨텍스트를 얼마나 많이 넣을 것인가보다, 어떤 업무 맥락을 어떤 구조로 남길 것인가에 가까워지고 있습니다.
엔터프라이즈 AI 환경에서는 이 질문이 더 어렵습니다. 고객 데이터, 계약 조건, 정책 문서, 예외 규칙, 내부 용어, 시스템 로그가 부서 별로 서로 다르게 얽혀 있기 때문입니다. 필요한 근거가 빠지면 결과가 불안정해지고, 모든 정보를 넣으면 어떤 기준을 따라야 하는지 흐려집니다. 컨텍스트를 줄인다는 말도 이러한 맥락을 기반으로 이해해야 합니다. 정보를 없애거나 짧게 압축하는 일이 아닙니다. AI가 현재 업무에 필요한 맥락을 더 정확하게 해석하고 참조할 수 있도록 정리하는 일입니다.
엔터프라이즈 환경에서 컨텍스트를 줄이는 것의 의미
개인이 사용하는 AI 도구에서는 불필요한 지시 사항과 반복되는 예시 문구를 덜어내는 것만으로도 컨텍스트가 어느 정도 정리될 수 있습니다. 그러나 기업 환경은 조금 다릅니다. 같은 고객을 부서마다 다른 이름으로 부르기도 하고, 같은 상품이 시스템마다 다른 코드로 관리되기도 합니다. 최신 정책 문서와 오래된 운영 문서가 같은 폴더 안에 함께 남아 있는 경우도 많습니다.
이런 상황에서 컨텍스트를 무작정 줄이면 필요한 근거와 맥락이 빠질 수 있습니다. 반대로 모든 문서와 데이터를 넣으면 AI가 어떤 기준을 따라야 하는지 판단하기 어려워집니다. 기업에서 컨텍스트를 줄이는 일은 정보량 조절보다 업무 기준을 정리하는 문제에 가깝습니다.
선별하려면 기준이 필요합니다. 어떤 문서가 최신 기준인지, 어떤 데이터가 공식 지표인지, 어떤 정책이 특정 고객에게 적용되는지 알아야 합니다. 같은 고객 문의라도 계약 조건, 상품 유형, 이슈 상태에 따라 참조해야 할 맥락은 달라집니다.
컨텍스트는 한곳에 복사하는 방식으로 해결되지 않습니다
최근 AI 반도체 개발 기업 Cerebras가 공개한 Cerebras Knowledge 사례는 이 문제를 잘 보여줍니다. Cerebras는 Slack, 코드 저장소, 문서, 내부 데이터베이스에 흩어진 지식을 하나의 지식 베이스로 연결했고, 출시 3개월 만에 하루 15,000건 이상의 질문을 처리한다고 설명했습니다.
주목할 점은 모든 정보를 하나의 새로운 도구로 옮기지 않았다는 점입니다. 정보가 생성되는 곳은 그대로 두고, 각 소스의 데이터와 메타데이터를 공통 구조로 연결했습니다. 직원, 자동화 워크플로, AI가 같은 인터페이스를 통해 필요한 정보를 찾을 수 있게 만든 것입니다.
CodeAlmanac도 비슷한 문제를 다른 방식으로 다룹니다. CodeAlmanac은 코드에 직접 드러나지 않는 결정, 흐름, 불변 조건, 주의할 점을 위키 형태로 남기고, 개발자와 코딩 AI가 같은 맥락을 참조할 수 있게 만듭니다. 코드는 무엇이 구현되어 있는지 보여줍니다. 그러나 왜 그런 선택을 했는지, 어떤 함정이 있었는지, 어떤 설계 판단이 유지되어야 하는지는 별도의 맥락으로 남아야 합니다.
두 사례는 결국 같은 결론을 말합니다. AI에게 필요한 컨텍스트는 한 번에 길게 넣는 텍스트 덩어리로 다루기 어렵습니다. 조직 안에서 계속 생성되는 업무 맥락을 다시 찾고 참조할 수 있는 체계로 남기는 일이 중요해지고 있습니다.
관계로 설명되는 기업의 컨텍스트
기업의 업무 맥락은 문서 목록만으로 설명되지 않습니다. 고객, 상품, 계약, 정책, 이슈, 권한, 예외 기준이 서로 연결된 관계 속에 있습니다. 예를 들어 고객 문의를 처리하는 Agent가 모든 운영 매뉴얼을 읽을 필요는 없습니다. 문의 유형이 환불이라면 환불과 관련되어 있는 고객의 계약 조건, 환불 정책, 과거 처리 이력, 승인 기준이 더 중요합니다. 가격 조정 업무도 전체 상품 데이터를 매번 읽을 필요는 없습니다. 특정 SKU, 경쟁 가격, 재고, 마진, 정책상 제한이 연결되어 있으면 현재 업무에 필요한 맥락을 더 정교하게 참조할 수 있습니다.
이 관계가 정리되어 있지 않으면 AI는 관련 문서를 많이 읽고도 어떤 기준을 따라야 하는지 판단하기 어렵습니다. 필요한 정보가 부족해서가 아니라, 정보 사이의 의미와 우선순위가 정리되어 있지 않기 때문입니다.
Enhans가 엔터프라이즈 AI 현장에서 온톨로지를 도입하는 이유도 여기에 있습니다. 온톨로지는 기업 안의 데이터, 문서, 업무 용어, 규칙이 어떤 관계로 연결되어 있는지 정의합니다. 고객은 어떤 계약과 연결되어 있고, 계약은 어떤 정책의 적용을 받으며, 상품은 어떤 가격·재고·마진 기준과 연결되는지 정리합니다.
온톨로지는 먼저 기업의 업무 지식을 AI가 해석할 수 있는 의미 구조로 바꾸는 역할을 합니다. 이 구조가 만들어지면 AI는 전체 문서 묶음을 넓게 탐색하기보다, 현재 업무와 관련된 개념과 근거를 따라가며 필요한 맥락을 더 정교하고 일관되게 참조할 수 있습니다. 컨텍스트가 정리되는 것은 이 의미 구조가 만들어진 뒤에 따라오는 결과에 가깝습니다.
필요한 맥락을 정교하게 참조할수록 검증 부담은 줄어듭니다
컨텍스트가 정리되면 입력 토큰과 응답 지연, 사용 비용을 낮출 여지가 생깁니다. 다만 기업 환경에서 더 중요한 변화는 검증 가능성입니다.
AI가 어떤 문서와 데이터를 근거로 답했는지 추적하기 쉬워지고, 잘못된 결과가 나왔을 때 어느 기준에서 문제가 생겼는지 확인하기 쉬워집니다. 전체 문서 묶음을 읽고 답한 결과보다, 고객·상품·계약·정책처럼 관계가 정리된 맥락을 따라 나온 결과가 검토하기 쉽습니다.
온톨로지는 이 과정에서 AI가 업무 맥락을 관계 단위로 해석할 수 있게 만듭니다. 고객, 상품, 계약, 정책처럼 서로 연결된 개념을 따라갈 수 있기 때문에, 결과적으로 참조해야 할 맥락도 더 정교하고 일관되게 정리됩니다. 권한 구조와 연결하면 사용자가 볼 수 있는 데이터와 문서 범위 안에서만 AI가 맥락을 참조하도록 설계할 수도 있습니다. 이는 보안과 거버넌스 측면에서도 중요합니다. 기업 AI가 더 많은 업무 시스템에 연결될수록, 어떤 맥락을 참조할 수 있는지와 어떤 맥락은 제한되어야 하는지가 함께 관리되어야 하기 때문입니다.
온톨로지가 모든 비용과 오류를 자동으로 줄인다고 말할 수는 없습니다. 그러나 AI가 필요한 맥락을 더 정교하고 일관되게 참조하도록 돕고, 결과의 근거를 확인하기 쉬운 구조를 만드는 데는 분명한 역할을 할 수 있습니다.
엔터프라이즈 AI의 컨텍스트는 저장 위치보다 구조가 중요합니다
앞으로 더 큰 규모의 엔터프라이즈 환경에서 AI는 더 많은 문서와 데이터에 연결될 것입니다. Slack과 같은 업무 협업 툴, 문서함, 코드 저장소, CRM, ERP, 데이터베이스, 내부 위키가 모두 AI의 잠재적인 컨텍스트가 됩니다. 이때 중요한 것은 어떤 업무 맥락을 어떤 구조로 남길지, AI가 어떤 기준으로 필요한 정보를 따라가게 할지, 결과를 어떤 근거로 검증할지까지 함께 설계해야 합니다.
기업 환경에서 이런 운영 체계를 만들기 위해서는 온톨로지 설계가 필요합니다. 온톨로지는 AI가 기업의 업무 맥락을 이해하고 따라갈 수 있게 만드는 의미 기반 지도에 가깝습니다. 이 지도가 있을 때 AI는 전체 문서 묶음보다 현재 업무와 관련된 개념, 규칙, 근거를 중심으로 맥락을 참조할 수 있습니다.
컨텍스트를 줄이는 시대에 기업이 준비해야 할 것은 더 짧은 프롬프트만이 아닙니다. 데이터와 문서, 업무 용어, 정책, 예외 기준이 어떤 관계로 연결되는지 정리하는 일입니다. 그 관계가 정리될 때 엔터프라이즈 AI는 업무 맥락을 더 잘 해석할 수 있고, 필요한 개념과 근거를 따라가며 더 안정적인 결과를 만들 수 있습니다.
in solving your problems with Enhans!
We'll contact you shortly!