기업에서 AI 활용이 확대되면서, 어떤 업무를 어디까지 AI에 맡길 수 있는지에 대한 논의도 계속되고 있습니다. 이 질문에 답하려면 먼저 업무가 실제로 어떤 단계로 이루어져 있는지 살펴볼 필요가 있습니다.
기업의 업무를 자세히 들여다보면 상당수는 분류에서 시작합니다. 고객 문의 대응(CS) 업무를 예로 들어 보겠습니다. 문의가 접수되면 먼저 배송 지연, 제품 사용성 결함, 환불, 교환, 결제 오류 중 어떤 유형에 해당하는지 구분이 필요합니다. 문의 유형을 분류한 이후에는 과거에 이와 유사한 문의 사례가 있는지, 유관 부서는 어디인지 등의 판단이 이루어집니다.
이와 같이 우리가 마주하는 업무들은 유형 분류, 유사 사례 확인, 우선순위 판단, 담당 조직 배정, 사람의 검토 필요 여부처럼 여러 판단이 연속해서 이뤄집니다. 이처럼 정해진 기준으로 유형과 우선순위, 처리 경로를 판단하는 단계에는 결과를 빠르고 일관된 형식으로 반환하는 데 최적화 된 AI 모델이 있습니다. 바로 ‘Jev’입니다. Jev는 분류와 판단을 위해 설계된 모델로, 기업이 업무 처리 속도와 AI 운영 비용을 함께 관리할 수 있는 새로운 선택지를 제시합니다.
Jev란 무엇인가
TypeSafe가 공개한 Jev는 업무 요청의 분류와 판단에 특화된 Decision Model입니다. 위에서 예시로 들었던 CS 업무에서는 문의 유형을 구분한 뒤, 어느 조직이 처리해야 하는지, 먼저 확인할 정보가 무엇인지, 상담원의 추가 검토가 필요한지를 차례로 판단합니다.
예를 들어 고객이 배송이 지연됐다는 문의를 남겼다고 가정해 보겠습니다. 주문 상태와 배송 이력, 이전 상담 기록을 확인한 뒤 단순 배송 지연 문의인지, 환불 요청으로 이어질 가능성이 있는지, 제품 파손이나 오배송처럼 별도 확인이 필요한 사례인지 판단해야 합니다. 같은 유형의 문의라도 배송 예정일을 이미 넘겼는지, 동일 고객의 문의가 반복됐는지, 과거에 유사한 보상 사례가 있었는지에 따라 처리 경로가 달라질 수 있습니다.
Jev는 이러한 업무 상태를 바탕으로 Choice, Score, Noul 라는 세 가지 형태의 결과를 제공합니다. Choice는 미리 정의된 여러 선택지 중 하나를 고르는 방식입니다. CS 업무에서는 문의를 배송 안내, 환불 처리, 품질관리 검토, 상담원 검토 중 어느 경로로 보낼지 선택할 수 있습니다. Score는 사용자가 정한 척도에 따라 판단 대상을 점수로 나타냅니다. 배송 지연 기간과 반복 문의 여부, 고객 영향도를 바탕으로 처리 우선순위를 평가하는 데 활용할 수 있습니다. Noul은 특정 조건에 대한 예·아니오 가능성을 반환합니다. 예외 보상 검토나 상담원의 추가 확인이 필요한지를 판단하는 데 사용할 수 있습니다.
각 결과에는 확률과 confidence, 즉 모델의 판단에 대한 확신도가 함께 제공됩니다. CS 운영 시스템은 이 값을 바탕으로 일반 문의를 해당 대기열로 전달하거나, 판단이 어려운 요청을 상담원 별도 검토 대상으로 분류할 수 있습니다.
LLM과 Jev는 업무의 서로 다른 단계를 처리합니다
물론 ChatGPT, Claude와 같은 LLM도 고객 문의를 읽고 배송 지연의 원인이나 환불 절차를 설명할 수 있습니다. 기업이 LLM을 CS 운영에 연결하면, 상담원이 확인할 답변 초안이나 관련 정책 정보를 제공하는 데 활용할 수 있습니다.
Jev는 고객 문의와 주문·배송 상태, 이전 상담 이력처럼 판단에 필요한 정보를 함께 받고, 기업이 정한 처리 경로와 조건에 따라 요청을 분류합니다. 배송 안내, 환불 처리, 품질관리 검토, 상담원 검토 가운데 어느 경로로 보낼지 판단한 결과는 CS 운영의 다음 업무 처리에 연결할 수 있습니다.
업무 분류에 특화된 AI, 비용 구조를 어떻게 바꾸는가
모든 문의를 고성능 LLM에 입력해 주문 이력과 정책 문서를 읽히고 긴 설명을 생성하면, 문의량이 늘어날수록 모델 호출 비용과 응답 시간, 상담원의 확인 시간이 함께 누적될 수 있습니다.
이러한 차이는 모델이 결과를 만드는 방식에서 발생합니다. LLM은 업무 정보를 읽은 뒤 결과 문장을 토큰 단위로 순차 생성합니다. 문장 형태로 생성된 결과를 업무 흐름에 연결하려면 필요한 값을 추출하고 형식을 검증하는 단계가 뒤따를 수 있습니다.
Jev는 미리 정의된 선택지를 한 번에 평가해 Choice, Score, Noul과 확률을 구조화된 값으로 반환합니다. 생성할 출력 문장이 없기 때문에 응답 시간과 출력 토큰 비용, 결과를 업무 시스템에 연결하기 위한 후처리 단계를 줄일 수 있습니다.
TypeSafe는 구조화된 판단 작업을 기준으로 Jev가 70~500밀리초의 응답 시간을 제공하며, 프론티어 LLM보다 40~200배 빠르게 결과를 반환한다고 설명합니다. 이 수치는 분류와 라우팅 단계에 별도의 모델을 배치했을 때 기대할 수 있는 속도 차이를 보여줍니다.
기업은 모델 호출 가격과 함께 문의 접수부터 담당 조직 배정까지 걸리는 시간, 수동 분류 비중, 재검토와 반려 횟수, 상담원의 수정 시간, 문의 한 건당 최종 처리 비용을 살펴봐야 합니다. 업무 단계마다 적합한 모델을 배치하면 처리 속도와 AI 운영 비용을 함께 관리할 수 있습니다.
모델 라우팅, 업무 단계에 맞는 AI 모델을 배치하는 방법
업무 단계와 요청의 특성에 따라 적합한 모델로 작업을 보내는 방식을 모델 라우팅이라고 합니다. CS 업무에서도 필요한 결과의 형태, 허용 가능한 응답 시간, 처리량, 오류가 미치는 영향에 따라 Jev와 LLM을 다르게 배치할 수 있습니다.
모델을 선택하는 기준에는 정확도, 응답 속도, 호출 비용, 처리량, 오류가 미치는 영향, 사람의 검토가 필요한 조건이 포함됩니다. 배송 조회처럼 빈도가 높고 처리 경로가 명확한 문의에는 빠른 분류 모델을 배치하고, 복합적인 고객 상황을 설명하거나 답변을 작성하는 단계에는 LLM을 활용할 수 있습니다. 환불 예외, 제품 결함, 고객 안전과 관련된 문의는 상담원의 검토와 승인을 거치도록 설계합니다.
모델을 배치한 뒤에는 결과를 자동으로 처리할지 상담원에게 전달할지 정하는 기준도 필요합니다. Jev는 ‘상담원 검토가 필요한가’와 같은 조건 판단의 확률과 각 결과의 confidence를 제공하며, 실제 처리 여부는 기업이 설정한 업무 정책에 따라 결정됩니다. 배송 상태와 문의 유형이 분명한 요청은 해당 대기열로 전달하고, 별도의 검토가 필요한 보상 요청, 제품 결함에 대한 문의는 상담원에게 보낼 수 있습니다. 고객 안전이나 리콜 가능성이 있는 사안은 confidence와 관계없이 별도의 검토 기준을 적용합니다. 이처럼 문의 유형과 고객 영향도에 따라 임계값을 다르게 설정할 수 있어, 정책이 변경돼도 모델을 다시 학습하지 않고 자동 처리 범위를 조정할 수 있습니다.
모델 배치의 효과는 운영 지표로 확인해야 합니다. 모델별 호출량, 평균 처리 시간, 상담원 전환 비율, 재처리율을 함께 확인하면 모델 배치가 실제 처리 비용과 고객 대응 품질에 미치는 영향을 판단할 수 있습니다.
Jev가 보여주는 엔터프라이즈 AI 모델 운영의 기준
1. Jev는 구조화된 분류와 판단을 처리하는 Decision Model입니다.
CS 업무에서는 문의 유형, 우선순위, 처리 경로를 업무 시스템이 사용할 수 있는 형태로 반환합니다. 문의량이 많은 업무에서 분류와 라우팅 시간을 줄이고, 상담원이 확인해야 할 요청을 선별하는 데 활용할 수 있습니다.
2. LLM과 Jev는 업무 단계에 따라 역할을 나눌 수 있습니다.
LLM은 문의의 맥락을 이해하고 설명과 답변을 작성하며, Jev는 분류와 라우팅에 필요한 판단값을 제공합니다. 코드는 명확한 규칙을 확인하고, 사람은 예외와 책임이 큰 사안을 검토합니다. 기업은 이러한 역할 구분을 바탕으로 모델 운영 구조를 설계할 수 있습니다.
3. 업무별 모델 배치는 엔터프라이즈 AI의 비용 관리 기준이 됩니다.
엔터프라이즈 AI의 운영 비용에는 모델 호출 비용, 처리 시간, 재검토 비율, 사람의 개입 조건이 함께 반영됩니다. Jev는 분류가 필요한 업무에 새로운 모델 선택지를 제공하며, 기업이 품질과 속도, 비용을 고려해 모델을 배치할 수 있는 범위를 넓힙니다.
Enhans는 엔터프라이즈 AI 운영에서 모델의 품질, 응답 속도, 비용, 통제 기준을 함께 검토합니다. 각 업무 단계에 어떤 모델을 배치하고 어느 지점에서 사람의 판단을 연결할지 설계해, AI가 실제 업무 성과로 이어지는 운영 구조를 만듭니다.
in solving your problems with Enhans!
We'll contact you shortly!