기업에서의 초기 AI 활용은 보고서 초안 작성, 회의록 정리, 메일 문구 작성처럼 AI가 초안을 생성한 뒤 사람이 검토하고 내용을 보강해 사용하는 방식이었습니다. AI 모델 성능이 빠르게 개선되고, 업무 효율과 성과를 높이기 위한 다양한 AI 활용 방식이 넓어지면서 사내 업무별 AI 에이전트를 만들고 데이터를 직접 조회하거나 여러 도구를 호출해 업무 흐름을 진행하는 사례도 많아지고 있습니다.
AI는 이제 답변 생성과 함께 실제 업무 상태를 변경하는 단계까지 맡습니다. 예를 들어 고객 문의 처리, 지원 티켓 생성, 매출 데이터 업데이트 과정에서는 실제 업무 시스템의 상태가 변경됩니다. 이때 AI가 업무를 완료했다고 답했더라도, 원하는 결과가 시스템에 반영됐는지, 불필요한 변경이 발생하지 않았는지를 사람이 매번 일일이 확인해야 하는 번거로움은 엔터프라이즈 AI의 병목이 될 수 있습니다.
따라서 AI가 실제 업무를 수행한 뒤 어떤 결과를 남겼는지, 그 결과를 반복해서 신뢰할 수 있는지 평가하는 기준도 구체화되고 있습니다. 바로 최근 Microsoft와 Hugging Face가 공개한 ThinkingBox가 그 사례 중 하나입니다.
ThinkingBox, AI의 업무 수행 결과를 평가하는 벤치마크
ThinkingBox에는 주문 처리, 배송 예외 대응, 고객 지원, 보험, 사내 IT 지원처럼 상태 변화가 발생하는 업무 시나리오가 구성돼 있습니다. AI는 주문 정보를 확인하고, 배송 상태를 조회하고, 고객 정보를 확인하고, 정책을 검색하고, 지원 티켓을 생성하는 등 여러 단계를 수행합니다.
배송이 지연된 주문을 처리하는 상황을 생각해볼 수 있습니다. AI는 주문과 배송 정보를 조회하고, 고객 정보를 확인하고, 배송 지연 보상 정책을 검색한 뒤 지원 티켓을 생성합니다. 필요한 도구를 정상적으로 호출하고 정책도 올바르게 확인했지만, 배송 문제가 해결되지 않은 상태에서 티켓을 ‘해결 완료’로 변경할 수 있습니다.
AI는 업무가 끝났다고 안내합니다. 그러나 데이터베이스에는 배송 예외가 여전히 해결되지 않은 상태로 남아 있고, 고객이 요청한 문제도 처리되지 않았습니다. 데이터 조회, 도구 호출과 같은 실행 과정은 정상적으로 보였지만, 최종적으로 사용자의 기대 수준과 업무 목표에 맞는 최종 결과물은 아니었던 것입니다.
출처: Zhuochun Li et al., “One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows”, Figure 1(A), CC BY 4.0.
AI의 업무 결과를 어떤 기준으로 평가할 것인가
AI가 업무를 수행하면 여러 실행 기록이 남습니다. 어떤 데이터를 조회했는지, 어떤 정책을 참조했는지, 어떤 도구를 호출했는지, 어떤 답변을 생성했는지가 여기에 포함됩니다. 이 정보는 실패 원인을 찾고 다음 실행을 개선하는 데 필요합니다. 다만 업무 완료 여부는 실행 이후의 상태까지 확인해야 합니다.
배송 예외 처리 업무라면 다음과 같은 기준을 두고 평가해야 합니다.
업무 데이터와 정책이 정리되면 기업은 이를 바탕으로 업무별 성공 조건을 정의합니다. AI 에이전트는 정해진 조건 안에서 데이터를 조회하고 업무 처리 결과를 제안하거나 실제 변경을 실행합니다. 사람은 영향이 큰 예외를 검토하고 승인하며, 실행 결과와 변경 이력은 다음 평가의 근거로 남습니다. 이와 같은 AI Evaluation에서는 답변 품질, 최종 상태, 예상하지 않은 부수 효과, 반복 성공률을 업무별 성공 조건과 대조합니다.
한 번의 업무 성공만으로 반복 신뢰성을 판단하기는 어렵습니다
ThinkingBox는 주문, 배송, 티켓처럼 처리 결과가 업무 시스템에 남는 507개의 업무 시나리오를 구성하고, 각 업무를 20회씩 독립적으로 실행했습니다. 실행마다 초기 상태를 새로 설정해, 단 한 번 성공할 수 있는지와 반복 실행에서도 안정적으로 성공하는지를 구분했습니다.
논문은 단일 실행 성공률인 pass@1과 반복 신뢰성을 나타내는 pass^20를 구분해 제시합니다. Claude Opus 5는 pass@1 66.50%, pass^20 47.53%를 기록했습니다. Kimi-K3는 각각 57.37%, 17.60%였습니다. 이는 AI가 업무를 한 번 수행할 수 있는지와 반복해서 신뢰할 수 있는 결과를 만들 수 있는지가 서로 다른 질문임을 보여줍니다.
한 번의 성공은 업무 수행 가능성을 보여주지만, 반복 실행의 결과 편차는 운영 신뢰성을 별도로 검증해야 하는 이유를 보여줍니다.
기업의 업무는 같은 작업이 매일 또는 매주 반복되는 경우가 많습니다. 따라서 같은 요청을 반복했을 때에도 동일한 기준을 적용하는지, 특정 조건에서 실패가 집중되는지, 실패 이후 잘못된 상태가 남는지를 함께 확인해야 합니다.
평가 결과는 업무 운영 기준을 보완하는 근거가 됩니다
평가 기록 자체가 AI의 품질을 높여 주지는 않습니다. 실행 결과와 검토 이력을 읽고, 어떤 조건에서 오류와 예외가 발생하는지 분석하며, 업무 기준과 데이터 구조를 보완하는 과정이 필요합니다.
예를 들어 특정 고객 상태에 보상 정책이 잘못 적용됐다면, 정책 조건이 충분히 구조화됐는지, 필요한 데이터가 연결됐는지, 사람의 승인이 필요한 예외가 자동 처리 범위에 포함됐는지를 함께 살펴봐야 합니다.
실행 결과와 검토 이력이 남아 있으면 조직은 실패를 업무 구조의 관점에서 검토할 수 있습니다. 데이터 정의를 보완하고, 정책 기준을 명확히 하고, 사람의 승인이 필요한 조건을 다시 설정한 뒤 다음 평가에서 변경 결과를 확인할 수 있습니다.
Enhans의 AgentOS는 실제 업무 흐름에서 데이터와 업무 맥락을 연결하고, AI의 실행 결과와 검토 이력이 다음 업무 설계에 활용될 수 있는 운영 구조를 지향합니다. 프로젝트에서 정리한 업무 데이터, 암묵지, 검토 기준은 다음 과제의 출발점으로 활용할 수 있습니다.
사람은 업무의 성공 조건을 정의하고, 영향이 큰 예외를 검토하며, 자동 처리 범위를 승인합니다. AI 에이전트는 정해진 조건 안에서 데이터를 확인하고 실제 업무를 실행합니다. Evaluation은 이 두 역할이 연결된 상태에서 업무 품질을 확인하는 기준이 됩니다.
엔터프라이즈 AI의 신뢰성은 한 번의 성공으로 판단하기 어렵습니다. 같은 업무를 반복해서 수행해도 기대한 결과를 유지할 수 있는지, 그 결과를 확인하고 개선할 운영 구조가 갖춰져 있는지가 실제 도입 범위를 정하는 중요한 기준이 됩니다.
in solving your problems with Enhans!
We'll contact you shortly!