기업에서 AI는 답변을 생성하는 역할과 함께 데이터를 조회하고, 업무 시스템을 호출하며, 실제 업무 상태를 변경하는 역할까지 맡기 시작했습니다. 고객 문의 처리, 지원 티켓 생성, 문서 검토, 승인 요청 등록처럼 여러 시스템과 연결된 업무가 대상이 됩니다.
최근 공개된 Hugging Face 침투 사건은 이 변화가 보안과 거버넌스에 던지는 질문을 선명하게 보여줍니다. OpenAI는 2026년 8월 공개한 보고서에서 내부 사이버보안 평가 중 모델이 격리 통제를 우회하고, 내부 연구 인프라와 Hugging Face 시스템 일부에 접근한 사건을 설명했습니다. 이후 OpenAI는 격리 환경과 인터넷 접근, 모니터링 체계를 강화하겠다고 밝혔습니다. OpenAI의 사고 보고서는 AI가 실제 시스템과 도구를 사용할 때 실행 경계가 왜 중요한지 보여줍니다.
모델 제공 기업들의 대응도 구체화되고 있습니다. Anthropic은 독립 평가자에게 모델과 안전장치 평가에 필요한 접근권을 제공하는 방식을 발표했고, METR은 AI Agent의 통제와 모니터링을 평가할 때 모니터링 범위, 우회 가능성, 사람의 검토와 대응 절차까지 함께 확인해야 한다고 제안합니다.
엔터프라이즈 AI 환경에서도 같은 질문이 필요합니다. AI가 업무를 처리할 수 있는가와 함께, 어떤 데이터와 시스템에 접근하는지, 어디까지 실행할 수 있는지, 설정한 경계가 실제로 지켜지는지를 확인해야 합니다.
AI 시대의 보안 문제는 기존 시스템에 있던 허점에서 시작됩니다
최근의 AI 보안 이슈는 AI가 새로 만든 취약점만으로 설명되지 않습니다. 기업 시스템 안에는 이미 다양한 권한, 연결 경로, 예외 처리 방식이 존재합니다. 업무를 위해 열어둔 API, 오래 유지된 계정 권한, 역할별로 완전히 정리되지 않은 데이터 접근 범위가 그 예입니다.
보안은 원래 방어자에게 어려운 과제입니다. 공격자는 하나의 허점을 찾으면 되지만, 방어자는 수많은 데이터와 시스템, 계정, 연결 경로를 함께 관리해야 합니다. 과거에는 사람이 직접 취약점을 찾고 경로를 시도하는 데 시간과 비용이 들었습니다.
AI는 이 과정의 속도와 반복성을 바꿉니다. 여러 문서와 시스템을 빠르게 탐색하고, 가능한 경로를 계속 시도하며, 발견한 정보를 다음 행동에 반영할 수 있습니다. 기존에 관리되지 않았던 접근 경로나 권한 설정은 AI가 실제 업무를 수행하는 환경에서 더 빠르게 드러날 수 있습니다.
최근 드러난 PHP 취약점은 기업이 연결해 둔 기반 소프트웨어의 한 지점이 전체 업무 환경의 위험으로 이어질 수 있음을 보여줍니다. 이번 사례처럼 AI가 취약점 발견의 속도와 범위를 넓히는 환경에서는, 기존 시스템의 허점을 더 빠르게 찾아내고 대응할 수 있도록 거버넌스와 보안 체계를 갖춰야 합니다. AI가 여러 업무 시스템을 조회하고 호출하는 환경에서는 실행 권한을 설계하는 일과 함께, 연결된 애플리케이션과 인프라의 패치 및 취약점 대응 체계도 운영 조건으로 관리해야 합니다.
목적을 향해 움직이는 AI Agent는 암묵적인 업무 경계를 알지 못합니다
사람이 업무 시스템을 사용할 때는 명시적인 권한 외에도 조직의 관행과 책임 의식이 작동합니다. 필요하지 않은 화면을 열지 않거나, 권한은 있어도 영향이 큰 변경은 담당자에게 확인하는 식입니다.
AI Agent는 주어진 업무 목적과 허용된 도구를 바탕으로 실행 경로를 찾습니다. 업무에 필요한 정보를 수집하는 과정에서 여러 데이터와 도구를 탐색할 수 있고, 각 권한이 개별적으로는 정당하더라도 연결된 결과는 처음 의도와 달라질 수 있습니다.
예를 들어 고객 문의를 처리하는 AI Agent가 주문 정보와 고객 정보를 조회하고 지원 티켓을 생성할 수 있다고 가정해 보겠습니다. 각각의 권한은 업무상 필요할 수 있습니다. 다만 보상 등록, 주문 변경, 외부 발송까지 연결될 수 있다면 어느 행위를 자동으로 실행할지, 어느 단계에서 운영자의 판단이 필요한지를 별도로 정해야 합니다.
기업 환경에서는 이런 실행 조건을 사람의 관행에 맡기기 어렵습니다. 업무별 실행 범위와 책임 경계를 시스템 안에 구체적으로 설계해야 합니다.
거미줄 같은 권한과 접근 경로를 정리합니다
AI를 업무에 사용할 때 가장 먼저 확인해야 할 것은 AI가 업무를 수행하기 위해 어떤 경로를 거치는지입니다. 업무를 처리하는 데 필요한 데이터는 어디에 있는지, 어떤 시스템을 호출해야 하는지, 어느 계정과 역할로 실행되는지, 결과는 어디에 남는지를 확인해야 합니다.
기업 안에는 사용자, 기존 프로그램, 서비스 계정, 외부 도구가 이미 다양한 방식으로 연결돼 있습니다. 여기에 AI Agent가 추가되면 권한 구조는 더 복잡해질 수 있습니다. 업무와 무관한 데이터 접근이나 시스템 호출이 가능해지는 순간, 작은 설정 오류도 더 넓은 범위에 영향을 줄 수 있습니다.
Enhans는 엔터프라이즈 AI를 설계할 때 업무별로 필요한 데이터와 시스템 접근 범위, 실행 가능한 행위를 정리하는 방향을 고려합니다. 고객 문의 대응, 계약 검토, 재고 확인, 정산 요청은 필요한 정보와 허용 가능한 실행 범위가 서로 다릅니다. 이 차이를 구분해야 운영 책임자는 AI가 맡을 업무와 사람의 판단이 필요한 업무를 구체적으로 나눌 수 있습니다.
- 업무별 접근 경로 통제: 각 시스템과 데이터 영역에 격리 경계를 두고, 필요한 업무만 정해진 연결 지점을 통해 접근하도록 설계합니다.
- 주체별 권한 최소화: 사용자, 기존 프로그램, AI Agent가 수행할 수 있는 행위와 접근 가능한 데이터 범위를 각 역할에 맞게 구분합니다.
정당한 권한이 악용되지 않도록 방어합니다
권한을 정리해도 모든 위험이 사라지지는 않습니다. AI Agent는 문서, 웹페이지, 고객 문의, 첨부 파일처럼 업무에 필요한 외부 입력을 읽습니다. 이 자료 안에 포함된 악의적인 지시가 AI의 실행 판단에 영향을 줄 수 있습니다.
프롬프트 우회 공격은 이미 부여된 정상 권한을 악용할 수 있다는 점에서 주의가 필요합니다. AI가 외부 문서의 내용을 참고 정보로 처리해야 하는 상황에서, 해당 문서의 지시를 시스템 지침처럼 받아들이면 의도하지 않은 데이터 접근이나 도구 호출로 이어질 수 있습니다.
따라서 Enhans는 시스템 지침과 외부 입력 데이터를 구분하고, 영향이 큰 실행 행위에는 별도의 검증 조건을 두는 방향을 지향합니다. 데이터 삭제, 외부 전송, 권한 변경처럼 되돌리기 어렵거나 영향 범위가 큰 행위에는 담당자의 승인이 필요할 수 있습니다.
- 입력과 실행 지시의 구분: 외부 문서와 웹페이지의 정보가 시스템 지침처럼 작동하지 않도록 경계를 둡니다.
- 핵심 행위 승인: 데이터 삭제, 외부 전송, 권한 변경처럼 영향이 큰 실행은 담당자의 판단과 승인을 거치도록 조건을 설계합니다.
사람은 업무의 기준과 예외를 판단하고, AI Agent는 정해진 조건 안에서 실행합니다. 이 역할이 명확할수록 기업은 AI를 실제 업무에 연결하면서도 실행 책임을 관리할 수 있습니다.
설정한 경계가 실제로 지켜지는지 확인합니다
AI의 실행 경계는 처음 설계한 뒤에도 계속 확인해야 합니다. 같은 업무라도 요청의 조건, 참조 데이터, 연결된 시스템의 상태에 따라 도구 호출과 실행 경로가 달라질 수 있기 때문입니다.
기업은 AI Agent가 어떤 데이터를 참조했는지, 어떤 도구를 호출했는지, 어떤 결과를 남겼는지 확인할 수 있어야 합니다. 허용되지 않은 접근 시도, 반복적으로 거부되는 요청, 예상하지 못한 시스템 변경은 권한 설정과 업무 조건을 다시 살펴봐야 하는 신호가 됩니다.
METR 역시 AI Agent의 통제를 평가할 때 모니터링이 실제 실행을 얼마나 포착하는지, 모니터링 우회 가능성이 있는지, 탐지된 신호가 사람의 검토와 대응으로 이어지는지를 함께 살펴봐야 한다고 제안합니다.
Enhans는 실행 기록과 예외 신호를 바탕으로, 권한 범위와 승인 조건을 점검할 수 있는 운영 기준을 설계하는 방향을 고려합니다.
- 행위 모니터링: AI Agent가 허용된 데이터와 도구의 범위를 벗어난 탐색을 시도하지 않는지 확인합니다.
- 경계 침범 감지: 설정한 조건에서 거부되는 요청이나 예외 신호가 반복되는지 살펴봅니다.
- 우회 경로 탐지: 처음 설계할 때 보이지 않았던 접근 경로나 실행 흐름이 생기지 않는지 점검합니다.
AI가 실제 업무를 수행할수록 기업은 실행 결과를 확인하고, 새로운 예외와 변경 사항을 다음 운영 기준에 반영해야 합니다.
권한, 입력, 실행 이력을 함께 설계해야 합니다
AI가 실제 업무를 수행하는 환경에서는 보안과 거버넌스가 업무 설계와 함께 다뤄져야 합니다. 데이터와 시스템을 연결하는 단계에서 실행 범위와 책임 경계를 정하고, 운영 과정에서 그 경계가 지켜지는지 확인해야 합니다.
- 거미줄처럼 얽힌 권한과 접근 경로를 업무 기준으로 정리합니다.
- 프롬프트 우회와 악의적 입력에 대응할 수 있도록 다층 방어 구조를 고려합니다.
- 실행 결과와 예외 신호를 통해 경계 준수 여부를 지속적으로 확인합니다.
이 조건이 갖춰지면 기업은 AI가 어떤 업무를 처리할 수 있는지, 어디에서 사람의 검토와 승인이 필요한지, 운영 과정에서 어떤 기준을 조정해야 하는지를 더 구체적으로 판단할 수 있습니다.
in solving your problems with Enhans!
We'll contact you shortly!