AI 에이전트가 환불하고, 가격을 조정하고, 고객 기록을 바꾸기 시작하면 새로운 질문이 생깁니다. 시스템에 접속할 수 있다는 사실이 그 결정을 내려도 된다는 뜻인가. 잘못된 결과가 나오면 공급업체와 도입 기업 가운데 누가 책임지는가.
CIO의 2026년 9월 기고문은 고객지원 에이전트가 승인되지 않은 크레디트를 발급한 익명 사례를 제시합니다. 처리 속도와 네트워크 상태는 모두 정상이었지만 어떤 고객 맥락과 회사 규칙이 지출을 허용했는지는 남지 않았습니다. 이 글은 AI 기업 창업자의 외부 기고이며, 사례도 회사명이 공개되지 않았습니다. 사고 통계로 일반화하기보다 기술적 성공과 업무상 정당한 결정은 다르다는 구조를 보여주는 사례로 읽어야 합니다.
정상 실행인데 왜 통제 실패인가
모니터링은 요청이 끝났는지 확인합니다. 감사 기록은 무엇을 했는지 되짚게 합니다. 승인은 그 행동이 회사 규칙 안에 있었는지를 판단합니다. 책임은 결과가 잘못됐을 때 설명하고 수습할 사람을 정합니다. 네 가지는 서로 대신할 수 없습니다.
결제 시스템이 오류 없이 0.2초 만에 환불을 마쳐도 고객 등급, 보상 한도, 예외 승인자가 확인되지 않았다면 업무 통제는 실패한 것입니다. 로그가 많아도 허용 근거가 없으면 사후 설명만 가능할 뿐, 행동을 정당하게 만들지는 못합니다.
| 구분 | 답해야 할 질문 | 남겨야 할 증거 |
|---|---|---|
| 모니터링 | 시스템이 작동했는가 | 성공·실패, 처리시간 |
| 감사 가능성 | 무엇을 왜 했는가 | 입력, 판단 근거, 변경 이력 |
| 업무 승인 | 해도 되는 행동이었는가 | 적용 규칙, 한도, 승인자 |
| 책임 | 누가 결과를 수습하는가 | 업무 소유자, 대응 기한 |
접근권한과 결정권은 어떻게 다른가
기존 권한 관리는 누가 어떤 시스템을 읽고 쓸 수 있는지 정합니다. 에이전트에는 한 단계가 더 필요합니다. 같은 ‘수정’ 권한이 있어도 주소 오탈자를 고치는 일과 환불 금액을 확정하는 일의 업무 의미는 다릅니다. 기술 계정에 쓰기 권한을 줬다고 가격 할인이나 계약 변경까지 위임한 것은 아닙니다.
가트너는 2026년 말까지 기업용 애플리케이션의 최대 40%에 과업 특화 에이전트가 포함될 것으로 2025년 8월 예측했습니다. 도입 속도가 빠르다는 전망이지, 각 조직의 결정권 설계가 끝났다는 뜻은 아닙니다. 제품에 기능이 추가되는 시점과 회사가 권한을 위임하는 시점을 분리해야 합니다.
가트너가 2026년 5월 제시한 자율성 네 단계는 관찰, 조언, 승인 후 실행, 자율 실행을 구분합니다. 회의 요약과 환불 실행에 같은 통제를 적용하면 하나는 불필요하게 느려지고 다른 하나는 지나치게 느슨해집니다.
금액 한도만 정하면 충분한가
‘10만 원 이하는 자동 승인’처럼 금액만 보면 위험을 놓칠 수 있습니다. 소액이라도 고객 전체에게 반복 적용되면 총액이 커지고, 잘못된 개인정보 변경이나 외부 발송은 금액으로 환산하기 어렵습니다. 기준은 되돌릴 수 있는가, 영향을 받는 사람이 몇 명인가, 규제·계약상 의무가 있는가, 같은 행동이 얼마나 자주 반복되는가까지 포함해야 합니다.
되돌리기 쉬운 초안 저장은 자율 실행에 가깝게 둘 수 있습니다. 고객 통지, 결제, 삭제, 계약 변경은 별도 규칙을 통과시키고 필요하면 사람이 승인해야 합니다. 승인이 너무 자주 울려 형식적인 클릭이 된다면 에이전트의 범위를 더 좁히거나 예외만 검토하도록 흐름을 다시 설계해야 합니다.
AI 에이전트의 제로 트러스트와 좁은 스코프처럼 접근권한은 최소화하고, 오케스트레이션 계층의 병목에서 다룬 공통 통제 지점에 업무 규칙과 중단 조건을 두는 편이 현실적입니다.
도입 전에 정할 여섯 가지
- 에이전트가 읽기만 하는지, 기록을 바꾸는지 구분했는가
- 변경 행동마다 적용할 회사 규칙과 한도가 있는가
- 반복 횟수·고객 영향·규제 민감도를 함께 보는가
- 승인자가 판단에 필요한 맥락을 한 화면에서 볼 수 있는가
- 실행 뒤 되돌리는 방법과 중단 스위치가 있는가
- 결과를 설명하고 수습할 업무 책임자의 이름이 있는가
기업은 에이전트의 모든 판단을 직접 만들지는 않아도, 어떤 판단을 맡길지는 직접 결정합니다. 공급업체가 소프트웨어를 제공해도 회사의 업무 규칙과 결과 책임까지 가져가지는 않습니다.
