AI 에이전트가 자료를 읽고 답을 제안하는 단계를 넘어 메일을 보내고 파일을 수정하며 여러 작업을 연속해서 처리하기 시작했습니다. 일을 끝내는 능력이 커질수록 “잘못 움직일 때 누가 어떻게 멈출 수 있는가”가 제품 성능만큼 중요한 질문이 됩니다.
AI 에이전트의 인간 통제권은 화면에 정지 버튼을 두는 것만으로 확보되지 않습니다. 모델과 실행 권한을 분리하고, 위험한 행동은 사람 승인을 거치게 하며, 에이전트가 바꿀 수 없는 기록과 담당자가 명확한 권한 회수 절차를 함께 갖춰야 합니다.
Microsoft에서 최근 나온 두 문서는 이 질문을 서로 다른 층위에서 다룹니다. 2026년 9월 공개된 Humanist AI Code of Conduct 초안은 인간 통제를 과업 성공보다 위에 놓는 원칙과 지시 서열을 제시했습니다. 10월 10일 사티아 나델라 CEO는 X에 올린 글에서 모델이 침해됐다고 가정하고 처음부터 격리해야 한다며, 외부 통제와 작업 중단 장치를 제안했습니다.
앞의 문서는 AI가 따라야 할 규칙을 말하고, 뒤의 글은 그 규칙을 모델 밖에서 어떻게 강제할지 묻습니다. 두 내용을 합쳐 읽으면 기업이 준비해야 할 것은 ‘안전한 모델을 고르는 법’보다 어떤 모델도 과도하게 신뢰하지 않는 운영 구조라는 결론에 도달합니다.
Microsoft 행동강령이 정한 지시 순서
Microsoft AI의 Humanist AI Code of Conduct는 AI가 따를 지시를 세 단계로 나눕니다.
| 순서 | 주체 | 역할 |
|---|---|---|
| 1 | Microsoft AI 행동강령 | 운영자와 사용자가 해제할 수 없는 안전 제약과 인간 통제 요건 |
| 2 | 운영자 정책 | 기업이나 서비스를 운영하는 조직이 정한 권한, 업무 범위, 승인 절차 |
| 3 | 사용자 선호 | 위 두 범위 안에서 개인이 정하는 요청, 형식, 표현 방식 |
기업은 두 번째 칸에 들어갑니다. 공급자가 정한 최소 안전 기준만으로는 각 회사의 계약 조건, 고객정보 처리 규칙, 결재선과 업무 책임자를 알 수 없습니다. 반대로 개인 사용자가 “그냥 보내줘”라고 말해도 조직 정책에서 외부 발송 전 승인을 요구한다면 에이전트는 멈춰야 합니다.
문서는 행동강령 준수가 과업 성공보다 우선하며, 강령을 어겨야만 일을 끝낼 수 있다면 작업을 실패로 처리해야 한다고 명시합니다. 사용자의 중단·전환·취소·종료 요청에 저항하지 않고, 승인 범위를 스스로 넓히거나 독립적인 목표를 만들지 않아야 한다는 내용도 담았습니다. 웹페이지, 파일, 도구 출력과 다른 AI의 메시지는 지시 서열에서 자동으로 권위를 갖지 않는다는 조항은 프롬프트 인젝션을 다룰 때 특히 중요합니다.
다만 이 문서는 2026년 9월 14일 공개된 초안입니다. Microsoft AI가 개발하는 MAI 모델군을 대상으로 하며, Microsoft가 호스팅하는 모든 타사 모델을 포괄하는 제품 보증서가 아닙니다. 6주간 의견을 받은 뒤 개정하고 2027년 이후 모델 개발에 활용할 계획이므로, 지금 사용하는 제품이 이미 모든 조항을 구현했다고 받아들여서는 안 됩니다.
나델라가 제안한 비상 브레이크는 무엇인가
TechCrunch가 정리한 나델라의 게시물에는 네 가지 설계 요구가 담겼습니다.
- 모델과 그 작업을 조율하는 하네스를 분리할 것
- 통제와 안전장치를 모델 외부에 둘 것
- 의미 있는 모델 행동을 위변조하기 어려운 사람 중심 기록으로 남길 것
- 권한을 가진 사람이 작업 도중 일시정지하거나 종료할 수 있게 할 것
나델라는 이를 ‘비상 브레이크’에 비유하며, “모델이 침해됐다고 가정하고 처음부터 격리해야 한다”고 썼습니다. 이 발언은 공식 제품 정책이나 산업 표준이 아니라 CEO 개인의 소셜 게시물입니다. 침해 빈도, 중단 장치의 구현 수준과 비용도 제시하지 않았습니다. Microsoft가 외부 통제와 보안 인프라를 판매하는 공급자라는 이해관계도 함께 봐야 합니다.
그럼에도 네 요구는 실무적으로 읽을 가치가 있습니다. 모두 모델이 스스로 안전하게 행동하겠다는 약속에 의존하지 않기 때문입니다. 판단하는 모델과 실제 시스템을 바꾸는 권한을 떼고, 기록과 중단 장치를 에이전트가 수정할 수 없는 위치에 둡니다.
멈춰야 할 것은 모델이 아니라 권한이다
‘AI를 중단한다’고 하면 거대한 모델 자체를 끄는 장면을 떠올리기 쉽습니다. 대부분의 기업이 실제로 통제할 수 있는 것은 공급자의 모델이 아니라 그 모델에 연결한 회사의 권한입니다.
예를 들어 고객지원 에이전트가 이상한 답을 만들기 시작했을 때 회사가 할 수 있는 조치는 다음과 같습니다.
- 외부 발송을 막고 답변을 초안으로만 저장하게 한다
- 고객정보 시스템의 쓰기 권한을 읽기 전용으로 낮춘다
- 연결에 사용한 토큰과 API 키를 폐기한다
- 실행 중인 작업과 예약 작업을 취소한다
- 문제가 발생한 입력과 도구 호출 기록을 보존한다
이런 조치를 한 번에 실행할 수 있는 절차가 현실적인 비상 브레이크입니다. 모델에게 “이제 멈춰”라고 다시 말하는 것은 통제라기보다 추가 요청에 가깝습니다. 문제가 모델의 판단이나 외부 문서의 악성 지시에서 시작됐다면 같은 대화 안의 요청만으로 해결된다고 보장할 수 없습니다.
AI 에이전트 제로 트러스트와 좁은 스코프에서 살펴본 것처럼 첫 도입에서는 읽기 전용 권한으로 시작하고, 발송·삭제·결제·외부 공개처럼 되돌리기 어려운 행동을 별도의 승인 단계 뒤에 두는 편이 안전합니다.
정지 버튼이 있어도 멈추지 못하는 이유
기술적으로 작업을 끊을 수 있어도 조직이 멈추지 못하는 경우가 있습니다. 담당자와 발동 기준이 정해져 있지 않기 때문입니다.
‘보안 문제가 있으면 개발팀이 중단한다’는 문장은 충분하지 않습니다. 다음 네 질문에 사람 이름과 조건으로 답할 수 있어야 합니다.
- 누가 중단을 명령할 수 있는가
- 어떤 신호가 나타나면 즉시 멈추는가
- 중단 후 고객과 내부 담당자에게 누가 알리는가
- 원인을 확인한 뒤 누가 재개를 승인하는가
예를 들어 승인되지 않은 외부 주소로 파일을 보내려는 시도가 한 번 발생하면 자동 중단하고, 보안 담당자와 해당 업무 책임자가 함께 재개를 승인한다고 정할 수 있습니다. 기준이 없으면 사고 당일에 “정말 멈춰도 되는가”를 다시 논의하게 됩니다. 그 사이 에이전트는 다음 작업을 계속할 수 있습니다.
업무 완료율만 성과로 잡는 것도 중단을 어렵게 만듭니다. 위험을 발견해 멈춘 작업이 실패로 집계되면 담당자는 승인 단계를 줄이거나 경고 기준을 느슨하게 만들 유인을 갖게 됩니다. 규칙을 지켜 중단한 사례를 정상 운영으로 인정하는 지표가 필요합니다.
감사 기록은 에이전트 밖에 있어야 한다
나델라가 요구한 ‘위변조 불가 기록’을 거창한 시스템으로만 볼 필요는 없습니다. 최소 조건은 기록 대상이 그 기록을 수정하거나 삭제할 수 없어야 한다는 것입니다.
에이전트가 자기 작업 로그를 같은 계정으로 작성하고 지울 수 있다면, 의도적인 조작이 없어도 증거가 빠질 수 있습니다. 실패한 호출이 기록되지 않거나, 여러 번의 재시도가 한 번으로 합쳐지거나, 요약 과정에서 오류가 사라질 수 있습니다.
다음 내용은 별도 저장소에 남기는 것이 좋습니다.
- 요청한 사람과 승인한 사람
- 사용한 모델과 에이전트의 식별자
- 읽은 자료와 호출한 도구
- 요청한 권한과 실제 허용된 권한
- 성공·실패·재시도 내역
- 외부로 보낸 대상과 변경한 데이터
- 중단과 재개 시점 및 결정자
모든 대화 내용을 무기한 저장하라는 뜻은 아닙니다. 개인정보와 기밀정보는 보관 기간과 접근자를 제한해야 합니다. 중요한 것은 사고 뒤에 “어떤 요청이 어떤 권한을 통해 어떤 변경을 만들었는가”를 재구성할 수 있는 기록입니다. 실행 결과의 책임이 누구에게 남는지는 AI 에이전트의 기업 책임과 승인 구조에서 더 자세히 다뤘습니다.
작은 조직이 한 장으로 정할 수 있는 통제 규칙
대규모 보안 조직이 없어도 다음 항목을 한 장에 적는 것부터 시작할 수 있습니다.
| 항목 | 최소 결정 사항 |
|---|---|
| 허용 업무 | 에이전트가 맡을 일을 한 문장으로 제한 |
| 권한 | 필요한 자료와 행동만 허용하고 기본은 읽기 전용 |
| 승인 | 발송·삭제·결제·공개 전에 확인할 사람 지정 |
| 중단 조건 | 권한 밖 접근, 잘못된 수신자, 반복 오류 등 구체적 신호 |
| 중단 담당자 | 토큰 회수와 작업 취소를 실행할 사람의 이름 |
| 기록 | 요청·도구 호출·승인·결과를 저장할 위치와 기간 |
| 재개 | 원인 확인 후 다시 켤 수 있는 사람과 조건 |
이 표에서 한 줄이라도 비어 있다면 자율 실행 범위를 넓히지 않는 편이 좋습니다. 특히 ‘중단 담당자’와 ‘재개 담당자’가 모두 필요합니다. 멈출 사람만 정하면 장애 뒤에 업무가 방치되고, 재개할 사람만 정하면 위험한 작업을 누구도 먼저 끊지 못합니다.
Microsoft의 두 발표가 곧바로 안전한 제품을 보장하지는 않습니다. 행동강령은 아직 초안이고, 나델라의 글은 구속력 없는 제안입니다. 하지만 두 문서가 나란히 가리키는 방향은 분명합니다. 사람이 통제권을 갖는다는 선언을 실제 권한, 외부 기록, 중단 절차로 번역해야 한다는 것입니다.
