AI로 판단 속도를 높인 조직도 결정이 틀렸을 때 누가 설명하고 되돌릴지는 정하지 않은 경우가 있습니다. 이 공백은 자동화가 권고에 그칠 때보다 탈락, 거절, 배정처럼 사람의 권리와 기회에 직접 영향을 줄 때 더 커집니다.
미국 학생 권익 단체 Student Defense는 2026년 봄 24개 고등교육기관에 학부 입학 업무의 AI 정책과 교육자료를 요청했습니다. 응답한 20곳 가운데 입학사정의 AI 사용을 구체적으로 규율하는 정책을 제출한 곳은 없었고, 등록관리 인력용 AI 교육자료를 낸 곳은 한 곳이었습니다.
이 결과는 20곳이 모두 AI로 입학 결정을 했다는 뜻이 아닙니다. 공개기록 요청에 해당 정책이 제출되지 않았다는 좁은 사실입니다. 그럼에도 고위험 업무에서 사용 범위와 책임자를 문서로 설명하지 못하는 상태가 어떤 운영 문제를 만드는지는 분명히 보여줍니다.
정책이 없으면 왜 결정 기준이 사라지나
사람은 기준이 모호하면 결정을 미루고 상급자에게 물을 수 있습니다. 자동화된 시스템은 입력이 들어오면 설정된 규칙과 모델에 따라 결과를 냅니다. 문서화되지 않은 기준도 반복 실행되면서 사실상의 정책이 됩니다.
사람의 편향은 담당자가 처리한 건에 국한될 수 있지만, 자동 판정의 잘못된 기준은 전체 신청자에게 같은 방식으로 적용됩니다. 일관성은 기준이 맞을 때 장점입니다. 기준이 틀렸다면 오류를 조직 전체에 복제하는 장치가 됩니다.
Student Defense의 후속 보고서는 입학, 재정지원, 상담, 평가처럼 학생에게 큰 영향을 주는 영역에서 투명성과 피해 완화 장치를 함께 설계해야 한다고 지적합니다. 정책 문서는 시작일 뿐입니다. 실제 업무에서 멈추고 재검토할 수 있는 지점이 있어야 합니다.
도구에 맡긴 범위가 왜 책임과 연결되나
미국의 진행 중인 Mobley v. Workday 사건은 자동화 도구와 책임의 경계를 보여줍니다. 원고는 Workday의 지원자 선별 도구가 인종, 연령, 장애를 이유로 불리한 결과를 만들었다고 주장했습니다. 법원은 차별이 있었다고 최종 판단한 것이 아닙니다. 2024년 각하 단계에서 일부 청구가 계속 심리될 만큼 주장이 성립 가능한지를 판단했습니다.
법원은 Workday를 고용 알선기관으로 보는 이론은 받아들이지 않았지만, 고객 기업이 지원자를 탈락시키거나 면접 단계로 넘기는 전통적 기능을 위임했다는 ‘대리인’ 이론은 인정했습니다. 실무에서 중요한 것은 AI가 얼마나 똑똑한지가 아니라 추천, 보조, 최종 결정 중 어디까지 넘겼는가입니다.
| 자동화 범위 | 사람의 역할 | 필요한 통제 |
|---|---|---|
| 자료 정리·요건 확인 | 결과를 검토하고 판단 | 입력 오류 수정, 근거 확인 |
| 점수·우선순위 추천 | 예외를 검토하고 최종 결정 | 기준 문서, 편향 점검, 승인 기록 |
| 탈락·거절의 최종 처리 | 사후 민원만 처리 | 적용 전 승인, 설명, 재심, 정지·복구 경로 |
한국 기업은 무엇을 준비해야 하나
개인정보 보호법 제37조의2는 완전히 자동화된 시스템이 개인정보를 처리해 정보주체의 권리 또는 의무에 중대한 영향을 미치는 결정을 내리는 경우를 다룹니다. 법이 정한 범위와 예외 안에서 정보주체는 거부하거나 설명을 요구할 수 있고, 개인정보처리자는 정당한 사유가 없으면 사람의 개입에 의한 재처리, 설명 등 필요한 조치를 해야 합니다.
모든 AI 보조 업무가 이 조항의 적용 대상은 아닙니다. 사람이 실질적으로 개입하는지, 개인정보로 완전히 자동화된 결정이 이뤄지는지, 권리·의무에 중대한 영향이 있는지에 따라 판단이 달라집니다. 개별 서비스의 법적 적용은 별도 검토가 필요합니다.
운영 측면에서는 네 가지를 준비할 수 있습니다.
- 결정의 경계: 자료 정리, 추천, 최종 처리 중 자동화되는 단계를 구분합니다.
- 근거의 보존: 결과값뿐 아니라 기준, 임계값, 승인자와 변경 이력을 남깁니다.
- 사람 재심 경로: 접수 담당자, 처리 기한, 결정을 뒤집을 권한을 정합니다.
- 복구와 학습: 잘못된 결정을 되돌리고 같은 오류가 반복되지 않도록 기준을 수정합니다.
이의제기를 품질 지표로 볼 수 있을까
이의제기는 법적 부담이나 민원 창구만이 아닙니다. 자동 판정이 틀렸다는 신호를 당사자가 직접 가져오는 경로입니다. 접수 건수, 뒤집힌 비율, 반복 사유를 기록하면 내부 테스트만으로 찾기 어려운 오류 패턴을 볼 수 있습니다.
이의제기가 한 건도 없다는 사실은 정확도가 높다는 증거가 아닙니다. 경로를 찾기 어렵거나 결정을 되돌릴 수 없다고 이용자가 판단했을 수도 있습니다. 접수 버튼의 존재보다 설명을 받을 수 있는지, 이름이 있는 담당자가 검토하는지, 실제로 결과를 바꿀 수 있는지가 중요합니다.
AI 인력 결정의 책임과 재채용 비용에서 다룬 것처럼 판단을 도구에 넘겨도 결과의 책임까지 사라지지는 않습니다. 자동화 도입 전에는 사람 승인 없이 최종 처리되는 결정의 목록부터 작성해야 합니다. 그다음 질문은 간단합니다. 잘못됐을 때 누구에게 설명을 요구하고, 어느 지점에서 멈추고, 어떻게 원래 상태로 돌릴 수 있는가입니다.
