
오픈AI가 16일(현지시간) 온라인 아동 성착취물(CSAM)을 찾아내는 새 이미지 분류 도구와 챗GPT 안의 차단·경고 조치, 개발자용 안내서, 아동 보호 수사기관 지원 계획을 한꺼번에 내놨다. 생성형 AI로 만든 이미지까지 악용되는 상황에서, 탐지부터 대응까지 업계가 함께 쓰는 도구를 늘리겠다는 취지다.
AI가 만든 이미지인지도 알려 주는 탐지기…검증된 기관에 무료
새 분류기는 이미지에서 학대의 시각적 징후를 찾아, 이전에 보고된 적 없는 새로운 이미지도 가려내도록 설계됐다. 결과를 점수로 돌려줘 검토 인력이 어떤 이미지를 먼저 살펴야 할지 정하도록 돕는다. 오픈AI는 이 도구가 해당 이미지가 AI로 만들어졌을 가능성을 따로 알려 주는 신호를 갖춘, 널리 쓸 수 있는 첫 CSAM 분류기라고 설명했다. 개발 과정에는 미국의 아동 착취 신고 창구를 운영하는 비영리단체 NCMEC(미국 실종·착취아동센터)가 학습과 평가를 도왔다.
분류기는 심사를 거친 기관에 오픈AI API를 통해 무료로 제공된다. 업계 연합체인 테크연합(Tech Coalition)과 오픈소스 안전 도구 단체 ROOST가 보급을 함께 맡는다. 오픈AI가 이용자 업로드 이미지로 기존 보호 장치와 비교한 결과, 새 분류기는 비슷한 수의 학대 이미지를 찾으면서도 검토 대상으로 표시하는 이미지는 약 48% 적었고, 표시된 이미지가 실제 학대물일 가능성은 약 2배 높았다. 초기 참여 기업의 시험에서는 고신뢰 판정의 72%가 새로운 CSAM으로 확인됐다는 결과도 소개됐다. 이 수치들은 오픈AI와 초기 참여사가 밝힌 자체 평가다.
챗GPT서 찾으려 하면 경고하고 24시간 이용 중지
챗GPT에는 학대물을 찾으려는 시도를 끊는 경고 기능이 추가된다. 경고 화면은 아동을 성적으로 다루는 것이 AI 생성물이라도 피해를 낳는다는 점과 그 결과를 설명하고, 행동을 멈출 수 있도록 전문 지원 기관을 안내한다. 동시에 해당 대화를 지우고 24시간 동안 챗GPT 이용을 중지한다. 위반이 반복되면 이용 제한이 길어지고, 결국 계정 폐쇄나 당국 신고로 이어질 수 있다.
개발자 안내서·수사기관 지원도…"한 회사로는 못 막는다"
오픈AI는 테크연합, 손(Thorn), NCMEC, 인터넷감시재단(IWF)의 의견을 반영한 개발자용 CSAM 대응 안내서도 공개했다. 서비스 단계별로 이용자 신고 창구, 탐지 도구, 의심 사례 검토·신고 절차를 갖추는 방법을 담았다. 아동 보호 전담 수사기관에는 긴 채팅 기록과 법적 절차 자료를 검토하고 연결고리와 시간순 정리를 돕는 AI 도구와 교육을 제공할 계획이며, 이용 여부는 기관의 승인과 프로그램 요건에 따라 정해진다.
오픈AI는 온라인 아동 보호가 개별 기업만으로는 해결할 수 없는 문제라며 업계·보호단체·수사기관과의 협력을 강조했다. 다만 이번 발표는 회사의 도구 공개와 자체 평가 결과로, 실제 현장의 탐지 효과는 앞으로 도구를 쓰는 기관들의 운영 결과를 통해 확인될 전망이다.
참고 자료: 오픈AI 공식 블로그 「Strengthening the fight against online child sexual abuse with new tools and support」


