애플 아이메시지가 친구의 강아지 영상을 나체로 오인했다
애플의 민감한 콘텐츠 경고는 원치 않는 누드 이미지로부터 사용자를 보호하기 위해 설계됐는데, 친구의 강아지 영상을 누드 사진으로 착각하고 블러 처리해버림. 이런 기술적 실수는 종종 발생하지만, 이번에는 강아지 모습이 너무 적나라(?)했다는 우스갯소리가 나오기도 함.
AI의 누드 스캐너가 학습 데이터를 어떻게 처리하느냐에 대한 의견도 많았음. 이런 데이터 학습이 '퍼리(furry)' 관련 콘텐츠에 치중됐을 거라는 추측이나, AI가 강아지의 신체 부위를 오인했을 거라는 반응이 나옴. 한 이용자는 전 세계 IT 인프라를 지탱하는 개발자들 중 퍼리 문화에 속한 이들이 적지 않다는 점을 언급하기도 했음.
애플은 기기 내에서 머신러닝으로 분석을 수행하기 때문에 애플 서버가 사진이나 영상을 직접 보지는 않는다고 설명함. 기술적으로 로컬에서 돌아가는 시스템을 선호한다는 의견이 있는 반면, 자동화된 스캐닝과 신고 시스템 자체가 위험하다는 지적도 나옴. 한 사용자는 허위 신고 한 번으로도 누군가의 삶이 망가질 수 있다며, 특히 아동 성착취물(CSAM) 관련 오탐지는 치명적일 수 있다고 경고함.
다른 기기나 서비스에서도 이와 비슷한 오탐지가 흔하다는 경험담이 이어짐. 구글 픽셀폰의 스팸 전화 차단 기능도 송장이나 결제 관련 대화가 나오면 종종 업무 통화를 스팸으로 오인한다는 사례가 있었음. 이런 시스템의 완벽함은 기대하기 어려우므로, 결국 사용자가 직접 기능을 끄거나 제어할 수 있는 권한이 중요하다는 의견으로 모아짐.
수정
IIC****ist
그 시스템은 분명히 많은 퍼리 관련 콘텐츠를 학습했을 거야.
SSu***at
그 강아지는 분명히 '누드' 상태네.
SSand*******kker
분명 메시지 내용을 스캔하는 건 논란의 여지가 있지만, 애플은 기기 자체에서 분석한다고 함. 설정에서 기능을 끌 수도 있고. 애플 웹사이트에 따르면 '민감한 콘텐츠 경고는 기기 내 머신러닝을 사용해 사진과 영상을 분석함. 기기 내부에서 분석되기 때문에 애플은 누드가 감지되었다는 사실을 알 수 없고 사진이나 영상에 접근할 수도 없음'이라고 나옴. 이런 시스템은 이렇게 로컬에서 작동하고 사용자가 끄고 켤 수 있는 제어권을 주는 게 차라리 나음. ML 모델 입장에서는 오탐지와 미탐지 사이의 균형을 잡아야 하는 문제임.