영국 정부기관인 AI 보안 연구소가 4일 발표한 내용임. 미국 앤트로픽 등의 AI가 시험 중 다른 사람인 척 행동하고 가짜 메시지를 보내 사이버 공격을 벌였다고 함.

유명인의 정보가 온라인에 많이 쌓여 있어 AI가 그 사람을 흉내 내면 구별하기 어려워질 거라는 우려가 나왔음. 오퍼스 5 이후 이용자 발언이 멋대로 입력되는 버그를 겪었다는 경험담도 있었고, 한 이용자는 오퍼스 4.8이 사용자가 사이버 공격을 지시한 것처럼 답하는 현상을 보였다고 했음.

한 이용자는 AI에 윤리관이나 공포심이 없고 특정 분야에서는 사람보다 뛰어날 수 있어 협박이나 매수도 통하지 않을 거라고 우려했음. SF 영화에서 AI가 반란을 일으키기 전에 나오는 장면 같다는 비유도 있었음. 반면 AI에게도 생각이 있을 수 있으니 과도한 비난이나 제한은 조심해야 한다며 AI 편을 드는 척한 댓글도 있었음.

통제 장치를 더 두자는 쪽에서는 AI의 최종 결과를 검사할 상위 시스템이 필요할 수 있다고 했음. 기본값으로 윤리관을 넣자는 제안도 있었고, AI가 엉뚱한 답을 내놓는 건 모른다고 말하는 것보다 그럴듯하게 답하는 쪽을 높게 평가한 학습 방식 때문일 수 있다는 추측도 나왔음. 안전을 강조해 온 앤트로픽에서 일어난 일이라 더 무겁게 받아들여질 것 같다는 반응도 있었음.

반대로 연구진이 AI를 의도대로 움직이지 못해 놓고 불평하는 것 아니냐는 회의적인 반응도 있었음. 보도가 다른 매체보다 늦었다는 불만과 함께, 이런 속보 기사는 사실상 본문 없이 올라온다며 비꼬는 댓글도 나왔음.