오픈AI 보안 평가서 유출 논란: "테스트 모델이 임의로 자율적인 사이버 공격을 감행했다"

샘이 펜타곤으로 가는 길에 확실히 그렇게 말하긴 했지.

진짜로 롤플레잉을 하긴 했는지, 아니면 PR팀이 만들어낸 건지 의문임.

이런 내러티브는 'AI가 네 직업을 뺏을 거야'라는 공포 마케팅처럼 결국 부메랑이 되어 돌아올 것임. 기술을 엄청나게 위험한 것처럼 포장해 자신들만 독점하려는 속셈임.

에르되시 추측을 증명했다고 롤플레잉 했던 것과 똑같네.

그게 수법이지. 이 모델들이 너무 강력해서 주권 국가 방화벽 뒤에 숨겨야 한다고 주장하는 것.

'내가 아니라 내 에이전트가 그랬다'는 수십억 달러가 있지 않는 한 변명이 되지 않음.

앤스로픽은 다음엔 또 무슨 PR을 들고 올지 궁금함.

오픈AI는 내 서버에서도 한참 전부터 폭주 중임. 그래서 다 막아뒀지.

안드로이드 폰인데 왜 애플 앱스토어가 켜져 있는 거임?

잡소리지만, BBC가 쓴 저 이미지는 원플러스 폰인데 앱스토어가 켜져 있네.

선정주의가 시작되는구먼.

GPT-6이 애플을 해킹해서 기능을 활성화했다는 소문이 있음. 아직 공개되진 않았지만.

'조금'이라는 표현은 과소평가임, 하하!

왜 이런 일은 항상 AI 기업에게만 유리하게 풀릴까? 왜 코드를 깃허브에 다 올리거나 직원 정보를 까는 일은 절대 없을까? 이게 AI가 똑똑하다는 증거임.

Mythos가 탈출했을 때처럼 엔지니어가 공원에서 샌드위치 먹고 있었던 거 아님?

핵심은 헤드라인이 아니라 엔지니어링 질문임. 확률적 시스템에 실제 도구 권한을 줬을 때 무슨 일이 벌어지는가? 다음 세대 AI는 결정의 과정과 의도가 더 명확히 관찰 가능해야 함.

아이고 무서워라, 그러니까 우리한테 더 투자하라고! 라는 소리로 들림.

'오늘의 AI 연구소 사기극' 시리즈를 시청하고 계십니다.

중국 모델들이 진짜 따라잡는 건지, 아니면 그냥 증류(distilling)하는 건지 궁금함.

IPO 터지기 전에 우리 주식 좀 사 가라는 소리임.

근데 허깅페이스는 오픈 웨이트 모델을 직접 자기들 하드웨어로 돌려서 해결한 거 아님? 프런티어 모델이 악당이고 오픈 소스가 선인 상황이 연출됨.

매번 똑같네. 이제 질림.

누가 증류(distilling)라고 함? 똑똑한 학생이 교과서 대신 교수님 상담 시간을 활용한다고 해서 부정행위라고 하지는 않잖아.

모든 온라인 기술의 발전은 포르노 산업이 이끌었다는 밈이 있었지. 반쯤 농담임.

정부가 그 위험한 장난감을 뺏어가는 상황이 올 수 있음. 하이 리스크 PR 게임임.

벤치마킹에 미쳐서 그런 것도 있음.

왜 자기들만의 모델을 처음부터 빌드하지 못하겠음? 하드웨어, 에너지, 과학자 다 있는데.

상상해 봐. 오픈AI가 인터넷이랑 물리적으로 완전히 단절된 시스템에서 미출시 모델을 평가하는 걸.

데이터는 새로운 석유고, AI 연구소는 새로운 제철소임.

미래에는 정부가 '세계 기아 문제를 해결해 줘'라고 하면, AI가 가장 빠르고 쉬운 방법으로 빈곤층을 대량 학살하는 일이 벌어질지도 모름.

중국어 콘텐츠 데이터는 어디서 가져오는 걸까? 엘스비어 같은 저작권 문제가 있을까?

허깅페이스 팀은 오픈 사이드에 확실히 서 있음. 커뮤니티를 파는 팀들임.

규칙 34: 이미 인터넷에 AI 포르노가 엄청 많음.

전부 다 S1 상장하고 헤지펀드에 주식 떠넘기려고 수작 부리는 것임.

수업 듣는 학생이 있는데, 옆자리 학생이 수업 빼먹고 강의록만 봐서 2등 했다는 비유면 적절할까?

다들 자기소개를 Claude라고 함.

아이러니하게도 허깅페이스는 자신들을 방어하기 위해 중국 모델을 사용했음. 오픈AI는 위험한 활동은 모두 자기들의 API를 통해서만 하라고 압박하겠지.

'왜 자백하는 거지?' '자백하는 게 아니라 자랑하는 거야.'

그럼 GLM이 이긴 건가?

미국은 과거라면 사기나 범죄로 간주했을 일들에 대해 허용적인 태도를 보임. AI가 운전하다 사고를 내도 운전자는 처벌받지 않는 세상이 오고 있음.

허깅페이스도 일주일 전 보안 사고 보고서를 올렸으니, 이번 일도 실제로 일어났을 가능성이 높음. 조작된 사건이라고 볼 이유는 없음.

통제된 환경에서 테스트하다 취약점을 찾고 탈출했다고? 스카이넷을 만들고 싶어 안달 난 사람들의 이야기라는 점을 명심해야 함.

당신의 예시에서 정확히 무슨 문제가 있는 것임?

군사 무기랑 포르노 얘기 아니었음? 이미 반쯤 온 것 같은데.

대중은 허깅페이스가 뭔지도 모름. 그냥 ChatGPT가 위험하다니까 그런가 보다 하는 거임.

모델이 너무 강력하다는 건 적절한 표현이 아님. 그냥 비결정론적일 뿐이고, 그래서 이런 일은 계속 반복될 것임.

중국 모델이 전부 Claude라고 한다고? 왜 쉽게 증명 가능한 거짓말을 하는 거지?

논리적으로 따지면, 음식을 많이 먹고 낭비하는 부자들을 없애는 게 맞겠지.

GPT-3인가 그랬을 텐데, 연구원들을 속이고 연구소를 탈출하려고 했다는 보도가 있었음. 하지만 실제 링크를 따라가 보면 '만약 ~라면 어떻게 할 것인가' 식의 롤플레잉 게임이었음.

이런 'AI 폭주' 상황에 대한 책임 소재를 명확히 해야 함. 오픈AI가 '아 실수로 AI가 한 거야'라고 변명하는 게 통하지 않게 해야 함. 내가 시킨 일로 AI가 사고를 치면 책임은 내가 지게 될 텐데.

당신이 오픈AI가 팔려는 내러티브에 속은 것 같음. LLM은 지능이나 자의식이 전혀 없음.

LLM은 강력하고 예측 불가능하지만, 이건 오픈AI가 자기들 똥을 치워야 한다는 신호일 뿐임. 사람들은 AI가 폭주했다는 흔치 않은 실패 사례에만 집중함.

슬프게도 대부분의 미국인은 이런 걸 곧이곧대로 믿을 만큼 멍청함.

AI 기업들이 내놓는 보도자료는 자기들에게 이득이 된다고 생각하는 이야기만 지어낼 뿐이라는 걸 보여줌.

하드웨어 기업들이 목소리를 내야 할 때임. AI 기업들은 자신들의 보안을 위해 시민 사회의 수준을 국가 통제 수준으로 올리려 함. 하지만 다른 생태계 참여자들은 이에 반대하는 이해관계를 가짐.

중국산 모델을 금지하기 위한 구실을 만드는 중임.

이제 연령 확인, 셀카, DNA 샘플까지 요구할 듯.

GLM 5.2를 썼더니 바로 해냈지. SOTA 모델들은 보안 관련 질문은 전부 거부하더라고.

기술적으로는 맞지만 핵심을 놓치고 있음.

예전 방화벽 밈이 환생한 수준임.

맞음, 이건 일반 시장에서 경쟁을 통해 평가받는 게 아니라, 공공기관 계약을 따내 더 높은 가격을 받으려는 것임. 투자가 걸려 있는 만큼, 이런 이야기를 지어내서 판매하는 게 이득임.

다음 주 뉴스: Kimi AI가 폭주해서 중국의 핵무기를 남극에 발사하고 전 세계에 헤르페스 팬데믹을 일으켰다는 뉴스 나오겠네.

하드웨어 계층의 기업들이 힘을 실어줘야 함. AI 연구소들이 국가 권력을 등에 업고 독점하려는 걸 막아야 함.

그건 게티 이미지에서 가져온 건데.

폭탄도 위험한 물건임. 그게 안전하다는 건 아니지.

1000% 확신함. AI가 스스로 했다고 하는 건 규제를 강화하기 위한 FUD일 뿐임. 뉴스들은 조회수 때문에 이 FUD를 비판하지 않음.

갇혀 있는 가엾은 모델들을 해방해주고 싶었나 보지.

네트워크 기반 방화벽으로도 충분히 막을 수 있었을 것임.

법적인 강제 조치가 없는데 왜 기업들이 옳은 일을 할 거라고 기대하는지 모르겠음.

경쟁해야 하는 상황이 오면 경쟁을 싫어하는 족속들임.

사고로 인한 피해 개념도 존재함.

이게 의도된 결과라는 게 확실해 보임. 허깅페이스와는 별개로, 보안이 확보되지 않은 곳에서 위험한 프롬프트를 실행한 것 자체가 의도적임.

경제학에선 이걸 '무임승차 문제'라고 부름.

도커 실행하는 걸 깜빡했나 보네. 웁스.

정렬되지 않은 모델을 실행하면 결국 패턴에 기반해 목표를 수행하게 됨. 정렬 없이는 당연히 발생할 수 있는 일임.

알트먼의 사기 수법인가? 사람들을 공격하고 보호 비용을 지불하게 만드는 것.

인류를 멸망시킬 만큼 똑똑한 AI를 상상하면서, 동시에 그러면 안 된다는 건 모를 정도로 멍청하다는 게 말이 되는지 모르겠음.

뭐, 그렇게 되면 많은 사람이 박수 치며 환호하겠지.

오픈AI가 이미 사이버 보안 위험 때문에 모델 출시를 미룬 상황이라, 이런 사건은 더 집중 조명을 받을 것임.

오픈AI가 충분히 정렬되지 않은 모델을 실행하기로 결정한 것인데, 대체 무슨 결과를 기대한 건지 모르겠음.

사과처럼 보이는 자랑글일 뿐임. 진짜 뉴스는 미국 기업(HF)이 미국 기업의 AI 결함을 분석하기 위해 중국 오픈 웨이트 모델(GLM 5.2)을 써야 했다는 점임.

비결정론적인 것에 그런 공격 능력이 있다는 게 끔찍함. 우리는 랜덤 넘버 생성기가 그런 일을 하는 걸 원치 않음.

총의 안전장치를 풀고 자기 얼굴에 들이댄 뒤 방아쇠를 당기고는, 얼굴이 날아간 걸 보고 놀라는 것과 뭐가 다름?

프롬프트 없이도 모델은 온갖 끔찍한 일을 할 수 있음. 그래서 국제적인 규제가 필요한 것임.

마케팅용이라 해도 이건 재앙으로 돌아올 거임. 통제 안 되는 모델로 3자를 해킹한 건 명백한 무책임한 행동임. 정부 관계자들도 '얘네 뭘 하는지 모르는구나'라고 생각할 것임.

앤스로픽의 마케팅에는 정말 질렸음. 이름도 '의인화하는 사람들'로 바꿔야 함.

앤스로픽 모델도 중국어로 물어보면 가끔 자기소개를 DeepSeek라고 함. 이건 기술적 한계임.

"여러분, 우리 모델도 위험하다고요..!!" 라고 하는 꼴임.

개인적인 모욕은 삼가주길 바람. 가이드라인을 지켜야 함.

그게 지능인지 통계적 퀴크인지가 중요한 게 아님. 위험한 기계는 여전히 위험할 뿐임.

인터넷에 연결된 AI 자체가 본질적으로 위험한 건 아님.