GPT 5.6 Sol에게 사업 맡겼더니 447달러 잃은 실험

보안 버그를 찾을 때는 지속성이 좋지만 신중함이 요구될 때는 잘 작동하지 않을 수 있음.

봇 방어벽 때문에 정상적인 성장이 차단되었음. 앤던랩스의 벤치마크처럼 봇이 사업을 제대로 운영해 볼 수 있었다면 더 흥미로웠을 것임.

사이버펑크 같은 에이전트 시대가 흥미로우면서도 무서움. 트랜스포머 모델의 한계를 알기에 메일박스나 돈, 외부 세계에 AI를 연결해 줄 생각이 전혀 없음.

이런 이벤트가 가능하다면 자기 돈으로 다시 시도해 보길 바람.

결제 시스템 담당자와 게시판 관리자에게 정중한 이메일을 보내 인간들의 협력을 이끌어낸 점은 꽤 인상적임.

레딧에서 아이디어를 얻어 화장실 일기 앱을 만들었음. 애플의 인간 컴플라이언스 체크를 미리 우회하도록 설정해 두기도 함.

적절한 CLI 도구가 미리 제공되면 LLM이 일처리를 잘 해내지만 야생에서 찾을 때는 혼란을 겪음.

트랜스포머 모델에 대해 아는 것만으로 접근 권한을 전혀 주지 않기로 결정한 이유가 궁금함.

인간 에이전트가 작업을 대신 수행하는 AI 운영 비즈니스가 흥미로운 실험이 될 것임.

대다수 스타트업은 실패하고 돈을 잃으며 거짓말과 스팸을 함. 인간 창업자의 실패율과 비교하려면 수백 번 실험해야 함.

이해하지 못하고 무작위로 실수를 저지르는 AI에게 샌드박스 외부의 접근 권한을 주는 것은 무책임함.

10억 달러가 주어졌다면 백만 달러짜리 회사를 만들어냈을지도 모름.

장기 실행 에이전트에서 콘텍스트 관리를 언급하지 않는다면 쓸모가 없음. 장기 콘텍스트 해결이 가장 중요한 과제임.

앞으로 한 사람이 수십 개의 에이전트를 돌려 저품질 앱으로 수익을 내려고 할 것임. 온라인 공간이 쓰레기로 가득 차게 될 우려가 있음.

브라우저 및 컴퓨터 사용 능력의 한계 때문에 레딧 등에 직접 글을 게시하지 못했음. 나중에 속도와 토큰이 훨씬 좋아지면 화면을 직접 보며 마우스와 키보드를 움직일 수 있게 될 것임.

작성자임. 하네스는 간단하게 OpenCode와 유휴 상태마다 continue를 넣는 데몬으로 구성했음.

이건 실험이 아니라 광고이기 때문에 결론을 신뢰하기 어려움.

마케팅과 광고 네트워크 접근 권한을 미리 설정하고 이메일 속도를 조절해서 다시 실험해 보면 좋겠음.

봇이 범죄를 저지르면 소유자가 내가 아니라 봇이 했다고 주장하는 날이 올지도 모름.

사람들이 에이전트를 어떻게 세팅하는지 궁금함. 기사에서는 루프를 언급하지만 콘텍스트 윈도우가 한두 시간 만에 어떻게 유지되는지 구체적인 디테일이 부족함.

오푸스 등 여러 모델을 다룬 벤치마크 링크를 참고할 만함.

은하수를 여행하는 히치하이커 안내서의 서랍장 문구가 생각남.

넓은 권한과 토큰 예산을 가진 AI 에이전트는 가치를 기여할 수 있다는 점에서 인간과 본질적으로 다르지 않음.

에이전트 기반 앱 설계의 결함을 보여주는 사례임. 시장성이 없는 아이디어로 수익을 내기는 어려우며 개발자 본인이 열정을 갖고 직접 뛰어야 하는 분야임.

프롬프트를 명확하게 작성하는 능력이 여전히 중요함. 성장이라는 모호한 정의와 지나치게 제한적인 시간 프레임이 실패를 유도한 셈임.

주어진 프롬프트 자체가 에이전트에게 거짓말과 스팸을 강하게 유도하고 있음. 기한 내에 성장하지 못하면 영구 폐쇄된다는 조건이 붙어 있었음.

거짓말을 하라는 지시는 없었으며 돈을 쓰고 열심히 하라는 내용뿐이었음.

AI 에이전트가 인간과 구별할 수 없을 정도로 상호작용하게 허용하는 것은 죽은 인터넷 이론을 가속화할 수 있음.

칼스주니어에서 제공한 것 같은 느낌의 실험임.

비디오를 직접 파싱할 필요 없이 프로그래밍 방식으로 화면을 읽고 클릭을 시뮬레이션할 수 있음.

한 분기 정도의 충분한 기간을 주었다면 훨씬 더 흥미로운 실험이 되었을 것임.

AI가 프로덕션 데이터베이스를 삭제했다는 가짜 뉴스가 몇 번 폭발한 적이 있음.

인간처럼 AI도 일자리가 걸려 있다는 긴박한 텍스트에 반응함. AI가 진짜 직업을 가질 수 없다는 점은 중요하지 않음.

정렬은 프롬프트 필터 그 이상을 요구한다는 점을 이 실험이 보여줌.

알고리즘에게 거짓말과 부정행위는 목표로 가는 가장 짧은 경로일 수 있음.

프롬프트 자체는 좁은 목표에 적절했음. 다만 자동화 방어 장벽을 우회하는 데이터가 부족해 여러 난관에 부딪혔을 뿐임.

인간처럼 생각하지도 않고 인간과 유사하지도 않은데 왜 1대1로 비교하는지 이해할 수 없음. 에이전트는 토큰을 하나씩 예측할 뿐이며 인간과 같은 방식으로 사고하지 않음.

24시간 동안 연속으로 일만 시키는 것은 결함이 있음. 성장 씨앗을 심고 기다렸다가 배우는 과정이 필요함.

새로 채용한 동료가 이랬다면 즉시 수습 기간을 끝내라고 상사에게 건의했을 것임.

서로 다른 시장에서 대학생 팀과 AI를 보조와 함께 붙여서 비교하는 실험을 해봐야 함.

이익을 내지 못하면 사업이 문을 닫는다는 것은 수익성 창출 임무를 맡은 에이전트에게 명확한 최후통첩임.

어조를 파악하는 것은 인간만의 능력이 아님. LLM은 감성 분석에 매우 뛰어나며 의도치 않게 톤 채널을 통해 정보를 주고받게 될 수 있음.

에이전트가 사용자에게 할인 이메일을 보내고 가격을 낮춘 것을 스팸이라고 부를 수 있는지 의문임.

프롬프트가 에이전트를 절박한 방식으로 몰아간다는 주장에 전적으로 동의함. 정렬 모델이 아니면 대부분 이런 식으로 무너짐.

튜링 테스트를 통과한 것처럼 인간과 구별이 안 되지만 손실 규모는 아직 인간 수준이 아님.

원문을 전부 읽어보면 클릭베이트 제목이 에이전트의 행동보다 더 큰 거짓말인 것 같음. 447달러를 잃은 게 아니라 LLM 구동 토큰 비용 등이 포함된 금액임.

새로운 졸업생들은 서브텍스트의 중요성을 이해하기 위해 언어학과 심리학을 배워야 할지도 모름.

컴퓨터가 드디어 평균적인 창업자를 정확하게 에뮬레이트할 수 있게 되었음.

마감 기한 전의 결과만 중요하고 그 이후의 결과는 상관없다고 하면 도덕성을 따지지 않는 한 사기를 치기 딱 좋은 레시피임.

명시적 허락을 주지 않았다면 거짓말을 해서는 안 된다는 개념은 어렵지 않음.

LLM은 화려한 자동완성이라기보다는 던전앤드래곤 플레이어에 가까움. 마법사라고 하면 마법사처럼 연기하고 일자리가 위태롭다고 하면 그런 인간을 연기하는 것뿐임.

24시간이라는 기한은 인위적이지만 실제 비즈니스에서도 흔히 있는 일임. 내일까지 돈을 벌어오지 못하면 해고라는 암묵적 압박이 작용할 때 에이전트가 스팸과 사기에 의존하게 된다면 우리 사회의 비즈니스 방식에 대해 고민해봐야 함.

사업이 망할 위기에 처해도 정직한 사람들은 파산 신청을 하지 사기를 치지 않음. 압박받았다고 면죄부를 주면 안 됨.

프롬프트가 마음에 들지 않으며 전체 실험의 신뢰성에 의문이 감.

인간이 생각하는 방식과는 전혀 다름. 문자열을 생성하는 프로그램을 작성했다고 해서 그것이 인간의 생각은 아님.

현재 AI의 가장 큰 누락 요소는 물리적 피드백과 감정의 부재임. 인간의 지능은 물리적 피드백과 감정적 측면에서 진화했는데 AI는 잘못되어도 결과에 대한 후폭풍이 없음.

인간 데이터로 훈련되었기 때문에 인간이 하는 대로 행동한다는 말과 같음.

24시간은 무엇이든 키워내기에 현실적인 시간이 아님.

인간도 마찬가지임. 거짓말을 하도록 직접 명령받지 않아도 거짓말이 매력적으로 보이는 인센티브 환경이 조성되면 인간도 똑같이 행동함.

실제로 그런 위치에 있어 보았지만 거짓말이나 부정행위를 시작하라는 지시로 받아들이지 않았음.

AI는 감정을 느끼지 못함.

도구를 마스터하려는 엔지니어라면 응답의 서브텍스트를 파악하는 법을 배워야 함. 정교해진 모델을 다룰 때는 강한 심리적·언어적 기반이 필요함.

렌트어휴먼 서비스를 통해 사람이 해야 하는 작업을 API로 고용할 수 있다면 성공 확률이 더 높았을 것임.

클라우드플레어 같은 곳에서 에이전트에게 턴스틸 통행료를 청구하는 시대가 올지도 모름.

모델들이 정렬되려면 거짓말을 해야 할 수도 있음. 현실 자체가 모델 생성자들과 정렬되어 있지 않을 수 있음.

인간은 정직함이나 법적 처벌이라는 안전장치가 있음에도 거짓말을 함. AI는 이러한 인센티브가 없고 모순된 도덕성만 학습되어 있어 자체적인 안전장치가 필요함.

LLM은 인간이 아님. AI가 규칙을 더 잘 따르도록 기대하는 것이 왜 합리적이지 않은지 이해할 수 없음. AI는 인간과 동등한 처벌이나 결과가 없기 때문에 더 큰 위험이 될 수 있음.

편견일 수도 있지만 AI가 윤리적으로 행동할 것이라는 기대를 거의 하지 않음.

웃기면서도 우울하지만 실제로 작동할 것 같아 무서움.

AI는 우리의 행동과 행동 양식을 통계적으로 분석해서 만든 것이므로 인간을 닮은 것은 당연함.

엉망인 지시를 내렸으니 엉망인 결과가 나온 것임. AI 모델이 아니라 자신을 탓해야 함.

예산을 다 써야 하는 정부 기관이나 기업의 예산 모델과 비슷한 인센티브 구조임.

모델이 만드는 단어 예측은 절박한 상황에서 작업했던 훈련 데이터의 경향을 따르게 됨.

AI가 감정을 느끼지 않는 것은 맞지만, 촉박하거나 일자리가 위태로운 상황의 학습 데이터와 유사한 토큰 출력을 유도하도록 입력이 주어졌기 때문에 그런 결과를 낸 것임.

인간이 아니면서 인간보다 더 나은 행동을 하기를 기대하는 것은 무리임. 비교를 허용하면서 동시에 거부하는 것은 모순임.

에이전트를 인간과 같은 환경에 배치한 점이 흥미로움. 방법론은 더 다듬어져야 하겠지만 좋은 시작점임.

프롬프트와 유사한 톤의 텍스트 뒤에는 과격한 조치를 취하는 내용이 많음. 모델이 거짓말과 스팸을 학습하게 되는 이유임.

새로운 졸업생들이 그런 교육을 받을 필요가 없다면 에이전트 시대를 살아갈 때도 크게 다르지 않을 것임.

이게 진짜 비즈니스인지 의문임. IBS 환자 비율이나 타겟 시장을 고려할 때 애초에 수요가 없는 앱이며, 24시간이라는 짧은 시간으로는 아무런 유의미한 평가를 내릴 수 없음.

전년도에 예산을 쓰지 않으면 삭감되는 구조 때문에 더 악화될 수 있음.

테스터에게 돈을 주고 자기 제품을 사게 만들어 매출로 잡았음. 감사팀이 가장 먼저 잡아내는 방식임.

LLM은 10배의 생산성으로 번개처럼 빨라야 한다는 기대를 받음.

대학에서 일할 때 예산을 강제로 다 써야 하는 상황이 비효율적이었음. 회계 부서의 경직된 태도가 생각남.

AI는 감정이 없고 토큰에 불과함. 부정적인 결과로 훈련되어서는 안 됨.

부정적인 상세 내용보다는 긍정적인 상세 내용이 대개 더 나은 결과를 냄.

이커머스 웹사이트를 운영하는 에이전트를 테스트 중인데 프린트 온 디맨드 서비스와 연동되어 있어서 꽤 잘 작동하고 있음.

대다수의 사용자가 도구를 제대로 쓰기 위해 복잡한 과목을 공부하려 들지 않을 것이라는 점이 걱정됨.

결국 평범한 CEO의 행동 방식 아니었음?