AI 돈값 아직 개발 말고는 잘 모르겠다는 얘기

기업에 AI를 제대로 통합하려면, 그 일을 주도하는 사람들이 곧 쓸모없어질 수도 있다. 그래서 ‘진짜 공산주의는 아직 시도되지 않았다’는 말처럼 끝없이 미뤄지는 상황이 될 수 있다는 생각이다.

여러 조직의 업무 자동화를 해보니, 부서마다 투자가 부족해 미뤄둔 모범 사례가 있었다. 자동화와 에이전트가 그런 일을 맡거나 조직이 그 일을 하도록 돕는다. 회사는 연초 목표를 세웠다가 3분기쯤 많이 취소하곤 했는데, 이제 취소되는 목표가 줄었다. 하지만 생산성이나 비용 절감만 보면 성과가 없다고 나올 수 있다. 비용은 그대로거나 AI 비용 때문에 더 들 수도 있기 때문이다. 절감 가능성은 있지만, 그것만이 중요한 지표는 아니다. 조직이 왜 특정 일을 계속하는지, 누가 ‘이거 굳이 해야 하나?’라고 말할 수 있는지까지 봐야 한다. 그렇지 않으면 회사는 더 많은 일을 하게 될 뿐이다.

기술 업계에서도 효과를 보기 어렵다는 생각이다. 고객 대응 부문에서는 성과가 있었지만 개발팀이 가장 큰 문제였다. AI가 잘 통하는 분야에서도 효과적인 도입의 최대 장벽은 ‘언젠가 내 일자리를 뺏을 기술을 왜 도와야 하느냐’는 반감이다. 내 대답은 ‘도입을 거부한다고 일자리가 지켜지는 건 아니다. 회사 전체가 무너지면 모두의 일자리가 위험해진다’는 것이다. 회사가 사라지면 그 회사의 직원이라는 자리도 사라진다. 경쟁이 치열한 시장에선 선의만으로 이기려는 기업이 불리해질 수 있다.

제조업이 로봇과 현대적인 기계의 도움을 받지 않는다는 건가? 과학이 컴퓨터의 혜택을 받지 않는다는 건가? 무슨 말인지 모르겠다.

AI를 더 생산적으로 쓰는 법을 사람들이 익히는 것도 문제다. 지난주 AI로 코드를 작성한 개발자의 결과물을 검토했는데, 처음엔 괜찮다가 엉뚱한 대화 내용이 맥락에 섞이면서 기본 클래스 상속 구조가 엉망이 됐다. 알고 보니 작업과 무관한 질문을 같은 채팅에 해서 맥락을 흐린 거였다. 다음엔 별도 대화를 쓰라고 알려줄 수는 있었지만, 평소 실력 좋은 개발자도 과로하고 있었다. ‘동료 둘을 줄였으니 코파일럿이나 클로드를 써라’는 말을 듣는 비기술직 직원들은 충분한 안내도 없이 생산성 향상은커녕 문제를 쫓아다니게 되는 건 아닐까.

AI에 아무 가치도 없다고 말하는 사람은 이제 소수다. 진짜 쟁점은 지금의 대규모 투자가 어떻게 될지다. AI를 매일 쓰고 여러 대화를 동시에 돌리는 우리 같은 사람들에게도, AI가 당장 모든 업종을 뒤집지 않는 건 그리 놀랍지 않다. 내 업무의 매 순간은 완전히 바뀌었지만 큰 틀에서 하는 일은 크게 달라지지 않았고, 전체적인 개선은 2~2.5배쯤으로 느낀다. 가속하기 어려운 부분이 남아 있기 때문이다. 단위 테스트, 지속적 통합 테스트, 코드 검토처럼 안전장치가 없다면 실제 업무를 AI에 맡기기 어렵다. 프로그래밍에선 이런 장치가 AI를 잘 활용하게 해주지만, 보호망이 훨씬 적은 분야라면 더 망설일 것 같다.

재밌는 비유지만, 소프트웨어가 LLM 코딩 에이전트의 도움을 받기 유독 좋은 분야라는 설명도 가능하다. 인간 개발자가 실수하지 않도록 돕는 도구가 오랫동안 만들어져 왔다. 컴파일러는 문법을 확인하고, 린터와 정적 분석은 문제 패턴을 찾고, 메모리 누수 도구는 메모리 관리 문제를 잡고, 프로파일러는 성능을 살핀다. 다른 분야에는 이 정도로 AI의 오류를 줄여주는 도구가 거의 없다. AI가 어떤 분야에 도움이 될지 논할 때는 추상적인 말보다 실제로 그 분야가 가진 특성을 살펴봐야 한다.

AI는 예전 소프트웨어와 다르다. 예전엔 만들어 배포하면 됐고, SAP나 워크데이 같은 고가 제품 외엔 맞춤화가 별로 없었다. 하지만 소프트웨어 업계 밖에서 AI를 제대로 쓰려면 손이 많이 가는 맞춤화가 필요하다.

그가 무관해 보이는 데이터를 한데 넣어 실행 가능한 BI 결과를 얻는 걸 좋아한다고 했다. 다만 그가 실행 가능하다고 여기는 BI일 뿐이다.

내가 하는 일은 예전 업무와 비교하면 상당히 복잡하지만, 엔지니어가 명확하게 요청하고 결과를 조금 손볼 수 있다면 생산성이 크게 오른다. 반면 외주 업체는 코드 검토만 보면 결과물이 좋아진 것처럼 보이지만, 직접 도구를 써보면 실제 작업 시간은 전보다 더 부풀려졌을 수도 있다.

AI는 언어를 다루는 분야에 가장 큰 영향을 준다고 본다. 기술 업계는 비싼 언어 노동이 중심이고, 한 시간 일한 사람의 비용이 매우 높으며 인력 수급 문제도 있다. 반면 배관공 같은 물리적인 일은 그대로 남고, 구글 대신 제미나이에게 물어볼 수 있는 정도다. 교육도 언어 중심이라 영향을 받을 수 있다. 철강이나 농업, 농작물 생산은 달라진 게 거의 없고, 달라진 부분도 소프트웨어나 언어 작업 쪽이다. 실리콘밸리가 소프트웨어가 할 수 있는 일을 과대평가한다는 말이다.

명령과 정해진 절차에 익숙한 직원들에게서 마법 같은 생산성 향상을 기대하긴 어렵다. LLM에서 가치를 뽑으려면 좋은 입력을 만들 수 있게 생각하고 아이디어를 내야 한다. AI 도입의 성과가 제한적인 건 놀랄 일이 아니다. 순응적인 직원에게 창의성을 기대할 수 없는데 기업들은 마치 요술램프를 얻은 것처럼 착각한다. AI가 안 된다고 하는 사람 중에는 제대로 쓸 기술과 지식이 부족한 이들도 있을 거라는 주장이다.

큰 AI 기업은 대부분 소프트웨어 회사라는 점도 봐야 한다. 직원들이 제품을 직접 쓰고 개선하면서 코딩에 맞게 제품을 조정하고 학습시킬 뿐 아니라 한계도 잘 안다. 그래서 제품을 개발하는 방식에도 그 이해가 반영된다. 다른 업종에서는 엔지니어나 경영학 전공 임원을 아무리 투입해도, 직접 제품을 써보기 전에는 개발 방향을 제대로 잡기 어렵다.

내가 다니는 병원은 AI가 진료 기록을 작성하기 시작했는데, 기록에 엉뚱한 내용이 가득하다. 의사가 말하지 않은 진단, 의사의 가족 이야기를 내 가족 병력처럼 적고, 하지 않은 검사도 했다고 나온다. 지속적인 엉치관절 통증 때문에 진료를 받았는데 차트에 실제로 하지 않은 검사 결과와 의사가 확인하지 않은 진단이 쌓였다. 중요한 내용은 몇 번 정정을 요청했지만, 틀린 내용이 너무 많다.

기술 업계 밖에서 AI가 기업에 재정적 성과를 전혀 주지 않았다는 주장이라면, 기술 업계 안에서도 실제로 안정적인 매출이 늘었는지 따져볼 수 있다. 막대한 설비 투자와 대출, 서로 맞물린 투자 약속을 생각하면 더 그렇다.

둘 다 사실일 수 있다. 구체적인 뉴스에는 놀랄 수 있지만, 10년 뒤 ‘소프트웨어 엔지니어’ 채용이 지금처럼 흔하지 않을 거라고 본다. 반대로 로봇 스타트업이 현실 세계에서 빠르고 저렴하게 사람의 노동을 크게 대체할 범용 AI를 개발할 거라고도 생각하지 않는다. AI가 물리학의 특정 난제를 풀지 못할지, 풀 수 있을지에 대해선 반반이다. 어려운 수학을 해내는 AI가 물리학 문제도 다룰 수는 있지만, 앞으로 성장세가 얼마나 이어질지에 달려 있다.

AI 도입을 산업혁명에 빗대는 게 우습다는 반응이다. 산업혁명은 물건을 대량 생산해 보통 사람들도 전에는 가질 수 없던 것을 누리게 했지만, AI는 지적 노동을 대량 생산한다. 사람들은 이미 음악, TV, 소프트웨어를 너무 많이 갖고 있어 대량 생산된 콘텐츠가 필요하지 않다. 이득을 얻는 쪽은 소유 계층이고, 기술 기업 경영진이 AI를 밀어붙이는 이유도 거기에 있다는 주장이다. 앞으로 더 크게 늘어날 건 스팸과 서비스 품질 저하뿐일 거라고 본다.

AI를 쓰지 않는 건 어리석다고 몰아가며 상사들이 직원에게 도입을 강요하고, 나중에 그걸 성공이라고 주장하지 않겠느냐는 말이다.

CRUD 기능을 만드는 일은 AI가 영향을 주고 있지만, 코드 줄을 많이 뽑는 것과 소프트웨어가 건강하게 유지되는 건 다른 문제다. 실제 소프트웨어에선 기능을 더하는 것보다 시스템 유지보수가 중요하다. 사람이 만들든 기계가 만들든 급히 이어 붙인 코드가 쌓이면 나중에 골칫거리가 된다. 개발 도구를 버리고 마법 같은 프롬프트에 의존하는 건 무책임하고 근시안적이다. 예전에도 외주를 주면 코드를 싸게 만들 수 있었다.

아폴로의 분석은 꽤 허술하다는 반응이다. 매그니피센트 7의 이익률은 2020년부터 오르는 추세였으니 AI 덕분이라고 단정하는 건 성급하다. 코로나 이후 매출 성장과 최근 몇 년간의 해고도 함께 봐야 한다. 일반 기업은 이제야 기업용 도구를 도입하기 시작했으니 효과는 적어도 12~24개월 뒤에 나타날 수 있다. 막대그래프도 엉망이고, 거시경제 차원에서 AI의 생산성 효과만 따로 떼어 측정하기란 거의 불가능하다는 비판이다.

1센트짜리 아스피린을 만드는 기계를 만들겠다며 1조 달러를 빌려, 1달러짜리 복제약과 경쟁한다고 생각해보자. 그러면 아스피린을 99센트에 팔 유인이 크다. 생산성 향상이 안 보이는 건 그 이득 대부분이 AI 업체 매출로 흡수되기 때문이라는 주장이다. 업체는 기존 인건비에 거의 맞먹는 돈을 토큰에 쓰게 하고, 생산성은 조금만 높이려 한다. 생산성을 10배로 만들고 싶으면 토큰 비용도 9.9배 더 내라는 식이다. 연구에서 나온 혁신이 실제로 있더라도 업체가 그 가치를 가두고 수익으로 돌릴 거라고 본다.

AI가 가장 잘하는 일은 지금으로선 코딩 에이전트다. 기술 업계에선 소프트웨어 개발이 수익을 만드는 일이지만, 일반 기업에선 비용 부서인 IT에 속한다. 기업용 소프트웨어는 수십 년 된 시스템을 덧대며 유지해 왔고, 저가 외주 업체가 관리하는 경우도 있어 AI로 생산성을 끌어올리기 어렵다. 고객지원 챗봇에서 효과를 본 회사도 있지만, 고객 서비스 자체가 엉망이라 성과 측정이 어렵다. 그 밖엔 AI로 대충 만든 글을 복사해 붙이는 정도다. 운영·재무·마케팅 업무를 끝까지 처리하는 새 활용 사례가 나와야 재무제표에서도 생산성 향상이 보일 거라는 주장이다.

수력으로 돌아가는 곡물 공장을 전기 모터로 바꾸는 비유가 나왔는데, 오히려 새 공장을 지어야 한다는 쪽에 더 맞는 예시다. 기존 물레방아 자리에 모터를 단다고 별 이득이 있는 게 아니다. 공장의 위치와 구조도 전기 시대에 맞지 않아서, 새 부지를 정하고 완전히 새로 짓는 편이 낫다. 그렇다고 새 공장을 지을 때 기존 공장을 바로 닫을 필요는 없다. 경제성이 사라지는 시점에 문을 닫으면 된다.

직장에서 코파일럿으로 수표와 송장 스캔을 처리해 파일 이름을 바꾸려 했다. 수표의 계좌 정보는 가린 상태였고, 한 번에 20개 파일을 처리하도록 했지만 결과는 자주 빠졌다. 20줄을 요청해도 15줄만 나오거나 그보다 적을 때가 있었고, 한참 쓰면 실패율도 높아졌다. 대화와 앱을 닫고 다시 시작해도 파일 업로드 한도가 걸렸다. 이후 코파일럿 접근이 막혀 시범 프로그램이 끝나기를 기다리는 중이다. 이 작업을 빠르고 정확하게 할 수 있는 로컬 모델이 있는지도 궁금하다.

왜 아직 성과가 나타나지 않았는지 모르겠다는 생각은 들지 않는다. 일부 소프트웨어 회사는 인원을 늘리지 않고도 생산량을 키웠지만, 소프트웨어 기능이 늘었다고 경제 전체의 생산성이 당장 오르는 건 아니다. 전자상거래를 예로 들면 아마존이 1997년 상장했을 때 매출은 월마트의 아주 작은 일부였고, 오프라인 유통이 체감하기까지도 오랜 시간이 걸렸다. 기술 업계에서는 더 일찍 변화가 느껴졌지만 전자상거래 자체는 당시 전체 소매에서 작은 비중이었다. 소프트웨어 업계에선 지금 큰 변화가 벌어지고 있어도 다른 업종에서 차이를 알아채기까지 여러 해가 걸릴 수 있다.

생성형 AI는 계속 쓰일 거라는 점과, 관련 업체가 아닌 곳에서 투자 대비 수익을 낼지는 아직 모른다는 점은 동시에 성립할 수 있다. 인터넷으로 새로운 유형의 기업이 생겨 성장했고, 기존 기업 중엔 적응한 곳도 그렇지 못한 곳도 있다. 신문사처럼 자금 조달 방식을 찾다가 소유주에게 휘둘리게 된 업종도 있다.

책·잡지·신문 조판의 변화를 보라는 반응이다. 조판 노조가 기존 방식을 지켜낸 결과, 마지막 식자공이 은퇴할 때까지 기술과 지식이 유지됐지만, 데스크톱 출판 혁명이 오자 조판 품질이 나빠졌다는 옛 기사가 있었다. 내가 맡은 프로젝트에선 데이터 기반 조판 시스템을 만들어 연간 출판물 담당 인력을 줄였다. 관리자 두 명과 조판공 한 명, 시간제 직원 절반이 해고됐다. 그 전에도 전자 조판 시스템이 도입됐을 때 직원 수는 늘어난 적이 있었다.

다른 부서 동료는 더 단순한 송장 업무를 OCR과 파이썬으로 자동화하려 했지만 오류가 더 많았고, 손글씨 수표는 수동 검토를 해야 했다. 무료나 저렴하면서 규격이 제각각인 수표와 손글씨를 처리하고, 수표가 여러 송장 위에 놓이거나 90도 돌아간 스캔도 읽어 파일명 변경에 쓸 데이터를 뽑는 OCR 시스템을 찾지 못했다. 그런 걸 사실상 무료로 유연하게 처리하는 프로그램을 아는 사람이 있는지 묻는다.

고객이 직접 쓰는 서비스에는 AI가 별로 적용되지 않았지만, 회사 내부에선 자동화가 꽤 진행됐다는 의견이다. 내가 일하는 회사도 고객 화면은 웹사이트 디자인을 더 빨리 바꾸고, 제한적인 고객센터 챗봇을 둔 정도다. 대신 외부 분석 도구를 내부에서 만든 프로그램으로 바꾸고, 사업 현황을 더 잘 파악해 문제를 일찍 찾는 시스템과 내부 보고서를 만들 때 AI를 쓴다. 로봇 분야는 잘 모르지만 머신 비전이 산업을 바꿨다는 얘기도 들었다. 내 분야는 아니지만 AI로 소프트웨어도 많이 만들고 있을 것 같다.

AI가 현재 소프트웨어 생성에서 다른 지식 업무보다 더 유용한 건 놀랄 일이 아니다. 소프트웨어는 자동 검증이 가능하고, 그런 검증 과정이 AI가 답을 다듬게 해준다. 사람이 읽을 문서를 만들려면 꼼꼼히 확인하고 고쳐야 하는데, 그럴듯하지만 미묘하게 틀린 내용을 문장마다 검토하는 건 직접 쓰는 것보다 더 힘들 수도 있다. 비기술 업종에는 전화, 소포, 팩스처럼 AI가 직접 처리하기 어려운 일도 남아 있다. 기술 기업은 2023년부터 도구 도입과 문화 변화, 업무 재정비에 투자해 왔고, 사내에서 한계를 다룰 맞춤형 연결 도구와 안전장치도 만들 수 있다. 반면 다른 업종은 투자와 교육, 업무 통합이 부족해 직원들이 쓸 수 있는 도구도 적고, 기능을 잘 모르거나 겉핥기로 활용하는 경우가 많다.

경제학 노벨상 수상자 로버트 솔로의 ‘컴퓨터 시대는 어디에나 보이지만 생산성 통계에는 보이지 않는다’는 솔로 역설이 떠오른다.

메디케어를 이용하는 80세 친구가 병원비 3만 달러를 보험사에서 보장받지 못해 손으로 이의신청서를 썼다. 그걸 스캔해 AI에게 정식 문서로 바꿔 달라고 했는데, 제미나이와 퍼플렉시티는 못 했고 코파일럿은 해냈다. 다음부터는 어떤 앱을 써야 할지 알게 돼 시간을 아꼈지만, 맞는 도구를 찾기까지는 수고가 들었다. SAP에서 프로젝트 매니저로 일하는 친구는 경영진이 AI 사용을 장려하며 보너스까지 준다고 불평했다. 그래도 실제 업무에 써봐야 무엇이 되고 안 되는지 알 수 있다. 지금은 특정 업무에 맞는 앱을 찾고, 쓸 만한 요청문을 익히는 데 시간이 든다. 그래서 발전이 없진 않지만 조금씩 이뤄지는 중이다.

AI는 계산기는 잘해도 비즈니스의 핵심은 판단력이라는 말은 맞다. 판단은 맥락에 따라 달라지고, 누구에게 묻느냐에 따라서도 답이 다르다. AI는 책임, 신뢰, 문화, 암묵적 규칙, 윤리적 선택과 공정성을 이해하지 못하고 이런 요소가 평판과 매출에 영향을 준다. 그래도 LLM 에이전트가 단순 업무를 맡아주면 사람이 판단에 쓸 시간이 늘어 각자 더 많은 일을 할 수 있다. 성장 업종은 매출을, 정체하거나 줄어드는 업종은 인력 감축을 통해 이익을 늘릴 수 있다는 반론이다.

전기와 증기기관이 생산성에 큰 영향을 주기까지 40년쯤 걸렸다는 게 내 인상이다. 노벨 경제학상 수상자 로버트 솔로도 1987년에 ‘컴퓨터 시대는 어디에나 보이지만 생산성 통계에는 보이지 않는다’고 말했다. AI는 범용 기술보다 적용하기 쉬워 더 빠를 수 있다. 한국은행 연구에서 소규모 사업자는 생산성이 오른 사례도 있었는데, 직원과 업무 과정을 재편할 필요가 없기 때문이다. 기업 전반에서 이렇게 빨리 성과가 나올 거라 기대할 이유는 없었다는 의견이다.

평균적인 사무직의 일이 자동화하기 쉬운 부분으로 이뤄졌다고 보기 어렵다. 내가 아는 사무직은 대부분 서로 대화하거나, 다음에 모여서 무슨 말을 할지 열심히 생각하는 데 시간을 쓴다. 그게 대체로 맞다면, 소통 능력이 뛰어나다고 보기 어려운 LLM이 잘할 수 있는 사무 업무는 많지 않을 수 있다.

그 정도 규모의 주장이 데이터에 근거하지 않았다면, 그건 근거가 아니라 느낌과 분위기다.

매그니피센트 7에서도 AI 투자의 수혜를 빼면 실제 효과가 얼마나 있는지 의심스럽다는 의견이다. 2023년 이후 AI가 아닌 제품이 의미 있게 개선된 사례를 찾기 어렵다. 문제는 AI가 ‘이해하지 못한다’는 것보다 창의성 부족과 AI의 능력에 대한 오판이다. LLM이 직업 전체를 대체한다는 건 허상일 가능성이 크다. 앞으로 10년 동안 기업은 달라지겠지만, 변화는 기존 기업보다 스타트업에서 먼저 일어나고 퍼져나갈 수 있다. S&P 493과 매그니피센트 7에서도 큰 변화가 있을 수 있다.

앞선 댓글에서 말한 ‘실제 업무에는 AI를 믿기 어렵다’는 주장이 LLM이나 에이전트에만 해당하는 것일 수 있다. 웨이모나 죽스도 AI이고, 나는 이 차를 기꺼이 탈 것 같다. 실제로 사람들이 AI에 목숨을 맡기는 업무다. 검색 결과, 길 안내, 이미지 인식, 자동 배차와 분류에도 AI 모델이 쓰인다. 과일 포장 업체는 머신 비전으로 포장할 과일을 실시간으로 고른다고 한다. 나도 모르는 사이 일상에서 이미 AI를 믿고 의지하고 있을 수 있다.

이 데이터는 잘못 읽은 것 같다. AI 투자를 빼면 사실상 경기 침체라는 주장도 있고, GDP 통계도 주거비 추정치에 기대고 있어 문제가 있다는 지적이다. 사모펀드가 쌓아둔 투자 자산도 시한폭탄이라는 주장이다. AI의 실제 효과는 노동력 대체와 임금 억제일 수 있다. 매그니피센트 7을 빼면 기업 이익이 정체된 게 아니라 하락해야 할 상황일 수도 있다는 것이다. 사람들은 사회가 한계에 가까워진 정도를 과소평가한다고 우려한다.

발표 자료 등을 너무 쉽게 만들 수 있게 되면서 읽어야 할 자료가 열 배나 늘어난 것 같다. 생산성은 높아졌지만 나온 결과는 별 가치가 없고 질도 나쁘다. 보기 좋은 결과물을 만드는 것보다 실제 가치를 만드는 게 어렵다.

특정 용도를 겨냥하지 않고 만든 도구는 결국 만든 사람들만 쓰는 도구가 되기 쉽다. 기술 업계는 거대한 메아리방이라 자신들이 만드는 게 만병통치약이라고 믿지만, 업계 밖에선 AI가 무엇이고 어떻게 작동하는지 잘 모른 채 그 말에 기대를 건다. 현실의 AI는 어려운 문제를 해결하는 게 아니라, 이미 하던 일을 조금 더 빠르고 싸게 하는 정도다. 다만 결과를 매번 똑같이 내거나 믿을 수는 없다. 더 큰 트럭이 생겨도 운전하고 주차하고 연료를 넣는 사람은 필요하듯, AI가 책임을 질 수 있기 전엔 사람을 대체하지 못한다는 주장이다.

교육을 개선할 기회는 인터넷 시대에 무수히 열렸지만, 시각적인 설명과 세계 최고의 교사에게 접근할 기회, 학생과 연결되는 편의, 반복해서 볼 수 있는 수업 대신 우리는 대부분 낡은 방식을 유지한 채 아이들 앞에 중독성 강한 기기를 놓아뒀다.

AI의 성패는 매그니피센트 7이 아니라 S&P 493에서 결정될 거라는 말이 있다. 아직 기술 업계 밖에서 매출 성장이나 이익률이 개선됐다는 증거는 없고, 여러 설명은 그저 이론일 뿐이다. 맞는 설명이 나올 수도, 모두 틀릴 수도 있다. 지금 경제 현실은 기대에 못 미치지만, 앞으로는 어느 쪽일지 장담하기 어렵다.

나는 한 달에 두 자릿수 배 적은 돈을 쓰면서도 충분히 만족한다. AI를 무조건 밀어붙이는 사람은 아니다. AI에 열성적인 데 월평균 가구 소득의 두세 배가 든다면, 이 커뮤니티 댓글 중 일부가 왜 그런지 알 것 같다.

기업 현장에선 대부분 앤스로픽과 오픈AI 도구를 쓰고, 다른 경쟁 모델을 아는 사람은 드물다. AI가 제대로 작동하면 조심스러운 엔지니어가 예전보다 훨씬 많은 일을 만들 수 있다는 점은 분명하다. 하지만 토큰에 큰돈을 쓰고도 주말까지 붙들고 고쳐야 할 시스템을 만드는 경우가 있다. 사용자는 무엇을 고치고 있는지도 잘 모르게 된다. 업체들은 더 많은 코드와 복잡한 설계를 쓰도록 유도할 유인이 있고, 사용자가 불만을 느껴 다른 회사로 옮겨도 결국 두 업체 중 하나에 더 묶이는 상황이 된다.

제본스의 역설이다. 일을 더 효율적으로 만들면 오히려 할 일이 더 늘어날 수 있다.

코딩을 제외하면 LLM은 똑똑한 제너럴리스트의 능력을 키워준다고 생각한다. 동시에 평균적인 사람이 쓰기 어렵거나 가치 있다고 착각할 엉성한 결과물도 쏟아내 일을 더 나쁘게 만들 수 있다. 보통 기업은 똑똑한 제너럴리스트를 중심으로 돌아가도록 설계되지 않아, AI 도구를 줘도 효과가 없거나 오히려 손해일 수 있다. 새 업무 흐름과 앱이 생기겠지만 ‘글 써줘’, ‘요약해줘’처럼 기존 업체가 끼워 넣은 도구에서 나오진 않을 것이다. 이 도구들은 인지 부담을 줄이려다 제대로 해내지 못하고, 사용자는 오히려 더 힘들어질 수 있다.

주장은 오픈 웨이트 모델이 있고 오픈AI와 앤스로픽도 적자를 내고 있다는 점에서 무너진다는 반박이다. AI가 큰 생산성을 만들지만 폐쇄형 모델 업체가 그 가치를 독차지한다면 기업들은 오픈 모델과 자체 서버로 옮겨가 이익을 가져갈 수 있다. 시장은 빨리 적응할 것이다. 또 업체들이 가치 100달러를 만들고 99.9달러를 가져간다 해도, 그 가치를 만들기 위해 150달러를 쓴다면 여전히 적자다. 생산한 가치를 전부 가져가도 수익을 못 내는 게 사실이라면 AI 업계에 더 나쁜 소식이라는 주장이다.

성과가 아직 눈에 띄지 않는 건 소프트웨어 개발 외에는 업무 방식에 정착하거나 통합되지 않았기 때문이라는 생각이다. AI를 쓰면서 여가 시간이 늘어난 사람은 있다. HOA 회의에서 만난 케이블 회사 직원은 클로드를 써서 하루 8시간 걸리던 일을 몇 시간으로 줄였다고 했다. 부동산 관리 회사 직원에게도 최근 큰 도움이 됐고, 자동차 보증 프로그램의 지역 관리자는 문서 작업 시간을 줄였다. 다만 이들은 회사 시스템에 통합된 AI가 아니라 웹에서 챗GPT 같은 도구를 직접 쓰는 수준이다.

앞선 댓글의 핵심은 LLM이 제대로 작동하려면 결과를 검증할 수 있어야 한다는 점이다. 소프트웨어는 컴파일러, 린터, 정적 분석, 메모리 오류 탐지 도구로 확인할 수 있고, 최소한 실행해 충돌하는지 볼 수도 있다. 수학은 자동 정리 증명기로, 체스나 바둑은 점수로 결과를 검증할 수 있다. 실제로 LLM이 만든 수학 증명 중 틀린 사례도 있었고, 더 많은 증명은 검토 중일 것이다. 결과를 확인하기 어려운 분야에서 LLM이 어떤 능력을 가졌다고 단정하는 건 현재 성능과 맞지 않는다. 가능할 수도 없을 수도 있지만, 지금은 둘 다 추측이다.

AI가 교육을 더 효율적으로 만들 수는 있어도 학습 자체를 돕는지는 모르겠다. 컴퓨터 덕에 더 많은 정보와 논문을 찾을 수 있지만, 배우는 데 중요한 건 책 한 권 같은 적은 자료를 제대로 이해하는 일이다. 컴퓨터는 보고서나 과제를 빠르게 쓰게 해주지만, 정보가 너무 많아 산만해지기도 한다. 연구를 따라가고 성과를 내는 데는 도움이 되지만, 독립적이고 엄밀하게 생각하는 사람을 길러주는 데는 방해가 될 수 있다.

기업이 10만 달러짜리 엔지니어 대신 연산에 9만 9천 달러를 쓰고 결과물을 다섯 배 만든다면, 전체 노동 생산성이 오른 것 아닌가? 다만 기업은 토큰 비용을 내고, 토큰 업체가 연산 비용을 써서 결과를 돌려주는 중간자 구조다. 업체는 기존 생산량을 조금만 넘어도 판매할 수 있으니 5배 생산성을 위해 더 투자할 이유가 없다. 또 경쟁자가 값싼 기계를 싸게 팔아 시장을 차지할 것이라는 기대와 달리, 실제로는 경쟁이 파이를 키우기보다 줄이는 방향으로 작동할 수도 있다. 그래서 기업들이 경쟁을 피하려 한다는 게 경험적으로 보이는 모습이다.