AI가 대부분 기업에 돈 못 벌어준다는 주장에 측정 방식 논쟁

S&P 500 기업에서 거의 14년을 일했는데 결국 병목이 어디에 있느냐의 문제라고 생각함. 어떤 조직에서는 일을 한 배 하든 열 배 하든 별 차이가 없음. 검토는 월요일에만 하고 배포 여부는 월말에 결정하는 절차라면 일을 빨리 끝내도 달라지는 게 별로 없으니까.

지금은 훨씬 작은 회사에 있는데, 코드 테스트 범위와 전체 제품 품질을 높이면서도 기능 출시 속도를 두 배로 올렸음. 뒤처지고 있던 마케팅 콘텐츠 생산량도 세 배가 됐고. AI는 개인 생산성을 크게 높일 수 있지만 그게 사업 성과로 이어지는지는 조직 운영 방식에 달려 있음.

내가 더 빨라졌는지는 모르겠지만 최종 결과물은 더 좋아졌다고 생각함. AI가 없었다면 시도하지 않았을 대규모 코드 개선이나 새 아키텍처도 도전해봤음. 어디까지나 내 경험 하나지만, 이게 회사 돈을 더 벌어줬는지는 모르겠음. 우리가 출시하는 제품의 테스트와 문서화는 AI를 쓰기 전보다 확실히 나아졌음.

코드를 작성하는 비용과 소프트웨어를 출시하고 유지보수하는 비용은 다른 거 아님? AI 덕분에 이 둘이 거의 별개라는 게 드러났음.

아폴로가 편향돼 있다고 암시하는데, 인용한 건 공개된 조사 결과에 대한 아주 짧은 보고서임. 내용은 미국 인구조사국이 120만 개 기업을 대상으로 격주 조사를 하고, 지난 2주간 상품이나 서비스 생산에 AI 도구를 썼는지 묻는데 당시 자료에서는 직원 250명 초과 기업의 AI 도입률이 하락하고 있었다는 것임.

두 가지가 궁금함. 첫째, 그 그래프는 지금 어떤 모습임? 어디서 찾아야 할지 몰라서 진심으로 묻는 거임. 둘째, 현재 수치와 별개로 아폴로가 그 자료를 전한 게 왜 특별히 문제라고 생각함?

아폴로 자료가 실제로 보여줄 수 있는 바를 완전히 잘못 표현한 제목이라고 봄. AI 투자 자체의 수익을 측정한 게 아니라 회사들의 전체 매출을 본 거니까.

물론 2027년 말 대규모 실업이나 1년 만에 GDP 10% 성장 같은 과도한 AI 낙관론을 견제하는 데는 도움이 됨. 하지만 AI 지출의 실제 경제적 효과가 얼마인지는 보여주지 못함. 그러려면 AI에 투자하지 않았을 경우 그 회사들의 상황이 더 좋았을지 나빴을지부터 따져야 함.

AI 지출이 빠르게 늘고 있어도 일반 기업들은 매출의 1%도 쓰지 않는 경우가 많음. 변동이 많은 매출 그래프가 오르지 않았다고 AI 지출이 쓸모없다고 할 수 있을까? 매출의 1% 미만을 쓰고 거기서 가치를 얻더라도 이런 그래프에는 드러나지 않을 수 있음.

딱 맞는 도구일 때는 정말 강력함. 반대로 맞지 않거나 아직 적합하지 않은 일이라면 직접 하는 것보다 AI를 원하는 방향으로 이끄는 데 더 오래 걸릴 수 있음.

개인적으로 조사할 때 발견한 행동도 있음. AI에게 어떤 일을 할 수 있냐고 물으면 가능하다면서 방법을 18페이지씩 알려줌. 그런데 알고 보면 기분이 좋아지는 건 실제 실행보다 방법을 발견한 순간인 경우가 많음. 펠로톤 기기의 제한을 해제할 수 있다는 걸 알게 된 건 흥미롭지만, 막상 할 수 있다는 걸 알고 나니 직접 해볼 의욕은 별로 안 생김.

AI가 가치를 만들 수 있다고 강하게 믿는 입장인데도 이 주장이 이해됨. 지금 시스템은 가치 창출 자체에 보상을 주지 않음. 똑똑한 사람들이 관료적인 일에 시간을 낭비하는 걸 많이 봤는데, AI의 능력도 똑같이 낭비된다고 해서 놀랍지 않음.

병목은 능력이 아니라 자원 배분에 있다고 봄. 대형 기술기업의 유능한 사람들이 실질적인 가치를 만들 수 있는 위험한 문제에 집중하지 못하고 관료적인 역할을 하는 경우가 많음. 지금 시스템은 혁신을 대기업 안에 묶어두고 성과를 그쪽이 가져가는 데 집중하느라 바깥에서 더 빨리 일어날 수 있는 혁신과 효율을 희생한다고 생각함.

AI 기업들이 정치적 영향력을 활용해 대기업 밖의 혁신 기회를 넓히면 좋겠음. 대기업과 정부 자금만 좇지 말고 소규모 고객과 도구 제작자를 지원하거나, 적어도 이들을 가로막는 규제를 줄이는 데 힘을 보태야 함. 벤처 투자보다 자체 자금으로 사업을 키우는 방식도 더 중시해야 한다고 봄.

나는 일상적인 업무 얘기를 하는 거임. 여러 대형 기술기업에서 일한 경험상 엔지니어가 시니어가 될수록 일을 위임하고 프로젝트를 관리하며 이끌어야 하는 경우가 많았음. 기술 지식도 필요하지만 주로 주니어 엔지니어들에게 방향을 제시하는 일이었음.

AI는 속도를 높여주지만 더 빨리 움직이려면 그만큼 더 주의를 기울여야 함. 즉 더 집중하고 개발에 더 많은 시간을 써야 함. 회사 구조가 수십 년 전처럼 엔지니어가 코드 납품에 주로 집중하는 쪽으로 돌아가야 한다고 생각함. 예전에도 실제로 그랬는지는 내가 틀렸을 수도 있지만. 차이는 이제 더 많은 고품질 코드를 기대할 수 있다는 것임.

요약하면 AI를 조금 쓰는 것만으로는 이득이 크지 않고 하루 종일 써야 하는데, 요즘 업계 대부분의 엔지니어는 그렇게 시간을 쓰지 않는다는 얘기임.

그래도 사람들 머릿속에만 있는 지식이 AI를 가져다 쓴다고 마법처럼 나타나지는 않음.

손글씨 문서나 엑셀, 셰어포인트, 오래된 전용 소프트웨어 등에 자료가 흩어진 경우라면 AI가 꽤 잘하는 영역이라고 봄. 어느 정도 오류를 받아들일 수 있다는 전제하에 문자 인식, 음성 전사, 문서 형식 변환 같은 일 말임.

사람들이 이런 일에 대부분의 시간을 쓴다면 AI가 약간의 오류를 추가하는 대신 속도를 높여줄 수 있다는 주장도 가능함. 다만 번역이나 AI 자막을 보면 여전히 사람의 손길에 비해 아쉬운 점이 많음. 다른 언어로 쓰인 손글씨에 지역 약어나 생략된 전제가 섞이면 전사가 이상해지고 오류도 많아질 수 있음.

경쟁사들도 전부 똑같이 한다면 무슨 차이가 생길까?

전부는 아니지만 대부분은 좋지 않은 결과물을 더 빨리 내놓는 것뿐임. 나도 AI 덕분에 좋은 결과물을 더 많이 만든다고 생각하지만, 내가 쓰는 제품들은 매일 더 나빠지는 느낌임. 얼마 전에는 슬랙이 동의도 묻지 않고 AI 봇 메뉴바 아이콘을 설치한 걸 발견했음. 최근 사례 하나만 들어도 이럼.

비개발자 친구들에게 AI에 대해 물어보면 대부분 아직도 챗GPT를 좀 더 나은 구글처럼 씀. 문서나 PDF, 슬라이드, 스프레드시트를 다루거나 고급 분석을 할 수 있다는 것도 잘 모르고, 소프트웨어 제작과 유지보수, 복잡한 일상 업무 관리나 자동화는 더더욱 모름.

반면 AI와 에이전트 발전을 따라가며 쓰기 시작한 사람도 몇 있음. 수상 경력이 있고 오랫동안 온라인 사진 강좌를 팔아온 사진작가 친구는 Muse를 써서 긴 영상을 잘라 자막을 붙이고 인스타 릴스로 올리는 작업을 자동화했다고 함. 조회수 100만을 넘긴 영상도 여러 개 나왔고.

또 들어오는 DM을 처리해 판매로 연결하는 걸 자동화해서 수만 달러의 매출을 올렸다고 함. 메시지가 너무 많아 직접 처리하기 어려웠고, 전담 인력을 채용하고 교육하기에는 경제성이 없었다고 함. 문제 처리, 환불, 고객 지원도 자동화했고.

내 생각엔 이것도 아직 시작에 불과함. 인터넷 초창기에는 대부분 이메일과 뉴스를 보는 정도였고, 지금 익숙한 서비스들이 나오기까지도 오래 걸렸음. 대중적인 AI 활용은 아직 본격적으로 시작하지도 않았다고 봄.

한발 물러서서 보면 자본주의 체제에서 새로운 기술이 나올 때 예상할 수 있는 결과 아닌가?

1. 현장 업무를 이해하지 못하는 경영진이 유행어를 밀어붙임.
2. 승진하고 싶은 사람들은 사업 개선보다 유행어를 실행하는 데 집중하고 승진함.
3. 인센티브와 실제 필요가 어긋나니 대부분의 회사에 별 도움이 안 됨.
4. 시간이 지나 유행이 가라앉으면 일부는 틈새시장을 찾고, 일부는 사라지고, 일부는 세상을 바꿈.

지난 20년만 봐도 빅데이터, 블록체인, 암호화폐, 웹3, 게임화, VR이 있었고 이제 AI가 있음. 초기 도입 기업 대부분의 경험은 손해이거나 본전 정도일 거라고 예상해야 함. 다만 AI가 블록체인보다는 전기나 자동차에 가까운 기술이라면, 나중에는 제대로 활용한 회사가 그렇지 못한 회사를 밀어낼 거임.

아폴로가 AI에 부정적인 이야기를 원하는 사람들의 관심을 끌려고 한다는 식의 말은 좀 그렇다. 주장할 거면 분명히 주장하지, 의문을 제기하는 척하며 암시만 하지는 말자. 그런 식으로 가볍게 일축하지 말고 실제 내용에 반박하든지, 아니면 그냥 넘어가면 됨.

기술업계 밖의 대기업은 AI로 수익 개선을 보지 못했다는 주장에 대해 말하자면, 나는 AI를 무조건 밀어주는 사람은 아님. 현재 선두 기업들이 빠져나오기 힘든 구덩이를 판 것 같고, 이번 거품의 규모가 과거보다 크다는 점도 걱정됨.

그렇다고 일부나 평균적인 기업이 혜택을 못 봤다는 사실로 AI가 전반적으로 나쁘다고 주장하는 건 부정확함. AI 회사에는 구글 초창기보다 사람들이 실제로 돈을 내는 제품이 더 많음. 기술업계 밖을 포함해 적지 않은 소수의 회사가 혜택을 보고 있음. 일부를 제외하면 평균이 0이라고 말하기는 쉬움.

예를 들어 음성 전사를 많이 하는 미디어 회사들은 도움을 받았고, 영상 생성은 광고 영상의 절반에 활용된다는 얘기도 있음. 로마인들이 우리에게 해준 게 뭐냐고 묻다가 수도, 의료, 도로 등을 하나씩 듣는 농담이 생각남.

많은 산업에서는 지능 자체가 병목이 아닌 것뿐임.

굿하트의 법칙 문제가 있는 것 같음. AI는 컴파일이 안 되거나 테스트가 실패하는 코드처럼 즉각적인 피드백이 있는 일에는 강한데, 지금 평가하려는 건 즉각적인 피드백이 없는 영역임.

AI가 파워포인트 초안을 아주 빠르게 만들고 유능한 사람이 다듬으면 전체 시간은 절약될 수 있음. 하지만 그 직원이 월급제라면 일찍 퇴근한다고 비용이 줄어드는 것도 아니고, 시급제라도 일찍 퇴근해서 돈을 덜 받을 유인이 있을까? 남은 시간에 다른 일을 할 수도 있고.

AI를 써본 평범한 인터넷 이용자로서 내 감으로는 도움이 됨. 다만 그걸 어떻게 측정해야 할지는 모르겠음. 어질러진 집보다 깨끗한 집에서 사는 게 얼마나 좋은지 숫자로 표현하기 어려워도 우리는 청소를 하잖음.

내가 일한 거의 모든 곳에서 소프트웨어 제품을 만들어 출시하기까지 걸리는 전체 기간 중 코드를 설계하고 작성하는 시간은 5~10% 정도였음.

나머지 90~95%는 이해관계자 의견 조율, 참여 팀들의 우선순위 회의, 경영진 승인, 보안·개인정보·법률 검토, 개발·스테이징·베타 환경에서의 버그 확인, 수동 QA, 마케팅 일정 조율, 중요한 외부 행사나 휴가 간 사람을 기다리는 일, 마이크가 이메일에 답하기를 기다리는 일 등이었음.

이런 일이 프로젝트 기간의 대부분을 차지하고 AI로 자동화할 수도 없음. 결국 AI가 프로젝트의 5~10%를 훨씬 빠르게 해준다는 얘기임. 대단하네.

결국 판단력의 문제임. 어려운 건 좋은 판단이 무엇인지 정의하고 그 요소들을 에이전트가 여러 수준에서 지속적으로 평가할 수 있는 형태로 담아내는 것임.

대부분은 사람을 다루는 측면에서 무엇이 자신을 성공하게 하는지 아주 대략적으로만 앎. 사업 성과의 90%를 10%의 사람이 낸다고 해도 회사는 그 사람들이 누구인지 모름. 그러니 어떤 프로세스를 AI로 자동화하거나 보조해야 원하는 성과가 나올지도 모르는 채 여기저기 무작정 적용하는 거임.

기존의 사람 중심 시스템에는 방향이 어긋나도 조직 전체가 궤도를 벗어나지 않도록 하는 안정 장치가 있음. AI는 그 장치에 부담을 주고 종종 무너뜨림. 결과는 비용 증가와 혼란임. 이건 조직 혁신으로 다뤄야 하고, 전통적으로는 작은 새 팀을 만들어 밑바닥부터 시작해 기존 팀의 역할을 대체하는 방식이 가장 성공적이었음.

논란이 있을 수 있지만 지나치게 우아한 설계를 추구한 결과라고 생각함. 이 커넥터를 어댑터로 저쪽에 연결하고, 다시 커넥터 매니저에 넘기면 스케줄러로 보내고 하는 식임.

다형성을 너무 많이 적용해서 디버거로 따라가다 보면 타입이 무슨 뜻이고 어디서 왔는지 알아내는 데 한참 걸림. 옛날식으로 대충 이어 붙인 코드는 보기에는 별로여도 그걸 다시 고치기는 쉬웠음. 모든 지점에서 깔끔하게 확장하겠다고 상속을 수십 단계로 쌓지도 않았고.

수정할 함수를 겨우 찾았는데 내가 고칠 수 없는 코드베이스에 있고 오버라이드도 못 하게 돼 있는 일을 겪을 필요도 없었음. 그냥 작동했음.

워런 버핏이 섬유 산업에 관한 비슷한 질문에 좋은 답을 한 적이 있음. 낭비를 몇 퍼센트 줄이고 효율이나 생산량을 높이고 비용을 낮춘다는 신기술이 실제 수익으로 이어지는 경우는 드물다고 했음.

섬유 기계 제조사들이 새 기계를 팔면서 큰 개선을 약속했고, 대부분 그 개선 자체는 실현됐지만 섬유 회사의 최종 마진은 나아지지 않았다는 거임. 경쟁사들도 같은 기술을 쓸 수 있기 때문이라고 함. 경쟁 우위가 없으니 기술이 발전해도 섬유 업체들은 계속 같은 조건에서 경쟁하게 된다는 얘기임.

경영 컨설팅에서 아주 구체적인 사례를 알고 있음. 주로 보고서 작성과 자료 수집으로 이뤄진 반복 업무에 컨설턴트가 쓰는 시간이 프로젝트당 평균 40시간에서 12시간으로 줄었음. 28시간을 아끼는 데 토큰 비용은 약 150달러였고, 예전 시간당 비용은 대략 200달러였으니 절감한 시간의 비용은 5천~6천 달러 정도임. 이 정도면 꽤 확실한 데이터라고 봄.

우리 회사 내부에는 구체적인 수치가 있음. API 요금 기준으로 클로드와 GPT 토큰에 2,000달러를 써서 1~2명이 한 달 만에 약 6개 팀의 인프라를 이전했음. AI가 없었다면 실제 경과 시간은 10배쯤 걸리고 훨씬 많은 사람이 참여했을 거고, 이전 과정도 더 험난했을 거라고 봄.

핵심은 AI로 지난 5년간의 대화, 문서, 커밋, PR, 알림, 대시보드 등을 광범위하게 뒤져서 기존 구조가 왜 그렇게 만들어졌는지 찾아낸 거임. 직접 만든 팀조차 잊고 있던 이유들을 찾아냈음.

그다음 각 팀에 필요한 사항과 상호작용, 과거 논의를 정리하고 이전할 때 각각 어떻게 처리할지 보여주면서 우리가 작업할 테니 괜찮은지 물었음. 팀들이 꼼꼼히 검토하면서 빠뜨린 사례 두 개를 찾아냈지만, 대부분은 잊고 있던 설계나 장애, 특이한 결정과 예외 사례를 다시 발견하는 과정이었음.

이전은 순조롭게 끝났고 연간 백만 달러대 초반의 비용을 절약하게 됨. AI가 없었다면 이렇게까지 자료를 전수 조사하는 접근 자체가 불가능했을 거임. 슬랙 하나의 5년 치만 분석하기도 어려운데 모든 자료를 다 보는 건 더 그렇고. 엔지니어 1~2명 규모의 팀이 AI를 활용해 해낸 일임.

이런 변화는 AI 이전부터 있었지만 AI가 속도를 크게 높였음. 내가 보기에 시니어 엔지니어는 새로운 엔지니어링 매니저가 되고, 엔지니어링 매니저는 새로운 제품 매니저가 되고, 제품 매니저는 영업과 컨설턴트, 소셜미디어 담당자 사이 어딘가로 이동하고 있음.

AI 때문에 시니어 엔지니어는 관리자가 하던 제품 관리 업무를 더 맡고, 엔지니어링 매니저는 영업과 대외 소통을 더 맡게 됨. 제품 매니저는 애매한 위치에 놓이고 젊은 사람들은 주니어 엔지니어 역할로 밀려나기도 함.

대기업에는 사내 정치도 있음. 시니어 엔지니어링 매니저와 시니어 제품 매니저에게 시간이 생길수록 정치가 심해지고 거기에 시간을 더 낭비하기도 함. 여기서 제품 관리는 범위 설정, 기능 우선순위, 사용자 경험, 연동 방식 결정 같은 전통적인 의미로 쓰는 말임.

내 친구가 시스템 이전 분야에서 비슷한 사업을 함. 시스템 이전은 꽤 어렵고 지루한 일임. 옛 시스템과 새 시스템을 둘 다 잘 알아야 하고, 잘해봐야 원래 하던 일을 새 시스템에서 똑같이 하게 되는 반면 문제가 생기면 크게 고생하니까.

AI가 구 시스템과 신 시스템의 샘플 데이터를 분석한 다음 정해진 규칙대로 작동하는 매핑 파이프라인의 초안을 만듦. 그러면 전문가들이 자기 분야 지식을 활용해 예외나 빠진 사례를 찾아 수정하고 개선함. 검증이 끝난 파이프라인을 실제 이전에 쓰는 거임. AI가 만든 초안 덕분에 시간을 엄청나게 아낀다고 함.

비교적 새로운 기술이 벌써 이익 개선을 보여줘야 한다는 건 너무 이르다고 생각함. 투자하고 기업에서 생산적으로 쓰는 법을 알아가는 데 고작 몇 년이 지났을 뿐임. 대부분의 신기술은 눈에 보이는 가치를 내기까지 10년 이상 걸림.

내 꽤 긴 경력에서 이렇게 즉각적인 수익을 요구하는 경우는 처음 봄. 도구와 사용법은 아직 미숙하고 보통 사용자는 어떻게 다뤄야 할지 당황하는 수준임. 워드프로세서만 해도 사람들이 여러 프로그램에 익숙해지는 데 수년이 걸렸음. 수십 년이 지난 지금은 일상적인 도구가 됐고 과거 대규모 타자 업무 인력이 필요했던 때와 비교하면 이점이 분명함.

AI는 눈 깜짝할 사이에 몇 년 지났을 뿐인데 벌써 약속했던 풍요로운 사회는 어디 있냐고 묻는 느낌임.

물론 아폴로에는 편향이 있음. 투자 회사니까 자기들의 시장 해석에 유리한 입장을 갖고 있음. 실제로 특정 기업이나 시장에 대한 가설을 내놓고 그걸 옹호하는 일도 자주 함. 이것보다 덜 편향된 걸 떠올리기 어렵네.

문제의 일부는 AI 덕분에 특정 업무의 생산성이 두 배가 돼도 매출이 늘지 않을 수 있다는 거임. 고객이 같은 가격에 두 배의 결과를 기대하게 되고, 그 기대를 충족하지 않으면 경쟁사가 해줄 테니까.

새 기술 덕분에 지출한 돈 대비 얻는 효용이라는 실질적인 경제적 가치는 크게 늘어도, 평균적인 기업의 매출은 별로 늘지 않을 수 있음.

코드의 가치가 떨어져 평생 코딩을 해온 사람들의 경력이 흔들린다는 말에는 공감이 잘 안 됨. AI 이전에도 나는 타이핑이 제일 빠르거나 해결책을 제일 빨리 설계하는 사람은 아니었음. 하지만 시스템을 배우고 만들고 유지보수할 수 있었음.

내 가치는 코드를 얼마나 빨리, 많이 쓰느냐가 아니라 무슨 일이 벌어지는지 이해하고 그 지식으로 문제를 해결하는 능력에 있었음. 지금도 마찬가지임. 회계팀 직원이 이론상 내가 만드는 소프트웨어 일부를 한 번에 만들 수는 있겠지만, 그걸 어떻게 다뤄야 할지 모를 거고 이후 관리가 자기 일이 되는 것도 원하지 않을 거임.

기술업계는 눈에 보이지 않는 복잡한 기계를 관리함. 대부분의 사람은 그걸 배우거나 문제를 처리하고 싶어 하지 않음. AI는 그 기계 위에 얹힌 또 하나의 복잡한 요소라서, 내 경력은 앞으로도 가치가 있을 거라고 생각함.

재밌게도 잘 설계된 코드가 오히려 작업하기 더 어려울 때가 있음. 유지보수성도 좋은 설계의 일부인데, 내가 일했던 한 곳에서는 기존에 그 코드를 오래 다룬 사람만 쉽게 수정할 수 있었음. 외부에서 온 사람은 어디를 고쳐야 기존 설계에 맞는지 알아내는 데 한참 걸렸고.

설계 문서를 보면 된다고 할 수 있지만 세부 내용이 부족했음. 주요 객체는 설명해도 보조 객체나 데이터 흐름은 충분히 설명하지 않았거든. 지식은 사람들 머릿속에 있었는데 그 사람들의 시간을 얻기도 어려웠음. 잘 설계됐을지는 몰라도 기존 팀 밖의 사람이 유지보수하기 쉽게 설계된 건 아니었음.

그 회사에 실제 금전적 성과가 있었는지 판단할 만큼의 데이터는 아직 없음. 컨설턴트가 회사의 고정비라면 시간을 아꼈다고 해서 바로 마진이나 직원당 매출이 올라가는 건 아님. 이제 컨설턴트 한 명당 고객에게 청구할 수 있는 업무 시간이 실제로 늘었음? 그렇지 않을 이유가 얼마든지 있음.

설명 고마움. 기술 리드나 직접 개발하는 엔지니어링 관리자는 예전에도 있었지만 직함별 책임의 비중은 회사와 시대에 따라 달랐음. 초기 개인용 컴퓨터는 자원이 제한돼 대규모 팀이 효과적으로 만들 수 있는 프로그램도 제한적이었고, 지금은 훨씬 큰 프로그램을 만들기 때문에 사람들끼리, 그리고 필요한 인원을 줄여줄 수 있는 AI와도 더 많은 조율이 필요함.

기술적으로 뛰어나려면 대부분의 시간을 코드에 써야 한다거나, AI가 유용하려면 하루 종일 써야 한다는 주장에는 동의하지 않음. 예를 들어 큰 프로젝트의 설계 문서를 검토하다 경험을 바탕으로 일정이나 품질을 개선할 아이디어가 떠올랐다고 해보자. 예전에는 작성자에게 직접 가능한지 조사해 달라고 해야 했음.

지금은 코딩 에이전트에게 코드베이스에서 아이디어를 시험하게 하고 회의에 다녀온 뒤 결과를 확인해 더 정확한 제안을 할 수 있음. 물론 결과를 검토하고 가능성을 과장하거나 과소평가하지 않으려면 기술 전문성이 필요함. 그래도 일주일 걸릴 검토를 한 시간 정도로 줄여서 프로젝트 일정을 몇 달 단축할 수 있는 제안을 할 수도 있음.

동의함. X가 두 배 빨라져도 그게 Y와 Z에 어떻게 영향을 주느냐에 따라 별 도움이 안 될 수 있음. 내 경우 반복 코드를 작성하거나 기존 코드를 수정하는 수고는 줄었지만, 팀 전체가 꼭 더 효과적으로 일하는 건 아니었음. 코드 리뷰 부담이 늘었고 일부 팀원은 필요하지도 않은 프로젝트를 너무 의욕적으로 맡기 시작했음.

특히 어떤 관리자가 직접 하지 말았어야 할 프로토타입 작업을 부하 직원에게 넘겼는데, 그중 하나는 내가 AI 없이 처음부터 만드는 것보다 오히려 오래 걸렸음. 아마 내가 AI를 써서 처음부터 만들었다면 가장 빨랐겠지만, 기본 원리를 이해하지 못한 채 결정을 AI에 맡긴 사람의 작업을 넘겨받으니 실수를 고치는 데 시간이 많이 들었음. 좋은 관리가 나쁜 관리보다 낫다는 건 당연하지만, 대부분의 회사가 훌륭하게 관리되고 있지는 않을 거임.

첫째, 회사가 지금 당장 인력을 공짜로 두 배 늘릴 수 있는데 추가 인력을 매출로 연결할 계획은 전혀 없다면 수익이 나기까지 얼마나 걸릴까? 내가 알기로는 기업이 사람을 더 고용해서 돈을 벌 수 있다면 보통 그렇게 함.

AI는 수요와 시장은 충분한데 자원이 부족해서 매출을 극대화하지 못하던 곳에는 도움이 될 수 있음. 하지만 상당수 대기업이 그런 상황은 아닐 거임.

둘째, 나는 개인적으로 AI에서 큰 가치를 얻고 있지만 그걸로 돈을 버는 건 아님. 원래는 너무 비싸거나 일이 많아서 포기했을 것을 할 수 있게 됐으니 이전에는 없던 가치가 생긴 거임. 이런 식으로 가능해진 일이 개인이나 기업에 꽤 많을 거라고 봄.

몇 배 빠르게 결과를 낸다고들 하는데, 올바른 지표를 측정하고 있는 걸까? 업계에서 계속 놓치는 부분 같음.

제조업에서는 실제 물건을 더 많이 만들고 물건 자체에 가치가 있기 때문에 규모의 경제와 자동화가 통함. 소프트웨어는 더 많이 만든다고 더 많이 팔 수 있는 게 아님. 이미 만들어진 소프트웨어를 한 단위 더 판매하는 비용은 사실상 0이라 같은 식의 규모의 경제가 적용되지 않음.

원글의 요지는 AI 덕분에 기업의 순 산출이 늘지는 않았다는 거임. 팀이 더 많은 일을 하고 생산성이 높아졌는데도 사업 성과가 안 오른다면 그 팀이나 소프트웨어 팀 전체의 생산성이 사업에 별다른 영향을 주지 않는다는 뜻일 수 있음. 그렇다면 걱정해야 함. 기업 입장에서는 생산성 향상이 인력 감축과 고정비 절감으로 이어질 수 있으니까.

당신이 나열한 일의 90%가 자동화의 도움을 받거나 자동화 때문에 필요 없어질 수 있다는 걸 놓치고 있는 것 같아 흥미로움. 2031년의 기업은 2021년과 똑같은 방식으로 일하면서 코딩이나 몇몇 업무만 AI로 빠르게 처리하고 있지는 않을 거임.

반복 코드는 복잡성이 늘수록 부담이 됨. 그런데 우리가 애플리케이션과 인프라에서 반복 코드가 실제로 얼마나 많은 일을 처리하는지 과소평가하는 것 같기도 함.

테라폼 코드나 AWS 인프라는 가끔 정말 번거롭고 반복적임. 그래도 전 세계 데이터센터에 걸친 회사 전용 네트워크를 기술하고, 복잡한 IAM 권한 체계나 재해 복구, 백업, 데이터베이스, 수평 확장, 보안 정책 등을 비교적 쉽게 설정할 수 있다는 건 대단함.

반복 코드가 많은 이유는 사실상 한 기업의 복잡한 구조를 코드로 설계하고, 완성되면 바로 배포할 수 있기 때문임. 예전에는 생각하기 어려운 일이었음.

이익은 결국 기술을 파는 사람들에게 돌아가고, 나중에는 가격 인하 형태로 소비자에게 돌아감. 기업 입장에서 얻는 이점이라면 경쟁사에 고객을 전부 빼앗기지 않는 정도겠지.

코드를 더 많이 출시하는 게 꼭 좋은 일은 아니라는 말에 대해서는, 꼭 좋지도 나쁘지도 않은 거라고 생각함. 적어도 AI로 코드를 점검하는 건 책임감 있는 사용법임. 테스트 방식도 기본적으로 예전과 같고. AI를 활용해 출시한 코드에 만성적인 문제가 있었다면 널리 논의되고 있을 거라고 봄.

또 품질 관리가 제대로 안 되면 결국 매출에 악영향이 나타난다는 말은 현실에서 늘 성립한다고 보기 어려움. AI 이전에도 그랬고 이후에 그렇다는 증거도 없다고 생각함. 기존 고객을 붙잡아두는 힘 같은 시장의 관성 때문에 소프트웨어 시장은 품질 결함이 있어도 버티는 경우가 있음.

현재 기업 구조가 AI의 가능성을 최대한 활용하지 못하는 이유를 추측해보는 거임. AI가 완전히 자율적이고 신뢰할 만해지기 전까지는 빠르게 움직이게 해주는 도구를 쓸수록 기술 지식이 더 필요함.

서비스를 망가뜨리지 않고 배포하는 일, 기능이 늘면서 커지는 복잡성, 개발 속도 유지, 고치는 것보다 버그를 더 많이 만들지 않는 문제도 생각해야 함. AI 덕분에 일을 한꺼번에 처리하는 이점을 얻을 수 있다는 게 내 생각임.

여러 엔지니어가 하나의 AI와 팀을 이뤄 서로 코드를 교차 검토하면서 수백만 줄의 코드를 관리할 수도 있다고 봄. 다른 사람들은 각자의 AI를 활용해 나머지 업무를 지원하고. 대기업은 엔지니어링 부서를 소수 인원으로 줄일 수도 있겠지만, 그 대신 다른 직원들도 요구사항을 정리하고 방향을 제시할 수 있도록 엔지니어처럼 생각해야 할 거임.

AI가 그걸 보여준 걸까, 아니면 새로운 시대의 초기에 사람들이 AI를 제대로 쓰지 못해 헤매고 있다는 걸 보여준 걸까?

흥미로운 문제임. 개인 차원에서는 분명한 이점이 있는데 회사 차원에서는 눈에 보이는 게 거의 없음. 지난 10년간 직원 수 대비 영업이익을 그려보면 AI 덕분이라고 명확히 말할 만한 변화가 없음.

엔지니어는 기계의 중요한 부품이지만 기계 전체는 아닌 셈임. 개인 차원의 성과를 가리거나 소모해버리는 다른 병목들이 있는 것 같음.

내 직장은 포춘 500 기업 중 하나인데 모든 것에 AI를 넣는 분위기임. 재밌는 건 평소 측정 가능한 성과를 강조하던 경영진도 AI 도입에 대해서는 그냥 생산성이 오른다고 말한다는 점임. 맥킨지까지 불렀는데, 그쪽도 생산성 향상이라는 말 외에 지표에 근거한 평가를 내놓지는 못했음.

생산성이 전혀 안 올랐다는 말은 아님. 분명 오른 부분이 있을 거임. 다만 무슨 지표로 재는지가 궁금함. 몇 배 빠르게 일한다면 시간을 얼마나 아꼈고, 이제 몇 명 몫의 일을 한다는 건지, 그 숫자는 어떻게 계산했는지 묻고 싶음.

그리고 10명 팀을 2명이나 4~5명으로 줄여도 같은 속도와 품질을 유지할 수 있다고 자신 있게 장담할 수 있음?

이건 고객이 예전에는 40시간 걸리던 일을 이제 12시간 만에 해주면서 같은 돈을 받는다는 사실을 모른다는 전제임. 기술을 잘 모르는 고객이라면 당분간 그럴 수 있겠지만, 결국에는 효율이 높아진 만큼 할인받을 수 있다는 걸 알아차릴 거라고 봄.

나도 지금 몇몇 계약을 협상 중인데 예전에는 합리적이었던 외주 비용의 20분의 1 정도면 내부에서 처리할 수 있음. 직접 하고 싶지는 않으니 그 비용에 적당한 웃돈을 얹어줄 의향은 있지만 거기까지임. 업체가 받아들이지 않으면 계약을 안 하는 거고. 요즘 외주 계약 협상이 재밌어졌음.

물론 일이 전부 반복 코드인 건 아님. 그래도 반복 주기가 짧아지고 대기 시간이 줄어드는 게 중요함. 우리는 배합을 찾으려고 실험하고, 조정하고, 먼저 시뮬레이션으로 확인한 다음 실제 측정값으로 오차를 확인하는 과정을 반복함.

현실은 복잡해서 예를 들어 특정 색을 넣었는데 페인트의 최종 특성이 예상과 다르게 나오기도 함. 고객에게 돌아가 물어보면 전문가가 그날 기온이나 습도가 달랐고 그게 인쇄 결과에 영향을 준다고 기억해내는 식임. 그러면 그것도 측정해서 시뮬레이션과 데이터 파이프라인에 추가해야 함. 고객 쪽에서 절차를 만들거나 장비를 사는 등 준비를 마치고 실제 데이터가 들어올 때까지 기다려야 할 수도 있고.

우리 쪽 대기 시간을 줄이는 건 도움이 됨. 중간에 다른 일을 하다 돌아오면 맥락을 다시 머릿속에 불러와야 하니까. LLM을 쓰면 프런트엔드, 백엔드, 데이터베이스가 때로는 몇 분 만에 나옴. 이제 고객처럼 데이터를 올리고 계산을 시작해서 예측 배합을 볼 수 있는 기능 브랜치가 생김. 아이디어에서 작동하는 프로토타입까지 바로 가는 거임.

덕분에 가설을 세우고 빠르게 확인하는 데 집중할 수 있음. 전에는 파이썬 스크립트를 고칠 수는 있어도 남에게 보여줄 만한 형태로 만드는 데 일이 훨씬 더 들었음. 이제 고객이 새 데이터를 주거나 문제를 알려준 당일에 최종 사용자가 볼 법한 맞춤 UI를 보여줄 수 있음. 기술 구성은 개선할 여지가 있지만, 작업 단계가 서로 의존해서 순서대로 진행해야 하는 데서 오는 대기 시간도 많음.

다른 회사들도 내부 생산성이 올랐지만 경쟁 때문에 상쇄된다는 주장에 대해 말하자면, 해당 자료에서 주로 분석한 지표는 직원당 매출임. 이건 경쟁 상황에서도 오를 수 있지만, 아마 새로운 영역으로 사업을 확장하거나 인원을 줄여야 할 거임. LLM이 실제로 성과를 낸다면 이 지표가 나중에 오를 수도 있음.

고객이 요청하지도 않고 가치를 느끼지도 못하거나, 다들 제공해서 차별화도 안 되는 AI 기능에 힘을 쏟는다는 지적은 나도 많이 봄. 중요하지 않은 곁가지 작업에 엄청난 에너지를 씀. 정작 우리가 출시해야 할 핵심 기능은 기존 코드를 깊이 재설계하고 신중하게 고쳐야 해서 그런지 전혀 빨리 진행되지 않음.

고객이 효율 향상분을 할인으로 돌려받으려 할 거라는 말에 대해선, 결과가 같다면 장기적으로 고객에게 업체의 작업 시간이 왜 중요하겠음? 컨설팅 비용을 내고 같은 성과를 얻는다면 말임.

다만 다른 컨설팅 업체가 같은 일을 더 싸게 해주겠다고 나설 수는 있음. 그 경우 업체 마진이 줄면서 가격이 내려갈 수 있겠지. 요즘 계약 협상이 흥미롭다는 말에는 확실히 동의함.

내가 반박하려고만 한다는 건 아님. 원글은 AI와 금전적 성과에 대해 구체적인 주장을 했고, 당신은 불완전한 데이터가 담긴 사례를 그 반례로 제시했음. 나는 그 사례가 원래 주장과 어떻게 맞아떨어지는지 확인하려고 필요한 데이터를 묻는 거임.

컨설턴트들이 세 배의 일을 할 수 있다고 했는데, 실제로 그렇게 하고 있음? 아폴로 주장의 요점이 바로 그거임. AI가 자본 효율을 높일 수 있다는 말은 많은데 실제 재무 결과에는 나타나지 않는다는 것. 사업 전체에서 하나의 프로세스를 최적화한 것만으로 처리량이 세 배가 됐다고 추정할 수는 없음.

그리고 대형 상장사들이 이런 최적화를 전부 놓쳤다고 봐야 할까? 아니면 당신이 언급한 회사가 상대적으로 비효율적인 소규모 업체이고, 대기업들은 수십 년 전에 AI 없이도 비슷한 효율을 이미 달성했을 가능성은 없을까?