AI 사용 제한에 로컬 모델로 갈아타고 싶다는 유저

나는 그냥 구독 서비스랑 오픈라우터를 나눠 쓰는 게 비용 면에서 더 나음.

맞음. DGX Spark 가격이 지난 두 달 사이 두 배가 됐음. 512GB 메모리를 탑재한 새 맥은 세금과 배송비를 포함하면 2만 3,500달러 정도고. 이런 장비는 한 사람에게 최상위 모델에 가까운 성능을 제공함. 로컬 AI 수요가 엄청나게 강하다는 분명한 신호임.

나는 그런 미래가 잘 안 그려짐. 꽂기만 하면 쓸 수 있는 256GB AI가 실용적인 수준이 될 때쯤이면 클라우드의 제미나이 3.12345 플래시는 모든 걸 다 알고 있겠지.

‘자본주의니까 당연히 고객에게 점점 더 나빠질 거다’라고? 자동차가 1970년대보다 엄청 좋아졌다는 건 모름? TV도, 컴퓨터도, 휴대폰도 마찬가지임. 이 중 공산주의나 강한 사회주의 경제 체제에서 개발된 게 뭐가 있음? 자본주의가 중산층과 빈곤층의 삶을 개선하고 있는 거임. 주관적인 얘기가 아니라 데이터를 보면 알 수 있음.

맞음. 로컬 모델은 아직 그 수준에 가깝지도 않음.

이 회사들한테 남은 시간은 18~24개월 정도임. 그래서 서둘러 기업공개를 하려는 거고. 무너지기 전에 빨리 돈 벌고 나가려는 거지.

로컬로 가자.

그런 칩을 일반 소비자가 살 수 있을 거라고 생각함? 전부 데이터센터로 가고 우리가 살 수 있는 건 휴대폰급 하드웨어뿐일걸.

로컬로 가는 데 필요한 하드웨어를 모두가 살 수 있는 건 아님. 특히 지금은 더 그렇고.

LLM도 자본주의 체제에서 발명됐다는 점도 있고.

성능 격차는 점점 줄어들고, 결국 지금의 다른 기술들처럼 부가 기능이나 사용과 접근의 편리함, 다른 환경과의 연동이 매력이 될 가능성이 높음.

저렴한 가상 서버를 빌려 클라우드 저장소로 쓸 수도 있지만 드롭박스 같은 서비스를 쓸 수도 있잖아. 직접 더 싸게 같은 기능을 구축할 수 있어도 사람들이 후자를 고르는 데는 이유가 있음.

회사들은 그런 걱정 안 함.

네 20달러나 내 100달러 같은 건 신경 안 쓴다고.

돈은 기업 고객에게서 나옴. 기업에서 로컬 추론은 특수 사례나 실험 수준을 벗어나지 못할 거임.

그래, 회사들이 그 결정을 정말 후회하겠네. 한 13년 뒤에? 무슨 예언자라도 됨?

전혀 아님. 우리 회사는 블랙웰 장비에 10억 달러를 썼고 코딩 작업의 상당 부분을 거기서 돌리는 GLM과 Qwen에 맡기고 있음.

그렇지 않음? 나는 이미 3090 한 장으로 Qwen을 써서 이미지와 짧은 영상을 만들고 간단한 대화도 할 수 있음.

2016년에 이런 걸 상상할 수 있었겠음?

앞으로 10~15년 뒤에는 어떨지 생각해 봐.

사용 정책에 대한 불만은 실제로 있지만, 하드웨어 비용이 얼마나 많은 사람이 갈아탈지 결정할 부분임. 쓸 만한 로컬 장비에는 여전히 상당한 메모리와 전력이 필요하니까, 대부분은 개인정보가 관련된 작업이나 오프라인 작업에 로컬 모델을 쓰고 더 무거운 작업에는 호스팅 모델을 계속 쓸 가능성이 높음. 가까운 시일 안에 전부 옮겨 가는 것보다는 그렇게 나눠 쓰는 게 더 현실적일 듯.

특수 사례나 실험 수준이라고?

머지않아 큰돈을 들이지 않고도 개인 컴퓨터에서 AI를 돌릴 수 있을 만큼 실용적이 될 거임.

투자 대비 수익이 엄청 나빠 보이는데. 가치가 떨어지는 장비에 들어간 초기 투자비를 회수하려면 얼마나 걸리는 거임?

전혀 아님. 규모의 경제가 결국 이김.

한 사람이 Fable을 초당 50토큰 정도의 느린 속도로 돌리는 하드웨어만 해도 약 300만 달러임. 전기와 냉각수 비용은 별도고. 행운을 빔.

사람들이 로컬 모델을 갖는 게 위험하다고 한 게 무슨 뜻인지 더 설명해 줄 수 있음? 나도 로컬 모델이 위험한 정보를 알려주도록 유도될 수 있고, 인터넷에 전혀 연결되지 않은 모델이라면 어디에도 경고를 보낼 방법이 없다는 생각을 해봤거든. 너도 같은 걱정을 한 거임?

사람들은 두 회사가 무조건 나쁘고 하는 말도 전부 속셈이 있다고 생각하는데, 두 회사는 오픈소스 여부와 관계없이 안전장치 없는 모델이 위험하다고 일관되게 말해 왔음. 안전장치를 두면 사람들이 오픈소스 모델을 쓸 수 있다는 것도 알겠지만, 이익뿐 아니라 안전도 실제로 신경 쓰는 거라고 봄.

로컬 모델은 최신 최상위 모델에 비하면 한참 부족함. 대부분의 사람이 더 떨어지는 경험을 하려고 5080을 사서 세팅하진 않을걸.

너는 주요 고객층이 아님. 전 세계 컴퓨터 사용자의 대다수는 컴퓨터 자체에 관심이 없어.

자연스러운 흐름임. 결국 이렇게 될 수밖에 없어.

이렇게 불만이 쌓이게 만들었으니 자초한 일이지!

안전장치가 너무 심해서 모델을 쓸모없게 만들 정도임. 자기 모델이 실행할 수도 있는 공격으로부터 내 시스템을 안전하게 지키려는 것까지 심하게 제한하니 기분이 상할 정도임.

자본주의가 생산을 잘한다는 건 아무도 부정하지 않으니 진정해. 하지만 네가 든 사례들의 핵심 기술 중 상당수는 공적 자금이 들어간 연구에서 나왔다는 것도 기억해야지.

집값과 아이들 교육비를 감당하기도 힘든데 매년 더 새로운 차와 스마트폰이 나온다고 해서 네가 생각하는 것만큼 대단한 승리는 아님.

‘자본주의 시대에 일어난 일’과 ‘자본주의에서만 가능한 일’을 혼동하는 거 아님?

여러 로컬 모델을 쓰는 앱을 만들고 있음. 모델끼리 협업하고 맥락을 유지하며 공유할 수 있음. 안드로이드 앱을 직접 만들고 협업하는 것도 가능하고, 완전히 오프라인으로 돌아감.

자본주의 문제라기보다 AI가 거품이었고 투자자들이 겁을 먹는 거라고 봄. 그리고 모델을 무작정 키워서 얻는 효용에도 한계가 있고, 제한된 환경에서 쓸 수 있는 연산 자원도 무한하지 않으니 로컬 AI가 따라잡을 거임.

10~20년 뒤에는 운영 환경의 제약이 줄고 하드웨어가 좋아져서 초대형 모델이 다시 돌아올 수도 있겠지만, 당분간은 AI 겨울을 각오해야 할 듯.

형, 12개월 뒤에 어떻게 됐는지 알려줘.

설치가 쉽고 사용법이 간단하기만 하면 일반 사용자들도 로컬로 갈 가능성이 높음.

그런 사람들의 지출 한도는 20달러 정도임. 100달러를 내는 사람은 회사들이 걱정하는 고객층이 아님. 그 정도 내는 사람은 설정할 줄도 알고 서비스 갈아타기도 쉬우니까.

일반 사용자에게 필요한 건 관심을 끌 만한 요소와 속도임. 홈팟이나 구글 홈 정도 크기를 생각해 봐. 회사들이 놓칠까 봐 걱정하는 건 그런 사용자들임.

IT 업계에서 일하는 입장에서는 OpenAI와 앤트로픽이 정당한 업무에 필요한 기능까지 너무 제한해서 나 같은 사람들이 중국 모델을 구독하게 만드는 게 더 큰 문제임. 특히 AI 때문에 사이버 보안과 스파이웨어 문제가 훨씬 심각해지는 상황에서 선제적 방어가 가능한 모델이 중요한데, 지금은 중국 모델만 그런 기능을 제공함.

앤트로픽과 OpenAI에 사이버 보안 관련 특별 프로그램이 있다는 건 알지만, 중소기업에서 일하는 일반 개발자 99%는 자격이 안 되는 아주 특수한 경우임.

나는 모든 작업을 로컬로 옮겼음. 우리 회사도 비용이 계속 오르고 더 많은 통제권이 필요해서 자체 하드웨어로 공개 가중치 모델을 돌리는 걸 검토 중임.