초경량화의 끝판왕? 브라우저에서 서버 없이 돌아가는 '1비트 LLM' 실시간 실행
브라우저 환경에서 서버 도움 없이 1비트 LLM을 구동하려는 프로젝트가 공개됨. 이 모델은 ONNX와 웹 어셈블리 등을 활용해 로컬 기기에서 바로 AI를 돌리는 것을 목표로 하는데, 일부 사용자는 실제 브라우저에서 실행해 본 결과를 공유하며 성능과 호환성 문제를 지적함.
가장 큰 관심사는 1.7B 같은 초소형 모델의 실용성임. '세차장까지 50m를 걸어갈지 차를 탈지'와 같은 논리 테스트에서 모델이 엉뚱한 답변을 내놓거나 같은 말을 반복하는 등 정교함이 부족하다는 의견이 많았음. 다만, 이런 작은 모델도 상황에 따라 라우팅이나 도구 호출 등 특정 역할은 수행할 수 있다는 반론도 나옴.
브라우저 성능 격차도 확인됨. 고사양 맥북에서는 40tps 이상의 속도를 보인다는 후기가 있는 반면, 같은 환경이라도 브라우저 종류나 기기 사양에 따라 아예 작동하지 않거나 매우 느리다는 반응도 공존함. 개발자는 성능 최적화와 함께 웹GPU 지원 문제 등을 해결 중이라고 밝힘.
1비트 양자화 기술 자체에 대한 기대와 질문도 이어짐. 학습 비용이나 모델 효율성을 위해 양자화가 필수적이라는 의견이 있는 한편, 단순히 파라미터 수를 줄이는 것만이 능사는 아니며 메모리 전송 비용 최적화가 중요하다는 분석도 제시됨.
수정
sst****an
그 목적을 위해 엔진을 직접 개발 중임. 피드백 주면 좋겠음.
ll***ad
7900xtx에서도 2.5 tps밖에 안 나옴. 별로임.
mmg****ke
27G 모델 테스트해 봤는데 오류 나옴. 아직 갈 길이 먼 듯.