용량이 단 500KB? 임베디드 장치에서도 작동하는 초소형 음성 인식 및 TTS 기술

당신의 작업물 정말 좋아함.

무슨 작업?

이걸 위해 OpenAI/elevenlabs와 호환되는 HTTP 엔드포인트를 제공하는 간단한 파이썬 래퍼를 만들었음.

이게 flite를 넘어설 수 있을지 기대됨. 메모리 사용량 문제로 프로젝트를 포기했었거든.

왜 샘인지 나도 궁금함.

리차드 카인드가 연기한 캐릭터 같음.

정확도 벤치마크가 있나? TTS에서 작은 크기는 별로 안 어려움. 정확하게 하는 게 어렵지.

내 브라우저 기반 AI 어시스턴트 프로젝트에 써볼 수 있을지 봐야겠음.

AI 분야 어디서나 마찬가지지만, 소형화보다 정확도를 높이는 게 진짜 어려움.

작은 모델 WER이 12% 정도인 것 같음.

uv로 설치해서 테스트해 봤는데 사용법이 깔끔해서 좋았음.

32K 아두이노에서 해봤는데 너무 기계음이 심했음.

uvx 명령어로 더 간단하게 실행 가능함.

그건 STT 에러율이고 TTS는 다름.

nanotts와 비교하면 어떤지 궁금함.

나도 500KB 미만으로 20개 단어 정도 인식하는 STT를 만들어봤는데, 발음에 따라 인식이 좀 불안정하더라.

스마트 주전자를 마이크로 쓴 사람도 있었음.

이건 극단적인 AI TTS 모델인 듯. 폼런트 모델링 방식은 작지만 기계적인 소리가 남.

음성 활성 감지 기능만으로도 충분히 매력적임. 성능 영향이 적어서 브라우저에서도 잘 돌아갈 듯.

데이터셋은 오픈인가?

알렉사 보이스 리모트도 비슷한 소형 모델을 썼었음.

500KB면 웹 어셈블리로 컴파일해서 브라우저에서 바로 돌릴 수 있는 거 아님?

메모리는 500K인데 디스크 사용량은 잘 모르겠음.

esphome 호환 하드웨어랑 통합될 수 있을지 기대됨.

음성은 AI에서 지연 시간에 가장 민감한 모달리티임. Moonshine이 대단한 걸 보여줌.

영상 속 음성은 formant 합성 방식 같음. espeak을 활용한 것 같기도 하고.

라즈베리 파이에서 빠르게 음성 인식 가능하다면 그것만으로도 가치가 있음.

인상적임!

NATO 알파벳을 쓰게 하면 좋을 텐데 다들 잘 모르는 게 문제임.

whisper.cpp와 비교해 보길.

재미있음. 그런데 와이파이 연결에 굳이 520KB짜리 모델을 쓰는 게 경제적일까?

대단함. 20-25MB 내에서 ASR 시스템을 구축하려고 실험 중임. 음성의 뉘앙스를 3300개 임베딩 벡터만으로 포착할 수 있다는 걸 깨달음.

RP2350은 1달러 미만 칩임. LCD보다 이게 더 효율적임.

음성 기술은 유망해 보이지만 정작 컴퓨터 인터페이스로 음성을 잘 안 쓰게 됨. 말하기와 글쓰기 방식이 다르다고 느껴서인데, 좋은 TTS/STT 경험이 있는지 궁금함.

구글 Conformer 논문이 30M 이하에서는 SOTA인 것 같음. 5M 이하에서도 가능할 거라 생각함.

마이크로소프트 샘인가? 와이파이 연결하는 방식은 너무 고통스러워 보임.

ottex.ai 설립자인데 AI 작업할 때 항상 STT를 씀. 추천 모델 리스트 공유함.

Whisper 기반으로 시스템 전체를 음성 제어하는 툴을 만들었음.

걷거나 자전거 탈 때 TTS/STT 래퍼로 코딩함. 작업마다 다르지만 잘 정의된 프로젝트에는 효과적임.

자전거 탈 때 폰 거치대를 쓰나, 인이어를 쓰나?

STT는 wispr, TTS는 Claude가 다 읽어주게 설정해서 씀.

복잡한 환경에서 자연어 상호작용은 여전히 어렵지만, 사람들은 불완전한 시스템에도 금방 적응함.

코딩이랑 가장 안 어울리는 활동인 듯.

비슷하지만 폼런트 방식보다 가벼워 보임. Pico에서 돌아가면 대박일 듯.

SAM 모델에 대한 분석임. 요즘 기술로도 64K 내에서 좋은 음성을 만드는 건 충분히 가능하다고 봄.

Shokz OpenComm2 헤드셋을 써서 산책하며 코딩 업무를 함.

WASM으로 컴파일해서 브라우저 내 로봇 시인 프로젝트에 써보고 싶음.

인도 억양 영어도 이해할 수 있을까?

조용하고 사람 없는 전용 자전거 도로에서 타니까 괜찮음.

운전 중 이 짓은 위험하니 멈추길.

내 목소리 데이터를 글로벌 기업 서버로 보내는 게 싫어서 로컬 인식 프로젝트를 응원함.

실제로 유용한 사례를 하나도 떠올릴 수가 없음.

브라우저 익스텐션에서 ONNX 런타임 쓰면 모델보다 런타임이 병목임.

자전거 타면서 AI랑 대화할 수 있는 헤드셋 추천 좀.

집안 곳곳에 이거랑 서버 5대 두고 LabRats처럼 제어하고 싶음.

자연을 즐기러 나가서 왜 기계에 연결하는지 이해가 안 감.

자연이랑 연결되는 걸 대체하는 게 아니라, 사무실 업무를 대체하는 것뿐임.

Talon Voice 유저들이 정한 짧은 단어들 공유함.

직장에서 Copilot 쓸 때 로컬 Whisper 모델을 사용함.

일부 단어들은 첫 글자가 뜻이랑 안 맞기도 하네.

CLI 환경에서 음성 파이프라인을 구축해 쓰는데 미래적인 느낌이 들어서 좋음.

Moonshine 기반의 Keyscribe를 macOS에서 잘 쓰고 있음.

Pico에서 돌아가면 정말 대단하겠음. DECTalk보다 훨씬 강력하니까.

동승자와 얘기하는 거랑 폰 통화랑 무슨 차이인지 모르겠음. 과잉 대응인 듯.

macOS에서 Hex 앱으로 STT를 자주 씀. 음성으로 코딩하는 건 정말 큰 혁신인데 왜 아직 안 쓰는 사람이 많은지 의문임.

Android 앱을 만들어 Codex와 통신하며 산책하며 일함. 아주 만족스러움.

pocket-tts와 비교한 자료가 있는지 궁금함.

통계적으로 운전 중 폰 통화는 사고 위험이 4배 높음. 사실이니 인정하고 멈추길.

내가 말하는 의도를 파악해서 교정해 주는 1940년대식 비서 같은 기능을 원함.

음성 제어할 때 굳이 pre-cleaning 하지 말고 그냥 직접 써보길.

로컬 받아쓰기 워크플로우를 쓰는데 정확도보다 중요한 건 지연 시간임.

Claude Code의 음성 인식은 정말 최고임. 타이핑이 더 편해서 안 쓰지만.

애플 OS 환경에서 오픈 소스 얘기라니 아이러니함.

ORT가 너무 커서 850배 작은 WASM을 직접 만들어 씀.

모델이 작아서 SIMD를 건너뛴 건가?

모델이 작아서 추론은 즉각적임.

Plex?

handy.computer가 주류임. LLM을 추가해서 수정도 가능함.

더 자세히 듣고 싶음!

사업성이 있을지, 커뮤니티를 만들어야 할지 고민 중임.

0.0001에서 0.0004로 늘어나는 확률은 걱정 안 됨. 다른 위험한 행동도 많은데 왜 폰 통화만 문제 삼는지 모르겠음.