Gemma4 31B를 44B로 확장, 댓글은 벤치마크 요구

레딧 로컬 LLM 게시판에 Gemma4-31B를 직접 키웠다는 글이 올라옴. 구글이 31B보다 큰 밀집형 Gemma4를 안 내놔서 그냥 자기가 만들었다는 거임. 작성자는 자기가 컴퓨터공학이나 수학 전공이 아니라고 먼저 밝혔음. 집에 있는 장비로 시행착오만 반복한 결과라 이론이 허술하면 알려 달라고 썼다. 한 일은 이렇다. 먼저 층을 60개에서 80개로 늘렸음. 새로 넣은 층이 처음엔 아무 일도 안 하게 초기화하는 방식을 썼다고 함. Gemma4에만 있는 레이어 스칼라 값 문제를 찾느라 시간을 너무 썼다고 했고. 그다음 한국 법률과 이공계 데이터로 추가 학습을 시켰음. 마지막으로 이미 학습을 끝낸 모델 위에 블록을 한 번 더 복제해 88층, 약 47B 규모로 올렸다더라. 허깅페이스 모델 카드에 구조와 검증 내용을 정리해 뒀다고 썼음.

왜 이렇게 했는지도 적어 놨음. Gemma4의 밀집 구조가 지식을 너무 촘촘히 담고 있다는 게 작성자 생각이었다. 그래서 새 분야를 밀어 넣으면 이미 들어 있는 걸 밟게 된다는 거임. 층을 늘리는 건 기존 가중치와 자리싸움을 하는 대신, 새 분야가 살 빈 공간을 사 두는 작업이라고 설명했음. 법률과 이공계 용도로는 초기 결과가 괜찮아 보인다고 했다. 다만 도구 호출은 아직 테스트를 못 해서 뭐라 말 못 하겠다고 썼고. 복제해 넣은 층이 죽은 가중치로 남지 않고 실제로 학습됐는지도 확인했다고 함. 오히려 기존 슬라이딩 층보다 더 기여했다는 얘기임. 앞으로는 코딩과 도구 호출이 제일 약한 부분이라 같이 할 사람을 찾는다고 썼음. 96층에서 100층까지 더 밀지, 88층에서 데이터 품질에만 집중할지도 의견을 구했고.

새로운 방식은 아니라는 댓글이 여럿 붙었음. 라마2 때 꽤 흔했다는 말이 나왔다. 13B 모델 층을 복제해 20B로 만들고 추가 학습을 시키던 식이었다는 거임. 지금도 하는 사람이 있다는 댓글도 있었음. 미스트랄 3 스몰을 자기 자신과 합쳐 만든 모델이 최근 것이고 아주 괜찮다고 했다. 라마2, 3 시절 프랑켄슈타인 모델이 떠오른다는 반응도 있었고. 비슷한 크기의 RYS 모델과 비교해 보면 좋겠다는 댓글은 추천을 많이 받았음. 연속된 층을 그냥 복제하는 빠르고 거친 방식이라 기준선으로 삼기 좋다는 거임. 중간 층을 반복하면 지능이 올라간다는 걸 찾아낸 분석 글을 링크한 사람도 있었다. 그 글을 쓴 사람도 댓글에 나타났음. 언급해 줘서 고맙다며 자기도 Gemma4로 해봤는데 구조 때문에 좋은 결과가 안 나왔다고 했다.

Gemma4 구조 때문에 선택지가 좁다는 설명도 나왔음. Gemma4는 전체를 보는 어텐션 층 하나에 좁게 보는 층 다섯 개가 붙은 구조라는 거다. 그래서 그 구조를 유지하려면 블록 단위로 통째로 복제하거나 아예 안 하거나 둘 중 하나라고 했음. 결국 블록 하나만 복제할 수 있고 원글이 정확히 그걸 했다는 얘기임. RYS 이론이 예측하는 것보다 적은 층이라는 말도 붙었고. Qwen 3.6이 네 개씩 복제해야 하는 것과 비슷한데 이 경우는 그렇게 나쁘진 않다는 댓글도 있었음. 반대 사례를 든 댓글도 있었다. 블록을 통째로 복제하지 않고 블록마다 좁게 보는 층 두 개를 끼워 넣어 6층 블록을 8층으로 만들었다는 거임. 블록 통째 아니면 안 된다는 틀보다 더 많이 넣을 수 있었고 깔끔하게 학습됐다고 했음. 추가 학습 전 출력이 확장 안 한 모델과 완전히 똑같았다는 수치도 붙였고. 원래는 머지킷의 패스스루 모드로 시작했는데 Gemma4에선 안 됐다는 말도 나왔다.

가장 날 선 반박은 측정값 얘기였음. 아무도 테스트 안 하고 아무도 벤치마크 안 했는데 왜 다들 추천을 누르냐는 댓글이 있었다. 뭔가 하긴 했지만 방향이 맞았는지 틀렸는지 잰 게 없다는 거임. 이만큼 힘을 썼는데 확장 안 한 원래 모델과 비교한 실제 데이터가 정말 없냐고 물은 사람도 있었고. 추가한 층이 학습을 견디고 살아남았는지 확인했냐는 질문도 나왔음. 아니면 31B가 코트만 걸치고 서 있는 꼴 아니냐는 말이었다. 속도가 떨어진 만큼 성능이 올라야 하니 덜 흔한 벤치마크를 다양하게 골라 보라는 조언도 붙었고. 7B 모델로 같은 방식을 해봤다는 경험담이 구체적이었음. 복제한 블록은 처음엔 거의 그냥 통과라, 확장 직후에는 값을 별로 바꾸지도 않는 층에 지연시간만 다 낸다는 거다. 새 층들이 원본과 갈라질 때까지 학습을 통과시키기 전에는 여러 단계짜리 작업 성능이 오히려 떨어졌다고 했음. 80층에서 88층으로 두 번째 확장한 게 걱정된다는 말도 덧붙였다. 방금 끝낸 도메인 학습 위에 새 복제본이 얹힌 거라, 법률 답변을 믿기 전에 회복 학습을 한 번 더 돌려야 한다는 얘기임.

아예 다른 길을 제안한 댓글도 있었음. 디스크와 메모리에 복제본을 물리적으로 두지 말고, 추론할 때 앞쪽 층을 지나 중간 층을 한 번 더 통과시키면 되지 않냐는 아이디어였다. 그러면 저장 공간과 그래픽카드 메모리를 안 늘리고도 공짜로 똑똑해지는 셈이라는 거임. 그걸 llama.cpp에서 해보려다 실패했다는 답이 달렸음. 중간 층을 지날 때마다 자기 몫의 캐시가 필요한데 그 관리에 막혔고, 구현 자체가 계속 바뀌던 참이라 접어 뒀다고 했다. 이미 있는 개념이라는 지적도 나왔음. 계층적 추론 모델, 깊이를 순환하는 트랜스포머, 루프 트랜스포머가 그런 쪽이라는 거다. 다만 지금은 학습이 더 어렵다는 게 문제라고 했고. 비슷해 보여도 하나하나 조금씩 다르다는 반박도 붙었음. 새 가중치를 1.0으로 두는 것보다 나은 방법이 있다며 2015년 논문을 던진 사람도 있었다. 문샷이 연구한 어텐션 기반 잔차 방식을 붙였으면 진짜로 좋아졌을 거라는 댓글도 있었음. 지금 Gemma 4는 좁게 보는 범위가 1024 토큰이라 그걸 넘어가면 긴 문맥에 쓸 수 있는 층이 5분의 1 수준이라는 설명이었다. 커맨드 R 쪽은 좁은 것 셋에 전체 하나가 낫다고 봤다는 비교도 붙였고. 그래서 다들 전체 어텐션을 켜고 돌린다는 답이 달렸음. 메모리는 확 늘지만 품질이 훨씬 낫다는 얘기임.

제일 추천을 많이 받은 댓글은 기술 얘기가 아니었음. 무슨 일이 벌어지는 건지 하나도 모르겠고 자기가 돌릴 일도 절대 없지만, 멋있으니 계속하라는 말이었다. 오늘 밤 돌려보겠다는 사람도 있었고. 몇 시간 굴려 보고 시연 페이지까지 만든 사람도 있었음. 한 캐릭터를 여러 변형으로 만들어 법률 상담, 창작, 짧은 다중 턴 대화를 시켜 봤다고 했다. Gemma 4 31B보다 캐릭터를 더 깊게 유지한다는 게 그 사람 평가였고. 롤플레이 데이터를 넣으면 사람들이 몰릴 거라는 농담도 있었음. 에이전트 기능은 필요 없고 문장만 잘 쓰는 모델이 있으면 좋겠다는 댓글도 붙었다. 장비 목록을 늘어놓은 농담도 추천을 받았음. 고물시장에서 건진 3세대 스레드리퍼 CPU와 메인보드, 밀린 월급 대신 받은 256GB 램, 새것이라는 RTX PRO 6000 두 장, 그리고 신용카드 최종 통지서와 이혼 얘기를 꺼낸 배우자 메일이었다. 램이 하도 비싸서 진짜로 램으로 월급 받는 시대가 왔다는 답이 달렸음. 밈이 아니었다면서. 그래픽카드 메모리 얘기도 나왔다. 엔비디아가 16GB 넘게 안 준다는 불평에 그러면 AMD를 사라는 답이 붙었음. 값도 정상이고 물건도 있는데 드라이버 한 번 바뀌면 다 깨진다는 단서가 달렸다.

이런 모델을 돌려도 되냐는 얘기도 나왔음. GGUF로 돌리면 메모리 터지는 것 말고는 위험이 없다는 댓글이 있었다. 예전 pkl 형식 모델은 보호가 없는 바이너리라 코드를 심어 실행할 수 있었는데, Safetensors와 GGML로 넘어오면서 그 위험은 사라졌다는 설명도 붙었고. 층을 늘리면 대체로 벤치마크가 오르고 원래 능력을 유지한 채 특정 분야를 강화할 수 있다는 말도 같이 나왔음. 다만 개발자 경험에 달린 문제고, 아무것도 나아지지 않는 프랑켄슈타인 모델도 널려 있다고 했다. GGUF도 100% 안전하진 않다는 반박이 붙었음. 대화 템플릿을 오염시키는 공격이 있다는 거임. 생각해 보면 당연한데 몰랐다는 답이 이어졌다. 모델을 불러오는 줄 알았더니 파이썬 코드가 실행되는 것보단 낫지만, 편의 기능이 늘 공격 경로가 된다는 얘기였음. 템플릿은 안 불러와도 되니 그냥 자기가 쓰는 걸로 덮어쓰면 된다는 실용적인 답도 나왔고. 작성자는 다음으로 GLM-5.2나 DeepSeek V4-Flash에 같은 방식을 써 보겠다고 썼음. 전문가를 여러 개 두고 골라 쓰는 MoE 구조는 성격이 달라서 자료를 구한다고 했다. MoE는 고치고 계속 학습시키는 게 아주 어렵다는 답이 붙었음. 한 달 전만 해도 바로 쓸 수 있는 도구가 없었다는 얘기다. 차라리 다른 모델에 전문가를 추가하고 그 전문가만 추론 데이터로 학습시키는 게 낫겠다는 제안도 있었고. 작성자는 이 아이디어를 논문 저장소에 올리고 싶은데 추천이 필요하다고 댓글에 적었음. 지금 단계에선 엄밀한 이론이 부족할 수 있지만 개념을 넓히는 걸 도와주면 정말 고맙겠다고 했다.