삼성의 프로세싱인메모리(PIM) 기술, 과연 게임 체인저가 될 수 있을까? 해외 개발자들의 분석

인메모리 연산은 사실 옛날 SDR SDRAM 시절에도 표준 x86 메모리 컨트롤러에 구현하려는 시도가 있었음. 그때는 트레이드오프가 안 맞았을 뿐.

삼성 아티클 보면 칩 내부 뱅크 대역폭이 외부에 비해 엄청남. 단일 64비트 IC 기준으로 614 GB/s까지 나오니까 훨씬 빠르고 전력 효율적임.

메모리 공간 단편화라는 대가가 따르지만, LLM 같은 특정 용도엔 괜찮음.

연산을 램 뱅크로 옮긴다는 아이디어가 80년대 ISA 기반 확장 램 시절이랑 거의 비슷하다는 점이 재밌음. 기술은 돌고 돈다는 걸 느낌.

전혀 비교가 안 되는 게, 여전히 메모리 레이턴시만 내고 추가 대역폭은 못 얻음.

각 PIM 블록이 로컬 뱅크에만 빠르게 접근할 수 있고 다른 블록이랑 직접 데이터 교환이 안 된다면, 레이어 가중치가 뱅크 하나에 안 들어갈 때 속도 이점이 다 까먹힐 걸.

PIM이 미래인 건 맞지만 이번 구현 방식은 좀 회의적임. 행렬 곱셈은 데이터 이동이 핵심인데 칩 전체를 도는 시프트 레지스터 같은 구조가 필요함.

GEMV의 경우엔 손해 볼 게 전혀 없음. 타일링해서 뱅크에 채워 넣으면 그만이니까. 다만 GEMM은 GPU나 NPU가 낫지.

에너지 소비는 어떰? CPU나 GPU처럼 램에도 액티브 쿨링이 필요해지지 않을까?

데이터 이동이 병목이라는 점에선 PIM이 의미가 있지만, DRAM 공정 특성상 전용 NPU보다 성능이 떨어지고 범용 프로그래밍 모델이 부족한 게 한계임.

서버에 PIM 메모리 96개 박아서 LLM 파라미터나 KV 캐시 올리고 GEMV 연산만 돌리면 대역폭이 어마어마해짐. 인퍼런스 속도가 미친듯이 빨라질 수 있음.

고정 파라미터가 엄청나게 많은 행렬 곱셈이 중요해진 만큼, 연산 장치를 메모리에 붙여서 인퍼런스 비용을 낮출 유인이 엄청남.

AI 데이터센터 거품론과 맞물려서, PIM 같은 최적화 기술들이 나중에 데이터센터 증설 수요 자체를 상쇄해버릴지도 모름.

최적화만 충분히 되면 로컬 인퍼런스가 클라우드를 대체하는 티핑 포인트가 올 텐데, 그게 거품이 꺼지기 전일지 후일지가 문제임.

모든 기기에서 둠을 돌릴 수 있듯이, AI용으로 나온 하드웨어에서도 재밌는 앱들을 돌릴 수 있을 거임.

행렬 곱셈은 머신러닝과 인퍼런스의 뼈대인데, AI가 진짜 대세를 잡으려면 메모리 내 행렬 곱셈은 필수 요구사항임.

이제 96개 메모리 슬롯마다 개별 쿨링이 필요하겠네.

로컬 인퍼런스가 충분히 좋아지는 티핑 포인트가 올 거라지만, 탑티어 클라우드 모델을 따라잡으려면 아직 멀었음.

더 중요한 건 전체 시스템의 순수 이득임. PIM이 발열과 전력 소모를 줄여준다면 방열판 위치가 어디든 이득임.

메모리 채널 늘려서 확장할 수도 있지. 워크스테이션은 12~16채널까지 가는데 일반 소비자는 듀얼 채널에 묶여 있음.

LLM이 뜬 이후로 인메모리 연산 얘기는 계속 나왔음. 램 안에 RISC-V 코어 넣으려는 논문들도 있었고.

메모리에 연산 장치를 넣는 트레이드오프는 데이터가 어디 있는지 정확히 알아야 한다는 점임. AI나 게임 같은 일부 예외 빼고는 범용성이 너무 떨어짐.

AI가 코드를 다 짜주는 세상에서는 저수준 구현의 어려움도 더 이상 문제가 안 될지도.

광범위한 통신 맥락에 대한 고려 없는 PIM은 쓸모없음. 특히 표준 동기식 DRAM 인터페이스를 그대로 쓰는 건 구조적으로 응용 범위를 엄청나게 제한함.

맞음. 예전엔 SIMD 코드 짜기 빡셌는데 요즘은 AI 덕분에 뚝딱 만들 수 있음.

소프트웨어 수정 없이도 램 단에서 AVX 같은 연산을 처리하면 대역폭을 엄청나게 끌어올릴 수 있을 듯. 특히 서버용 인메모리 가속기로 좋아 보임.

램을 활성 보조프로세서로 만드는 건 좀 어색한 모델이긴 함. 인텔 AMX 같은 게 더 잘 맞겠지만 삼성은 가진 카드로 승부 보는 거지.

CPU 캐싱 문제 어쩌고 하는 건 논점을 벗어난 듯. 어차피 결과를 DMA로 GPU에 넘기는 게 맞지 않나?

인퍼런스뿐만 아니라 데이터센터의 시뮬레이션이나 테스트 같은 작업들도 상호보완적이라 수요가 있을 것임.

80년대 대학 다닐 때도 연산과 메모리의 결합은 이미 얘기되던 개념임. 결국 AI 시대에는 저전력 데이터플로우 커스텀 칩으로 구현되는 게 당연한 수순일지도.

삼성 램 여러 개 그리드로 엮어서 '램스푸터'라고 부르면 되겠네.

결국 우리가 SSE나 AVX 같은 벡터 연산을 첫 원리부터 다시 발명하고 있는 셈 아님?

면적이 넓으니까 그게 더 쉬울 수도 있겠지.

중간 다리 거치지 않고 SIMD 유닛을 램에 박아버린 SIMD의 자연스러운 진화 같음. 올웨이즈 온 디스플레이 같은 곳에서도 전력 아끼기 좋을 듯.

아주 제한적인 유스케이스 빼고는 이걸 기존 SIMD 대체재로 쓰기는 상상하기 힘들 걸. 랜덤 액세스가 너무 많아지면 결국 실패할 거임.

다음 토큰 예측할 때 어텐션 연산은 벡터 하나에 공유되지 않아서 이게 거의 완벽하게 맞아떨어짐.

유스케이스는 늘 배열에 대한 부동소수점 연산 중심이었음. 90년대 중반에도 PIM 접근법이 많았는데 살아남은 건 NUMA랑 GPU뿐.

작동하려면 물리적으로 연속된 램이 필요하다면 완전한 가상 메모리 시스템에 참여한다고 보긴 어려움.

원격 피연산자 가져오려고 이미 DMA 컨트롤러 같은 전용 실리콘 쓰고 있잖아.

메모리 버스에서 작동하는 DMA 컨트롤러랑 뭐가 다른가 싶음. PIM의 핵심은 시스템 버스 병목 없이 메모리 모듈 안에서 로컬로 처리하는 건데, 글로벌 대역폭에 의존하기 시작하면 의미가 퇴색됨.

인피니밴드가 네트워크에서 해낸 걸 하드웨어 다른 부분에서도 할 수 있다면 HPC 진영이 엄청 좋아할 듯.

회계 처리 때문에 메가바이트 단위 데이터를 합산하는 게 병목인 시대는 지난 지 수십 년임. 이 모델이 지원하는 연산이 너무 제한적이라 쓸모가 있을지 모르겠음.

맞기도 하고 틀리기도 함. 옛날엔 수평 확장 가로막는 걸 설득하기 힘들지만 지금은 당연시됨. PIM도 문제를 수평 확장 형태로 쪼갤 수 있어야 진가를 발휘함.

저렴한 QKV 연산이 목적이라면 '대역폭 빵빵한 약골 NPU' 정도로도 충분하지 않을까?

NUMA나 옛날 썬 마이크로시스템즈가 시도했던 방식을 제대로 채택하지 않고 있는 게 더 근본적인 문제 아닐까 싶음.

맵리듀스 연산도 가능하겠지만, 이게 진짜 날아오르려면 프론트사이드 버스랑 별개로 메모리 칩 간의 사이드 채널이 있어야 함.

시스템이 이미 물리적으로 연속적이면서 가상으로 매핑된 메모리를 쓰고 있는데 무슨 소리인지.

달러당 유효 플롭스가 어색함 따위는 다 상쇄할 거라고 봄. 이제 우아한 디자인은 안 통함.