글로벌 반도체 시장이 또 한 번 거대한 패러다임 시프트(Paradigm Shift)를 맞이하고 있습니다. 우리는 지난 몇 년간 인공지능(AI) 열풍 속에서 고대역폭 메모리, 즉 HBM(High Bandwidth Memory)이 가져온 전례 없는 초호황기를 목도했습니다. 엔비디아의 GPU 옆에 단단히 자리 잡은 HBM은 학습용 AI 시장의 절대적인 왕좌였습니다.
그러나 영원한 왕좌는 없습니다. 현재 AI 시장의 무게중심은 막대한 데이터를 집어넣고 학습시키는 ‘학습(Training)’ 단계에서, 전 세계 수억 명의 사용자가 시도 때도 없이 던지는 질문에 실시간으로 답을 내놓는 ‘추론(Inference)’ 단계로 급격히 이동하고 있습니다.
여기서 치명적인 병목 현상이 발생합니다. 바로 ‘전력 소모와 발열’입니다. HBM은 엄청나게 빠르지만 그만큼 막대한 전기를 잡아먹는 ‘헤비 드링커(Heavy Drinker)’입니다. 전 세계 데이터센터가 전기 고갈과 발열 문제로 비명을 지르기 시작하면서, 글로벌 테크 giants들과 반도체 제조사들은 차세대 첨단 저전력 메모리 개발에 사활을 걸었습니다.
오늘은 포스트 HBM 시대를 지배하기 위해 등장한 5가지 핵심 차세대 메모리 기술(HBC, SOCAMM, HBF, ZAM, PIM)을 엔지니어링 관점에서 낱낱이 해부하고, 어떤 기업이 제2의 HBM 신화를 재현하며 투자자들에게 도움이 될 포괄적인 투자 가이던스를 전해드립니다.
1. 배경: AI 패러다임의 변화와 폰 노이만 병목 현상
컴퓨터 아키텍처 역사를 돌이켜보면 PC 시대에는 ‘CPU 속도’가, 모바일 시대에는 ‘저전력 D램’이 시장을 지배했습니다. AI 초기 시장 역시 엄청난 매개변수(Parameter)를 가진 거대언어모델(LLM)을 한시라도 빨리 학습시켜야 했기에, 가격과 전력은 후순위였고 오직 대역폭(Bandwidth)만을 극대화한 HBM이 시장을 독식했습니다.
하지만 ‘추론’의 시대는 게임의 법칙이 완전히 다릅니다.
- 학습(Training): 대형 데이터 플러그를 꽂아두고 한 번에 몰아서 무거운 연산을 수행합니다.
- 추론(Inference): 수억 명의 전 세계 유저가 24시간 내내 모바일과 PC로 AI 서비스를 호출합니다. 데이터의 이동이 극도로 잦고 반복적입니다.
문제는 데이터가 메모리 저장소와 연산 장치(CPU/GPU) 사이를 오가는 과정에서 발생하는 전력 소모(Data Movement Power)가 전체 시스템 전력의 60~80%를 차지한다는 점입니다. 프로세서의 계산 속도는 광속으로 발전했지만, 메모리에서 데이터를 주고받는 버스(Bus)의 대역폭과 전력 효율이 이를 따라가지 못하는 ‘폰 노이만 병목 현상(Von Neumann Bottleneck)’이 한계에 다다른 것입니다.
결국 미래 AI 반도체 경쟁의 핵심 철학은 명확합니다. “누가 더 빠른가”가 아니라, “누가 데이터 이동을 최소화하여 전력을 아끼는가”의 싸움입니다. 이제 그 대안으로 떠오른 5가지 독자적인 생태계를 하나씩 뜯어보겠습니다.
2. 포스트 HBM을 노리는 5대 차세대 기술 심층 분석
① HBC (High Bandwidth Compute) : 퀄컴의 근접 연산과 3D 적층
기존 HBM 구조는 GPU ‘옆’에 인터포저(Interposer)라는 중간 기판을 두고 수평으로 데이터 통로를 연결합니다. 눈에 보이지 않을 만큼 미세하지만 물리적인 선로의 길이가 존재하며, 여기서 신호 손실과 전력 소모가 발생합니다.
모바일 AP 설계의 최강자인 미국 퀄컴이 제시한 HBC(고대역폭 컴퓨트)는 이 구조를 완전히 뒤집습니다.
- 엔지니어링 핵심: 근접 연산(Near-Memory Computing) 및 3D 로직-메모리 적층
- 구조적 특징: AI 연산을 담당하는 가속기(Logic Die) 바로 위에 저전력 D램(LPDDR)을 수직으로 다이렉트 적층(3D Stacking)합니다. 데이터가 이동하는 거리가 마이크로미터(㎛) 단위로 좁혀집니다.
- 성능 강점: 모든 데이터를 가속기 중심부로 보내지 않고, 메모리와 맞닿은 최단 거리에서 먼저 일부 계산을 처리한 뒤 꼭 필요한 결과만 상부로 전달합니다. 퀄컴은 이 방식을 통해 HBM 대비 와트당 대역폭(전력 효율성)을 무려 6배나 끌어올릴 수 있다고 발표했습니다. 모바일에서 갈고닦은 저전력 DNA를 서버 시장에 이식하겠다는 야심찬 구상입니다.
② SOCAMM (Small Outline Compression Attached Memory Module) : 엔비디아의 모듈 표준 파괴
스마트폰에 탑재되는 LPDDR(저전력 D램)은 전력 효율면에서 최상의 퍼포먼스를 보여줍니다. 하지만 치명적인 약점이 있었습니다. 메인보드에 직접 납땜(On-board)해야만 고속 신호의 무결성(Signal Integrity)이 유지된다는 점입니다. 이 때문에 서버 환경처럼 필요에 따라 슬롯에 꼈다 뺐다 하며 용량을 확장해야 하는 데이터센터에는 사용이 불가능했습니다.
이 한계를 깨부순 것이 바로 엔비디아가 주도하는 SOCAMM(소캠) 규격입니다.
- 엔지니어링 핵심: 소켓 압착 방식을 통한 LPDDR의 서버화
- 구조적 특징: 보드에 납땜하는 대신, 기판에 매우 얇은 소켓 형태로 메모리 모듈을 ‘압착’하여 연결합니다. 커넥터의 물리적 길이를 극한으로 줄여 LPDDR의 초저전력 특성을 고스란히 유지하면서도, 서버가 요구하는 고용량 확장성과 교체 편의성을 확보했습니다.
- 실제 적용: 엔비디아의 차세대 로드맵을 보면 매우 흥미로운 전략이 보입니다. 최고 속도가 필요한 GPU(루빈 등)에는 최첨단 HBM4를 탑재하지만, 대용량 데이터 제어와 효율성이 중요한 CPU(베라)에는 SOCAMM2를 채택했습니다. 비용과 전력을 모두 잡겠다는 계산입니다. 현재 국내 메모리 거두인 삼성전자와 SK하이닉스가 이 SOCAMM2 모듈을 개발하여 엔비디아 공급망에 진입해 있습니다.
③ HBF (High Bandwidth Flash) : 낸드플래시 기반 대형 보관함의 등장
컴퓨터 구조론에서 ‘레지스터-캐시-D램-저장장치(SSD)’로 이어지는 단단한 계층 구조(Memory Hierarchy)는 수십 년간 변하지 않는 진리였습니다. 하지만 LLM 추론 모델이 커지면서 수천억 개의 매개변수 데이터를 전부 비싼 D램(HBM)에 상주시키는 것은 가성비 측면에서 재앙에 가깝습니다. 여기서 등장한 파괴적 혁신이 HBF(고대역폭 플래시)입니다.
- 엔지니어링 핵심: 비휘발성 초고속 낸드 적층 및 하이브리드 계층화
- 구조적 특징: 전원이 꺼져도 데이터가 지워지지 않고, D램보다 동일 면적당 저장 용량이 수 배 이상 크며 가격은 저렴한 ‘낸드플래시’를 HBM처럼 수직으로 쌓아 올린 형태입니다.
- 비유와 협업: HBM이 AI 프로세서 바로 옆에서 데이터를 실시간으로 빠르게 주고받는 ‘작업대’라면, HBF는 그 바로 뒤에 위치한 ‘초대형 고속 보관함’입니다. 실시간 연산에 필요한 핵심 가중치는 HBM에 올려두고, 자주 꺼내 쓰지만 매 순간 대기할 필요는 없는 거대한 데이터 베이스는 HBF에 저장해 둡니다. 가상 메모리 스왑 속도를 극대화한 이 기술은 미국 샌디스크(웨스턴디지털)가 표준화를 이끌고 있으며, SK하이닉스가 연합군으로 참여해 생태계를 키우고 있습니다.
④ ZAM (Z-Angle Memory) : 인텔의 물리적 공정 우회 전략
HBM의 가장 큰 기술적 장벽이자 아킬레스건은 D램 칩 수천 개에 미세한 구멍을 뚫어 수직으로 연결하는 TSV(실리콘 관통 전극) 공정입니다. 수직으로 곧게 뚫린 통로를 통해 엄청난 양의 전류가 흐르다 보니, 칩 내부의 열이 밖으로 빠져나가지 못하고 상층부에 고여 칩이 오작동하는 ‘열 축적(Thermal Throttling)’ 문제가 끊임없이 발생합니다.
인텔과 소프트뱅크의 자회사 사이메모리가 공동 개발 중인 ZAM(Z-앵글 메모리)은 물리적 접근법을 바꿨습니다.
- 엔지니어링 핵심: 사선 실리콘 관통 전극 (Angled TSV)
- 구조적 특징: 건물의 엘리베이터처럼 수직으로만 통로를 뚫는 것이 아니라, 에스컬레이터처럼 비스듬한 사선 각도(Z-Angle)로 데이터 통로를 배치합니다.
- 기대 효과: 신호가 오가는 경로의 면적이 넓어지면서 자연스럽게 칩 내부의 열 발산 면적이 확대됩니다. 또한, 신호선끼리 수직으로 마주 볼 때 발생하는 전기적 간섭(Crosstalk)을 줄여 전력 효율을 개선할 수 있습니다. 다만, 딱딱한 실리콘을 사선으로 정밀하게 식각(Etching)하는 공정 난이도가 극악에 가깝기 때문에 양산성 검증이 향후 상용화의 가늠쇠가 될 것입니다.
⑤ PIM (Processing In Memory) : 폰 노이만 구조의 완벽한 종말
앞서 언급한 네 가지 기술이 메모리와 프로세서 간의 ‘거리’를 좁히거나 ‘통로’를 개선하는 방식이라면, PIM(프로세싱 인 메모리)은 컴퓨터의 패러다임 자체를 부정하는 가장 궁극적이고 혁신적인 개념입니다.
- 엔지니어링 핵심: 메모리 뱅크(Bank) 내 독립 연산기(ALU) 내장
- 구조적 특징: 기존 메모리는 오직 ‘저장’만 하고 계산은 CPU나 GPU가 도맡았습니다. PIM은 데이터가 저장되는 메모리 셀 내부 영역에 아주 단순한 계산이 가능한 연산 장치들을 곳곳에 심어 놓았습니다.
- 비유와 장점: 물건이 들어올 때마다 멀리 있는 본사 직원이 와서 분류하는 게 아니라, 창고(메모리) 안에 상주하는 직원이 그 자리에서 직접 물건을 분류(연산)해 결과만 보고하는 시스템입니다. AI 연산의 대부분을 차지하는 단순 반복 행렬 계산(GEMM)을 메모리가 직접 수행하므로, 데이터를 외부 버스로 전송할 필요가 전혀 없습니다. 데이터 이동 에너지가 ‘제로(0)’에 수렴하기 때문에 전력 효율면에서는 이론상 완벽한 종착지입니다. 현재 삼성전자와 SK하이닉스가 LPDDR 기반의 PIM 제품을 고도화하며 상용화를 앞당기고 있습니다.
3. 차세대 메모리 기술 한눈에 비교하기
| 기술 규격 | 핵심 구조 및 아이디어 | 주도 기업 / 진영 | 전력 절감 메커니즘 | 성숙도 및 상용화 시점 |
| HBC | 가속기 로직 다이 위에 LPDDR을 3D 수직 적층 | 퀄컴 | 패키징 다이렉트 연결로 이동 거리 최소화 | 프로토타입 공개 단계 |
| SOCAMM | LPDDR 모듈을 소켓 압착 방식으로 서버 기판에 연결 | 엔비디아, 삼성전자, SK하이닉스 | 저전력 모바일 D램의 서버 확장 | 상용화 돌입 (베라 CPU 탑재) |
| HBF | 초고속 낸드플래시를 수직 적층하여 서버 근접 배치 | 샌디스크, SK하이닉스 | 대용량 데이터의 계층 최적화 (가성비) | 규격 표준화 진행 중 |
| ZAM | D램 관통 전극(TSV)을 사선(Diagonal)으로 배치 | 인텔, 사이메모리 | 사선 배치를 통한 열 발산 및 간섭 저감 | 연구 개발 및 공정 검증 단계 |
| PIM | 메모리 내부 뱅크에 단순 연산 장치(ALU) 내장 | 삼성전자, SK하이닉스 | 데이터 이동 자체를 삭제 (버스 전력 0) | 실증 테스트 및 생태계 확장 중 |
4. 투자 가이던스 (Investment Guidance)
기술의 우수성을 아는 것과 돈이 되는 기업을 고르는 것은 별개의 영역입니다. 주식 시장에서는 ‘가장 완벽한 기술’보다 ‘당장 대량 양산되어 밸류체인의 숫자로 찍히는 기술’이 먼저 가치를 인정받습니다. 시장의 자금 흐름과 기술 성숙도를 고려해 단기(1~2년)와 중장기(3~5년) 투트랙(Two-Track) 전략을 제시합니다.
💡 단기 관점 (1~2년): 매출 가시성이 확보된 ‘SOCAMM’ 공급망에 집중
현재 엔비디아의 서버 아키텍처에 채택이 확정되어 당장 올해와 내년 실적 턴어라운드를 이끌 영역은 단연 SOCAMM입니다. 데이터센터 전력지난은 당장 발등에 떨어진 불이기 때문에, 검증된 LPDDR 모듈 채택 속도는 상상을 초월할 것입니다.
- 최선호주 (Top Picks):SK하이닉스 & 삼성전자
- 서버용 고성능 LPDDR5X 및 LPDDR6 시장의 글로벌 점유율을 사실상 독점하고 있는 구조입니다. SOCAMM 모듈 공급이 본격화되면 레거시 D램 대비 압도적인 마진율 개선이 이루어집니다.
- 장비 및 부품 수혜주:첨단 후공정(OSAT) 및 패키지 기판사
- 커넥터 길이를 줄이고 미세 압착 기법을 적용해야 하는 고난도 모듈 가공 기술 특성상, 플 flip-chip 계열의 고부가 패키지 기판을 공급할 수 있는 삼성전기, 대덕전자 같은 기판 대형주와 후공정 검사 및 레이저 장비 공급사의 가치 재평가(Re-rating)가 강하게 나올 것입니다.
💡 중장기 관점 (3~5년): 판도를 바꿀 게임 체인저 ‘HBF’와 ‘PIM’ 선점
AI 추론 시장이 완전히 성숙하여 전체 AI 서버 수요의 80%를 넘어가는 시점이 오면, 단순히 D램을 튜닝하는 수준을 넘어 아키텍처 전반을 바꾸는 기업이 수조 원의 가치를 흡수합니다.
- 낸드(NAND)의 화려한 부활과 HBF 주도권:SK하이닉스 (솔리다임)
- 그동안 HBM에 밀려 적자를 면치 못했던 낸드플래시 사업부가 HBF 시장의 개화로 강력한 현금 창출원(Cash Cow)으로 변모할 것입니다. 특히 자회사 솔리다임을 통해 기업용 고용량 QLC SSD 시장을 선점한 SK하이닉스는 HBF 표준화 연합의 중심축으로서 장기 우상향 모멘텀을 확보했습니다.
- 폰 노이만 구조의 붕괴와 지식재산권(IP)의 가치:디자인하우스 및 반도체 IP 기업
- PIM 구조로 가기 위해서는 메모리 내부에 연산 회로를 정밀하게 설계해야 합니다. 이는 메모리 제조사 단독으로 불가능하며, 팹리스 및 디자인하우스와의 긴밀한 생태계 협력이 필수적입니다. 국내 시장에서는 메모리 인터페이스 IP 원천 기술을 가진 오픈엣지테크놀로지나 삼성전자 파운드리의 핵심 디자인하우스인 가온칩스 같은 다크호스들이 중장기 텐배거(10배 주식) 후보군이 될 수 있습니다.
5. 결론: “데이터를 옮기는 시대는 끝났다”
“HBM이 AI 확산의 제1막(학습)을 화려하게 지배했다면, 제2막(추론)은 전력을 지배하는 자가 승리합니다.”
과거의 반도체 치킨게임이 ‘누가 더 셀(Cell)을 미세하게 깎아 대량 생산하는가’였다면, 앞으로의 AI 시대는 ‘소프트웨어의 특성을 이해하고 시스템 구조와 패키징으로 전력을 얼마나 아끼는가’의 아키텍처 전쟁입니다.
단기적으로는 엔비디아 공급망 내에서 확실한 숫자를 찍어줄 SOCAMM 및 첨단 후공정 밸류체인으로 포트폴리오의 하방을 단단히 지지하십시오. 그리고 중장기적으로는 낸드 업황의 패러다임을 바꿀 HBF와 궁극의 반도체라 불리는 PIM 관련 핵심 기술주들을 적립식으로 모아가는 전략을 추천합니다. 판이 바뀔 때 과감히 베팅하는 투자자만이 다가올 거대한 자산 증식의 기회를 잡을 수 있습니다.
관련 기사: