GPU보다 메모리가 먼저 막혔다 … 삼성·SK, AI 인프라 전쟁 본격화

AI(인공지능) 반도체 시장의 초점이 GPU(그래픽처리장치)에서 메모리 인프라로 옮겨가고 있다. 그동안 시장은 엔비디아 GPU 확보전과 HBM(고대역폭메모리) 공급 부족에 주목했다. 그러나 AI가 단순 학습을 넘어 이용자 질문에 실시간으로 답하고, 스스로 여러 작업을 수행하는 추론·에이전트AI 단계로 확산하면서 병목의 성격이 달라졌다. 

이제는 GPU가 아무리 많아도 데이터를 빠르게 저장하고 꺼내 쓰는 메모리와, GPU·메모리를 안정적으로 붙이는 패키징이 받쳐주지 않으면 성능을 내기 어렵다.

투자 규모도 이 변화를 뒷받침한다. 28일 현대차증권에 따르면 구글, 아마존, 마이크로소프트, 메타, 오라클 등 5대 CSP(클라우드서비스사업자)의 2026년 CapEx(설비투자)는 전년 대비 80.7% 늘어난 7438억달러로 전망됐다. 삼성전자, SK하이닉스, 마이크론, TSMC, 인텔 등 반도체 5개사의 2026년 CapEx도 전년 대비 45.0% 증가한 1817억달러로 예상됐다. 

AI 데이터센터 투자가 GPU 구매에 그치지 않고 HBM, CoWoS(칩 온 웨이퍼 온 서브스트레이트), TSV(실리콘관통전극), 장비, 기판, 전력부품으로 번지고 있다는 의미다.

추론AI에서는 질문을 받을 때마다 이전 대화와 계산 결과를 계속 불러와야 한다. 이 과정에서 필요한 임시 저장공간이 KV 캐시(Cache)다. 쉽게 말해 AI가 방금 전까지의 대화 맥락을 기억하기 위해 쓰는 고속 메모리 공간이다. 대화가 길어지고, 작업 단계가 많아질수록 이 공간은 더 커진다.

현대차증권은 AI 추론 과정 중 답변을 한 단어씩 만들어내는 디코드(Decode) 단계가 메모리 병목 구간이라고 분석했다. GPU 연산 자체보다 데이터를 얼마나 빨리 가져오느냐가 성능을 좌우한다는 뜻이다. 구글의 모델 API(응용 프로그램 인터페이스) 사용량이 분당 100억토큰에서 160억토큰으로 60% 이상 늘었다는 점도 같은 흐름을 보여준다. AI 사용량 증가는 곧 메모리 사용량 증가로 이어진다.

이 때문에 HBM 수요는 계속 늘고 있다. 다만 앞으로의 경쟁은 단순히 많이 만드는 싸움이 아니다. HBM4부터는 더 얇은 D램을 더 많이 쌓고, 칩 사이를 연결하는 TSV 수도 늘어난다. 성능은 좋아지지만 제조 난도와 불량 위험도 커진다. HBM4 시대에는 물량보다 수율과 안정성이 실적을 가를 가능성이 크다.

SK하이닉스는 HBM 시장 선점 효과를 갖고 있다. 엔비디아 공급망에 먼저 자리 잡으며 AI 메모리 호황의 최대 수혜주로 떠올랐다. 삼성전자는 다른 강점이 있다. 메모리뿐 아니라 파운드리, 패키징, 테스트, 후공정까지 한 회사 안에서 묶을 수 있다. AI 병목이 HBM 단품에서 패키징과 후공정으로 번질수록 삼성전자의 수직계열화 역량도 다시 평가받을 수 있다.

문제는 HBM만이 아니다. GPU와 HBM을 한 몸처럼 붙이는 CoWoS도 부족하다. TSMC의 CoWoS 생산능력은 2025년 월 6만5000장에서 2026년 월 10만5000장, 2027년 월 15만5000장로 늘어날 전망이다. 그러나 엔비디아, 브로드컴, 구글 TPU, 메타 ASIC, 아마존 Trainium 수요가 동시에 몰리면서 공급 부족은 쉽게 풀리지 않을 것으로 관측된다.

이 병목은 후공정 업체와 장비업체에도 기회를 만들고 있다. AI 가속기를 많이 만들려면 TSV, 본딩, 테스트, 휨 제어 장비가 필요하다. 과거 반도체 투자가 주로 전공정 중심이었다면, 이번 AI 사이클은 후공정과 첨단 패키징이 핵심 투자처로 떠오른 점이 다르다.

AI 수혜는 부품업계로도 번지고 있다. 키움증권은 쇼티지(공급부족) 품목이 GPU에서 메모리, CPU(중앙처리장치), FC-BGA(플립칩 볼그리드어레이), MLCC(적층세라믹커패시터), 전력반도체로 확산하고 있다고 분석했다. AI 서버가 랙 단위로 커지면서 전력 소모와 데이터 이동량이 함께 늘고 있기 때문이다. 2026년 데이터센터 네트워킹 매출은 전년 대비 약 3배 증가할 것으로 전망됐다. 이는 스위치 기판, 광모듈, 고다층 기판, 케이블 수요 확대와도 연결된다.

전력부품도 중요해졌다. AI 서버 전력 밀도가 높아지면서 800VDC(직류 기반 전력공급) 전환 필요성이 커지고, 전압을 안정적으로 잡아주는 MLCC와 전력반도체 수요도 늘고 있다. 중국 전력반도체 업체들은 10~25%, TI와 인피니언 등 주요 업체는 10~20% 수준의 가격 인상을 발표했다. 삼성전자향 메모리 모듈 기판 판가도 평균 10% 인상된 것으로 추정됐다.

이번 AI 슈퍼사이클은 단순한 메모리 가격 상승 사이클이 아니다. AI 데이터센터 구조가 GPU 중심에서 메모리, 패키징, 기판, 전력부품을 함께 요구하는 구조로 바뀌고 있다. 수요 주체도 미국 빅테크에 그치지 않는다. 국가 단위 AI 투자와 신생 클라우드 기업까지 가세하면서 AI 인프라 경쟁은 더 길어질 가능성이 크다.

삼성전자와 SK하이닉스에는 기회와 부담이 동시에 커졌다. SK하이닉스는 HBM 선점력을 HBM4까지 이어가야 한다. 삼성전자는 수직계열화 강점을 고객사 인증과 양산 수율로 증명해야 한다. 시장의 관심도 단기 점유율에서 공급 안정성, 패키징 신뢰도, 장기 물량 대응력으로 이동하고 있다.

현대차증권 윤동욱 연구원은 “추론과 에이젠틱 AI 산업의 개화로 메모리 병목이 심화되고 있다”며 “HBM4는 TSV 수 증가로 제조 난이도가 높아지는 만큼 Warpage(웨이퍼 휨) 제어 등 수율 개선 장비의 중요성도 부각될 것”이라고 분석했다.