SK하이닉스의 HBM3E 12단 양산 시작

HBM3E 12H는 초당 최대 1,280GB의 대역폭과 현존 최대 용량인 36GB을 제공해 성능과 용량 모두 전작인 HBM3(4세대 HBM) 8H(8단 적층) 대비 50% 이상 개선된 제품이다.

 

서버 시스템에 HBM3E 12H를 적용하면 HBM3 8H를 탑재할 때 보다 평균 34% AI 학습 훈련 속도 향상이 가능하며, 추론의 경우에는 최대 11.5배 많은 AI 사용자 서비스가 가능할 것으로 기대되는 고성능 제품이다. 

 

 

* HBM3E 12H는 1,024개의 입출력 통로(I/O)에서 초당 최대 10Gb를 속도를 지원함.

초당 1,280GB를 처리할 수 있어 1초에 30GB 용량의 UHD 영화 40여편을 업(다운)로드 할 수 있는 속도

* 성능은 고객사 모의 환경 기반의 내부 평가 결과이며, 실제 환경에 따라 변동 가능

 

현재 시장 주류는 엔비디아의 H200, B100, B200 등에 탑재되는 HBM3E 8단 제품이지만 엔비디아가 신형 GPU를 위한 후속 AI전용 칩인 '블랙웰 울트라' 출시를 예고한 데 따라 메모리 기업들이 앞다퉈 HBM3E 12단 제품 출시를 준비하는 상황이었다.

 

 

시장조사기관 트렌드포스에 따르면 엔비디아의 블랙웰 울트라는 8개의 HBM3E 12단 제품을 활용할 것으로 알려졌다. 본격적인 판매에 따라 내년에 HBM3E에서 12단 제품 비중이 40%까지 증가하고 이보다 더 커질 가능성도 제기된다.

 

 

1. SK하이닉스의 HBM3E 12단 양산 소식

 

SK하이닉스가 현존 HBM* 최대 용량**인 36GB(기가바이트)를 구현한 HBM3E 12단 신제품을 세계 최초로 양산하기 시작했다고 26일 밝혔다.

 

* HBM(High Bandwidth Memory): 여러 개의 D램을 수직으로 연결해 기존 D램보다 데이터 처리 속도를 혁신적으로 끌어올린 고부가가치, 고성능 제품. HBM은 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)-5세대(HBM3E) 순으로 개발됨. HBM3E는 HBM3의 확장(Extended) 버전
** 기존 HBM3E의 최대 용량은 3GB D램 단품 칩 8개를 수직 적층한 24GB였음

 

회사는 양산 제품을 연내 고객사에 공급할 예정으로, 지난 3월 HBM3E 8단 제품을 업계 최초로 고객에게 납품한 지 6개월 만에 또 한 번 압도적인 기술력을 증명했다.

 

SK하이닉스는 “당사는 2013년 세계 최초로 HBM 1세대(HBM1)를 출시한 데 이어 HBM 5세대(HBM3E)까지 전 세대 라인업을 개발해 시장에 공급해 온 유일한 기업”이라며 “높아지고 있는 AI 기업들의 눈높이에 맞춘 12단 신제품도 가장 먼저 양산에 성공해 AI 메모리 시장에서 독보적인 지위를 이어가고 있다”고 강조했다.

회사는 HBM3E 12단 제품이 AI 메모리에 필수적인 속도, 용량, 안정성 등 모든 부문에서 세계 최고 수준을 충족시켰다고 설명했다.

 

우선 회사는 이번 제품의 동작 속도를 현존 메모리 최고 속도인 9.6Gbps로 높였다. 이는 이번 제품 4개를 탑재한 단일 GPU로 거대언어모델(LLM)인 ‘라마 3 70B*’를 구동할 경우 700억 개의 전체 파라미터를 초당 35번 읽어낼 수 있는 수준이다.

* 라마 3(Llama 3): 2024년 4월 메타가 공개한 오픈소스 LLM으로 8B(Billion), 70B, 400B 총 3가지 사이즈가 있음

 

회사는 또 기존 8단 제품과 동일한 두께로 3GB D램 칩 12개를 적층해 용량을 50% 늘렸다. 이를 위해 D램 단품 칩을 기존보다 40% 얇게 만들고 TSV* 기술을 활용해 수직으로 쌓았다.

 

여기에 얇아진 칩을 더 높이 쌓을 때 생기는 구조적 문제도 해결했다. 회사는 자사 핵심 기술인 어드밴스드(Advanced) MR-MUF** 공정을 이번 제품에 적용해 전 세대보다 방열 성능을 10% 높였으며, 강화된 휨 현상 제어를 통해 제품의 안정성과 신뢰성을 확보했다.

* TSV(Through Silicon Via): D램 칩에 수천 개의 미세한 구멍을 뚫어 상층과 하층 칩의 구멍을 수직으로 관통하는 전극으로 연결하는 어드밴스드 패키징(Advanced Packaging) 기술
** MR-MUF: 반도체 칩을 쌓아 올린 뒤 칩과 칩 사이 회로를 보호하기 위해 액체 형태의 보호재를 공간 사이에 주입하고, 굳히는 공정. 칩을 하나씩 쌓을 때마다 필름형 소재를 깔아주는 방식 대비 공정이 효율적이고, 열 방출에도 효과적이라는 평가. 특히, SK하이닉스의 어드밴스드 MR-MUF는 기존 공정보다 칩을 쌓을 때 가해지는 압력을 줄이고, 휨 현상 제어(Warpage control)도 우수해 안정적인 HBM 양산성을 확보하는 데 핵심이 되고 있음

 

SK하이닉스 김주선 사장(AI Infra담당)은 “당사는 다시 한번 기술 한계를 돌파하며 시대를 선도하는 독보적인 AI 메모리 리더로서의 면모를 입증했다”며, “앞으로도 AI 시대의 난제들을 극복하기 위한 차세대 메모리 제품을 착실히 준비해 ‘글로벌 1위 AI 메모리 프로바이더(Provider)’로서의 위상을 이어가겠다”고 말했다.

 

 

 

2. 삼성전자의 상황

 

삼성전자의 경우에는 지난 2월에 12단 개발을 최초로 선포하기는 했지만, 양산 소식은 아직 들려오고 있지 않다.

 

SK하이닉스가 기술면과 공급면에서 모두 주도권을 쥐고 앞서 나가면서 뒤쫓는 삼성전자의 걸음이 초조해지는 모습이다.

지난해 기준으로 현재 시장 점유율은 15%p 가량 차이로 SK하이닉스가 앞서고 있다. 시장조사업체 트렌드포스 조사결과 지난해 HBM 시장 점유율은 SK하이닉스 53%, 삼성전자 38%, 마이크론 9%이다.

 

삼성전자는 24Gb(기가비트) D램 칩을 TSV(Through-Silicon Via, 실리콘 관통 전극) 기술로 12단까지 적층해 업계 최대 용량인 36GB HBM3E 12H를 구현했다고 했다.

 

* 24Gb(기가비트) D램 용량 = 3GB(기가바이트)

* HBM3E 12H D램 용량 : 36GB (3GB D램 x 12)

 

삼성전자는 여전히 기존 기술인 'Advanced TC NCF'(Thermal Compression Non Conductive Film, 열압착 비전도성 접착 필름) 기술을 고수하고 있고, 이를 기반으로 12H 제품을 8H 제품과 동일한 높이로 구현해 HBM 패키지 규격을 만족시켰다고 발표했다.

 

 

'Advanced TC NCF' 기술을 적용하면 HBM 적층수가 증가하고, 칩 두께가 얇아지면서 발생할 수 있는 '휘어짐 현상'을 최소화 할 수 있는 장점이 있어 고단 적층 확장에 유리하다고는 하나, 아직까지 양산을 발표하지 못한 것을 보면, 다른 측면의 기술적 어려움이 있는 것으로 보인다.

 

삼성전자는 NCF 소재 두께도 지속적으로 낮춤으로써, 업계 최소 칩간 간격인 '7마이크로미터(um)'를 구현했으며, 이를 통해 HBM3 8H 대비 20% 이상 향상된 수직 집적도를 실현했다고 했다. 

 

특히, 칩과 칩사이를 접합하는 공정에서 신호 특성이 필요한 곳은 작은 범프를, 열 방출 특성이 필요한 곳에는 큰 범프를 목적에 맞게 사이즈를 맞춰 적용했으며, 크기가 다른 범프 적용을 통해 열 특성을 강화하는 동시에 수율도 극대화했다고 했다.

 

* 범프(Bump): 칩 사이를 전기적으로 연결하기 위해 형성한 전도성 돌기를 통칭

 

또한, 삼성전자는 NCF로 코팅하고 칩을 접합해 범프 사이즈를 다양하게 하면서 동시에 공극(Void)없이 적층하는 업계 최고 수준의 기술력도 선보였다고 해서, 공극 이슈를 의식한 듯한 발언을 했었다.

 

지난 2월에 삼성전자는 HBM3E 12H의 샘플을 고객사에게 제공하기 시작했으며 상반기 양산할 예정이라고 했으나, 아직까지 양산 소식은 들려오고 있지 않다.

 

상황이 이렇자 삼성전자도 '절박함'을 강조하며 HBM 리더십 확보에 사활을 거는 모습이다. 지난 25일 이정배 삼성전자 메모리사업부장(사장)은 임직원에게 "절박함을 가지고 다 같이 노력해야 한다"며 "경쟁력 회복을 위해 나아가야 할 방향성이 도출됐고 이제는 실행력이 필요하다"고 말했다.

본래 삼성전자 각 사업부는 분기마다 사업부장을 비롯한 경영진이 참여하는 타운홀미팅을 하고 있는데, 이번 미팅에서는 특별히 반도체 위기를 인식하고 진행한 모습이다.

이 사장은 '우수인력 확보와 인력 이탈 상황에 대한 대책'을 묻는 한 직원의 질문에 "여러분이 열심히 일해달라"며 "주위에 나가려는 인력들도 지켜달라"고 당부하기도 했다.

삼성전자는 지난 2분기 실적 콘퍼런스콜에서 HBM3E 8단 제품을 3분기 내 양산해 공급을 본격화하고 12단 제품도 하반기에 공급할 예정이라고 밝힌 바 있다. 하반기 추격을 가속화할 전망인 가운데 삼성전자의 HBM3E 제품 퀄 테스트 통과 여부와 양산 시기에 관심이 모이고 있다

 

출처: SK하이닉스, 삼성전자, 스트레이트뉴스, 연합뉴스, ZDnet

 

뜨리스땅