서버용 CPU 시장의 판도를 바꾸고 있는 AMD의 V-cache 기술

최신 AI 컴퓨팅 시장에서 SRAM의 중요성을 인지하고 제품 전략에 반영하는 선도 업체는 AMD라고 할 수 있다.

 

AMD는 자사의 서버용 제품군인 EPYC 시리즈와 Ryzen 시리즈에서 대용량 SRAM을 적용하는 3D V-cache 기술을 2022년부터 본격 적용함으로써 시장의 반향을 일으키고 있다.

 

특히 서버용 제품군인 EPYC 시리즈의 경우, 3세대 제품인 Milan-X를 시작으로 4세대 제품 Genoa-X를 거쳐 최근 제품인 5세대 Turin까지 V-cache로 인한 높은 인기와 재무실적 개선을 이루고 있다.

 

이를 통해 2021년까지만 하더라도 10%를 밑돌던 AMD의 서버용 CPU 점유율은 2022년도부터 급격히 상승하기 시작하여 2024년에는 24%를 상회하는 점유율을 달성하기도 하였다. 더군다나 24%는 unit 기준 점유율이고, 매출액 기준 점유율은 30%를 상회하여 V-cache가 적용된 고가의 제품군의 판매 비중이 높다는 점이다.

V-cache 기술은 cache memory인 SRAM을 수직으로 쌓아올려 3차원 구조를 만드는 것으로, L3 cache의 용량을 크게 증가시키는 기술이다. 이를 통해 L3 cache의 용량이 3세대 제품인 Milan-X는 768MB, 4세대 제품인 Genoa-X의 경우 1.15GB에 이른다.

V-cache 기술은 개념적으로 HBM과 유사하지만, 속도와 대역폭의 차이를 만들어내는 중요한 차이점이 있다.

HBM은 CoWoS라는 패키징을 통해서 별도의 silicon die 위에 구축된 메모리 스택이 GPU 내의 연산 core와 연결되지만, V-cache는 CPU 내 연간 core와 같은 silicon die 상에 구현된 L3 cache memory 위에 수직으로 메모리 스택을 위치시켜 직접 연결한다.

 

또한, 메모리 스택을 수직으로 적층하는 방법의 경우에도, HBM은 TSV를 통한 배선이 micro bump를 통해 연결되지만, V-cache는 TSV를 통한 배선이 구리-구리 hybrid bonding으로 직접 연결되기 때문에 delay가 적고 연결밀도 또한 15배 이상 높은 방식이다.

Cloudflare, Synopsys, Microsoft 등의 AMD 고객들은 V-cache가 적용된 EPYC 서버를 도입한 이후 66% ~ 145%의 성능 향상을 보고한 바가 있다.

V-cache의 기술이 이처럼 장점이 많은 훌륭한 기술이지만, Milan-X에서 발열 이슈 때문에 다소 추춤한적이 있었고, 다행히 다음 세대 제품인 Genoa-X에서 TSMC의 패키징 재설계와 서버의 쿨링경로 최적화 등을 통해 우회로를 찾아 완화하기는 했다.

하지만, 근본적인 개선 방법은 아니라서, 앞으로 출시될 EPYC의 제품에서 더 큰 용량의 V-cache를 발열 이슈없이 구현하기 위해서는 저전력 SRAM으로 on-chip cache memory를 구현할 수 있는 기술 도입이 필요하다.

 

Intel 역시 V-cache와 비슷한 기술 도입을 고려하고 있는 상황이라서 이러한 흐름은 HBM과 더불어 또 다른 수직 구조의 메모리 체계의 확산을 만들어 낼 것으로 보인다.

 

https://www.youtube.com/watch?v=ouFKr9Q2Caw&t=11s

 

 

 

출처: anandtech, techgage, 안될공학, AMD 등

뜨리스땅