AI반도체 설계 시 중요한 부분: 메모리 계층 구조

AI 반도체를 설계할 때 중요한 부분이 메모리 계층 구조(Memory Hierarchy)의 설계를 얼마나 효율적으로 하는 것이냐 하는 것이다. 메모리 계층 구조의 설계가 효율적으로 되면, 불필요한 데이터 이동이 없기 때문에 AI 반도체의 속도가 빨라지고 소비 전력이 줄어들게 된다.

 

AI 반도체로 사용되는 GPGPU를 만드는 NVIDIA 뿐만 아니라, AI 전용 반도체를 표방하는 많은 반도체 스타트업들의 경우, HBM을 사용하지 않고 SRAM과 GDDR 만을 사용해서 AI 반도체를 설계하는데, 그렇게 할 수 있는 이유가 메모리 계층 구조를 효율적으로 설계하기 때문이다.

 AI 반도체의 메모리 계층 구조

 

AI 반도체의 메모리 계층 구조는 성능과 용량의 균형을 맞추기 위해 여러 단계로 구성되어 있습니다. 상위 계층에서 하위 계층으로 갈수록 용량은 증가하지만 속도는 감소하는 특징이 있습니다.

 

1. 근접 메모리 (Near Memory)

근접 메모리는 CPU나 GPU와 같이 프로세서로 구현된 silicon 타일에 직접 인접해 있고, 별도의 타일로 Chiplet 구조로 연결되어 있는 메모리이다.

- 프로세서와 고속으로 데이터를 주고 받아야 하기 때문에HBM (High Bandwidth Memory)과 같은 고대역폭 메모리 및 GDDR이 사용된다.  
- 특징: 매우 낮은 지연 시간과 높은 대역폭을 제공한다.
- 용도: 복잡한 계산과 대용량 데이터의 실시간 처리에 필수적이다.

2. 주 메모리 (Main Memory)

컴퓨터 시스템 상의 주 메모리로 CPU나 GPU와는 멀리 떨어져 있으며, AI 연산의 주력 계층이다. 일반적으로 컴퓨터에서 메모리라고 불리는 것이며, 주로 DRAM이 사용된다.

- DDR5 DIMM과 같은고용량의 메모리 모듈로 만들어지며, 메모리 뱅크라는 소켓에 꽃아 사용되는 메모리이다.
- 특징: 빠른 속도와 대용량을 제공한다.
- 용도: AI 모델 실행과 시뮬레이션을 지원한다.

3. 확장 메모리 (Expansion Memory)

확장 메모리는 시스템의 메모리 용량을 기존 한계 이상으로 확장할 수 있게 해준다. DRAM 보다는 NAND가 주로 사용된다. SSD와 비슷하지만, DRAM과 함께 main memory를 보조하는 역할을 하기 때문에 SSD보다는 속도가 빠른 것이 특징이다.

- CXL (Compute Express Link)의 CZ120과 같은 제품이 이 계층에 속한다.
- 특징: 확장성이 뛰어나며 기존 메모리 아키텍처의 물리적 제약을 극복한다.
- 용도: 더 크고 복잡한 AI 모델의 학습과 실행을 가능하게 한다.

 

4. 온칩 메모리 (On-Chip Memory)

온칩 메모리는 CPU/GPU와 같은 프로세서 내부에 위치하여 가장 빠른 접근 속도를 제공한다. NVIDIA를 비롯한 AI 반도체를 설계하는 업체들이 프로세서의 성능 개선을 위해 가장 많이 신경쓰는 부분이다. 세부적으로는 L1 Cache, L2 Cache, L2 Cache와 같은 세부 계층 구조가 존재하며, 프로세서 내에 연산을 수행하는 core 혹은 연산기(ALU)와 바로 인접하여 위치하며, 데이터를 주고 받는다.

 

프로세서는 Main memory인 DRAM과도 데이터를 주고 받지만, delay와 전력 소모가 높기 때문에 자주 사용하는 데이터는 연산 core에 인접한 위치에 이러한 cache memory를 두어서 활용한다. 이러한 cache memory는 DRAM 보다는 SRAM이 주로 사용된다.

- SRAM (Static Random Access Memory)은 AI 애플리케이션에서 가장 선호되는 온칩 메모리이다.
- 특징: CMOS 로직 프로세스와 호환되며, 즉시 접근 가능한 데이터를 제공한다.
- 용도: 로컬 메모리, 스크래치 패드, 중간 결과 저장 등에 사용된다.

5. 새로운 메모리 기술

AI 반도체의 효율성을 높이기 위해 다양한 새로운 메모리 기술이 개발되고 있습니다.

- ReRAM, MRAM, PCM 등: 각각 고유한 특성을 가지고 있으며, 컴퓨팅 성능을 향상시키고 에너지 효율성을 높이는 데 기여한다.

뜨리스땅

출처:
[1] https://www.micron.com/about/blog/applications/ai/blurring-lines-why-micron-memory-matters-fueling-ai-acceleration
[2] https://www.synopsys.com/blogs/chip-design/ai-soc-memory-architecture.html
[3] https://www.citigroup.com/global/insights/ai-demand-in-the-memory-industry
[4] https://semiengineering.com/the-future-of-memory-4/
[5] https://semiengineering.com/sram-in-ai-the-future-of-memory/