사피온3 생성형 AI를 위한 반도체 기술 trend 2/2 - 주요 반도체 기업들의 전략 1) NVIDIA A100 Tensor Core GPU는 가속화가 지속되고 있는 데이터 센터 플랫폼에서 전 세대 대비 10배 높은 추론 성능과 새로운 수준의 정밀도 및 가속을 가능하게 하는 3세대 Tensor Core 기술을 제공한다. MIG(Multi-GPU Instance) 기능은 단일 A100을 7개 의 인스턴스로 분할함으로써 각 인스턴스에서 서로 다른 신경망이 실행 가능하며 구조 희소성(Structural Sparsity) 이라는 새로운 특성을 활용하여 추론 AI의 추가적인 가속화를 지원한다. NVIDIA H100 Tensor Core GPU는 모든 워크로드에 대해 전례 없는 성능, 확장성 및 보안을 제공하며 NVIDIA 4세대 NVLINK 활용 시 워크로드 가속화와 전용 Transformer E.. 2024. 4. 15. 생성형 AI를 위한 반도체 기술 trend 1/2 1. AI 추론 시장의 성장성 1) 학습(Training)과 추론(Inference)의 계산방식 차이 학습은 AI 모델이 주어진 데이터와 그 결과값을 이용해 여러가지 변수들 가운데 최적의 가중치(파라미터)를 찾는 과정이다. 개와 고양이를 판별하는 AI 모델을 예로 들 수 있다. 수만장의 고양이와 개의 사진에 그에 해당하는 결과값을 부여하여 모델의 가중치를 반복적으로 조절하게 된다. 학습 모델은 각 사진마다 개인지 고양이인지 예측하는 시도를 하고, 그 예측과 사전 부여한 결과값(라벨)을 비교한다. 결과가 틀렸다면 오차를 바탕으로 가중치를 업데이트한다. 이와 같은 계산을 여러 번 반복하며 모델은 점점 더 정확한 예측을 할 수 있도록 개선된다. 이 과정에서 가중치값(파라미터)의 개수를 늘릴수록 모델의 정확도가.. 2024. 4. 14. 학습형 AI 반도체와 추론형 AI 반도체의 차이 1. 개략적 특징 1.1. 학습형 AI반도체 학습형 AI 반도체는 인공지능 모델을 학습시키기 위해 방대한 데이터와 복잡한 수학적 연산을 빠르고 효율적으로 처리할 수 있는 성능이 필요하다. 따라서, 학습형 AI 반도체는 GPU, TPU와 같은 가속기를 사용하여 병렬 처리와 분산 처리를 통해 높은 처리율 (throughput)과 전력 효율성 (performance per watt)을 추구한다. 하지만, 학습형 AI 반도체는 대게 범용성이 높은 형태로 설계되어 다양한 AI 모델에 적용할 수 있도록 하기 때문에, 학습 모델에 따라 사용하지 않는 회로의 구성도 범용성을 위해 추가되어야 한다. 이러한 범용성을 확보기위한 부분이 불필요한 전력 소모를 만들어서 제조 비용을 높이고 전력 소모를 증가시키는 요인이 된다. .. 2024. 2. 4. 이전 1 다음
