본문 바로가기

추론형AI반도체2

데이터 인프라 확장 수혜를 받는 프로세서 시장 AI 학습용 데이터센터 수혜는 프로세서에 집중 프로세서(Logic)는 컴퓨팅 시스템의 두뇌 역할을 하는 만큼 반도체 산업에서도 가장 기술 집약적이며 성능과 안정성, 호환성이 중요하다. 오랜 시간 쌓아올린 선도 업체들의 레퍼런스와 기술 개발에 막대한 비용과 시간이 소요된다는 점이 독과점적인 시장 구조를 만들었으며, 신규 업체들의 진입 장벽을 높이고 있다. 대규모 연산 속도가 중요한 AI 데이터센터 투자에서 대부분의 고객사들은 AI 컴퓨팅 성능의 극대화를 우선 순위로 두고 있다. 한정된 CapEx 안에서 학습용 데이터 인프라가 증설 수요의 대부분을 차지했던 2023년에는 GPU의 상대적 수혜가 강할 수밖에 없는 시장 환경이 이어졌다. 2024년 하반기부터는 온디바이스, 엣지서버 등에서 추론(Inference.. 2024. 2. 17.
학습형 AI 반도체와 추론형 AI 반도체의 차이 1. 개략적 특징 1.1. 학습형 AI반도체 학습형 AI 반도체는 인공지능 모델을 학습시키기 위해 방대한 데이터와 복잡한 수학적 연산을 빠르고 효율적으로 처리할 수 있는 성능이 필요하다. 따라서, 학습형 AI 반도체는 GPU, TPU와 같은 가속기를 사용하여 병렬 처리와 분산 처리를 통해 높은 처리율 (throughput)과 전력 효율성 (performance per watt)을 추구한다. 하지만, 학습형 AI 반도체는 대게 범용성이 높은 형태로 설계되어 다양한 AI 모델에 적용할 수 있도록 하기 때문에, 학습 모델에 따라 사용하지 않는 회로의 구성도 범용성을 위해 추가되어야 한다. 이러한 범용성을 확보기위한 부분이 불필요한 전력 소모를 만들어서 제조 비용을 높이고 전력 소모를 증가시키는 요인이 된다. .. 2024. 2. 4.