퓨리오사AI3 생성형 AI를 위한 반도체 기술 trend 2/2 - 주요 반도체 기업들의 전략 1) NVIDIA A100 Tensor Core GPU는 가속화가 지속되고 있는 데이터 센터 플랫폼에서 전 세대 대비 10배 높은 추론 성능과 새로운 수준의 정밀도 및 가속을 가능하게 하는 3세대 Tensor Core 기술을 제공한다. MIG(Multi-GPU Instance) 기능은 단일 A100을 7개 의 인스턴스로 분할함으로써 각 인스턴스에서 서로 다른 신경망이 실행 가능하며 구조 희소성(Structural Sparsity) 이라는 새로운 특성을 활용하여 추론 AI의 추가적인 가속화를 지원한다. NVIDIA H100 Tensor Core GPU는 모든 워크로드에 대해 전례 없는 성능, 확장성 및 보안을 제공하며 NVIDIA 4세대 NVLINK 활용 시 워크로드 가속화와 전용 Transformer E.. 2024. 4. 15. 생성형 AI를 위한 반도체 기술 trend 1/2 1. AI 추론 시장의 성장성 1) 학습(Training)과 추론(Inference)의 계산방식 차이 학습은 AI 모델이 주어진 데이터와 그 결과값을 이용해 여러가지 변수들 가운데 최적의 가중치(파라미터)를 찾는 과정이다. 개와 고양이를 판별하는 AI 모델을 예로 들 수 있다. 수만장의 고양이와 개의 사진에 그에 해당하는 결과값을 부여하여 모델의 가중치를 반복적으로 조절하게 된다. 학습 모델은 각 사진마다 개인지 고양이인지 예측하는 시도를 하고, 그 예측과 사전 부여한 결과값(라벨)을 비교한다. 결과가 틀렸다면 오차를 바탕으로 가중치를 업데이트한다. 이와 같은 계산을 여러 번 반복하며 모델은 점점 더 정확한 예측을 할 수 있도록 개선된다. 이 과정에서 가중치값(파라미터)의 개수를 늘릴수록 모델의 정확도가.. 2024. 4. 14. 리벨리온(Rebellion, AI 반도체 팹리스 기업) 최근 동향 1. 기업 개요 리벨리온은 Kaist 및 MIT 출신인 박성현 대표가 2020년에 설립한 스타트업으로 AI반도체인 NPU를 설계하는 반도체 회사다. 반도체 제조 공정 중 설계만 하는 fabless로 반도체 제조는 삼성파운드리에서 진행하고 있다. 리벨리온이 속한 시장은 넓게 보면 비 메모리 반도체인 ASIC이지만, 그 중에서도 최근에 각광받고 있는 AI 모델을 운영할 수 있는 NPU 제품 시장에 집중하는 기업이다. 리벨리온은 올해 1월에 1,650억원의 Series B 펀딩을 close 하면서 누적 투자금액은 2,800억이 되었고, 기업가치 8,800억원을 인정받게 되어, 명실상부 국내 AI반도체 스타트업의 선두 기업으로 자리매김하게 되었다. 글로벌 경쟁사로는 엔비디아(NVIDIA)와 AMD, Qualco.. 2024. 3. 23. 이전 1 다음
