리벨리온5 생성형 AI를 위한 반도체 기술 trend 2/2 - 주요 반도체 기업들의 전략 1) NVIDIA A100 Tensor Core GPU는 가속화가 지속되고 있는 데이터 센터 플랫폼에서 전 세대 대비 10배 높은 추론 성능과 새로운 수준의 정밀도 및 가속을 가능하게 하는 3세대 Tensor Core 기술을 제공한다. MIG(Multi-GPU Instance) 기능은 단일 A100을 7개 의 인스턴스로 분할함으로써 각 인스턴스에서 서로 다른 신경망이 실행 가능하며 구조 희소성(Structural Sparsity) 이라는 새로운 특성을 활용하여 추론 AI의 추가적인 가속화를 지원한다. NVIDIA H100 Tensor Core GPU는 모든 워크로드에 대해 전례 없는 성능, 확장성 및 보안을 제공하며 NVIDIA 4세대 NVLINK 활용 시 워크로드 가속화와 전용 Transformer E.. 2024. 4. 15. 생성형 AI를 위한 반도체 기술 trend 1/2 1. AI 추론 시장의 성장성 1) 학습(Training)과 추론(Inference)의 계산방식 차이 학습은 AI 모델이 주어진 데이터와 그 결과값을 이용해 여러가지 변수들 가운데 최적의 가중치(파라미터)를 찾는 과정이다. 개와 고양이를 판별하는 AI 모델을 예로 들 수 있다. 수만장의 고양이와 개의 사진에 그에 해당하는 결과값을 부여하여 모델의 가중치를 반복적으로 조절하게 된다. 학습 모델은 각 사진마다 개인지 고양이인지 예측하는 시도를 하고, 그 예측과 사전 부여한 결과값(라벨)을 비교한다. 결과가 틀렸다면 오차를 바탕으로 가중치를 업데이트한다. 이와 같은 계산을 여러 번 반복하며 모델은 점점 더 정확한 예측을 할 수 있도록 개선된다. 이 과정에서 가중치값(파라미터)의 개수를 늘릴수록 모델의 정확도가.. 2024. 4. 14. 리벨리온(Rebellion, AI 반도체 기업) 투자유치 뒷 이야기 리벨리온은 지난 1월 1650억원 규모 투자금을 유치했다. 벤처 투자 시장이 꽁꽁 얼어붙은 지난해 이후 모처럼 등장한 수천억원 규모 자금 유치 사례다. 이번 시리즈B(사업 확장 단계) 투자 유치 과정에서 리벨리온의 기업 가치는 8800억원으로 껑충 뛰었다. 2022년 6월(시리즈A)만 해도 이 회사의 기업가치는 3820억원에 불과했다. 리벨리온의 주요 투자사는 KT그룹이다. 이번에 330억원을 투자했다. 시리즈A에 투자한 싱가포르 국부펀드 테마섹의 파빌리온캐피털이 시리즈B 투자 때도 자금을 댔다. 프랑스 디지털경제부 장관을 지낸 플뢰르 펠르랭 대표가 설립한 코렐리아캐피탈, 일본계 벤처캐피털인 DG다이와벤처스(DGDV) 등이 신규 투자자로 이름을 올렸다. 아래는 리벨리온의 CFO 신성규의 인터뷰 Q. 이번.. 2024. 3. 24. 리벨리온(Rebellion, AI 반도체 팹리스 기업) 최근 동향 1. 기업 개요 리벨리온은 Kaist 및 MIT 출신인 박성현 대표가 2020년에 설립한 스타트업으로 AI반도체인 NPU를 설계하는 반도체 회사다. 반도체 제조 공정 중 설계만 하는 fabless로 반도체 제조는 삼성파운드리에서 진행하고 있다. 리벨리온이 속한 시장은 넓게 보면 비 메모리 반도체인 ASIC이지만, 그 중에서도 최근에 각광받고 있는 AI 모델을 운영할 수 있는 NPU 제품 시장에 집중하는 기업이다. 리벨리온은 올해 1월에 1,650억원의 Series B 펀딩을 close 하면서 누적 투자금액은 2,800억이 되었고, 기업가치 8,800억원을 인정받게 되어, 명실상부 국내 AI반도체 스타트업의 선두 기업으로 자리매김하게 되었다. 글로벌 경쟁사로는 엔비디아(NVIDIA)와 AMD, Qualco.. 2024. 3. 23. 학습형 AI 반도체와 추론형 AI 반도체의 차이 1. 개략적 특징 1.1. 학습형 AI반도체 학습형 AI 반도체는 인공지능 모델을 학습시키기 위해 방대한 데이터와 복잡한 수학적 연산을 빠르고 효율적으로 처리할 수 있는 성능이 필요하다. 따라서, 학습형 AI 반도체는 GPU, TPU와 같은 가속기를 사용하여 병렬 처리와 분산 처리를 통해 높은 처리율 (throughput)과 전력 효율성 (performance per watt)을 추구한다. 하지만, 학습형 AI 반도체는 대게 범용성이 높은 형태로 설계되어 다양한 AI 모델에 적용할 수 있도록 하기 때문에, 학습 모델에 따라 사용하지 않는 회로의 구성도 범용성을 위해 추가되어야 한다. 이러한 범용성을 확보기위한 부분이 불필요한 전력 소모를 만들어서 제조 비용을 높이고 전력 소모를 증가시키는 요인이 된다. .. 2024. 2. 4. 이전 1 다음
