분류 전체보기670 생성형 AI를 위한 반도체 기술 trend 2/2 - 주요 반도체 기업들의 전략 1) NVIDIA A100 Tensor Core GPU는 가속화가 지속되고 있는 데이터 센터 플랫폼에서 전 세대 대비 10배 높은 추론 성능과 새로운 수준의 정밀도 및 가속을 가능하게 하는 3세대 Tensor Core 기술을 제공한다. MIG(Multi-GPU Instance) 기능은 단일 A100을 7개 의 인스턴스로 분할함으로써 각 인스턴스에서 서로 다른 신경망이 실행 가능하며 구조 희소성(Structural Sparsity) 이라는 새로운 특성을 활용하여 추론 AI의 추가적인 가속화를 지원한다. NVIDIA H100 Tensor Core GPU는 모든 워크로드에 대해 전례 없는 성능, 확장성 및 보안을 제공하며 NVIDIA 4세대 NVLINK 활용 시 워크로드 가속화와 전용 Transformer E.. 2024. 4. 15. 생성형 AI를 위한 반도체 기술 trend 1/2 1. AI 추론 시장의 성장성 1) 학습(Training)과 추론(Inference)의 계산방식 차이 학습은 AI 모델이 주어진 데이터와 그 결과값을 이용해 여러가지 변수들 가운데 최적의 가중치(파라미터)를 찾는 과정이다. 개와 고양이를 판별하는 AI 모델을 예로 들 수 있다. 수만장의 고양이와 개의 사진에 그에 해당하는 결과값을 부여하여 모델의 가중치를 반복적으로 조절하게 된다. 학습 모델은 각 사진마다 개인지 고양이인지 예측하는 시도를 하고, 그 예측과 사전 부여한 결과값(라벨)을 비교한다. 결과가 틀렸다면 오차를 바탕으로 가중치를 업데이트한다. 이와 같은 계산을 여러 번 반복하며 모델은 점점 더 정확한 예측을 할 수 있도록 개선된다. 이 과정에서 가중치값(파라미터)의 개수를 늘릴수록 모델의 정확도가.. 2024. 4. 14. 생성형 AI의 기술 트렌드 1. 빠른 기술 확산의 속도: 비즈니스 전략의 중요성 확대 대형언어모델은 대량의 데이터를 대규모 모델로 학습하기 때문에 학습과 파인튜닝(특정 업무를 수행하기 위해 관련 데이터를 추가 학습하는 과정), 추론(학습된 모델을 사용하는 과정)에 많은 시간과 비용이 든다. 그래서 챗GPT 같은 모델을 구축하기도 어렵고 이를 기반으로 다양한 서비스를 하려고 하면 서버 부족 등 한계가 있었다. 그러나 최근 빅테크와 스타트업을 중심으로 다수의 대형언어모델이 개발되고 있다. 유사한 데이터셋과 아키텍처를 사용하는 이들 모델들은 정확도 측면에서 ‘GPT 4’만큼은 아니지만 상용화 가능한 수준이고 안전성, 속도 등에서는 더 뛰어난 측면도 있다. 마이크로소프트 등 클라우드 업체들도 다양한 모델을 지원해 사용자들이 원하는 모델을.. 2024. 4. 13. 클라우드 시장의 AI 중심의 재편 생성형 AI 확산 속에 컴퓨팅 인프라 수요가 급증하면서 AI에 최적화된 클라우드로 빅클라우드에 도전장을 던지는 회사들이 국내외에서 늘고 있다. 대형 회사 중심으로 짜여진 클라우드 시장 판세에 의미 있는 변화로 이어질지 비상한 관심이 쏠린다. ㆍAI 겨냥 클라우드 스타트업 몰려온다...한국도 영향권 ㆍGPU 클라우드 코어위브, 몸값 두배 높여 추가 투자 유치 추진 생성형 AI 시장을 겨냥한 빅클라우드들 행보도 점점 공격 모드다. 마이크로소프트가 오픈AI에 130억달러 규모를 투자한 가운데, 세계 최대 퍼블릭 클라우드인 아마존웹서비스(AWS)를 운영하는 아마존은 오픈AI 경쟁사 앤트로픽에 쏟아붓는 실탄을 40억달러규모까지 늘렸다. 앤트로픽은 생성형 AI 시장에서 오픈AI와 경쟁하는 대표적인 회사들 중 하나로.. 2024. 4. 8. 엔비디아(NVIDIA)의 쿠다(CUDA) 지배력은 영원할까? 1. 개요 CUDA(Compute Unified Device Architecture)는 NVIDIA가 만든 GPGPU 플랫폼 및 API 모델로, GPU에서 수행하는 병렬 처리 알고리즘을 C 프로그래밍 언어를 비롯한 산업 표준 언어를 사용하여 작성할 수 있도록 하는 GPGPU 기술 중 하나(GPU 컴퓨팅에 대한 일종의 컴파일러)로, NVIDIA가 개발해오고 있다. 다른 기술들(ex. OpenCL)에 반해, low-level API의 하드웨어에 있는 고급 기능까지 사용해 성능을 끌어내지만 NVIDIA 이외의 그래픽카드와 GPU에선 작동하지 않는다. GPGPU는 고급 그래픽 프로그래밍 기술 범주에 속했기에, 그래픽 API에 익숙치 않은 일반 개발자들은 GPU를 이용하기 쉽지 않았지만 NVIDIA가 2006년 .. 2024. 3. 30. SK하이닉스 - HBM 막차 떠난다 1Q24 예상보다 빠른 가격 상승, 양호한 수요로 서프라이즈 전망 1분기 매출 및 영업이익 추정치를 각각 11.7조원(+4% QoQ, +131% YoY), 1.7조원(+395 QoQ, 흑자전환 YoY)으로 상향한다. 영업이익은 재고평가손실 환입 규모에 따라 추가적인 개선이 가능하며, 컨센서스 1.2조원을 대폭 상회할 것으로 판단된다. 전분기대비 B/G는 DRAM -14%, NAND +2%로 추정하고, ASP는 각각 +17%, +22% 상승할 것 으로 예상돼 전반적인 가격 상승이 호실적을 견인할 것으로 전망된다. DRAM 사업부는 DDR5, HBM 수요 강세로 제품 믹스 개선 효과가 지속되며 비수기 영향을 상쇄할 것으로 예상된다. 출하 물량 확대보다 수익성 중심의 전략이 유지되는 가운데 영업이익률은 28%.. 2024. 3. 29. 이전 1 ··· 6 7 8 9 10 11 12 ··· 112 다음
