전체 글624 생성형 AI의 수익화와 LLM(거대언어모델)의 효율화 1. 생성AI의 ‘수익화’ 현재 기업들의 가장 큰 고민은 생성AI의 ‘수익화’다. 이를 위해 테크 기업들은 이용자의 니즈를 충족할 수 있는 비즈니스 모델을 만들어 나가는 것에 집중하고 있다. 생성AI 밸류체인은 LLM(Large Language Model 초거대언어모델)부터 시작되는데, 이를 응용 어플리케이션으로 만들기 위해서는 중간에 LLM을 구동 시켜 줄 수 있는 인프라 플랫폼이 필요하다. 바로 클라우드 컴퓨팅과 미들웨어다. 결국 실질적으로 클라우드 컴퓨팅과 미들웨어가 어플리케이션의 비용과 성능에 직결되기 때문에, 이들을 얼마나 효율적이고 적합하게 사용하느냐가 어플리케이션을 개발해 나가는 현 시점에 핵심이 될 수 있다. 어플리케이션은 가시적인 사용처를 찾을 수 있는 B2B 영역에서 먼저 등장하고 있다.. 2024. 4. 17. 생성형 AI 시장의 경쟁 구도 - 빅테크 전략 종합 정리 빅테크의 Generative AI(생성AI) 주도권 싸움이 치열하다. OpenAI와 함께 ‘GPT-3.5’ 로 제일 먼저 생성AI를 수면위로 가져온 마이크로소프트(MSFT US)부터, AI 관련 연구가 가장 앞서 나간 구글(GOOGL US), 클라우드 인프라를 기반으로 생성AI 어플리케이션 개발 플랫폼에 집중하는 아마존 AWS(AMZN US), LLM을 오픈소스로 공개해 생태계 주도권을 잡으려는 메타(META). 이에 더해 클라우드 산업에서 데이터분석에 탁월한 경쟁력을 가진 오라클(ORCL US)도 점유율을 확대하는 중이다. 생성AI는 새로운 산업 생태계를 만들어가고 있다. 인터넷 시대에는 검색 엔진과 인터넷 커머스가 부상했고, 스마트폰 시대에는 애플이 주도권을 잡았으며, 클라우드 시대에는 아마존이 치고.. 2024. 4. 16. 생성형 AI를 위한 반도체 기술 trend 2/2 - 주요 반도체 기업들의 전략 1) NVIDIA A100 Tensor Core GPU는 가속화가 지속되고 있는 데이터 센터 플랫폼에서 전 세대 대비 10배 높은 추론 성능과 새로운 수준의 정밀도 및 가속을 가능하게 하는 3세대 Tensor Core 기술을 제공한다. MIG(Multi-GPU Instance) 기능은 단일 A100을 7개 의 인스턴스로 분할함으로써 각 인스턴스에서 서로 다른 신경망이 실행 가능하며 구조 희소성(Structural Sparsity) 이라는 새로운 특성을 활용하여 추론 AI의 추가적인 가속화를 지원한다. NVIDIA H100 Tensor Core GPU는 모든 워크로드에 대해 전례 없는 성능, 확장성 및 보안을 제공하며 NVIDIA 4세대 NVLINK 활용 시 워크로드 가속화와 전용 Transformer E.. 2024. 4. 15. 생성형 AI를 위한 반도체 기술 trend 1/2 1. AI 추론 시장의 성장성 1) 학습(Training)과 추론(Inference)의 계산방식 차이 학습은 AI 모델이 주어진 데이터와 그 결과값을 이용해 여러가지 변수들 가운데 최적의 가중치(파라미터)를 찾는 과정이다. 개와 고양이를 판별하는 AI 모델을 예로 들 수 있다. 수만장의 고양이와 개의 사진에 그에 해당하는 결과값을 부여하여 모델의 가중치를 반복적으로 조절하게 된다. 학습 모델은 각 사진마다 개인지 고양이인지 예측하는 시도를 하고, 그 예측과 사전 부여한 결과값(라벨)을 비교한다. 결과가 틀렸다면 오차를 바탕으로 가중치를 업데이트한다. 이와 같은 계산을 여러 번 반복하며 모델은 점점 더 정확한 예측을 할 수 있도록 개선된다. 이 과정에서 가중치값(파라미터)의 개수를 늘릴수록 모델의 정확도가.. 2024. 4. 14. 생성형 AI의 기술 트렌드 1. 빠른 기술 확산의 속도: 비즈니스 전략의 중요성 확대 대형언어모델은 대량의 데이터를 대규모 모델로 학습하기 때문에 학습과 파인튜닝(특정 업무를 수행하기 위해 관련 데이터를 추가 학습하는 과정), 추론(학습된 모델을 사용하는 과정)에 많은 시간과 비용이 든다. 그래서 챗GPT 같은 모델을 구축하기도 어렵고 이를 기반으로 다양한 서비스를 하려고 하면 서버 부족 등 한계가 있었다. 그러나 최근 빅테크와 스타트업을 중심으로 다수의 대형언어모델이 개발되고 있다. 유사한 데이터셋과 아키텍처를 사용하는 이들 모델들은 정확도 측면에서 ‘GPT 4’만큼은 아니지만 상용화 가능한 수준이고 안전성, 속도 등에서는 더 뛰어난 측면도 있다. 마이크로소프트 등 클라우드 업체들도 다양한 모델을 지원해 사용자들이 원하는 모델을.. 2024. 4. 13. 클라우드 시장의 AI 중심의 재편 생성형 AI 확산 속에 컴퓨팅 인프라 수요가 급증하면서 AI에 최적화된 클라우드로 빅클라우드에 도전장을 던지는 회사들이 국내외에서 늘고 있다. 대형 회사 중심으로 짜여진 클라우드 시장 판세에 의미 있는 변화로 이어질지 비상한 관심이 쏠린다. ㆍAI 겨냥 클라우드 스타트업 몰려온다...한국도 영향권 ㆍGPU 클라우드 코어위브, 몸값 두배 높여 추가 투자 유치 추진 생성형 AI 시장을 겨냥한 빅클라우드들 행보도 점점 공격 모드다. 마이크로소프트가 오픈AI에 130억달러 규모를 투자한 가운데, 세계 최대 퍼블릭 클라우드인 아마존웹서비스(AWS)를 운영하는 아마존은 오픈AI 경쟁사 앤트로픽에 쏟아붓는 실탄을 40억달러규모까지 늘렸다. 앤트로픽은 생성형 AI 시장에서 오픈AI와 경쟁하는 대표적인 회사들 중 하나로.. 2024. 4. 8. 엔비디아(NVIDIA)의 쿠다(CUDA) 지배력은 영원할까? 1. 개요 CUDA(Compute Unified Device Architecture)는 NVIDIA가 만든 GPGPU 플랫폼 및 API 모델로, GPU에서 수행하는 병렬 처리 알고리즘을 C 프로그래밍 언어를 비롯한 산업 표준 언어를 사용하여 작성할 수 있도록 하는 GPGPU 기술 중 하나(GPU 컴퓨팅에 대한 일종의 컴파일러)로, NVIDIA가 개발해오고 있다. 다른 기술들(ex. OpenCL)에 반해, low-level API의 하드웨어에 있는 고급 기능까지 사용해 성능을 끌어내지만 NVIDIA 이외의 그래픽카드와 GPU에선 작동하지 않는다. GPGPU는 고급 그래픽 프로그래밍 기술 범주에 속했기에, 그래픽 API에 익숙치 않은 일반 개발자들은 GPU를 이용하기 쉽지 않았지만 NVIDIA가 2006년 .. 2024. 3. 30. SK하이닉스 - HBM 막차 떠난다 1Q24 예상보다 빠른 가격 상승, 양호한 수요로 서프라이즈 전망 1분기 매출 및 영업이익 추정치를 각각 11.7조원(+4% QoQ, +131% YoY), 1.7조원(+395 QoQ, 흑자전환 YoY)으로 상향한다. 영업이익은 재고평가손실 환입 규모에 따라 추가적인 개선이 가능하며, 컨센서스 1.2조원을 대폭 상회할 것으로 판단된다. 전분기대비 B/G는 DRAM -14%, NAND +2%로 추정하고, ASP는 각각 +17%, +22% 상승할 것 으로 예상돼 전반적인 가격 상승이 호실적을 견인할 것으로 전망된다. DRAM 사업부는 DDR5, HBM 수요 강세로 제품 믹스 개선 효과가 지속되며 비수기 영향을 상쇄할 것으로 예상된다. 출하 물량 확대보다 수익성 중심의 전략이 유지되는 가운데 영업이익률은 28%.. 2024. 3. 29. 삼성전자, SK하이닉스, 마이크론 메모리 3사의 HBM3 납품 상황 시장 상황 "SK하이닉스, 삼성전자, 마이크론 중 가장 먼저 엔비디아의 인증을 통과하는 업체가 HBM3E 시장을 선점할 것입니다. 현재까지는 SK하이닉스가 앞서 있고, 삼성과 마이크론이 뒤쫓는 형국입니다."(반도체 업계 관계자) SK하이닉스와 삼성전자, 미국 마이크론이 HBM3E 선점을 두고 치열한 눈치 싸움을 벌이고 있다. SK하이닉스가 HBM3 시장을 독점하고 있는 가운데, HBM 공급 부족 현상이 나오자 삼성전자와 마이크론이 차세대 시장인 HBM3E 시장에서 앞서가기 위해 총력을 기울이고 있다. HBM은 1세대(HBM)·2세대(HBM2)·3세대(HBM2E)에 이어 4세대(HBM3) 제품이 공급되고 있으며, 올해부터 5세대(HBM3E) 양산을 앞두고 있다. 시장조사업체 트렌드포스는 2022년 800억.. 2024. 3. 27. 이전 1 2 3 4 ··· 70 다음
