인터넷, 통신, 플랫폼, 컨텐츠 산업28 AI 모델을 서비스에 사용(서빙)하기 위한 방법 - 서빙 최적화 방법 많은 기업들이 생성AI 시장에 뛰어들기 위해서 각자의 LLM 을 만들기 위해 온 열정을 쏟아붓고 있습니다. 특히 ChatGPT 출시 이후 다양한 종류와 크기의 LLM 들이 만들어 지고 있는데요. 하지만 모든 모델들이 공통적으로 서빙쪽에서 문제를 겪고 있습니다. LLM 을 학습하는 비용 보다, LLM 을 지속적으로 서빙하기 위해서 더 많은 돈(GPU 서버 비용)이 필요로 하기 때문입니다. 역사상 가장 빠르게 성장한 서비스인 ChatGPT 는 하루에 약 $700,000(한화 10억) 이상을 서버 비용으로 사용한다는 예측도 나와있어 얼마나 많은 비용이 필요로 한지 체감할 수 있습니다. LLM업체들은 역시 더 좋은 성능의 모델을 사용하기 위해 모델크기를 점점 키우면서 LLM 서빙에 필요로 하는 GPU 비용이 기.. 2024. 6. 5. AI 모델 추론을 위한 VLLM이란 무엇인가? (feat. by Paged Attention) 1. LLM inference의 특징 chatGPT 이후로 LLM에 대한 연구가 많이 활성화되었고, 그에 따라 최근에는 LLM 서빙을 다루는 경우가 많아지고 있다. 최근 LLM모델이 매우 커짐에 따라 serving비용이 매우 증가하고 있다. LLM이 커짐에 따라 parameter도 많아져 비싸진 token 생성 과정을 생성이 끝날때까지 반복해서 하나의 token밖에 생성하지 못한다. 따라서 이러한 생성 과정은 GPU의 연산 능력을 제대로 활용하지 못하고 throughput을 저하시키는 memory-bound과정이다. Throughput을 향상시키기 위해 많은 request를 하나의 batch로 묶어서 할 수 있지만, 이를 위해서는 GPU memory를 효율적으로 관리해야 한다. 위의 그림은 13B의 파라.. 2024. 6. 1. 언어모델의 정의와 종류 1. 정의 언어 모델(LM, Language Model)은 입력값(자연어, 보통은 사용자의 문장)을 기반으로 통계학적으로 가장 적절한 출력값을 출력하도록 학습된 모델이다. 언어 모델의 시초는 20세기 초까지 거슬러 올라가지만 오늘날 회자되는 대규모 언어 모델(LLM: Large Language Model)이 본격적으로 부상한 시점은 인공 신경망(ANN: Aritificial Neural Network)이 도입된 이후다. 언어모델은 크게 통계학 기반과 인공신경망 기반으로 나눠 볼 수 있는데, 현 시점에서는 후자가 더 대중적으로 쓰이며, LLM은 인공신경망 중에서도 특히 2017년에 등장한 트랜스포머(Transformer) 심층 신경망 아키텍처는 비지도학습 방식의 아키텍처로 이루어져있다. 이 트랜스포머 아키.. 2024. 5. 26. 인공지능 신경망의 정의와 종류(CNN, RNN, VAE, LSTM,GAN) 1. 정의 인공신경망(Artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 알고리즘이다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다. 좁은 의미에서는 오차역전파법을 이용한 다층 퍼셉트론을 가리키는 경우도 있지만, 이것은 잘못된 용법으로, 인공신경망은 이에 국한되지 않는다. 인공신경망에는 지도 교사 신호(정답)의 입력에 의해서 문제에 최적화되어 가는 지도학습과 지도 교사 신호를 필요로 하지 않는 비지도 학습으로 나뉘어 있다. 명확한 해답이 있는 경우에는 교사 학습이, 데이터 클러스터링에는 비교사 학습이 .. 2024. 5. 25. 생성형 AI의 수익화와 LLM(거대언어모델)의 효율화 1. 생성AI의 ‘수익화’ 현재 기업들의 가장 큰 고민은 생성AI의 ‘수익화’다. 이를 위해 테크 기업들은 이용자의 니즈를 충족할 수 있는 비즈니스 모델을 만들어 나가는 것에 집중하고 있다. 생성AI 밸류체인은 LLM(Large Language Model 초거대언어모델)부터 시작되는데, 이를 응용 어플리케이션으로 만들기 위해서는 중간에 LLM을 구동 시켜 줄 수 있는 인프라 플랫폼이 필요하다. 바로 클라우드 컴퓨팅과 미들웨어다. 결국 실질적으로 클라우드 컴퓨팅과 미들웨어가 어플리케이션의 비용과 성능에 직결되기 때문에, 이들을 얼마나 효율적이고 적합하게 사용하느냐가 어플리케이션을 개발해 나가는 현 시점에 핵심이 될 수 있다. 어플리케이션은 가시적인 사용처를 찾을 수 있는 B2B 영역에서 먼저 등장하고 있다.. 2024. 4. 17. 생성형 AI 시장의 경쟁 구도 - 빅테크 전략 종합 정리 빅테크의 Generative AI(생성AI) 주도권 싸움이 치열하다. OpenAI와 함께 ‘GPT-3.5’ 로 제일 먼저 생성AI를 수면위로 가져온 마이크로소프트(MSFT US)부터, AI 관련 연구가 가장 앞서 나간 구글(GOOGL US), 클라우드 인프라를 기반으로 생성AI 어플리케이션 개발 플랫폼에 집중하는 아마존 AWS(AMZN US), LLM을 오픈소스로 공개해 생태계 주도권을 잡으려는 메타(META). 이에 더해 클라우드 산업에서 데이터분석에 탁월한 경쟁력을 가진 오라클(ORCL US)도 점유율을 확대하는 중이다. 생성AI는 새로운 산업 생태계를 만들어가고 있다. 인터넷 시대에는 검색 엔진과 인터넷 커머스가 부상했고, 스마트폰 시대에는 애플이 주도권을 잡았으며, 클라우드 시대에는 아마존이 치고.. 2024. 4. 16. 이전 1 2 3 4 5 다음
