LLM7 RAG 구현을 위한 효과적인 툴: 랭체인(LangChain) 랭체인(LangChain)은 노출하여 대규모 언어 모델과 애플리케이션의 통합을 간소화하는 SDK이다. 대규모 언어 모델의 부상과 함께 중요성이 커지고 있다. 대규모 언어 모델에 대한 최신 트렌드를 쫓는 소프트웨어 개발자라면 연일 쏟아지는 소식이 당황스러울 수 있다. 새로운 오픈소스 모델의 출시나 상용 모델 제공업체의 중요한 새 기능 발표가 매일 등장하는 상황과 비슷하다고 할 수 있다.어느덧 LLM은 최신 소프트웨어 스택의 한 요소로 빠르게 부상했다. 그러나 오픈AI와 같은 공급업체가 제공하는 모델 API를 사용하든, 오픈소스 모델을 앱에 포함하든 LLM 기반 애플리케이션을 구축하려면 단순히 프롬프트를 보내고 응답을 기다리는 것 이상의 작업이 필요하다. 매개변수 조정부터 프롬프트 보강, 응답 조정에 이르기.. 2024. 6. 20. LLM의 추론 성능 향상을 위한 RAG 사용 시, 알아두어야 할 것들 https://www.youtube.com/watch?v=NfQrRQmDrcc&list=WL&index=1&t=45s 출처: 테디노트 뜨리스땅 https://tristanchoi.tistory.com/651 AI 모델 추론을 위한 VLLM이란 무엇인가? (feat. by Paged Attention)1. LLM inference의 특징 chatGPT 이후로 LLM에 대한 연구가 많이 활성화되었고, 그에 따라 최근에는 LLM 서빙을 다루는 경우가 많아지고 있다. 최근 LLM모델이 매우 커짐에 따라 serving비용이 매우 증가하tristanchoi.tistory.com 2024. 6. 20. AI 모델 추론을 위한 VLLM이란 무엇인가? (feat. by Paged Attention) 1. LLM inference의 특징 chatGPT 이후로 LLM에 대한 연구가 많이 활성화되었고, 그에 따라 최근에는 LLM 서빙을 다루는 경우가 많아지고 있다. 최근 LLM모델이 매우 커짐에 따라 serving비용이 매우 증가하고 있다. LLM이 커짐에 따라 parameter도 많아져 비싸진 token 생성 과정을 생성이 끝날때까지 반복해서 하나의 token밖에 생성하지 못한다. 따라서 이러한 생성 과정은 GPU의 연산 능력을 제대로 활용하지 못하고 throughput을 저하시키는 memory-bound과정이다. Throughput을 향상시키기 위해 많은 request를 하나의 batch로 묶어서 할 수 있지만, 이를 위해서는 GPU memory를 효율적으로 관리해야 한다. 위의 그림은 13B의 파라.. 2024. 6. 1. 언어모델의 정의와 종류 1. 정의 언어 모델(LM, Language Model)은 입력값(자연어, 보통은 사용자의 문장)을 기반으로 통계학적으로 가장 적절한 출력값을 출력하도록 학습된 모델이다. 언어 모델의 시초는 20세기 초까지 거슬러 올라가지만 오늘날 회자되는 대규모 언어 모델(LLM: Large Language Model)이 본격적으로 부상한 시점은 인공 신경망(ANN: Aritificial Neural Network)이 도입된 이후다. 언어모델은 크게 통계학 기반과 인공신경망 기반으로 나눠 볼 수 있는데, 현 시점에서는 후자가 더 대중적으로 쓰이며, LLM은 인공신경망 중에서도 특히 2017년에 등장한 트랜스포머(Transformer) 심층 신경망 아키텍처는 비지도학습 방식의 아키텍처로 이루어져있다. 이 트랜스포머 아키.. 2024. 5. 26. 클라우드 시장의 AI 중심의 재편 생성형 AI 확산 속에 컴퓨팅 인프라 수요가 급증하면서 AI에 최적화된 클라우드로 빅클라우드에 도전장을 던지는 회사들이 국내외에서 늘고 있다. 대형 회사 중심으로 짜여진 클라우드 시장 판세에 의미 있는 변화로 이어질지 비상한 관심이 쏠린다. ㆍAI 겨냥 클라우드 스타트업 몰려온다...한국도 영향권 ㆍGPU 클라우드 코어위브, 몸값 두배 높여 추가 투자 유치 추진 생성형 AI 시장을 겨냥한 빅클라우드들 행보도 점점 공격 모드다. 마이크로소프트가 오픈AI에 130억달러 규모를 투자한 가운데, 세계 최대 퍼블릭 클라우드인 아마존웹서비스(AWS)를 운영하는 아마존은 오픈AI 경쟁사 앤트로픽에 쏟아붓는 실탄을 40억달러규모까지 늘렸다. 앤트로픽은 생성형 AI 시장에서 오픈AI와 경쟁하는 대표적인 회사들 중 하나로.. 2024. 4. 8. 2024년 산업별 투자 전략 - 반도체 2023년 반도체 산업은 AI 서버 수요 증가가 성장을 견인했다. 프로세서 업체들의 매출에서 데이터센터가 차지하는 비중은 50%를 넘어섰다. 2024년은 컨슈머 디바이스에 AI 침투가 시작되는 원년이 될 전망이다. 이종 산업의 AI 융합이 본 격화도 주목할 포인트다. AI 개인화를 위한 세트 단의 프로세서 성능 강화와 유효 시장의 확장, 고부가 메모리 솔루션의 적용 가속화에 다시 집중할 시점이다. 프로세서 3사는 AI 구동에 최적화된 전략 제품을 연이어 발표 AMD: 2023년 CES에서 모바일 디바이스에 특화된 솔루션을 발표했던 AMD는 가장 먼저 데스크탑용 신형 프로세서를 공개하며 온디바이스 AI 경쟁의 포문을 열었다. 신형 CPU인 ‘라이젠 8000G’ 시리즈에는 AI 기능 강화를 위한 NPU가 최.. 2024. 1. 27. 이전 1 2 다음
