rag3 RAG 구현을 위한 효과적인 툴: 랭체인(LangChain) 랭체인(LangChain)은 노출하여 대규모 언어 모델과 애플리케이션의 통합을 간소화하는 SDK이다. 대규모 언어 모델의 부상과 함께 중요성이 커지고 있다. 대규모 언어 모델에 대한 최신 트렌드를 쫓는 소프트웨어 개발자라면 연일 쏟아지는 소식이 당황스러울 수 있다. 새로운 오픈소스 모델의 출시나 상용 모델 제공업체의 중요한 새 기능 발표가 매일 등장하는 상황과 비슷하다고 할 수 있다.어느덧 LLM은 최신 소프트웨어 스택의 한 요소로 빠르게 부상했다. 그러나 오픈AI와 같은 공급업체가 제공하는 모델 API를 사용하든, 오픈소스 모델을 앱에 포함하든 LLM 기반 애플리케이션을 구축하려면 단순히 프롬프트를 보내고 응답을 기다리는 것 이상의 작업이 필요하다. 매개변수 조정부터 프롬프트 보강, 응답 조정에 이르기.. 2024. 6. 20. LLM의 추론 성능 향상을 위한 RAG 사용 시, 알아두어야 할 것들 https://www.youtube.com/watch?v=NfQrRQmDrcc&list=WL&index=1&t=45s 출처: 테디노트 뜨리스땅 https://tristanchoi.tistory.com/651 AI 모델 추론을 위한 VLLM이란 무엇인가? (feat. by Paged Attention)1. LLM inference의 특징 chatGPT 이후로 LLM에 대한 연구가 많이 활성화되었고, 그에 따라 최근에는 LLM 서빙을 다루는 경우가 많아지고 있다. 최근 LLM모델이 매우 커짐에 따라 serving비용이 매우 증가하tristanchoi.tistory.com 2024. 6. 20. AI 기업 - 코난테크놀로지 1. 기업 개요 - 자체 개발 LLM 보유한 자연어 AI 전문기업 코난테크놀로지는 1999년에 설립된 AI 소프트웨어 전문기업이다. 엠파스, 네이트 검색엔진 개발로 입지를 다졌고, 이후 자연어처리, 빅데이터, 머신러닝 분야로 확장하였다. 사업부문을 크게 텍스트 AI, 비디오 AI의 두 그룹으로 나누고 있다. 1) 텍스트 AI: 검색엔진(코난서치) 41.8%, 텍스트분석(코난 애널리틱스와 펄스K) 27.6%, 대화형 챗봇서비스 (코난챗봇) 14.2% 2) 비디오 AI: 영상분석(코난워처) 15.9%, 음성인식과 음성합성 (코난보이스) 0.5% 고객사별 매출비중은 공공기관 64%, 민간기업 36%이다. 매출은 대부분 On-Premise 형태의 구축형으로 진행된다. 구축 완료시점에 매출 인식이 되므로 4분기 .. 2024. 2. 11. 이전 1 다음
