본문 바로가기

전체 글670

알테오젠 update 머크가 알테오젠 기술없이 개발하던 키트루다SC 저용량 임상 3상 결과가 금일 언론 발표없이 조용히 업데이트했다. 키트루다IV보다 SC에서 사망위험 무려 18.4% 증가하는 심각한 결과가 나온 것이다. 알테오젠의 기술 적용 시 오히려 유효성 증 가 발표한 것과 상반되어 독점 계약 불가피했을 것으로 보인다. 경쟁사에서 지급하는 로열티 5% 수준을 충분히 주장 가능했을 것으로 보인다.   머크 자체 개발 키트루다SC 임상 3상 요약  머크가 알테오젠 기술없이 개발하던 키트루다SC 저용량 (200mg 3주 간격 투약) 임상 3상(임상번호 NCT04956692) 결과를 미국임상정보사이트 (clinicaltrials.gov)에 조용히 업데이트하며 공식 발표 없이 마무리했다. 자체 개발 키트루다SC 사망환자 115/.. 2024. 6. 8.
2024년 하반기 반도체 시황 전망 IT Set 및 메모리 수요 전망: 이구동성. 글로벌 집단 지성을 믿자  IT 수요의 극적인 회복은 아직 포착되지 않고 있다. 시장조사기관의 5월 Set 수요 데이터에서도 큰 변화가 나타나진 않았다. 그럼에도 불구하고 당분기 글로벌 반도체 서플라이체인 전반의 전망에서는 수요 회복의 단초를 찾을 수 있다. TSMC는 24F 파운드리 시장 성장률을 +20%에서 최대 +HT%로 소폭 하향조정 했으나, 하반기 레거시 공정 수요의 점진적 개선을 전망했다. Top-tier OSAT인 Amkor도 매크로 불확실성이 있으나, 포트폴리오 전반에 걸친 회복신호가 포착됨을 언급했다. 24F PC 출하량은 2.3억대(YoY +1.2%)로 전망된다. 인텔은 PC 수요와 관련해 하 반기 윈도우 업그레이드 주기 도래에 따른 AI .. 2024. 6. 6.
NVIDIA Triton 란 무엇인가? NVIDIA Triton 란 무엇인가?인공지능 모델은 딥러닝의 발전으로 점점 커지고 성능도 향상되고 있다. 하지만 그만큼 추론 속도는 느려지고 많은 리소스가 필요하다. 더 좋은 GPU 를 사용하면 효과를 볼 수 있지만 많은 비용이 들기 때문에 어떻게 인공지능 모델을 효율적으로 운영할 수 있는지 연구가 계속 되고 있다. 비용을 줄이기 위한 방법으로는 모델 경량화와 같이 인공지능 모델의 크기를 줄이는 방법부터 효율적인 추론을 위한 ONNX, TensorRT 변환 등 다양한 방법이 있다. ONNX, TensorRT 변환의 경우, 변환된 engine(=모델) 을 서빙하기 위해서는 별도의 코드 작성이 필요하다. 이때 리소스를 더 절약하는 방법을 사용하기 위해서는 C++ 로 코드를 작성해야 한다. (사실 pytho.. 2024. 6. 5.
AI 모델을 서비스에 사용(서빙)하기 위한 방법 - 서빙 최적화 방법 많은 기업들이 생성AI 시장에 뛰어들기 위해서 각자의 LLM 을 만들기 위해 온 열정을 쏟아붓고 있습니다. 특히 ChatGPT 출시 이후 다양한 종류와 크기의 LLM 들이 만들어 지고 있는데요. 하지만 모든 모델들이 공통적으로 서빙쪽에서 문제를 겪고 있습니다. LLM 을 학습하는 비용 보다, LLM 을 지속적으로 서빙하기 위해서 더 많은 돈(GPU 서버 비용)이 필요로 하기 때문입니다. 역사상 가장 빠르게 성장한 서비스인 ChatGPT 는 하루에 약 $700,000(한화 10억) 이상을 서버 비용으로 사용한다는 예측도 나와있어 얼마나 많은 비용이 필요로 한지 체감할 수 있습니다. LLM업체들은 역시 더 좋은 성능의 모델을 사용하기 위해 모델크기를 점점 키우면서 LLM 서빙에 필요로 하는 GPU 비용이 기.. 2024. 6. 5.
한화정밀기계 - HBM 제조용 TC본딩 장비 테스트용 장비 SK hynix에 납품 고대역폭메모리(HBM) 제조 공정의 핵심 장비로 꼽히는 열압착(TC) 본더 장비 시장을 두고 국내 1위 한미반도체와 한화정밀기계가 정면 승부에 돌입한다. 인공지능(AI) 시대 최고 메모리인 HBM을 두고 삼성전자·SK하이닉스 등이 치열한 경쟁을 펼치고 있는 가운데 HBM 장비 시장에서도 본격적인 기술 레이스가 시작됐다는 평가가 나온다. SK하이닉스는 한화 등 신규 기업 장비를 양산 라인에서 돌려본 다음, 테스트 결과가 좋으면 대규모 발주를 내겠다는 계획을 세워뒀다. 당장 올 하반기에 이뤄질 12단 적층 HBM3E용 TC본딩 장비 발주건이 이원화, 혹은 삼원화될 가능성이 높은 것으로 전문가들은 보고 있다. 31일 업계에 따르면 한화정밀기계는 최근 SK하이닉스와 공동 개발로 제작한 TC본딩 장비의 외부 퀄 .. 2024. 6. 4.
하반기 IT 시장 전망 현재는 AI 시장 개화에 따른 수혜 구간으로 판단된다. 2H24 IT 카 테고리별 2가지 투자 아이디어가 가능하다. 1) 고부가 반도체/IT부품 수요 증가,2) IT디바이스 성능 강화 → 기능 업그레이드로 수요 개선 기대. 2H24 실적 (EPS↑), 밸류에이션(PER↑) 리레이팅 구간으로 주가 Level UP 기대   Corp Day로 보는 하반기 IT 카테고리로 보는 투자 아이디어 1) 스마트폰/전기전자: 2024년 스마트폰 출하량 +5% YoY 회 복 전망. 2가지 투자 아이디어 제시.      1) AI 기능 강화 → 2H23 부터 이어진 중국 로컬 기업 판매량 개선 이후 기존 플래그쉽 모델 주요 벤더의 신제품 출시에 관심.   2) 폴더블 시장 성장 가속화(2024F +66% YoY) 및 주요 .. 2024. 6. 2.
AI 모델 추론을 위한 VLLM이란 무엇인가? (feat. by Paged Attention) 1. LLM inference의 특징 chatGPT 이후로 LLM에 대한 연구가 많이 활성화되었고, 그에 따라 최근에는 LLM 서빙을 다루는 경우가 많아지고 있다. 최근 LLM모델이 매우 커짐에 따라 serving비용이 매우 증가하고 있다. LLM이 커짐에 따라 parameter도 많아져 비싸진 token 생성 과정을 생성이 끝날때까지 반복해서 하나의 token밖에 생성하지 못한다. 따라서 이러한 생성 과정은 GPU의 연산 능력을 제대로 활용하지 못하고 throughput을 저하시키는 memory-bound과정이다. Throughput을 향상시키기 위해 많은 request를 하나의 batch로 묶어서 할 수 있지만, 이를 위해서는 GPU memory를 효율적으로 관리해야 한다. 위의 그림은 13B의 파라.. 2024. 6. 1.
언어모델의 정의와 종류 1. 정의 언어 모델(LM, Language Model)은 입력값(자연어, 보통은 사용자의 문장)을 기반으로 통계학적으로 가장 적절한 출력값을 출력하도록 학습된 모델이다. 언어 모델의 시초는 20세기 초까지 거슬러 올라가지만 오늘날 회자되는 대규모 언어 모델(LLM: Large Language Model)이 본격적으로 부상한 시점은 인공 신경망(ANN: Aritificial Neural Network)이 도입된 이후다. 언어모델은 크게 통계학 기반과 인공신경망 기반으로 나눠 볼 수 있는데, 현 시점에서는 후자가 더 대중적으로 쓰이며, LLM은 인공신경망 중에서도 특히 2017년에 등장한 트랜스포머(Transformer) 심층 신경망 아키텍처는 비지도학습 방식의 아키텍처로 이루어져있다. 이 트랜스포머 아키.. 2024. 5. 26.
인공지능 신경망의 정의와 종류(CNN, RNN, VAE, LSTM,GAN) 1. 정의 인공신경망(Artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 알고리즘이다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다. 좁은 의미에서는 오차역전파법을 이용한 다층 퍼셉트론을 가리키는 경우도 있지만, 이것은 잘못된 용법으로, 인공신경망은 이에 국한되지 않는다. 인공신경망에는 지도 교사 신호(정답)의 입력에 의해서 문제에 최적화되어 가는 지도학습과 지도 교사 신호를 필요로 하지 않는 비지도 학습으로 나뉘어 있다. 명확한 해답이 있는 경우에는 교사 학습이, 데이터 클러스터링에는 비교사 학습이 .. 2024. 5. 25.

티스토리툴바