분류 전체보기670 삼성파운드리 사고 소식 관련 (2024/06/24에 발생) 삼성전자의 국내 파운드리 사업부에서 반도체 웨이퍼 생산 과정에서 결함이 발생한 것으로 26일 알려졌다. 이날 재계 등에 따르면, 지난 6/24에 삼성전자 파운드리 웨이퍼 제조 공장에서 품질에 영향을 미치는 결함(affect)이 발생하고 이 때문에 수율에 영향을 미치는 차질이 발생한 것으로 전해졌다. 삼성전자 파운드리 웨이퍼 제조 공장에서 3나노 2세대 공정 중 2500랏(lot) 규모의 결함(defect)이 발생해 1조원 손실이 발생했고, 이 웨이퍼들을 전량 폐기해야 한다는 루머가 돌았다. 2500랏은 12인치 웨이퍼 기준 월 6만5000장가량의 생산 규모로, 한때 '파운드리 내 사고 발생으로 웨이퍼 20만장이 훼손됐다'는 풍문까지 나왔다. 하지만, 피해 규모는 웨이퍼 50여장 정도라고 전하는 소식도 .. 2024. 6. 26. 엔비디아 대항마? - 그록(Groq) 구글 출신 조나단 로스(Jonathan Ross) CEO는 한국인에게 익숙한 알파고(2016년 이세돌 9단과 대국한 AI)에 쓰인 머신러닝용 칩 TPU(텐서 프로세싱 유닛)의 초기 설계자다. 게임 개발자가 되려다가 게임 밖 세상을 바꾸는 쪽이 더 재미있게 느껴져 소프트웨어(SW) 엔지니어의 길로 들어섰다고 했다. 뉴욕대 재학 중 얀 르쿤 교수의 머신러닝 강의를 들었고, 이후 구글에서 TPU 개발에 참여했다. 현재 사용되는 CPU 및 GPU보다 인공지능 서비스 구현에 더 적합한 반도체를 개발해 상용화하겠다는 목표를 두고 지난 2016년 그록(Groq)을 설립했다. 기계 학습을 위해 개발된 구글의 텐서 처리 장치(TPU) 설계자 10명 중 8명이 그록에 합류하며 일찌감치 시장의 기대를 받았다. 그록은 AI.. 2024. 6. 25. 엔비디아 대항마? - 삼바노바(SambaNova) 1. 개요 2017년 설립된 미국 스타트업 삼바노바(SambaNova)는 GPU를 대신해 RDU (Reconfigurable Data Unit)라는 고성능 AI반도체를 선보이고 있다.삼바노바의 창업자는 고성능 멀티코어 CPU의 대부 쿤레 올루코툰(Kunle Olukotun) 스탠퍼드대 교수와 데이터 및 인공지능 소프트웨어 전문가 크리스 레(Chris le) 스탠퍼드대 교수다. 2002년 선마이크로에 인수됐던 올루코툰 교수의 첫 스타트업 아파라 웹시스템즈(Afara Websystems)에서 일했던 로드리고 리앙이 다시 삼바노바에 합류해 CEO를 맡았다. 시작은 소프트웨어 개발이었으나 회사가 구상한 소프트웨어를 운용할 수 있는 반도체가 없어 삼바노바는 결국 직접 AI 반도체를 만들기로 결심한다. 이미 업계에.. 2024. 6. 23. 엔비디아 대항마? - 세레브라스(Cerebras) 1. 개요 세레브라스(Cerebras)는 오픈AI 창업자 샘 알트먼을 포함한 세계적 투자자들이 7억4000만 달러(약 9900억원)를 투자한 AI 반도체 기업이다. 현재 세레브라스의 기업 가치는 41억 달러(약 5조 5300억원) 에 달한다. 세레브라스는 현재 전 세계 스타트업 업계에서 가장 주목받는 AI 반도체 업체이다. 세레브라스 본사는 회사라기 보다는 연구실에 가까운 모습이었다. 라우드룸(소음실)은 냉각 팬이 돌아가는 소리가 요란했다. 양쪽 벽에는 거대 인공지능(AI)칩이 탑재된 서버들이 가득 진열돼 있었고, 우측에는 20갤런 규모의 물탱크 6개가 일렬로 장착된 냉각수 펌핑 시스템이 보였다. 소음실 밖 실험실에선 세레브라스 직원들이 현미경으로 냉각 시스템에 들어가는 부품을 살피며 토론하고 있었다.. 2024. 6. 22. RAG 구현을 위한 효과적인 툴: 랭체인(LangChain) 랭체인(LangChain)은 노출하여 대규모 언어 모델과 애플리케이션의 통합을 간소화하는 SDK이다. 대규모 언어 모델의 부상과 함께 중요성이 커지고 있다. 대규모 언어 모델에 대한 최신 트렌드를 쫓는 소프트웨어 개발자라면 연일 쏟아지는 소식이 당황스러울 수 있다. 새로운 오픈소스 모델의 출시나 상용 모델 제공업체의 중요한 새 기능 발표가 매일 등장하는 상황과 비슷하다고 할 수 있다.어느덧 LLM은 최신 소프트웨어 스택의 한 요소로 빠르게 부상했다. 그러나 오픈AI와 같은 공급업체가 제공하는 모델 API를 사용하든, 오픈소스 모델을 앱에 포함하든 LLM 기반 애플리케이션을 구축하려면 단순히 프롬프트를 보내고 응답을 기다리는 것 이상의 작업이 필요하다. 매개변수 조정부터 프롬프트 보강, 응답 조정에 이르기.. 2024. 6. 20. LLM의 추론 성능 향상을 위한 RAG 사용 시, 알아두어야 할 것들 https://www.youtube.com/watch?v=NfQrRQmDrcc&list=WL&index=1&t=45s 출처: 테디노트 뜨리스땅 https://tristanchoi.tistory.com/651 AI 모델 추론을 위한 VLLM이란 무엇인가? (feat. by Paged Attention)1. LLM inference의 특징 chatGPT 이후로 LLM에 대한 연구가 많이 활성화되었고, 그에 따라 최근에는 LLM 서빙을 다루는 경우가 많아지고 있다. 최근 LLM모델이 매우 커짐에 따라 serving비용이 매우 증가하tristanchoi.tistory.com 2024. 6. 20. 이전 1 2 3 4 5 6 7 8 ··· 112 다음
