전체 글708 LLM 모델은 학습과 추론 시, 반도체에서 어떻게 다르게 동작하는가? LLM에서 학습(training)과 추론(inference)은 겉으로 보기엔 둘 다 “토큰을 넣고 토큰을 내보내는” 과정이지만, 내부적으로는 수행하는 연산과 데이터 흐름이 꽤 다릅니다. 0. 개념적 차이학습: 모델의 가중치 자체를 바꾸는 과정입니다. 대량의 텍스트를 넣고, 정답(다음 토큰)을 맞추도록 오차를 줄이면서 파라미터를 업데이트합니다.추론: 이미 학습이 끝난 모델을 사용해 가중치는 고정한 채 입력 프롬프트에 대한 출력을 생성하는 과정입니다.같은 네트워크 구조(Transformer)를 쓰지만, 학습은 “모델을 만드는 과정”, 추론은 “만들어진 모델을 실행하는 과정”이라고 보면 됩니다 1. 공통 부분: 순전파(forward pass) 두 과정 모두 공통적으로 하는 일은 다음과 같습니다.토크나이저가 .. 2026. 1. 25. 엔비디아 젠슨황 CES 2026 기조연설 요약 서론: 우리 삶을 바꿀 새로운 AI의 시작컴퓨팅 플랫폼은 보통 10년에서 15년 주기로 완전히 리셋됩니다. 엔비디아의 CES 발표는 우리가 지금 바로 그 거대한 전환점, 즉 'AI 시대'의 한가운데에 있음을 보여주기 때문에 매우 중요합니다. 이는 단순히 새로운 제품을 소개하는 것을 넘어, 소프트웨어를 코딩하는 방식에서 '학습'하는 방식으로 컴퓨팅의 패러다임이 바뀌고 있음을 선언하는 자리입니다. 이번에 CES 2026에서 엔비디아가 공개한 네 가지 핵심 AI 기술—에이전트 AI, 물리 AI, 자율주행 모델 알파마, 그리고 베라 루빈 플랫폼—을 누구나 쉽게 이해할 수 있도록 설명해보겠습니다. 이 기술들이 어떻게 나만의 비서가 되고, 현실 세계를 이해하며, 자동차를 더 똑똑하게 만들고, 이 모든 것을 가능하게.. 2026. 1. 8. NVIDIA가 Groq을 인수한 이유와 의미는 무엇인가? 0. NVIDIA는 왜 Groq을 두려워했는가? ChatGPT와 같은 생성형 AI와 대화할 때, 우리는 AI가 마치 타자기로 글을 쓰듯 한 글자씩 답변을 생성하는 '타이핑 효과(typewriter effect)'에 익숙합니다. 답변이 길어질수록 우리는 화면을 응시하며 기다려야 합니다. 그런데 만약 프롬프트를 입력하자마자, 글자 단위가 아닌 완성된 텍스트 덩어리 전체가 눈앞에 즉시 나타난다면 어떨까요? 약 2년전 소셜 미디어를 뜨겁게 달군 Groq(그록)의 데모 영상이 바로 이 경험을 현실로 만들었습니다. 마치 마법처럼 느껴지는 이 압도적인 속도의 차이는 어디에서 오는 것일까요? 그것은 AI 칩 시장의 지배자 NVIDIA GPU에 무서운 속도로 도전하는 Groq의 LPU(Language Processi.. 2025. 12. 27. NVIDIA GR00T N1: 범용 인간형 로봇을 위한 개방형 파운데이션 모델 1. 서론: 범용 로봇 지능을 향한 길 인간 세계에서 일상적인 작업을 자율적으로 수행하는 로봇을 개발하는 것은 로봇 공학 분야의 오랜 목표이자 중대한 기술적 과제였습니다. 최근 로봇 하드웨어, 인공지능, 그리고 가속 컴퓨팅 기술의 발전은 범용 로봇 자율성 구현을 위한 견고한 토대를 마련했습니다. 인간 수준의 물리적 지능으로 나아가기 위해서는 하드웨어, 모델, 데이터라는 세 가지 핵심 요소를 통합하는 풀스택(full-stack) 솔루션이 필수적입니다. 이 중 인간형 로봇은 인간과 유사한 신체 구조와 다재다능함 덕분에 로봇 지능을 구축하기 위한 매우 매력적인 하드웨어 플랫폼으로 주목받고 있습니다. 그러나 이러한 지능을 훈련시키는 과정에서 로봇 학습은 중대한 데이터 문제에 직면합니다. 텍스트나 이미지 분야와 .. 2025. 12. 21. Anthropic은 왜 Nvidia GPU 대신 Google TPU를 선택했는가? AI 거인의 예상 밖의 선택 오늘날 인공지능(AI) 분야는 새로운 모델을 개발하기 위한 치열한 기술 경쟁의 장이 되었습니다. 이 경쟁의 중심에는 AI 모델을 훈련하고 운영하는 데 필요한 막대한 컴퓨팅 파워가 있으며, 대부분의 기업은 업계 표준으로 자리 잡은 Nvidia의 GPU(그래픽 처리 장치)를 당연하게 선택해왔습니다. 이러한 흐름 속에서, AI 분야의 선두 주자 중 하나인 Anthropic은 모두의 예상을 깨고 Google의 TPU(텐서 처리 장치)라는 다른 길을 선택했습니다. 이것은 단순히 특정 하드웨어를 선호하는 문제를 넘어, 심도 있는 기술적, 경제적 계산에 기반한 중대한 전략적 결정이었습니다. Anthropic은 왜 업계의 거인 Nvidia가 아닌 Google과 손을 잡았을까요? 1. 거인.. 2025. 12. 7. Google TPU vs. NVIDIA GPU: AI 인프라 우수성은 Chip이 아니라 시스템 1. AI 시대의 인프라, 칩을 넘어 시스템으로 AI 시대의 도래와 함께 소프트웨어의 비용 구조는 전통적인 패러다임에서 크게 벗어나고 있습니다. AI 소프트웨어의 경우, 과거와 달리 개발자 인건비보다는 그 기반이 되는 하드웨어 인프라 비용이 더 큰 영향을 미칩니다. 따라서 AI 애플리케이션의 성공적인 배포와 확장을 위해서는 개별 칩의 마이크로아키텍처 성능을 넘어, 전체 시스템 아키텍처를 최적화하는 것이 무엇보다 중요해졌습니다. 인프라에서 우위를 점하는 기업이 곧 AI 애플리케이션 경쟁에서도 우위를 확보하게 될 것입니다. Google은 이러한 변화를 일찍이 2013년에 감지했습니다. 당시 AI 기술을 대규모로 배포하려면 데이터센터 수를 두 배로 늘려야 한다는 결론에 도달했고, 이는 AI 전용 하드웨어인 T.. 2025. 12. 4. Google의 TPU v7 성능의 핵심 요소: 시스템 아키텍처와 네트워킹 기술 1. 서론: AI 인프라의 새로운 지평 AI 시대의 도래는 소프트웨어 개발의 비용 구조를 근본적으로 바꾸어 놓았습니다. 과거에는 개발자 인건비가 총소유비용(TCO)의 상당 부분을 차지했지만, 오늘날 AI 소프트웨어는 그 기반이 되는 하드웨어 인프라가 자본 지출(Capex)과 운영 비용(Opex)에 훨씬 더 큰 영향을 미칩니다. 이제는 개별 칩의 성능을 의미하는 마이크로아키텍처를 넘어, 수천 개의 칩을 하나의 거대한 컴퓨팅 단위로 엮어내는 시스템 아키텍처의 설계가 AI 애플리케이션의 확장성과 경제성을 결정하는 핵심 요소가 되었습니다. Google은 이러한 시스템 수준 엔지니어링의 중요성을 일찍이 간파하고, 2017년 TPU v2부터 랙 규모의 상호 연결 기술을 개척하며 AI 인프라의 혁신을 주도해 왔습니다.. 2025. 11. 29. 로봇파운데이션 모델 기술 개발 동향 로봇 파운데이션 모델 기술 동향로봇 파운데이션 모델(Robot Foundation Model, RFM)은 로봇 공학 분야에 혁신적 변화를 가져오고 있는 핵심 기술로, GPT와 같은 대규모 언어 모델의 성공을 로봇 분야에 적용하려는 시도입니다. 대규모 다양한 데이터로 사전 학습된 이 모델들은 다양한 로봇 플랫폼과 작업에 일반화될 수 있는 능력을 보여주고 있습니다. 1. Big tech 및 유니콘들의 개발 동향업계에서는 실용적이고 상용화 가능한 로봇 파운데이션 모델 개발에 집중하고 있으며, 주요 기업들이 대규모 투자와 함께 혁신적인 모델을 발표하고 있습니다. 1.1. Google DeepMind의 RT 시리즈Google DeepMind는 RT-1, RT-2, RT-X 시리즈를 통해 로봇 파운데이션 모델 분.. 2025. 11. 20. AI 데이터센터 붐이 한국 배터리 산업의 촉매가 되다 1.0 서론: AI와 에너지 저장의 새로운 수요 연결고리한국 배터리 산업은 최근 글로벌 전기차(EV) 시장 둔화로 인한 거센 역풍을 겪어왔다. 그러나 예기치 못한 AI 데이터센터의 폭발적 성장이 새로운 강력한 수요 동인을 만들어내며 산업의 향후 전망을 근본적으로 바꾸고 있다. AI 인프라 확장은 막대한 전력 수요를 유발하고 있으며, 이로 인해 안정적인 24시간 전력 공급을 위한 에너지저장시스템(ESS)의 필요성이 급증하고 있다. 이러한 변화는 제조사들에게 새로운 시장 기회를 열어주는 결정적인 생명선으로 작용하고 있다. 거시경제적 관점에서 보면 자본 배분의 구조적 변화가 일어나고 있다. ChatGPT의 등장 이후, 투자는 석유화학·내구소비재 같은 전통 산업에서 AI 가치사슬로 급격히 이동하고 있다. S&.. 2025. 11. 9. 이전 1 2 3 4 ··· 79 다음
