CUDA6 엔비디아(NVIDIA)의 쿠다(CUDA) 지배력은 영원할까? 1. 개요 CUDA(Compute Unified Device Architecture)는 NVIDIA가 만든 GPGPU 플랫폼 및 API 모델로, GPU에서 수행하는 병렬 처리 알고리즘을 C 프로그래밍 언어를 비롯한 산업 표준 언어를 사용하여 작성할 수 있도록 하는 GPGPU 기술 중 하나(GPU 컴퓨팅에 대한 일종의 컴파일러)로, NVIDIA가 개발해오고 있다. 다른 기술들(ex. OpenCL)에 반해, low-level API의 하드웨어에 있는 고급 기능까지 사용해 성능을 끌어내지만 NVIDIA 이외의 그래픽카드와 GPU에선 작동하지 않는다. GPGPU는 고급 그래픽 프로그래밍 기술 범주에 속했기에, 그래픽 API에 익숙치 않은 일반 개발자들은 GPU를 이용하기 쉽지 않았지만 NVIDIA가 2006년 .. 2024. 3. 30. CUDA: 소프트웨어 때문에 하드웨어를 못 바꾸나? 프로그래밍 언어, API, 프레임워크를 제공하는 CUDA CUDA(Compute Unified Device Architecture)는 2007년에 출시된 NVIDIA의 소프트웨어 지원 플랫폼으로 프로그래머들이 프로그램을 손쉽게 코딩할 수 있도록 도와주는 여러 기능들을 제공하는 플랫폼이다. CUDA는 1. C/C++를 기반으로 한 GPU 전용 프로그래밍 언어를 제공하며 2. 다양한 딥러닝 프레임워크와 API를 제공하여, 수학 계산, 데이터 분석, 이미지 처리 등의 작업을 효율적으로 수행할 수 있게 도와준다. 먼저 CUDA가 제공하는 프로그래밍 언어는 프로그래머들이 사용하는 C언어 C++언어를 확장하여 GPU에 최적화된 코드를 짤 수 있도록 도와준다. 이 확장된 언어는 여러 키워드를 사용하여 GPU를 위한 .. 2024. 2. 28. NPU: 딥러닝에 최적화된 칩 추론의 영역으로 들어서며 GPGPU와 NPU의 경쟁 본격화 NPU(Neural Processing Unit)는 우리가 일반적으로 추론용 AI 반도체로 알고 있는 하드웨어이다. 우리가 이렇게 알고 있는 이유는 AI 모델에 광범위한 데이터를 학습시키는 것에는 범용성이 뛰어난 GPGPU(General Purpose Graphic Processing Unit)가 적합하고, 이를 활용하여 답변이나 이미지를 생성하는 것에 더 적합한 반도체는 특수목적성을 가진 NPU(Nerual Processing Unit)라고 많이 알려져 있기 때문이다. 하지만 과연 학습을 할 때 범용성을 가지고 있는 것이 반드시 유리할까? 예를 들어 자율주행 AI를 구현할 때 아무 목적성이 없는 GPGPU를 탑재해 AI를 학습시키는 것이 빠를까.. 2024. 2. 27. 학습형 AI 반도체와 추론형 AI 반도체의 차이 1. 개략적 특징 1.1. 학습형 AI반도체 학습형 AI 반도체는 인공지능 모델을 학습시키기 위해 방대한 데이터와 복잡한 수학적 연산을 빠르고 효율적으로 처리할 수 있는 성능이 필요하다. 따라서, 학습형 AI 반도체는 GPU, TPU와 같은 가속기를 사용하여 병렬 처리와 분산 처리를 통해 높은 처리율 (throughput)과 전력 효율성 (performance per watt)을 추구한다. 하지만, 학습형 AI 반도체는 대게 범용성이 높은 형태로 설계되어 다양한 AI 모델에 적용할 수 있도록 하기 때문에, 학습 모델에 따라 사용하지 않는 회로의 구성도 범용성을 위해 추가되어야 한다. 이러한 범용성을 확보기위한 부분이 불필요한 전력 소모를 만들어서 제조 비용을 높이고 전력 소모를 증가시키는 요인이 된다. .. 2024. 2. 4. 반도체 기업 탐구: 엔비디아(Nvidia)는 독주체제를 이어갈 것인가? 1. 엔비디아의 현 위치: 단순 Chip 판매가 아닌 생태계까지 구축 엔비디아의 GPU 독주 체제가 당분간 계속될 것이라는 분석이 나왔다. 다른 기업이 따라잡기에는 이미 '엔비디아 생태계'가 견고하게 구축됐기 때문이라는 이유다. 뉴욕타임스(NYT)는 21일(현지시간) 월스트리트가 엔비디아의 AI 반도체 실적이 하반기에도 시장 기대치를 크게 웃돌 것으로 예측했다고 보도했다. 이에 따르면 전문가들은 엔비디아가 당분간 AI 반도체 시장에서 유일무이한 입지를 갖출 것이라는 예측을 내놓고 있다. 그 이유로 엔비디아가 단순히 최고 성능을 갖춘 제품을 내놓는 것을 넘어, 소프트웨어와 관련 리딩 업체를 포함한 '해자'를 구축했다는 분석이다. 실제로 지난 10여년 사이 AI 인프라는 엔비디아 GPU로 정리됐다. 오픈AI.. 2023. 8. 26. 로봇 기술 탐구: 인공지능 용어 정리 새로운 개념들이 많아서 정리해보았습니다. 퍼셉트론(Perceptron) 1958 년 프랑크 로젠블럿이 제시한 인공 신경망의 초기 개념이다. 인간의 뉴런이 신호를 주고받는 방식에서 노드를 착안하여 사람의 신경망과 유사한 인공 신경망을 구축했다. 활성화 함수 (Activation Function) 입력된 데이터의 가중 합을 출력 신호로 변환하는 함수이다. 인공 신경망의 직전 Layer 의 가중치 합의 크기에 따라 활성화 (변환) 유무를 결정한다. 또한 신경망의 목적이나 Layer 의 역할에 따라 선택적으로 적용한다. 가중치 가중치는 인공 신경망을 구성하는 노드에 대한 중요도를 나타내며, 일반적으로 Weight 로 표시한다. 인공 신경망의 학습은 각 노드의 비중치를 업데이트하며 이루어진다. 인공신경망의 비용함.. 2022. 12. 30. 이전 1 다음
