엔비디아(NVIDIA)의 쿠다(CUDA) 지배력은 영원할까?

1. 개요

 

CUDA(Compute Unified Device Architecture)는 NVIDIA가 만든 GPGPU 플랫폼 및 API 모델로,

 

GPU에서 수행하는 병렬 처리 알고리즘을 C 프로그래밍 언어를 비롯한 산업 표준 언어를 사용하여 작성할 수 있도록 하는 GPGPU 기술 중 하나(GPU 컴퓨팅에 대한 일종의 컴파일러)로, NVIDIA가 개발해오고 있다. 다른 기술들(ex. OpenCL)에 반해, low-level API의 하드웨어에 있는 고급 기능까지 사용해 성능을 끌어내지만 NVIDIA 이외의 그래픽카드와 GPU에선 작동하지 않는다.

 

 

GPGPU는 고급 그래픽 프로그래밍 기술 범주에 속했기에, 그래픽 API에 익숙치 않은 일반 개발자들은 GPU를 이용하기 쉽지 않았지만 NVIDIA가 2006년 CUDA 솔루션을 출시하며 그래픽 API를 알지 못하는 개발자들도 GPU를 활용할 수 있게 된 것. 실제로 인공지능 혁명을 견인한 원동력으로도 볼 수 있다.

CUDA 플랫폼은 GPU의 가상 명령어셋을 사용할 수 있도록 만들어주는 소프트웨어 레이어이며, NVIDIA가 만든 CUDA 코어가 장착된 GPU에서 작동한다. 발빠른 출시 덕분에 수 많은 개발자들을 유입시켜, 사실상 엔비디아 생태계의 핵심으로 불린다. 물론 GPU 성능 차이도 있지만, 딥러닝이 각각 2012년과 2016년에 제대로 터지기 전부터 빠른 선구안을 취하여 업계 개발자들을 해당 플랫폼에 락인시킨 것이 매우 크다.

2006년 11월에 G80 마이크로아키텍처와 함께 처음 발표된 후, 2007년 6월 23일에 CUDA SDK가 처음 배포되었다. 초기에는 C, C++만 지원했지만 10여 년이 지난 지금은 포트란이나 C#등 다양한 언어에서 사용이 가능하다. 그러나 기본적인 구조 자체는 CUDA를 설치할 때 설치되는 전용 CUDA 컴파일러가 cuda 코드 파일을 컴파일하고, 그 다음에 C++나 C# 같은 기존 언어 컴파일러에 결과물을 투입하는 방식이다.

새로운 마이크로아키텍처 혹은 새로운 GPU가 나올 때마다 CUDA Compute Capability가 올라갔기 때문에 오래된 GPU의 경우 CUDA Compute Capability가 낮아서 일부 CUDA 기반 응용프로그램과 호환이 안될 수 있으나, 과거에 개발된 CUDA 기반 응용프로그램은 최신 GPU에서도 잘 작동한다.

 

또한, CUDA가 대두되면서 2007년에 GPGPU 전용인 TESLA 제품군이 나왔는데, TESLA 제품군은 ECC 메모리를 탑재하여 메모리 오류를 정정하며, GeForce에서 쓰이는 같은 아키텍처 칩셋이라도 추가 명령어 몇 개를 더 지원한다. 다만 차세대 아키텍처의 GeForce에선 이전 세대의 CUDA 명령어를 전부 흡수하여 지원하는 경향이 있으므로 최신 GeForce 제품을 써도 이전 세대의 Tesla 전용 명령어를 쓸 수 있다.

 

CUDA가 갖는 의미와 중요성에 대해서 아래 내용 추가적으로 참조

 

https://tristanchoi.tistory.com/613

CUDA: 소프트웨어 때문에 하드웨어를 못 바꾸나?

 

 

 

 

2. CUDA에 대한 대항마

 

쿠다 소프트웨어 플랫폼은 20년이상 전 세계 400만명 이상의 개발자가 AI 프로그램을 구축하는데 사용, 그동안 쌓인 '쿠다 코드' 량이 상당해서 이른바 철벽같은 '쿠다 생태계'를 구축하고 있다. 이 때문에 대부분의 AI 개발자들이 엔비디아 GPU를 사용할 수 밖에 없었다.

 

 

2.1. UXL 재단

 

인공지능(AI) 반도체 시장에서 엔비디아의 독주를 막기 위해 인텔과 구글, 퀄컴, 삼성 등이 손을 잡았다. 이들은 엔비디아의 GPU와 '쿠다(CUDA)' 소프트웨어가 아닌, 다른 하드웨어와 소프트웨어에서도 AI 개발이 가능케하는 오픈 소스 프로젝트를 추진 중이다. 인텔과 구글, 퀄컴, 삼성 등이 주축이 된 컨소시엄 ‘UXL 재단’이 쿠다 플랫폼에 대항하는 오픈 소스 프로젝트를 진행 중이라고 한다.

 

UXL재단은 쿠다 플랫폼에 대항해 여러 유형의 AI 가속 칩을 지원하는 소프트웨어 및 툴들을 개발하기 위해 2023년 9월 설립됐다. 칩과 하드웨어에 상관 없이 어떤 기기에서도 돌아가는 소프트웨어를 오픈 소스 방식으로 제공한다는 목표다.

빌 마그로 구글 고성능 컴퓨팅 담당 최고 기술 전문가는 “우리는 머신러닝 분야에서 어떻게 하면 열린 생태계를 만들고 하드웨어 분야에서 생산성과 선택의 폭을 넓힐 수 있을 지 고민하고 있다”라고 밝혔다.

UXL의 기술운영위원회는 올해 2024년 중에 기술 사양을 확정하고 기술적 세부 사항을 구축할 계획이다. 향후 아마존웹서비스(AWS), 마이크로소프트(MS) 같은 클라우드 업체와 다른 칩 개발 업체들과도 협력을 확대한다는 방침이다.

UXL은 출범 이후 이미 회원 기업과 오픈 소스 기술 사용에 관심이 있는 제3자로부터 기술 기부를 받기 시작한 것으로 알려졌다. 현재까지는 인텔이 개발한 '원API(OneAPI)' 기술을 이미 사용 가능한 수준으로 끌어 올렸으며, 이어 AI용으로 설계된 컴퓨팅의 표준 프로그래밍 모델을 만드는 단계에 진입했다. 궁극적으로는 엔비디아의 하드웨어와 코드까지 지원한다는 목표다.

비네시 수쿠마 퀄컴 AI 및 머신러닝 책임자는 “실제로 이번 프로젝트를 통해 엔비디아 플랫폼에서 탈출하는 방법을 보여주고 있다”라고 말했다. 

 

 

 

2.2. AMD

 

 

AMD는 최근 출시한 소프트웨어 플랫폼 ROCm6를 바탕으로 인공지능(AI) 솔루션 기업들과의 협업을 강화하고 있다. ROCm6는 개발자들이 자유롭게 AMD의 GPU 가속기와 중앙처리장치(CPU), 서버 플랫폼 환경이 갖춰진 상태에서 프로그램을 테스트할 수 있도록 지원한다. AMD는 ROCm6를 신제품 MI300X에서 구동할 경우 이전 제품인 MI250에서 실행되는 ROCm5 대비 최대 8배 향상된 성능을 제공한다고 설명했다.

 

AMD의 이 같은 소프트웨어 생태계 확장 전략은 고객사들의 AMD GPU 의존도를 높이려는 의도로 풀이된다. AMD의 GPU에 특화된 소프트웨어 프로그램을 무료 공개해 소프트웨어 사용자 수와 GPU 점유율을 동시에 끌어올리겠다는 것이다. 최근 빅테크 기업에서도 AMD의 ROCm6와 MI300 신제품 활용 계획을 밝혔다. 생성형 AI 라마2(Llama2)를 출시한 메타는 AMD의 ROCm6와 MI300 시리즈를 사용할 전망이다. 메타는 AI 추론 역량을 강화하기 위해 ROCm6와 함께 데이터센터에 AMD 인스팅트 MI300X 가속기를 추가하고 있다고 설명했다.

 

AMD의 소프트웨어 플랫폼 지원 확대 움직임에 엔비디아의 쿠다 생태계를 대체할 수 있을지 관심이 쏠리고 있다. GPU 시장을 사실상 독점하고 있는 엔비디아는 쿠다를 바탕으로 GPU 성능에서뿐만 아니라 GPU를 활용한 AI 소프트웨어 플랫폼 환경까지 주도하고 있다.

AMD는 또한 최근 자사 칩에 최적화된 고성능 AI 모델 생성용 개방형 소프트웨어를 구축하기 스타트업 '노드닷AI'를 인수하기도 했다.

 

미국 캘리포니아주에 본사를 둔 노드닷AI는 지난 2013년 설립된 오픈 소스 AI 소프트웨어 기업이다. 데이터센터, 엣지 등에 필요한 AI 모델 생성 가속화 솔루션을 주력으로 개발하고 있다. 노드닷AI 인수로 AMD 칩을 사용하는 기업들이 AI 모델을 효과적으로 구동하고 활용하는 데 도와주는 역할을 맡게됐다.

아누시 엘랑오번 노드갓AI CEO는 구글과 시스코 엔지니어 출신으로, 이 회사는 앞서 세쿼이아 캐피탈과 같은 유명 투자사로부터 3650만달러(약 490억원)의 자금을 조달한 것으로 알려졌다.  

AMD는 인수 금액 등 구체적인 계약 조건은 공개하지 않았으며, 연내 인수를 마무리할 계획이라고 밝혔다

뱀시 보파나 AMD AI그룹 수석부사장은 “노드닷AI 인수를 통해 하드웨어에 맞게 조정된 고성능 AI 모델을 쉽고 빠르게 배포할 수 있는 생태계 확장에 나설 것”이라며 “AI 고객사들이 AMD 하드웨어에 최적화된 고성능 AI 모델을 보다 쉽게 생성할 수 있는 개방형 소프트웨어를 제공받을 수 있을 것”이라고 밝혔다.

AMD는 이번 인수를 계기로 고성능 AI 반도체 시장 경쟁력을 강화한다는 전략이다. 현재 AI 반도체 시장은 엔비디아가 전 세계 시장 점유율 80%를 차지하고 있으며, 그 뒤를 AMD가 쫓고 있다.

 

AMD는 앞으로도 AI 관련 기업 인수를 통해 포트폴리오를 강화할 가능성도 내비쳤다. 빅터 펭 AMD 사장은 “노드닷AI는 최근 몇개월 동안 인수한 두번째 회사”라며 “우리는 항상 인수 대상을 찾고 있다”고 말했다.

 

리사 수 AMD 최고경영자(CEO)가 지낸해 12월 초 미국 캘리포니아주 산타클라라에서 개최한 ‘어드밴싱 AI(Advancing AI)’ 행사에서 신제품을 설명하고 있다./AMD 제공

AMD는 AI 성장 전략의 하나로 첨단 AI 칩에 필요한 핵심 소프트웨어에 집중적으로 투자할 방침을 세웠다. 이를 위해 AMD는 올해 초 AI그룹을 발족하며 관련 생태계 확장에 나서고 있다. 이 그룹에는 1500여명의 소프트웨어 엔지니어가 근무 중인 것으로 알려졌다. AMD는 올해 300명을 추가로 채용했으며, 내년에는 더 많은 인원을 채용해 AI그룹을 확장할 계획이다.

 

 

 

2.3. 모듈라

2023년 8월에는 미국의 스타트업 '모듈라'가 쿠다 대안 소프트웨어를 개발한다고 밝혀, 6억달러(약 8000억원)의 기업가치로 투자 유치를 위한 협상을 진행하여 무려 1억달러(약 1340억원)의 투자를 받았다.

모듈러는 제너럴 카탈리스트를 포함한 투자자들과 시리즈 A 펀딩을 진행하였다. 이 회사는 창립한 지 2년도 안 됐으며, 주력 제품을 내놓은 지는 불과 3개월밖에 안 됐다. 2022년 시드 펀딩에서는 3000만달러(약 400억원)를 투자받은 것으로 알려졌다.

애플에서 iOS용 앱 개발에 사용하는 프로그래밍 언어 '스위프트' 프로젝트를 주도한 크리스 라트너와 구글 클라우드의 ML 애플리케이션 프로그래밍 인터페이스 개발을 주도한 팀 데이비스가 공동 창업자로 참여하고 있다.

 

팀 데이비스와 크리스 라트너

이들의 목표는 엔비디아의 GPU 칩 및 쿠다 소프트웨어에 대한 대안을 제공, AI 칩을 선택할 때 더 많은 유연성을 제공함으로써 엔비디아에 대한 의존성을 없애는 것이다. 이 때문에 이들은 최근 업계에서 큰 관심을 받았다.

현재 GPU 시장은 엔비디아가 80% 이상을 점유 중인 독점 구조다. 엔비디아는 GPU 프로세서를 개발하는데 멈추지 않고 관련 소프트웨어 생태계를 조성하려고 노력해 왔다. 쿠다 프로젝트에 투입한 돈은 100억달러(약 13조3150억원) 이상으로 추산된다. 

쿠다는 GPU에서 수행하는 병렬 처리 알고리즘을 표준 프로그래밍 언어를 사용해 만들 수 있도록 한다. 다만 이 아키텍처를 사용하려면 엔비디아 GPU와 특별한 스트림 처리 드라이버가 필요하다.

표준 프로그래밍 언어를 이용해 컴퓨터 그래픽 외에도 다양한 분야에 고속 병렬 계산을 활용할 수 있게 한 엔비디아는 쿠다를 그래픽 전문가뿐 아니라 모든 프로그래머들이 사용할 수 있도록 무료 공개했다. 하지만 이 소프트웨어가 엔비디아 칩에서만 작동하게끔 하면서 엔비디아는 쿠다의 활용이 넓어질수록 새로운 시장으로 확장할 기회를 얻게 됐다. 

현재 고속 병렬 계산의 가장 큰 수요처는 역시 인공지능(AI) 분야다. CPU 시장은 인텔과 AMD의 경쟁이 계속 되지만, GPU만큼은 쿠다 프레임워크의 종속 효과가 이어지며 엔비디아의 장기화된 독점 구도가 깨지지 않고 있다.

모듈러는 엔비디아 칩만 지원하는 쿠다와 달리 AI 개발자가 AMD, 인텔 및 구글과 같은 다른 회사에서 설계한 칩에서 AI 모델을 쉽게 ​​훈련하고 실행할 수 있는 소프트웨어를 개발할 계획이다. 

이 소프트웨어는 구성 가능한 모듈식 구성 요소를 사용해 파이토치 및 텐서플로우와 같은 주요 AI 프레임워크의 프런트엔드를 통합해 작동한다. 개발자는 맞춤형 하드웨어를 사용해 AI 시스템을 훈련하고 서버나 에지 장치에 배포할 수 있다.

업계 전문가인 홀거 뮬러는 "AI 제국인 엔비디아와의 경쟁은 불가피한 일"이라며 "모듈러 플랫폼이 어떤 결과를 초래할지는 두고 봐야 하지만 경쟁자의 출현은 환영할 만하다"고 말했다. 

 

2.4. 기타

2023년 10월 인텔은 '메테오레이크’ 코어 울트라 칩을 활용해 PC에서 로컬로 실행되는 온디바이스 AI 개발 지원 ‘AI PC 가속 프로그램’을 발표한 바 있다. AI PC 가속 프로그램을 통해 AI 애플리케이션 개발자에 AI 개발 프레임워크와 각종 라이브러리, 도구 등을 제공한다. 

스타트업 투자 정보 서비스 피치북에 따르면 벤처 투자 회사들과 기업들은 엔비디아 소프트웨어에 도전하는 93개 프로젝트에 40억달러(약 5조4000억원) 규모 이상을 지원했다. 이같은 행보는 지난해 특히 두드러졌다. 쿠다를 겨냥한 스타트업들은 지난해에만 20억달러(약 2조7000억원) 이상 자금을 유치했다.

다만 쿠다를 넘어서는 게 쉽지는 않을 것이라는 게 전문가 평가다. 제이 골드버그 D2D 어드바이저리 CEO는 “중요한 것은 사람들이 15년 동안 쿠다를 사용해 왔으며, 이를 중심으로 코드를 짜왔다는 사실”이라고 지적했다.

 

 

출처: 나무위키, 조선일보, AI타임즈

 

뜨리스땅