AI 반도체 기술 - 3세대 AI 반도체 2/2

5. 기타 신경세포 모방 AI 반도체 기술

 

신경망 또는 생물학적 뇌를 모사하는 기술은 SW 분야에서 먼저 큰 발전을 이루었다.

 

Deep Learning 기술은 신경망의 특징 중 연결성(connectivity)과 시냅스의 정보 저장 특성을 프로그램으로 구체화한 것으로, 방대한 계산량으로 초기에는 어려움이 많았으나, 컴퓨터의 계산 능력이 향상되면서 획기적인 발전이 이루어지고 있다.

 

 

특히, CPU 대신 GPU가 사용되면서 단순 문자인식에서 벗어나 이미지 인식이나 음성 인식 등이 가능한 CNN, RNN 기술 등이 개발되어 학습의 영역과 범위가 급속히 확장되고 있으며, 앞서 논의한 것처럼 전자 시냅스를 개발하여 특정 Deep learning 알고리즘을 가속화하는 목적 외에도 두뇌에서의 생물학적 뉴런의 기능과 다양한 알고리즘 방식을 HW로 구현하는 기술을 큰 범주에서 뉴로모픽 반도체 기술이라고 볼 수 있다.

 

 

이러한 SW 기술은 앞서 지적하였듯이 반도체 기술의 발전에 따른 컴퓨터 계산 능력의 급속한 발전과 연관되어 있다. 그러나, 많은 양의 데이터와 그에 따른 계산은 막대한 전력 소모를 유발하게 되어 향후 데이터센터에서 사용될 전력량이 다른 모든 산업 분야를 능가할 것으로 예상하고 있다.

 

현재의 반도체 기술은 von Neumann 방식을 따르고 있어 실제 생물학적 신경망에서의 처리 방식과는 다르다고 알려져 있다. 특히, 데이터의 저장, 처리 영역이 다르고, 처리 순서가 정해져 있다거나, 대기 전력이 필요한 점 등에서 다른 특성을 보인다. 다음의 표는 von Neumann 방식과 실제 신경망 사이의 차이점을 보여준다.

 

 

특히, 동작 방식에서 큰 차이를 보이고 있는데, 생물학적 신경망은 사건이 일어나는 경우에 작동을 하는 Spiking 방식의 동작을 하는 것이 특징적이다. 이러한 event-driven 동작은 대기 전력이 필요하지 않고 spiking 일어나는 시간에서만 작동이 되므로 전력 소모가 극도로 작아지게 된다. 170kW를 사용하는 알파고와 20W를 사용하는 이세돌의 바둑 대결이 과연 공정한 경쟁이냐를 따진다면 의문을 가질 부분이기도 하다.

 

 

최근 실제 신경망에 가까운 SNN을 SW와 HW 모두에서 구현하려는 노력이 이루어지고 있다. SW 측면에서는 SNN을 이용한 알고리즘, 즉 스파이킹을 이용하여 어떻게 계산을 할 수 있는지에 대한 개발이 진행되고 있다. HW 측면에서는 반도체 기술로 이러한 SNN을 구현하는 소자를 개발하고 있는데, 기존 CMOS 기술에서의 접근과 새로운 물질을 이용한 신소자로 접근하는 방향이 있다.

 

 

SNN을 구현하기 위해서는 신경망의 중요한 요소인 뉴런을 모사한 소자를 개발하는 것이 급선무이다. 뉴런은, 가장 간단하게 모델화하는 경우, I&F에서와 같이 앞선 여러 뉴런들에서 발생한 spike 신호가 시냅스를 거쳐 합쳐지고, 그 값이 어떤 일정한 값(역치, threshold)을 넘어서면 다시 spike를 발생시키는 기능을 한다. 이러한 뉴런의 기능은 기존의 CMOS 회로로도 구현이 가능하다는 것이 알려져 있다. 그러나, 이러한 간단한 기능조차 10개 이상의 CMOS 소자가 관여하게 되어 미세 소자를 사용한다고 하더라도 하나의 뉴런 기능 소자의 크기는 커지게 되어 CMOS의 장점을 잃어버리게 된다.

 

 

이러한 뉴런 기능의 소자를 구현하기 위해 기존 CMOS에서는 사용하지 않았던 물질을 이용한 소자 개발이 진행 중에 있으며, 비교적 최근 시작된 연구 분야로서 아직도 더 많은 연구와 개발이 필요한 분야이다.

 

chalcogenide 물질이나 금속-절연체 전이(MIT) 특징을 보이는 산화물 등을 이용한 소자에서는, 일정 전압(역치 전압, threshold voltage) 이상에서 절연체가 금속상태로 전이하고, 다시 전압을 내리면 원래의 절연체로 돌아오는 TS 특성을 보이는 것으로 알려져 있다.

 

TS 소자와 저항, 콘덴서를 간단히 연결하면 외부 전압 변화에 반응하여 파형을 발생시킬 수 있다. 역치 전압을 가지고 있으므로 입력 전압이 어느 이상이 될 때 spike를 발생시키는 뉴런의 특성(integrate-and-fire)을 모사할 수 있다. 또한, 연결된 저항값에 따라 발생파의 주파수 변조가 가능하여, 시냅스 어레이와 연결하는 경우 생물학적 신경망을 모사할 수 있는 소자로 기능할 수 있다.

 

 

이러한 특성을 갖는 물질을 이용한 뉴런 또는 Neuristor에 대한 연구도 최근 활발히 연구되고 있다. 2013년과 2016년에 HP의 Stanley Williams 그룹과 IBM Zurich 연구소의 Evangelos Eleftheriou 그룹에서 발표한 논문의 내용으로, CMOS 회로와 새로운 물질을 결합한 뉴런 소자에 관련하여, HP의 경우, MIT 특성을 보이는 NbO2 박막 소자를 중심으로 CMOS 회로를 연결하여 뉴런 특성을 얻었고, IBM 그룹은 상변화 물질인 chalcogenide GST(Ge2Sb2Te5)와 CMOS 회로를 결합한 뉴런 소자를 개발했다. 하지만 여전히 많은 수의 CMOS 소자가 결합되어 있어 소자의 집적도에는 한계가 있는 상황이다.

 

 

뉴런은 가장 단순한 I&F 특성 이외에도 매우 다양하고 복잡한 spiking 신호 형태를 보이고있다. Izhikevich는 수학적 모델을 통해 20여 가지의 스파이킹 패턴이 있음을 제안했다. 아직 이러한 특성을 모두 이해하고 있지는 않아서 응용 측면에서는 제한적이지만 최근 이러한 20여 가지의 다양한 spiking 형태를 소자로 구현하려는 연구가 활발히 진행되고 있다. 특히 MIT를 보이는 물질의 경우 MIT 특성과 다른 비선형 현상들이 포함되어 있어 단순한 소자 구조에서도 다양한 형태의 spiking 특성을 나타낼 수 있다는 사실이 확인되고 있다.

 

최근 HP의 S. Williams는 앞서 개발된 CMOS/memristor 연결을 통해 복잡하게 제작되었던 뉴런 소자를 단순한 구조의 NbO2를 이용한 threshold switching 소자로 대체할 수 있음을 보고했다. NbO2는 높은 전류에서의 MIT 상전이 이외에도 낮은 전류에서도 부성 미분 저항(NDR) 특성을 가지고 있어, Izhikevich가 제시한 복잡한 spiking 패턴도 구현할 수 있음을 보여준다.

 

 

출처: AI 반도체 표준화 보고서, Nature 등

 

뜨리스땅

 

 

https://tristanchoi.tistory.com/494

AI 반도체 기술 - 3세대 AI 반도체 1/2