로봇 기술 탐구: 인공지능 용어 정리

새로운 개념들이 많아서 정리해보았습니다.

 

퍼셉트론(Perceptron)

 

1958 년 프랑크 로젠블럿이 제시한 인공 신경망의 초기 개념이다. 인간의 뉴런이 신호를 주고받는 방식에서 노드를 착안하여 사람의 신경망과 유사한 인공 신경망을 구축했다.

 

 

활성화 함수 (Activation Function)

 

입력된 데이터의 가중 합을 출력 신호로 변환하는 함수이다. 인공 신경망의 직전 Layer 의 가중치 합의 크기에 따라 활성화 (변환) 유무를 결정한다. 또한 신경망의 목적이나 Layer 의 역할에 따라 선택적으로 적용한다.

 

 

가중치

 

가중치는 인공 신경망을 구성하는 노드에 대한 중요도를 나타내며, 일반적으로 Weight 로 표시한다. 인공 신경망의 학습은 각 노드의 비중치를 업데이트하며 이루어진다.

 

 

인공신경망의 비용함수

 

인공신경망의 학습 과정은 수학적으로 인공신경망의 비용 함수 (Cost function)의 값이 가장 작은 가중치를 찾는 것이다. 즉 비용함수의 미분 계수=0 이 되는 최소값 (비중치)를 찾아야한다.

 

 

경사하강법(Gradient Descent)

 

경사하강법은 비용 함수의 최소값 (미분 계수=0)을 찾기 위해 기울기 (경사)를 점진적으로 조정 (하강)하여 그 값을 찾는 방법론이다.

 

 

Local Minima & Global Minimum

 

인공신경망의 비용함수의 최소값을 찾는 과정에서 비용 함수의 가장 작은 값인 Global Minimum (최소값)이 존재하는데도, 먼저 발견하는 Local Minima (극소값)를 비용함수의 최소값으로 인식하는 문제이다.

 

 

Vanishing Gradient(기울기 소실)

 

은닉층이 깊어지며 가중치 (Weight)의 기울기 (Gradient)가 실제 값보다 점점 작아지며 결국 0 으로 수렴(소실)하는 현상을 말한다. 이에 따라 유의미한 과거 데이터의 비중치를 고려하지 못해 최적의 학습 결과를 얻지 못하게 된다.

 

 

RNN (Recurrent Neural Network)

 

입력층부터 출력층까지 일방향으로 학습을 진행하는 DNN 과 다르게, RNN 은 출력값을 역방향으로 다시 보내고, 다시 학습한다. 각 시점의 데이터들이 연결되는 피드백 연결 구조를 가지고, 순서 정보를 가지는 자연어를 학습할 수 있는 자연어 처리 알고리즘이다.

 

 

LSTM (Long Short-Term Memory)

 

RNN 의 Vanishing Gradient 를 해결하기 위해 State 와 Gate 의 개념을 추가한 자연어 처리 알고리즘이다. 과거 정보를 은닉층에 저장했던 RNN 과 다르게 State, Gate 와 같은 별도의 기억 장치를 활용하여 Vanishing Gradient 문제를 개선한다.

 

 

Word Embedding

 

Word Embedding 은 문장 및 단어를 숫자로 바꿔주는 벡터화 과정이다. 숫자로 변환된 벡터들은 각 단어들이 얼마나 서로 관련이 있는지를 나타내게 된다.

 

 

RegNet (Regular Network)

 

2020 년 페이스북 AI 리서치팀이 개발한 Network 로 인공지능의 학습이 이루어지는 GPU 에 특화되어 있다. 허용 가능한 Network 구성과 Dimension 접근법이 간단하여 이미지 처리에 범용적으로 활용되고 있다.

 

 

BiFPN (Bi-directional Feature Pyramid Network)

 

기존 FPN (CNN 의 Convolution Layer 연산을 역방향으로 진행하여 화질을 개선함)에서 각 Layer 마다 가중치를 높여 더 높은 해상도를 얻을 수 있는 Network 이다.

 

 

MCTS (Monte Carlo Tree Search)

 

시뮬레이션을 통해 최적의 수를 찾는 알고리즘이다. 주로 게임 AI 의 학습을 위해 사용되었으나, 최근에는 강화 학습에서 AI 의 최적의 행동을 찾기 위한 방법론으로 사용되고 있다.

 

 

CUDA (Compute Unified Device Architecture)

 

엔비디아의 GPU 에서 C 언어와 같은 산업 표준 언어를 사용하여 병렬 연산을 가능하게 해주는 병렬 컴퓨팅 플랫폼이다.

 

 

 

 

뜨리스땅

 

 

 

https://tristanchoi.tistory.com/320

로봇 산업 탐구: 1. 어디까지 왔나?