transformer3 언어모델의 정의와 종류 1. 정의 언어 모델(LM, Language Model)은 입력값(자연어, 보통은 사용자의 문장)을 기반으로 통계학적으로 가장 적절한 출력값을 출력하도록 학습된 모델이다. 언어 모델의 시초는 20세기 초까지 거슬러 올라가지만 오늘날 회자되는 대규모 언어 모델(LLM: Large Language Model)이 본격적으로 부상한 시점은 인공 신경망(ANN: Aritificial Neural Network)이 도입된 이후다. 언어모델은 크게 통계학 기반과 인공신경망 기반으로 나눠 볼 수 있는데, 현 시점에서는 후자가 더 대중적으로 쓰이며, LLM은 인공신경망 중에서도 특히 2017년에 등장한 트랜스포머(Transformer) 심층 신경망 아키텍처는 비지도학습 방식의 아키텍처로 이루어져있다. 이 트랜스포머 아키.. 2024. 5. 26. 로봇 기업 탐구: Tesla. AI 와 로봇 기업으로의 확장 - 2 (2) 2D 카메라로 구성한 Vector Space Pure Vision 의 핵심은 데이터 학습 다른 센서에 의존하지 않는, 카메라만을 활용한 물체 인지 알고리즘의 핵심은 결국 더 완벽한 데이터 학습을 통한 카메라 단점 보완 및 이종센서의 장점 보완에 달려있을 것이다. 인공지능을 통해 카메라의 2D 이미지를 3D 로 구현하는 과정을 반복적으로 훈련하며 Lidar 와의 괴리를 줄여나가야 할 것이다. 개별 이미지 네트워크는 Vector Space 의 변환 과정에서 Noise 발생 과거에는 단순한 네트워크를 사용하여 개별 이미지를 처리하였다. 하지만 이 방법은 2D 이미지를 Vector Space 로 옮기는 과정에서 Noise 가 발생한다는 문제가 있다. 즉, 개별 이미지를 예측하는 것은 가능하지만, 이미지로.. 2023. 1. 1. 로봇 기술 탐구: 로봇의 뇌(인공지능) 어디까지 왔나? - 2 (자연어 처리) 자연어처리(NLP)는 로봇과 컴퓨터에 명령체계로 매우 중요 - RNN 이나 LSTM 같은 알고리즘 사용 사람이 컴퓨터나 로봇에게 일정한 명령을 전달하기 위해선 약속된 수단이 있어야 한다. 지금은 주로 키보드나 마우스를 사용하지만 음성인식 인공비서에겐 자연어로 명령을 한다. 뿐만 아니라 유튜브나 포털에서 번역서비스는 이제 너무나 편리한 기능으로 자리잡았다. 그만큼 자연어 처리는 중요하다. 자연어처리(NLP: Natural Language Processing)는 인간이 사용하는 언어에 대한 이해 및 이를 바탕으로 한 다양한 자연어 활동을 인공지능이 이해하는 것을 말한다. 즉 사람이 직접 육성(肉聲)으로 지시를 하거나, 컴퓨터 언어로 이루어진 코드가 아닌 자연어 형태의 비정형적 명령을 이해하는 과정이다. RN.. 2022. 12. 31. 이전 1 다음
