기계의 언어, 언어의 기계

인공지능과 자연어 처리

01 자연어 처리의 역사
02 수학적 기반
03 언어의 수학적 표현
04 기계학습과 자연어 처리
05 신경망과 자연어 처리
06 트랜스포머와 현대 언어 모델
07 자연어 처리와 언어학
08 자연어 처리와 언어 철학
09 인간과 기계의 윤리
10 인공지능의 미래

단어 임베딩 기술은 단어를 벡터 공간에 표시할 때 단어 간의 관계가 반영되도록 벡터 간의 관계를 설정하는 방법이다. 임베딩은 말 뜻대로 하면 삽입이다. 수학에서 임베딩은 기하학, 추상대수학, 위상수학 등 여러 분야에서 등장한다. 각 분야에 따라 구체적인 정의와 역할이 다르다. 공통적으로는 어떤 공간의 값들을 다른 공간의 값들로 변환하면서 값 사이의 구조적 특성이 보존되도록 하는 함수다. 단어 임베딩 이 개념을 언어 처리에 적용한 것이다. 언어를 단어들이 관계를 맺고 있는 공간이라고 간주해 보자. 이 언어 공간 내의 단어들을 벡터 공간으로 옮기는 것이다. 언어 공간에서 관계를 맺고 있는 단어들이 벡터 공간에서도 유사한 관계를 맺도록 하는 것이 관건이다. 단어 임베딩은 학습 과정을 통해 언어 공간에서 설정된 단어 간의 관계를 벡터 공간에 반영한다.

－03_“언어의 수학적 표현” 중에서

오늘날 자연어 처리는 대부분 딥러닝을 기반으로 한다. 딥러닝은 심층 신경망을 이용하는 기계학습 방법을 말한다. 신경망은 특징 기반 기계학습과 달리 특징 설계를 따로 하지 않고 데이터를 학습한다. 신경망은 통계적 방법이나 특징 기반 기계학습 이후에 나온 기술이 아니다. 이 세 가지 방법론은 1950∼1960년대부터 서로 앞서거니 뒤서거니 하면서 발전해 왔다. 1958년에 로젠블랫이 퍼셉트론(perceptron)을 제안했다. 명시적인 알고리즘이나 규칙 없이 데이터 학습으로 분류 규칙을 만들어 내는 최초의 인공 신경망 모델이다. 심층 신경망으로 가기 전에 신경망의 초기 형태로부터 학습 원리를 생각해보자.

－05_“신경망과 자연어 처리” 중에서

트랜스포머의 주요 특징은 병렬 처리, 셀프 어텐션, 위치 인코딩이다. 단어 벡터를 처리할때 행렬 연산을 병렬로 처리함으로써 입력 단어를 동시에 처리할 수 있다. 수천 개의 코어를 이용해 병렬로 부동소수점 연산을 수행하는 GPU가 대규모 언어 모델에서 중요한 역할을 하는 이유다. 셀프 어텐션은 입력 문장과 출력 문장의 관계를 계산하는 인코더?디코더 어텐션과 달리 동일한 문장 내에서 단어 간의 관계를 계산한다. 이것은 긴 문장의 맨 앞 단어와 맨 뒤 단어 간의 관계도 별도로 계산하기 때문에 장거리 의존성 문제를 완전히 해결한다. 위치 인코딩은 트랜스포머가 순차 신경망 구조를 포기하면서, 단어 간의 순서 특성과 구문적 특성을 반영하기 위해서 도입한 것이다. 입력 문장이 주어지면 단어 임베딩으로 생성된 벡터 표현에 단어 간의 위치 정보를 추가한다.

－06_“트랜스포머와 현대 언어 모델” 중에서