[큰글자책] 초거대 인공지능

인공지능의 거대화

01 인공지능 규모 이해하기
02 시각 인공지능과 초기 언어 인공지능
03 거대 언어 모델의 등장
04 멀티모달 인공지능과 생성형 인공지능
05 초거대 인공지능이 바꾸고 있는 세상
06 슈퍼컴퓨터 규모의 인공지능 시스템 반도체
07 초거대 인공지능을 담는 메모리 반도체
08 인공지능 소프트웨어 패권
09 인공지능 하드웨어 개발 경쟁
10 인공지능 거대화의 지속 가능성

인공지능에서 말하는 ‘규모’는 무엇을 의미하며, 작은 인공지능, 큰 인공지능, 더 나아가 초거대 인공지능은 어떤 기준으로 결정될까? 인공신경망 모델이 설계되고 학습이 완료되면, 각 인공신경망 노드에는 가중치와 편향(bias) 등 해당 노드에서 필요한 연산을 수행하는 파라미터(parameter)가 저장된다. 앞서 소개한 어른 또는 어린이를 판단하는 인공신경망 노드에서 0.5의 값을 가진 가중치 값 등이 파라미터의 일종이다. 이러한 파라미터는 파일 등의 형태로 저장되며, 이후 추론 과정을 거칠 때 이 파라미터를 불러와 각종 연산을 수행한다.

－01_“인공지능 규모 이해하기 ” 중에서

2017년 구글이 제안한 트랜스포머 구조는 바다나우가 제안한 RNN 기반 구조와 달리, 기존 RNN을 완전히 배제하고 어텐션 기법만으로 모델을 구성했다. 해당 논문의 제목이 “어텐션만 있으면 돼”인 이유다. 트랜스포머에는 순방향 신경망(feed-forward network), 위치 인코딩(positional encoding) 등 다양한 요소가 존재하지만, 가장 중요한 요소는 기존 어텐션 기법을 기반으로 만들어진 셀프 어텐션(self-attention)과 이를 병렬로 수행하는 멀티헤드 어텐션(multi-head attention) 연산이다.

－03_“거대 언어 모델의 등장” 중에서

2024년 엔비디아에서 발표한 B100 칩 1개는 위와 같이 다양한 부동소수점 형태를 지원하여 16비트 데이터에 1.75페타플롭스(1015FLOPS), 8비트 데이터에 3.5페타플롭스, 4비트 데이터에 7페타플롭스의 성능을 제공한다(NVIDIA, 2024). 7페타플롭스라는 성능 수치는 비록 데이터타입이 다른 비교이지만, 1초에 23테라(1012)의 연산을 수행하던 구글 TPU 1세대와 비교해서 약 300배 증가한 성능이라고 볼 수 있다.

－06_“슈퍼컴퓨터 규모의 인공지능 시스템 반도체” 중에서