비전공자도 이해할 수 있는 챗GPT

추천사
들어가며

제1장. 인간을 능가하는 GPT-4
인간을 능가하는 GPT-4의 등장
GPT의 핵심인 언어 모델 살펴보기
초거대 모델, 크기 전쟁을 시작하다
할루시네이션, 환각 또는 환상
과연 GPT-4의 비밀은?

제2장. 기계번역을 정복한 인공지능
너무 어려운 인간의 언어
인공 신경망, 언어에 도전하다
트랜스포머 모델, 언어를 이해하다
챗봇, 인간의 오랜 꿈

제3장. 챗GPT를 완성한 비밀 레시피
세상을 바꿀 GPT 역사의 시작
임베딩과 토큰, 언어를 효율적으로 쪼개는 방법
어텐션, GPT의 핵심 알고리즘
스케일링 법칙, 크면 클수록 좋다
RLHF, 챗GPT를 완성하는 비밀 레시피

제4장. 초거대 모델 최적화 기술
초거대 모델을 여러 GPU에 담는 법
매개변수는 몇 바이트일까요?
양자화, 초거대 모델을 작게 만드는 비밀
플래시 어텐션, 빛처럼 빠른 속도의 비밀
KV캐시, 더욱더 빠르게
품질 좋은 문장을 생성하는 비밀 옵션
수천 장의 GPU에 분산 학습하는 법
과연 좋은 모델이란?

제5장. 프롬프트 엔지니어링의 마법
프롬프트 엔지니어링으로 원하는 결과 얻기
예시를 보여주면 더 좋은 결과를 보여드립니다
생각의 사슬, 복잡한 문제를 단계적으로 풀기
RAG, 검색으로 성능을 높이는 마법
벡터 데이터베이스, LLM의 성능을 높이는 또 다른 기술
고급 프롬프트 엔지니어링 기법을 소개하며
오픈AI o1, 생각을 거듭할수록 더 좋은 결과를 제시하다
딥시크 R1, 엔비디아 주가를 18% 폭락시킨 중국의 힘

제6장. 1,000조 시장을 향한 글로벌 기업들의 경쟁
오픈AI, 세계 최고의 인공지능 기업
앤트로픽, 오픈AI 출신들이 설립한 새로운 회사
구글과 메타, 세계 최고 빅테크 기업들의 도전
xAI, 인공지능에 다시 도전하는 일론 머스크
유럽, 중동, 중국 그리고 우리나라
퍼플렉시티와 허깅페이스, LLM을 더욱 빛나게 만드는 회사들

제7장. 엔비디아와 반도체 전쟁
청바지를 판매하는 엔비디아의 탄생
세계 최고의 엔비디아 GPU와 이를 뒷받침하는 SK하이닉스 HBM
전 세계는 반도체 전쟁 중
엔비디아를 맹렬히 추격하다: AMD, 구글, 인텔, 아마존, 마이크로소프트, 메타
엔비디아와 다르게 경쟁하다: 애플, 그록, 텐스토렌트, 퓨리오사AI, 하이퍼엑셀
TSMC, 모두가 청바지 원단 회사를 꿈꾸며
중국의 도전 vs 미국의 견제

제8장. 인공지능의 미래와 인류의 도전
무엇이 문제인가
문제를 극복하기 위한 다양한 노력
일상생활의 필수품이 된 LLM
기술을 거부하던 러다이트 운동
천재란 어떤 사람인가? 창의성이란 무엇인가?
LLM의 미래는 어떻게 될까?

용어집
주석

많은 사람이 챗GPT가 글로벌 기업의 판도를 크게 바꾸고 새로운 시대를 열 것으로 기대하고 있습니다. 과학철학자 토머스 쿤은 저서 《과학 혁명의 구조》에서 기존의 틀을 뛰어넘는 패러다임이라는 개념을 제시했는데, 챗GPT가 바로 새로운 패러다임의 시작이 될 것이라고 보는 시각이 많습니다. 수많은 전문가들은 생성형 인공지능 기술이 상상하지 못했던 방식으로 일상과 사회를 변화시킬 것이라고 전망하고 있습니다.
- 제1장 ‘인간을 능가하는 GPT-4’ 중에서

오픈AI가 만든 GPT는 전형적인 형태의 언어 모델이었습니다. 7,000여 권의 책을 학습했고 매개변수는 버트와 비슷한 1억 1,700만 개 정도였죠. 초기에는 쓰임새가 애매했습니다. 그저 문장을 생성하기만 하는 모델은 마땅한 용도를 찾기 어려웠거든요. 1년이 채 지나지 않아 오픈AI는 GPT-2를 발표합니다. 무엇보다 놀라운 점은 매개변수가 15억 개로 지난 버전보다 10배가 더 커졌다는 점입니다. 학습 데이터도 덩달아 10배가 더 커졌죠. 그 이듬해에 나온 GPT-3는 더욱 대단해졌습니다. 매개변수가 1,750억 개로 이전 버전보다 무려 100배나 더 커졌죠. 이때부터 각 기업들의 모델 크기 경쟁이 본격적으로 벌어지기 시작합니다. 모델이 커지니 여러 작업에서 좋은 성능을 낸다는 논문이 하나둘 나오기 시작했고, 심지어 창발성(느닷없이 나타나는 능력)이 생긴다는 논문도 나왔죠. 모델이 작을 때는 일어나지 않던 일들이 일정 수준의 크기를 넘어서자 갑작스럽게 똑똑해졌다는 거죠. 가르치지 않았던 지식도 척척 풀이해내는 알 수 없는 성능을 내기 시작합니다. 그러면서 점점 GPT에 대한 기대감도 한층 높아졌습니다. 그리고 드디어 우리가 잘 아는 챗GPT가 2022년 11월 세상에 모습을 드러냅니다. 챗GPT는 세상에 엄청난 파란을 불러일으킵니다. 2023년 3월에는 더욱 놀라운 성능의 GPT-4가 등장하면서 세상은 바야흐로 진정한 인공지능의 시대에 돌입합니다.
- 제3장 ‘챗GPT를 완성한 비밀 레시피’ 중에서

LLM의 가장 큰 혁신은 사람의 개입 없이 엄청나게 많은 텍스트를 학습하기만 하면 된다는 점이었습니다. 인류가 지금까지 축적한 무수히 많은 정보를 별도의 가공 없이 그대로 학습하면 사전 학습 모델이 완성된다는 점이었죠. 만약 데이터에 일일이 정답을 달아야 했다거나 별도 카테고리로 분류해야 했다면 지금의 LLM은 탄생할 수 없었을 거예요. … 그중 가장 단순하면서 효과가 좋았던 방식이 스탠퍼드대학교의 연구팀에서 제안한 DPO입니다. DPO는 인간의 선호도를 직접 반영하는 최적화 방법입니다. 우리말로 풀이해보면 ‘직접적인 선호도 최적화’ 정도가 되죠. DPO는 복잡한 과정을 단순화하고 효율성을 높이는 데 많은 기여를 하고 있죠.
- 제4장 ‘초거대 모델 최적화 기술’ 중에서