[큰글자책] AI 자가 설계

AI가 AI를 만드는 시대

01 AI 기술 발전이 불러온 필연적 흐름
02 자동 머신러닝
03 신경망 구조 탐색
04 메타 학습
05 하이퍼파라미터 최적화 전략
06 자기 지도 학습
07 지식 증류와 모델 압축
08 진화 컴퓨팅과 유전 알고리즘
09 AI 에이전트의 자기반성
10 AI 자가 설계 윤리와 미래

현재 AI 자가 설계 기술을 단순한 기술적 호기심이 아니라 우리가 직면한 현실적이고 시급한 문제들이 불러내고 있다. AI 자가 설계를 부르는 처음 현실 문제로 AI 서비스 복잡성의 폭발과 인간 인지 능력의 한계를 들 수 있다. 수만 개의 변수가 실시간으로 얽혀 움직이는 환경인 스마트 시티의 차량 흐름과 금융 시장의 초단타 거래, 기후 변화 시뮬레이션과 유전체 분석에서 인간이 예측해서 정해 놓은 규칙은 금세 무력해진다. 이 환경에서 데이터가 생성되는 속도는 인간이 모델을 수정하는 속도보다 훨씬 빠르다. AI 자가 설계는 이런 현실 문제를 AI 스스로 관리하여 해결한다.

－01_“AI 기술 발전이 불러온 필연적 흐름” 중에서

AI 설계의 본질적 차이를 알기 위해서는 인간이 설계한 대표 모델 ResNet과 NAS가 설계한 모델들을 비교하면 된다. 인간의 설계 모델은 구조적 측면에서 직관적이고 규칙적이며 레이어가 일정한 패턴으로 반복되고, 설계 의도를 논리적으로 설명할 수 있다. 반면 AI 설계 모델은 인간의 눈에는 이상해 보이는 종종 불규칙하고 비직관적인 구조를 선택한다. 그런데 이 구조가 실제로는 더 높은 성능을 발휘하는 경우가 빈번하다. 인간이 설계한 모델과 NAS가 설계한 모델은 출발점부터 다르다. 전자는 연구자의 경험과 이론적 감각에 기대며, 수개월에 걸친 시행착오를 거쳐야 한다. 후자는 인간의 주관적 판단이 개입할 여지 자체를 배제하고 데이터와 수치 기반으로 탐색한다. 흥미로운 점은 NAS 모델이 단순히 빠른 게 아니라 구조적으로 더 효율적이라는 사실이다. 동일한 예측 정확도를 훨씬 작은 모델로 달성하는 경우가 적지 않다.

－03_“신경망 구조 탐색” 중에서

자기 지도 학습(SSL)은 이 라벨링의 벽을 허무는 패러다임으로 데이터 일부를 가리거나 변형한 뒤 AI가 원래 상태를 맞히도록 하는 단순한 아이디어다. 자기 지도 학습에서 AI는 스스로 문제를 생성하고 스스로 정답도 알고 있어서 인간의 개입 없이 무한에 가까운 학습 데이터를 만들어 낼 수 있다. 오늘날 GPT나 BERT 같은 대형 언어 모델과 이미지 인식 AI, 의료 진단 시스템의 상당수가 자기 지도 학습을 토대로 구축되고, 인터넷의 텍스트와 이미지 전체가 학습 재료가 되는 시대에 자기 지도 학습(SSL)이 중심에 있다.

－06_“자기 지도 학습” 중에서