AI와 반도체

AI 시대 도래를 이끈 반도체

01 AI의 등장과 반도체의 진화
02 AI를 위한 반도체 설계
03 AI 가속기 들여다보기
04 AI 학습과 추론을 위한 반도체
05 AI와 메모리 반도체
06 AI 반도체 제조 공정과 이종 집적
07 반도체 산업의 AI 활용
08 AI 반도체의 에너지 효율과 지속 가능성
09 미래 반도체 기술과 AI
10 AI와 반도체를 둘러싼 사회적 도전

AI 산업이 성장하면서 데이터센터에 탑재할 자체 AI 반도체를 개발하는 빅테크 기업 사례가 증가하고 있으며, IT 인프라를 운영하는 엔터프라이즈 시장이 확대될수록 새로운 NPU를 개발하는 회사도 점차 증가하는 추세다. 대표적인 회사로 ‘반도체 설계의 전설’ 짐 켈러(Jim Keller)가 이끄는 캐나다의 텐스토렌트(Tenstorrent)가 AI 하드웨어 가속기 시장에서 주목을 받고 있고, 국내에서도 퓨리오사AI(FuriosaAI), 리벨리온(Rebellions) 등이 추론에 특화된 NPU 칩을 개발하고 있다.

－01_“AI의 등장과 반도체의 진화” 중에서

AI 가속기의 성능은 메모리 대역폭의 한계와 밀접한 관련이 있다. CPU, 주기억 장치, 그리고 입출력 장치의 3단계 구조로 이루어진 전통적인 프로그램 내장형 컴퓨터 구조인 폰 노이만(Von Neumann) 방식은 메모리와 연산 장치 사이의 데이터 전송 속도 한계로 병목현상(Bottleneck Effect)이 발생하는데, 이를 폰 노이만 병목현상이라 한다. 대규모 데이터 처리가 필요한 AI 모델 연산에서 병목현상은 연산 효율을 크게 저하할 수 있다.

－03_“AI 가속기 들여다보기” 중에서

첨단 패키지 기술은 기존 2차원(2D)에서 벗어나 2.5D 및 3D 기술로 진화해 칩의 집적도를 높이고 전력 효율을 개선하는 데 중요한 역할을 하고 있다. 2.5D 패키지 기술은 실리콘 인터포저(Silicon Interposer)를 사용해 여러 개의 칩을 수평으로 배치하고 연결하는 방식이다. 이 기술은 칩 간의 연결을 최적화해 데이터 전송 속도를 높이고 전력 소비를 줄이는 데 효과적이다. 예를 들어 엔비디아의 GPU 가속기는 2.5D 패키지 기술을 통해 GPU와 여러 개의 고대역폭 메모리(HBM)를 인터포저를 통해 수평으로 연결해 데이터 전송을 용이하게 해 높은 성능을 발휘한다. 3D 패키지 기술은 칩을 수직으로 쌓아 올리는 방식으로, 실리콘 관통 전극 기술(TSV)을 사용해 칩 간의 직접 연결을 가능하게 한다. 3D 패키지 기술을 적용한 대표적인 예가 바로 HBM이다.

－06_“AI 반도체 제조 공정과 이종 집적” 중에서