AI 프로젝트 100% 성공을 위한 체크리스트 17

1부 AI 프로젝트를 시작하며: 기본 점검

01 프로젝트가 실패할 확률을 추산해보았나?
생성AI/LLM를 이용한 프로젝트들이 인기 있는 이유
생성AI/LLM 프로젝트들의 치명적 함정들
생성AI/LLM 프로젝트의 위험성을 줄일 수 있는 방안
정리

02 생성AI 기술은 절대반지일까?
기존 머신러닝/규칙기반 기술이 더 적합한 문제도 있다
생성AI/LLM이 더 적합한 문제도 있을까?
기존 머신러닝/규칙기반 vs 생성AI/LLM 기술의 달라진 개발 순서
정리

03 업무 노하우와 도메인 지식을 파악해 적용했는가?
지식 습득과 생산 비용을 획기적으로 감소시킨 생성AI/LLM
무엇이 우리를 다른 경쟁자들과 다르게 만들까?
도메인 지식과 숨은 업무 노하우를 끌어내는 방법
1단계: 분석할 중요한 사건을 선정하기
2단계: 시간 순서표 만들기
3단계: 깊이 파고들기
4단계: “가정해보는(What if)” 질문하기
도메인 지식과 생성AI/LLM의 융합으로
정리

2부 AI 프로젝트의 실제 구축 방안

04 우리 비즈니스에 맞는 AI 기술을 제대로 알고 선택했는가?
LLM 모델만 이용할 경우
RAG: LLM 모델에 데이터를 붙여서 이용하기
에이전트: LLM모델에 도구와 메모리 붙이기
MCP: 모든 도구들의 ‘사실상 표준’
여러 에이전트들 연결하기: A2A 프로토콜
정리

05 서비스 가능한 AI 프로덕트를 위한 아키텍처 요소를 잘 구성했는가?
1단계: 가드레일 설치
2단계: 라우터와 게이트웨이
3단계: 프롬프트 템플릿 관리
4단계: 캐시로 응답시간 줄이기
5단계: 출력을 입력으로 넣어주기
6단계: 모니터링과 관찰 가능성 추가하기
정리

06 데이터는 어떻게 확보했으며 충분히 준비할 수 있었는가?
생성AI/LLM 앱에는 어떤 데이터가 필요할까?
오픈소스 데이터셋 활용하기
데이터가 쌓이는 구조 설계하기
데이터 증강하기: CRAFT 방법론
데이터 수집이 어렵거나 법적 문제가 있을 경우
데이터를 가져오기 위한 레거시 시스템과의 연동
데이터에서 개인정보보호 방안을 마련했는가?
정리

07 비정형 문서를 제대로 읽어와서 처리했는가?
정형 데이터 vs 비정형 데이터, 무엇이 다른가?
비정형 문서를 데이터로 변환하는 방법
파싱: 문서 파일을 기계가 읽을 수 있는 데이터로 변환하기
문서 포맷별 어려운 점: PDF
그 외 문서 포맷별 어려운 점
‘표준 데이터 형식’ 만들기
청킹: LLM이 한 번에 소화할 수 있게 잘게 나누기
정리

08 LLM: 자체 구축할까? API를 활용할까?
AI 시스템을 자체 구축할 경우?
직접 LLM을 서빙할 때의 비용은 얼마나 드나?
LLM API의 비용은 점점 더 저렴해지고 있다
모든 것에 다 비싼 생성AI/LLM API를 쓰지 않아도 된다
정리

09 SLM: 적시에 도입하고 제대로 활용하고 있는가?
SLM은 언제 도입해야 할까?
SLM은 어떻게 만드는가?
__언어 모델 구조 결정
__지식 증류: 특화된 작업 결정 후 그에 맞는 학습 데이터 준비
__모델 재학습: 파인튜닝
__양자화를 통한 모델 크기 축소
__만들어진 모델의 평가와 서빙
그럼에도, SLM은 성능이 너무 떨어지지 않을까?
정리

10 비즈니스 문제 해결: LLM 워크플로를 만들까? 에이전트에 맡길까?
증강LLM, LLM 워크플로, 에이전트란 무엇인가?
앤스로픽이 제안한 LLM 워크플로 패턴
정말 에이전트를 써야 할 때는 언제일까?
__정형화된 정보의 요약 및 질의응답
__반복 업무 자동화 및 보고서 작성
__외부 도구 및 API 연계를 통한 작업
__코드 생성 및 개발 보조
__대규모 데이터 분석 및 의사결정 보조
에이전트를 쓰지 말아야 할 때는 언제일까?
__직관을 이용해 실시간 대응이 필요한 작업
__복잡한 논리 추론과 인과관계 이해
__장기 기억 및 긴 문맥이 요구되는 작업
__복잡한 다단계 계획 수립 및 새로운 도구 조합
__창의적 발상과 의미 있는 혁신 작업
__사실 검증이 필요한 정확한 지식의 응용
실전 사례: 어느 증권 프로젝트의 전환점
정리

3부 더 완벽한 AI 프로덕트를 향하여: 성능 평가와 최적화, 인적 요소

11 적절한 프롬프트를 만들어 우리가 원하는 컨텍스트를 구성했는가?
프롬프트 엔지니어링은 과연 끝났는가? 6
다른 사람들은 프롬프트를 어떻게 만들까?
프롬프트를 이용한 가드레일 설계
효과가 탁월한 ‘생각의 사슬(CoT)’ 프롬프트 기법
시스템 프롬프트, 사용자 프롬프트, 언어 모델별 프롬프트 작성법
LLM 모델별 프롬프트 작성 방법
LLM을 이용한 프롬프트 최적화
프롬프트를 관리하고 평가하라
컨텍스트 엔지니어링: 전체 맥락을 설계하라
정리

12 AI 답변 수준을 높이기 위해 RAG 최적화를 했는가?
RAG가 질문에 답하는 방법
사용자의 질문이 명확하지 않을 때
청킹: RAG에 넣기 위해 데이터 조각내기
임베딩 모델 선택과 파인튜닝
희소 벡터와 밀집 벡터
벡터DB 및 검색엔진 최적화와 재순위자
지식 그래프를 통해 검색의 정확도를 높인 RAG: 그래프RAG
일반 RAG vs 에이전틱 RAG
정리

13 RAG 성능을 평가하고 있는가?
RAG의 성능을 평가할 수 있는 도구
평가도구 자세히 보기: RAGAS
__1단계: 평가 데이터 준비하기
__2단계: 세 가지 핵심 지표로 평가하기
RAG의 성능 평가는 반복적으로 그리고 주기적으로 해야 한다
정리

14 LLM 모델 성능을 평가하고 있는가?
우선 ‘무엇을 잘하게 만들고 싶은가’부터 정의하라
LLM 평가: 사람과 AI, 누가 더 나은 심판인가?
단일 지표보다는 균형 잡힌 접근
정리

15 에이전트 성능을 평가하고 있는가?
일반적으로 사용하는 에이전트의 성능 평가 지표
평가 접근법의 분류
__종합 실무 능력 평가 방법(1) 가이아
__종합 실무 능력 평가 방법(2) 더에이전트컴퍼니
펑션 콜링 기능 평가하기
벤치마크 점수에 지나치게 몰입하지 않도록
우리 에이전트를 평가하는 고유한 에이전트 벤치마크를 만들자
정리

16 AI의 거짓말과 환각에 대응하고 있는가?
왜 환각 현상은 완전히 제거하기 어려운가?
일반적인 환각 현상 관리 전략
각 분야별 환각 현상 대응 방법
정리

17 인재 확보와 관리 전략을 운영하고 있는가?
기술 격차와 수급 불균형의 문제
그렇다면, 어떤 사람이 필요한가?
일반 소프트웨어 엔지니어가 없으면 AI 서비스를 만들 수 없다
AI 분야의 엔지니어로 취업이나 이직을 고려하고 있다면?
정리

부록A 오픈 가중치 모델을 선택하기 위한 체크리스트와 추정 항목
부록B AI 프로덕트를 기획하기 전에 고려할 사항