프롬프트 엔지니어의 업무 가이드북

추천사
머리말
알아 두기

제1장 프롬프트 엔지니어의 개념과 오해
1. 프롬프트 엔지니어는 무엇을 하는 사람인가?
2. ‘프롬프트 엔지니어’의 리브랜딩 ‘컨텍스트 엔지니어’
3. AI Agent란 무엇인가?
4. First In, Last Out. Prompt Engineering
5. LLM 사용자라면 프롬프트 엔지니어?
6. 프롬프트 엔지니어가 부재한 프로젝트
7. 프롬프트 기법을 안다고 ‘진짜’ 프롬프트 엔지니어가 아니다
8. ‘문과 코딩’ 프롬프트 엔지니어링
9. 프롬프트 엔지니어의 직업병
10. 프롬프트 엔지니어는 사라질까?

제2장 프롬프트의 기초
1. 프롬프트의 구성(System & User Prompt, Tools, MCP)
2. 파라미터 사이즈(Parameter Size)
3. 하이퍼파라미터(Hyperparameter, Config값)
4. 지시 사항의 유형화: ICIO

제3장 프롬프트 엔지니어의 직무 역량
1. Agent 프로젝트 사이클
2. 프롬프트 엔지니어의 채용 공고
3. 상황에 따라 변화하는 프롬프트 엔지니어의 직무 역량
4. LLM 프로젝트의 유형
5. 프롬프트 엔지니어의 직무 역량
6. 직무 역량 강화와 인력의 활용

제4장 프로젝트에서 프롬프트 엔지니어의 역할
1. 모델의 선정 및 프로젝트 방향성, 규모 파악
2. 고객사의 니즈, 업무, 데이터 분석
3. 프롬프트 엔지니어링 프로세스
4. Input 데이터에 대한 분석
5. 서비스 파이프라인 설계(AI Agent 설계)
6. ‘컨텍스트 엔지니어링’ 관점에서의 서비스 파이프라인 설계
7. 프롬프트 디자인
8. 프롬프트 실험 기록의 중요성
9. LLM 모델 평가와 프롬프트 평가
10. RAG 데이터의 설계
11. 프롬프트 엔지니어의 학습 데이터 설계

마치며
QUIZ 정답 및 해설

LLM 답변의 퀄리티와 정확도는 입력된 프롬프트로 인하여 큰 편차를 보인다. 그렇기 때문에 가장 이상적인 LLM의 답변을 도출하기 위하여 프롬프트를 디자인하고 실험하며 이를 고도화하는 작업을 해야 하는데, 이를 ‘프롬프트 엔지니어링(prompt engineering)’이라고 한다.
그리고 ‘프롬프트 엔지니어(prompt engineer)’는 이러한 프롬프트 엔지니어링을 전문적으로 하는 직업이다. 다시 말해 프롬프트 엔지니어는 LLM이 안정적으로 의도한 답변을 제공할 수 있는 방안을 찾아내는 사람이다.
하지만 이렇게 설명을 끝내기에는 오해의 소지가 다분하다. 일반적으로 프롬프트 엔지니어의 직무는 LLM의 답변을 최대한 잘 나오게 프롬프트를 디자인하는 것만 부각되어 알려져 있다. 하지만, 실무에서 프롬프트 엔지니어는 모델에게 필요한 정보를 정의 내리고 그에 맞는 프롬프트 디자인 설계를 위하여, 고객사의 업무 분석, 서비스 파이프라인 설계, 데이터 설계, 모델 성능 검증까지 광범위한 업무를 담당하게 된다.

필자는 노동법과 관련된 질문에 답하는 서비스를 제공하는 프로젝트를 진행한 바 있다.
법률은 상담은 상담자의 상황을 이해하고, 법에서 정해 놓은 논리적 체계를 바탕으로 어떻게 사건을 해결할 수 있는지에 대한 결론을 도출하는 과정이다. 따라서 해당 프로젝트에서 LLM의 답변은 ① 유저의 상황을 이해하고, ② 관련 법조문의 내용을 설명한 뒤, ③ 유저의 상황에 해당 법이 어떻게 적용될 수 있는지 설명하고, ④ 결론을 정리하는 형식으로 답변하도록 설계되어 있었다.
하지만 고객사에서는 결론이 답변의 마지막에 배치되는 미괄식 답변 생성에서는 유저가 결론을 알기 위해서 많은 텍스트를 먼저 읽어야 한다는 불편함이 있음을 지적하였고, 결론을 먼저 요약처럼 생성한 후 설명을 뒤에 배치하는 두괄식 답변 형식으로 변경하도록 요청하였다. … 법률 상담은 ① 사실관계 파악, ② 관련 법조문 선별, ③ 조문 적용 여부 검토, ④ 결론 도출이라는 단계의 논리적 사고를 거쳐 결론에 도달해야 하는 작업이다. 그런데 이러한 내용에 대하여 곧바로 ④ 결론을 추론하도록 모델에게 요청하는 것은, 차근차근 추론해 나가는 것보다 높은 수준의 어려운 추론을 요구하는 것이므로, 최종적인 정답률은 낮아질 수밖에 없다. 따라서 두괄식 답변을 위해 요약을 먼저 생성하게 되면, 고도한 추론을 요구하는 것이기에 틀릴 가능성이 높아진다. …
이러한 사유로 논리적 단계로 나누어 비교적 추론이 쉬운 내용부터 단계적으로 생성하도록 지시하여 결론에 도달하도록 하는 프롬프트 기법인 CoT(Chain of Thought) 기법이 모델의 정답률을 더 높이고 있는 것이며, 최근 이슈가 되고 있는 Deepseek R1 모델 역시 이러한 방식으로 추론에 대한 질문에서 정답률을 높이고 있다.

“AI의 핵심 역량은 이제 프롬프트가 아닌 컨텍스트 엔지니어링이다.”라는 슬로건은 기본적으로 강력한 모델을 사용하는 것을 전제로 하지만, 그 어떤 모델도 AGI를 달성했다고 보기는 어렵다고 평가받는 현재의 수준으로는 여전히 한계는 존재하는 상황이다. 나아가 실제 시장에서는 유지보수 비용을 낮게 유지하기 위하여 낮은 파라미터의 모델을 사용하는 것에 대한 수요가 많으며, 이러한 수요는 모델이 고도화되면 될수록 더 늘어날 것이라고 예상된다. 이러한 상황에서 프롬프트 엔지니어링으로 부터 완전히 자유로워질 수 있는 상황은 당장 보이지 않는다.
따라서 필자는 프롬프트 엔지니어링이 더 이상 중요하지 않다는 의견에는 동의하지 않는다. 그러나, 컨텍스트 엔지니어링 역량의 중요성이 과대평가되어 있다고 생각하지도 않는다. 결국, AI agent 프로젝트에서 프롬프트 엔지니어는 숲을 볼 수 있는 능력(컨텍스트 엔지니어링 능력)과 나무를 키워 낼 수 있는 능력(프롬프트 엔지니어링 능력)을 모두 필요로 한다고 본다.