이제 AI 활용 역량은 특정 직군의 전유물이 아니다.
거의 모든 직무에서 요구되는 기본 소양으로 자리 잡고 있다.
단순히 ‘AI를 써봤다’는 경험 수준을 넘어, AI가 어떤 원리로 동작하는지,
왜 틀린 답을 내놓는지, 어떻게 해야 원하는 결과를 이끌어낼 수 있는지,
그리고 어떤 위험 요소를 경계해야 하는지를 이해하는 것이 실무 경쟁력을 가른다.
이 글에서는 생성형 AI와 LLM의 기본 원리, 프롬프트 엔지니어링, AI 윤리까지
실무 감각을 갖추기 위해 알아야 할 핵심 개념들을 정리해 본다.
1. 생성형 AI와 LLM의 원리
1-1. LLM(Large Language Model)이란?
- 언어를 학습한 AI 모델
→ LLM 기반 생성형 AI : ChatGPT, Claude, Gemini, Grok - 다만 AI가 사람처럼 언어를 ‘이해’한다고 느끼지만, 실제 동작 방식은 조금 다르다
(다음에 어떤 단어가 등장할 확률이 높은가?를 계산하는 방식)
→ 머리를 감다, 눈을 감다, 먹는 감처럼 같은 단어라도 문맥에 따라 의미가 달라진다
→ AI는 단어 간 관계와 패턴을 수치적으로 학습해 처리한다
1-2. 임베딩(Embedding)
◾AI는 문장을 그대로 이해하지 못하기 때문에 먼저 숫자 형태로 변환한다 → 임베딩(Embedding)
| 개념 | 설명 |
| 임베딩 | 단어·문장을 숫자 벡터(Vector)로 변환 |
| 목적 | AI가 언어를 계산 가능하도록 만들기 |
| 특징 | 의미가 비슷할수록 가까운 위치에 저장 |
| 예시 | '사과', '바나나' → 유사한 벡터 공간에 위치 |
| → 즉 AI는 언어 자체보다 '어떤 단어가 자주 함께 등장하는지', '어떤 문맥에서 사용되는지', '서로 얼마나 가까운 의미인지'를 학습하는 것 |
|
1-3. 트랜스포머(Transformer)
◾임베딩 이후에는 트랜스포머(Transformer) 구조를 통해 문맥 관계를 계산한다
- 어떤 단어가 중요한지
- 앞 문맥과 뒤 문맥이 어떻게 연결되는지
- 단어 간 관계가 무엇인지
→ 를 계산하는 구조(현재 대부분의 생성형 AI는 트랜스포머 기반으로 동작)
ex. GPT는 Generative Pre-trained Transformer의 약자다
2. LLM 성능 향상 방법
◾LLM은 기본적으로 이미 학습된 데이터를 기반으로 답변한다
but, 실제 서비스에서는 '최신 정보', '사내 문서', '사용자 데이터', '특정 산업 지식' 등 추가 정보가 필요한 경우가 많다
→ 대표적인 방식이 Fine-tuning과 RAG다
Fine-tuning vs RAG
| 구분 | Fine-tuning(미세조정) | RAG(검색증강생성) |
| 개념 | 모델 자체를 추가 학습 | 외부 정보를 검색 후 활용 |
| 방식 | 데이터셋 재학습 | 문서/웹 검색 기반 |
| 장점 | 특정 분야 성능 향상 | 최신 정보 반영 가능 |
| 단점 | 비용·시간 부담 큼 | 구축 및 유지보수 복잡 |
| 사용 예시 | 의료 AI, 법률 AI | 사내 챗봇, 문서 검색 AI |
| → 실무에서는 두 방식을 함께 사용하는 경우도 많다 ※ 참고로 Temperature 조절은 엄밀히 말하면 Fine-tuning이 아니라 “추론 단계의 파라미터 조정”에 가깝다 |
||
3. AI의 기본 개념
◾AI == Software(소프트웨어) → 복잡하고 예외가 많은 상황을 처리할 수 있다는 점이 기존 프로그램과의 차이점이다
선형 문제 vs 비선형 문제
| 구분 | 특징 | 예시 |
| 선형 문제 | 흐름이 단순하고 예측 가능 | 급여 계산, 계좌 이체 |
| 비선형 문제 | 변수와 예외 상황이 많음 | 고객 응대, 자율주행 |
| ex. 음식점 서빙 : 주문 변경, 계산 실수, 고객 응대, 돌발 상황 등 다양한 변수 존재 → AI는 이런 복잡한 패턴을 머신러닝 기반으로 처리한다 |
||
4. 머신러닝 학습 방식
| 구분 | 특징 | 장점 | 단점 | 예시 |
| 지도학습 | 정답 데이터를 기반으로 학습 | 정확도 높음 | 데이터 구축 필요 | 스팸 분류, 질병 진단 |
| 비지도학습 | 패턴을 스스로 탐색 | 정답 데이터 불필요 | 결과 해석 어려움 | 고객 군집 분석, 추천 시스템 |
| 강화학습 | 보상 기반 학습 | 복잡한 행동 최적화 가능 | 학습 비용 큼 | 게임 AI, 로봇 제어 |
5. 분류형 AI vs 생성형 AI
5-1. 분류형 AI → 정보를 분류하는 목적의 AI
◾ex. 스팸 메일 분류, 얼굴 인식, 개/고양이 분류 등
5-2. 생성형 AI → 새로운 결과물을 생성하는 AI
◾ex. 텍스트 생성, 이미지 생성, 음성 생성, 영상 생성
6. 프롬프트(Prompt)란?
- 프롬프트 : AI에게 전달하는 지시문
→ AI에게 어떤 역할과 작업을 수행할지 설명하는 입력값 - 생성형 AI는 프롬프트 품질에 따라 결과 차이가 매우 커진다
6-1. 프롬프트 구성 요소
| 요소 | 설명 |
| 지시(Instruction) | 수행해야 할 작업 |
| 입력값(Input Data) | 분석 대상 데이터 |
| 문맥(Context) | 추가 조건·말투·배경 |
| 출력 지시자(Output Indicator) | 원하는 출력 형식 |
| 예시(Example) | 원하는 답변 샘플 |
6-2. 프롬프트 매개변수
| 항목 | 설명 |
| Temperature | 답변 다양성·자유도 조절 |
| Token | AI가 처리하는 텍스트 단위 |
| Max Token | 최대 출력 길이 제한 |
| → Temperature가 너무 높으면 환각 가능성이 커질 수 있고, 너무 낮으면 답변이 지나치게 경직될 수 있다 | |
7. 프롬프트 엔지니어링 기법
| 기법 | 설명 | 장점 | 단점 |
| Zero-shot | 예시 없이 바로 지시 | 빠르고 간단 | 결과 편차 큼 |
| Few-shot | 예시 포함 | 원하는 형식 유도 가능 | 예시 설계 중요 |
| Chain-of-Thought | 단계별 추론 유도 | 사고 과정 확인 가능 | 답변 길어짐 |
| Tree of Thoughts | 여러 해결 경로 탐색 | 다양한 해결책 탐색 가능 | 검증 비용 증가 |
| Structured Prompting | 구조화된 절차 지시 | 안정적인 결과 | 설계 난이도 존재 |
| Generated Knowledge | 먼저 지식 생성 후 답변 | 정확도 향상 가능 | 잘못된 지식 생성 위험 |
| → 상황마다 적합한 방식이 다르다 | |||
8. AI 실무 활용 Tip.
◾단순 질문보다 '역할 지정', '목적 설명', '출력 형식 지정', '예시 제공' 등을 함께 작성하는 편이 효과적이다
예시 비교
| 일반 질문 | 개선된 프롬프트 |
| 이거 요약해줘 | PM 관점에서 핵심 문제 중심으로 3줄 요약해줘 |
| 글 써줘 | 블로그 게시용 말투로 사례 포함해서 작성해줘 |
| 표 만들어줘 | 비교 기준 포함해서 마크다운 표 형태로 정리해줘 |
| → AI 결과물은 반드시 '검증', '후처리', '출처 확인' 과정을 거치는 것이 중요하다 | |
9. AI 윤리와 위험 요소
◾Hallucination(환각) : AI가 사실이 아닌 내용을 그럴듯하게 생성하는 현상
ex. 존재하지 않는 논문 인용, 허위 링크 생성, 잘못된 통계 제시
→ 단순 오류 X, '확률 기반 생성 구조' 때문에 발생하는 현상에 가깝다
환각 대응 방법
| 방법 | 설명 |
| 출처 검증 | 링크·원문 직접 확인 |
| 교차 검증 | 여러 자료 비교 |
| Temperature 조절 | 자유도 낮추기 |
| RAG 활용 | 외부 정보 기반 답변 |
| 사람 검수 | 최종 확인 필수 |
10. 개인정보와 보안
◾개인정보 침해 : 개인정보를 무단 수집·사용·유출하는 행위를 의미
대응 방법
| 방법 | 설명 |
| 민감정보 입력 금지 | 주민번호·금융정보 제외 |
| 목적 범위 준수 | 허용된 범위 내 사용 |
| 사전 동의 확보 | 당사자 허락 받기 |
| Red Flag 검토 | 위험 요소 확인 |
| 공개 범위 확인 | 사내용/대외용 구분 |
| → 특히 의료, 금융, 국방, 행정, 미성년자 데이터 등은 더욱 엄격한 관리가 필요하다 | |
11. 저작권과 AI
◾저작권 : 창작자의 권리를 보호하기 위한 법적 권리
→ 저작물로 인정받기 위해서는 '독창성', '창작성' 등이 필요하다
저작권 침해 사례
| 사례 | 위험 요소 |
| 무단 2차 창작 | 원저작권 침해 가능 |
| 출처 없는 인용 | 표절 문제 |
| 허가 없는 상업적 활용 | 법적 분쟁 가능 |
대응 방법
| 방법 | 설명 |
| 출처 표기 | 원저작자 명시 |
| 사용 허가 확인 | 상업적 이용 범위 확인 |
| 공개 범위 점검 | 사내용/대외용 구분 |
| 출처 검증 | 불명확한 자료 사용 자제 |
| → 현재 한국에서는 일반적으로 '인간의 창작적 개입 없이 AI만 자동 생성한 결과물은 저작권 보호 대상으로 보기 어렵다는 해석이 우세하다 |
|
'AI 활용 > 내용 정리' 카테고리의 다른 글
| 특강) 클로드 코드로 바이브 코딩 시작하기(Vercel로 배포까지!) (0) | 2026.07.03 |
|---|---|
| 특강) AI로 VOC 분석을 자동화하기(Google Form, Make, OpenAI) (0) | 2026.06.30 |
| 특강) AI Native PM / Claude 활용법+숙련 과제(장바구니 전환율 개선) 피드백 (0) | 2026.06.30 |
| 특강) AI 시대, PM은 어떻게 AI를 활용해야 할까? (0) | 2026.06.11 |
| 특강) 신입 PM의 AI 활용 + 오늘의 인사이트/KPT 회고 (0) | 2026.06.05 |