AI는 왜 자꾸 틀리는가 | 요즘IT
AI 챗봇은 거짓말을 하지 않습니다. 그저 '가장 그럴듯한 답변'을 생성할 뿐입니다. 그런데 그 답으로 회사가 법정에 가야 하는 문제가 생기기도 합니다. 같은 입력에 같은 출력이 나오는 결정론
yozm.wishket.com
인사이트(양식 참고)
◾이 아티클의 주요 메시지
- AI는 기존 소프트웨어처럼 정답을 계산하는 시스템이 아니라, 가장 그럴듯한 답을 생성하는 확률 시스템이다
따라서 AI PM은 오류를 없애는 것보다, 오류를 관리하고 사용자가 안전하게 활용할 수 있도록 설계해야 한다
◾핵심 키워드
- LLM, 확률 시스템, 환각(Hallucination), Eval, 신뢰 설계, AI PM
◾흥미로운 점 / 새롭게 알게 된 점
- 읽으면서 가장 흥미로웠던 부분
- AI는 원래 틀릴 수 있는 시스템이다(확률적으로 동작하는 구조 때문)
- AI의 실패는 발견하기 어렵다(에어캐나다 챗봇 사례)
- AI PM은 관점이 달라야 한다
- 정확도 100%를 목표로 하지 않음
- 오류가 발생해도 피해를 최소화하는 구조 설계
- 출처(Source), 신뢰도(Confidence), 상담원 연결 경로 제공
- 출시 후에도 지속적인 모니터링 필요
- 이전에는 알지 못했거나 새롭게 배운 내용
- 버그를 제거하지 않고(구조상 제거할 수도 없음), AI의 불확실성(환각)을 이해하고 관리해야 한다
◾나의 한 문장 요약
- AI는 정답을 계산하는 시스템이 아니라 확률적으로 생성하는 시스템이며, AI PM은 그 불확실성을 관리해야 한다
'PM Notes > Article Collection' 카테고리의 다른 글
| 아티클 카타) PM이 꼭 알아야 할 지표와 KPIs 정리, 좋은 PM이라면 늘 주의해야 할 4가지 의사결정 편향 (0) | 2026.06.02 |
|---|---|
| 아티클 카타) 이커머스 플랫폼의 수익성은 상품 데이터 구조에서 갈린다 (0) | 2026.06.01 |
| 아티클 카타) 역량만 있어선 안 된다… IT 프로젝트가 여전히 실패하는 8가지 이유 (0) | 2026.05.28 |
| 아티클 카타) 팝업, 모달, 논모달 뭐가 다른걸까? (0) | 2026.05.27 |
| 이 책 안 읽었으면 프로덕트 매니저 아닙니다 (0) | 2026.05.25 |
