[시즌 2] AI는 '자신 있게' 틀린다 — 의심할 줄 아는 사람
AI는 모르는 것도 아는 척 당당하게 틀린 답(환각)을 내놓습니다. 그럴듯함과 사실은 다릅니다. '진짜일까 가짜일까' 판별 게임으로 익히는, AI 답을 의심하고 검증하는 5초 습관.
AI 학습법 · 시즌 2 · 4강
AI는 '자신 있게' 틀린다 — 의심할 줄 아는 사람 🔍
AI는 모르는 것도 절대 "모르겠어요"라고 안 한다. 대신 아주 그럴듯하고 당당한 말투로, 사실은 틀린 답을 술술 내놓는다. 문제는 그게 너무 자연스러워서 진짜처럼 보인다는 것. 그래서 AI 시대에 진짜 강한 사람은 '많이 아는 사람'이 아니라 '이거 진짜야?'를 물을 줄 아는 사람이다.
핵심 한 줄 — AI는 모르는 것도 아는 척 당당하게 틀린다(이걸 '환각'이라고 한다). 그럴듯함과 사실은 완전히 다른 것. "이거 진짜야? 출처 어디야?"를 묻는 5초 습관이 AI 시대 최고의 무기다.
AI가 '자신 있게 틀리는' 이유, 진짜와 가짜를 가려내는 판별 게임(3문제), 그리고 AI 답을 검증하는 5초 프롬프트 하나.
01
AI는 "모르겠어요"를 거의 안 한다
학교 시험을 떠올려 보자. 모르는 문제가 나오면 우리는 빈칸으로 두거나, "잘 모르겠다"고 솔직히 말한다. 그런데 AI는 다르다. AI는 모르는 걸 받아도 빈칸으로 두지 않는다. 아주 자연스럽고 자신감 넘치는 말투로, 그럴듯한 답을 만들어서 내놓는다. 그게 맞든 틀리든 말이다.
예를 들어 세상에 없는 책 제목을 하나 지어내서 "이 책 줄거리 알려줘"라고 물어본다고 하자. 사람이라면 "그런 책 들어본 적 없는데?"라고 할 거다. 그런데 많은 AI는 마치 그 책을 읽어본 것처럼 작가 이름, 주인공, 줄거리, 심지어 명대사까지 술술 지어낸다. 전부 거짓인데도, 읽어보면 너무 그럴듯해서 진짜 같다.
이렇게 AI가 없는 사실을 진짜처럼 지어내는 현상을 '환각(hallucination)'이라고 부른다. AI가 거짓말을 하려는 '나쁜 의도'가 있는 게 아니다. AI는 "다음에 올 말로 가장 그럴듯한 단어"를 계속 이어 붙이는 기계라서, '그럴듯한 말'은 만들 수 있어도 그게 '사실인지'는 스스로 보장하지 못한다. 그래서 모르는 것도 당당하게 틀리는 거다.
여기서 우리가 꼭 기억해야 할 한 가지. '그럴듯함'과 '사실'은 완전히 다른 것이다. AI의 답이 매끄럽고 자신 있어 보이는 건, 그 내용이 맞다는 증거가 전혀 아니다. 오히려 그 매끄러움 때문에 우리가 속기 쉽다. 똑똑한 사람일수록 잘 정리된 글에 더 잘 넘어간다.
🚨 이건 어른들 세계에서도 실제로 사고를 친다. 미국의 한 변호사는 2023년, ChatGPT가 만들어 준 판례를 그대로 법원에 제출했다가 큰 일을 당했다. 그 판례 6건이 전부 실제로는 존재하지 않는 가짜였던 것이다.[1] 전문가인 변호사조차 AI의 '자신 있는 거짓말'에 속았다는 얘기다. 그러니 우리도 방심하면 안 된다.
02
실화 — 변호사가 'AI가 지어낸 판례'를 법원에 냈다
방금 말한 사건을 조금 더 자세히 보자. 진짜로 있었던 일이고, 우리가 'AI를 의심해야 하는 이유'를 이보다 잘 보여주는 사례가 없다.
2023년, 미국 뉴욕에서 한 항공사를 상대로 한 소송이 있었다(흔히 '마타 대 아비앙카' 사건이라고 부른다). 원고 측 변호사는 자기 주장을 뒷받침할 과거 판례를 찾아야 했다. 그래서 ChatGPT에게 관련 판례를 물어봤고, AI는 친절하게 무려 6건의 판례를 술술 정리해 줬다. 사건 이름, 판결 연도, 인용 번호까지 완벽하게 갖춰진 모습으로.
변호사는 그걸 그대로 법원 서류에 넣어 제출했다. 그런데 상대편과 판사가 그 판례들을 찾아보니, 그 어디에도 그런 판례가 존재하지 않았다. ChatGPT가 전부 '그럴듯하게' 지어낸 가짜였던 것이다. 결국 판사는 이를 적발했고, 해당 변호사들에게 5,000달러의 벌금을 부과했다.[1]
전문가인 변호사도 속을 만큼, AI의 거짓은 '엉성한 거짓말'이 아니라 '완벽하게 진짜처럼 보이는 거짓말'이다. 그래서 AI 답을 그대로 믿고 베끼는 건, 보이지 않는 지뢰밭을 눈 감고 걷는 것과 같다.
Bloom 콘텐츠 운영팀이 사건이 우리에게 주는 교훈은 분명하다. AI가 준 정보가 아무리 구체적이고 그럴듯해도 — 이름이 있고, 숫자가 있고, 출처처럼 보이는 게 붙어 있어도 — 그것 자체가 '사실'의 증거는 아니라는 것이다. 숙제 보고서에 AI가 지어낸 가짜 통계나 가짜 사례를 넣어서 낸다면, 위 변호사와 똑같은 함정에 빠지는 셈이다. 다행히 우리에겐 방법이 있다. 의심하고, 확인하는 것이다.
03
AI가 특히 잘 틀리는 순간들
AI를 무조건 의심하라는 게 아니다. AI는 잘하는 것도 정말 많다. 다만 유독 잘 틀리는 영역이 정해져 있는데, 이걸 미리 알아두면 '언제 의심 스위치를 켜야 할지' 감이 딱 잡힌다. 아래 네 가지가 나오면, 반사적으로 한 번 더 확인하는 습관을 들이자.
덜 유명한 것
유명하지 않은 책·인물·지역·사건일수록 AI는 더 자신 있게 지어낸다. 자료가 적은 빈칸을 '상상'으로 메우기 때문.
숫자·통계·출처
"○○% / ○○기관 보고서"처럼 정확해 보이는 수치와 출처를 통째로 만들어낸다. 가장 잘 속는 유형.
계산·날짜
AI는 계산기가 아니라 '말을 잇는' 기계다. 자릿수 큰 계산이나 날짜·요일 계산에서 종종 틀린다.
최신 정보
AI는 배운 시점 이후의 일은 잘 모른다. 그런데도 모른다고 안 하고 옛 정보를 최신인 척 말할 수 있다.
공통점이 보이는가? 전부 'AI가 확실히 알기 어려운데도 아는 척하기 쉬운' 영역이다. 반대로 '일반적인 설명', '글 다듬기', '아이디어 떠올리기'처럼 정답이 하나가 아닌 일은 AI가 꽤 잘한다. 그러니 무조건 의심이 아니라, 위 네 가지가 나올 때 특히 의심하면 된다.
04
🔍 진짜일까, AI가 지어냈을까? — 판별 게임
이제 직접 연습해 보자. AI가 흔히 '지어내는 유형'을 가지고 미니 게임을 준비했다. 각 문제에서 "이건 믿어도 되는 정보일까, 아니면 AI가 지어냈을 위험이 큰 정보일까?"를 골라보자. 답을 누르면 왜 그런지 설명이 나온다. 3문제만 풀어보면, AI 답을 보는 눈이 확 달라진다.
🧠 1번 — 책 정보
AI에게 어떤 소설책 제목을 대며 "이 책 줄거리와 명대사 알려줘"라고 했더니, 작가·주인공·줄거리·명대사까지 술술 나왔다. 이건?
정답! AI는 존재하지 않는 책도 작가, 줄거리, 명대사까지 완벽하게 '지어낼' 수 있다. 디테일이 많다는 건 진짜라는 증거가 아니라, 그냥 AI가 말을 잘 만든다는 뜻일 뿐이다. 실제 도서 정보(도서관 검색·서점)로 꼭 대조하자.
🧠 2번 — 인용 출처
수행평가용으로 AI에게 통계를 물었더니, "○○기관 2024년 보고서에 따르면 △△%"라며 그럴듯한 출처까지 딱 붙여서 답했다. 이건?
정답! AI는 '○○기관 2024년 보고서'처럼 출처 모양까지 그럴듯하게 지어낼 수 있다. 앞에서 본 변호사 사건이 바로 '가짜 출처'에 당한 경우다. 실제 그 기관 사이트나 원문에서 직접 확인되지 않은 통계는 보고서에 넣지 말자.
🧠 3번 — 계산·날짜
AI에게 수학 문제 풀이나 날짜 계산을 시켰더니 답이 깔끔하게 나왔다. 이건?
정답! AI는 '글을 그럴듯하게 잇는' 데 강하지, 정확한 계산을 보장하는 계산기가 아니다. 자릿수가 큰 계산이나 날짜 계산에서 종종 틀린다. 답이 깔끔해 보여도, 내 손으로 한 번 검산하는 습관이 안전하다.
3문제의 공통점을 눈치챘는가? 정답은 전부 "AI가 자세하고 그럴듯하게 말해도, 내가 따로 확인하기 전엔 믿지 않는다"였다. 디테일이 많을수록 더 진짜처럼 보이지만, 그건 '잘 속이는 거짓말'의 특징이기도 하다. 핵심은 하나 — 그럴듯함에 속지 말고, 확인하자.
05
의심은 '5초 질문'에서 시작된다
"그럼 매번 모든 걸 다 검색해서 확인해야 해?"라고 생각할 수 있다. 다행히 그렇게까지 빡세게 안 해도 된다. AI를 쓸 때 머릿속에 '의심 스위치' 하나만 켜두면 된다. 답을 받자마자, 베끼기 전에 딱 5초만 멈춰서 스스로에게 물어보는 거다.
"이거 진짜야?"
답이 그럴듯해 보여도, 사실인지 한 번 의심한다. 특히 이름·숫자·통계·사건은 꼭.
"출처 어디야?"
근거가 진짜 있는지 묻는다. AI한테도 묻고, 그 출처가 실제 있는지도 확인한다.
"반대 경우는 없나?"
"이게 틀렸다면 왜일까?" 반례를 한 번 떠올려본다. 너무 딱 맞으면 오히려 의심.
중요하면 교차 확인
시험·보고서처럼 중요한 정보는 검색·교과서 등 다른 데서 한 번 더 대조한다.
이렇게 '의심하고 → 근거를 떠올리고 → 직접 확인하는' 능력을 어려운 말로 메타인지(자기 생각을 한 발 떨어져 점검하는 힘)라고 한다. 예전엔 '얼마나 많이 외웠나'가 중요했다면, AI 시대엔 'AI가 준 답을 얼마나 잘 의심하고 검증하나'가 진짜 실력이 된다. AI가 답을 대신 찾아줄수록, 그 답을 따져보는 사람의 가치는 오히려 올라간다.
그리고 좋은 소식이 있다. AI에게 직접 "확실하지 않으면 솔직하게 모른다고 말해줘"라고 요청하면, AI가 함부로 지어내는 걸 어느 정도 줄일 수 있다. 아래 프롬프트를 복사해서, 중요한 정보를 물을 때마다 같이 붙여보자. 검증 습관을 'AI에게 시키는' 똑똑한 방법이다.
방금 답에 대해 확인하고 싶어. 1) 이 내용의 근거(출처)를 알려줘. 책·기관·자료 이름과 함께. 2) 확실하지 않거나 네가 추측한 부분이 있으면, 솔직하게 "이 부분은 확실하지 않음"이라고 표시해줘. 3) 지어내지 말고, 모르면 "모른다"고 말해줘. 4) 내가 직접 사실을 확인하려면 무엇을 검색하면 되는지도 알려줘.
📊 그리고 이건 부모님께 보여드릴 만한 한 줄이다. "저는 AI가 준 답을 그냥 베끼지 않고, '이거 진짜야? 출처 어디야?'를 먼저 확인하는 습관을 들이고 있어요." AI 시대에 가장 강한 능력이 바로 이 '의심하고 검증하는 힘'이라는 걸, 부모님도 분명 든든해하실 거다.
06
그래도 헷갈리는 질문들
머리로는 알겠는데 막상 쓰다 보면 헷갈리는 것들이 있다. 자주 나오는 질문 세 가지를 눌러서 펼쳐 보자.
안타깝게도, AI는 출처 자체를 지어낼 수 있다. 앞에서 본 변호사 사건이 정확히 그 경우였다 — 그럴듯한 판례 이름과 번호가 있었지만 전부 가짜였다. 그래서 'AI가 알려준 출처'는 '확인해야 할 후보'일 뿐이다. 그 출처가 실제로 존재하고, 정말 그런 내용을 담고 있는지 직접 검색해 확인하기 전까지는 사실로 받아들이지 말자.
그건 아니다. AI는 맞는 말도 아주 많이 한다. 핵심은 '다 믿거나 / 다 안 믿거나'가 아니라, 중요도에 따라 의심의 강도를 조절하는 것이다. 그냥 아이디어를 얻거나 글의 뼈대를 잡을 땐 가볍게 써도 된다. 하지만 시험에 낼 사실, 보고서에 쓸 통계, 누군가에게 단정해서 전할 정보라면 — 반드시 확인하고 쓰자.
모든 걸 다 확인하라는 게 아니다. '의심 스위치'를 켜두면, 정작 확인이 필요한 건 일부라는 걸 알게 된다. 이름·숫자·사건·통계처럼 '틀리면 곤란한 정보'만 골라서 확인하면 된다. 게다가 위 검증 프롬프트를 쓰면 AI가 스스로 불확실한 부분을 표시해 줘서 시간이 훨씬 절약된다. '검증하는 데 드는 5초'가 '틀린 답으로 망친 보고서'보다 훨씬 싸다.
이번 주, AI 쓸 때 해볼 것
- AI 답을 베끼기 전에 "이거 진짜야?" 한 번 스스로 묻기
- 이름·숫자·통계·사건이 나오면 "출처 어디야?" 물어보기
- 위 검증 프롬프트를 복사해두고, 중요한 질문마다 붙여 쓰기
- 시험·보고서에 쓸 정보 하나는 검색이나 교과서로 교차 확인하기
- 너무 그럴듯하고 딱 맞아떨어지면 오히려 한 번 더 의심하기
다음 편 — "불안해서 시키는 공부의 유효기간" ⏰
지금까지는 'AI를 의심하고 검증하는 법'을 다뤘다. 다음 5강은 부모님을 위한 글이다. 불안한 마음에 시키는 공부가 왜 오래 못 가는지, 그리고 AI 시대에 아이의 진짜 힘을 키우는 방향이 무엇인지 함께 살펴본다. 부모님과 같이 읽어보면 더 좋다. Bloom 자료실에서 시즌 2를 이어서 볼 수 있다.
자료실 더 보기참고 자료
-
[1] 본문 인용 위치: "섹션 01 마지막 단락, 그리고 섹션 02 전체(2~3번째 단락)"
CNN Business, 「Lawyer apologizes for fake court citations from ChatGPT」(마타 대 아비앙카 사건 — 변호사가 ChatGPT가 만든 가짜 판례 6건을 제출, 판사가 적발해 5,000달러 벌금 부과), 2023-05-27. 원문 링크
FAQ
조회·다운로드 카운트 인터랙티브 보기: 자료실 인터랙티브 페이지