本文へスキップ
JA

レッスン 5/8 · 6分 · +100 XP

AIはなぜうそ（ハルシネーション）をつくの？

AIのハルシネーションとは、作り話の事実、名言、出典のように、まちがっていたり存在しなかったりする内容を自信たっぷりに答えることです。チャットボットは事実を確かめるのではなく、ありそうな言葉を予測しているので、情報がなくてもなめらかな答えを出してしまいます。名前、数字、名言、引用、最近の出来事は、ほかの情報源で確かめましょう。

▶ やってみよう

なぜ大切なのか

言語モデルは、本当の答えがないときでも、ありそうな言葉を出し続けます。その結果、きれいで自信満々なのに完全に作り話の事実や名言、出典ができあがることがあります。

6分後にできるようになること

  • ハルシネーションは、チャットボットが確かめた事実ではなく、ありそうな言葉を予測するために起こります。
  • 名前、数字、名言、引用、最近の出来事が要注意ポイントです。
  • 大事なことはチャットボットに聞きなおすのではなく、信頼できる情報源で確かめましょう。

練習する内容

  1. なぜ起こるの？

    ハルシネーションは故障でもうそでもありません。チャットボットの書き方から生まれます。

    🔮 調べずに予測している
    チャットボットは、いちばんありそうな次の言葉を書きます。それを事実と照らし合わせる手順は組みこまれていません。
    🕳️ すきまをうめる
    学習した文章にあまり情報がない話題でも、モデルは答えらしい形に合うものを出してしまいます。
    😌 いつも自信ありげ
    答えが正しくてもまちがっていても、口調は同じです。自信があるように見えても、何の証拠にもなりません。
    📌 要注意ポイント
    まちがいが多いのは、名前、日付、数字、名言、引用、マイナーな話題、最近の出来事です。

  2. 作り話を見つけよう

    Noorは本当の話を知っています。Lumen Labは2019年に3人の学生が始めた小さな研究所です。Lumiの答えの中の作り話をすべてタップしましょう。

    Lumi
    いい質問ですね！Lumen Labは、機械がどう学ぶかを研究する研究所です。設立は1987年、エレナ・ヴァルガ博士によるもので、博士は初の太陽電池式の電卓も発明しました。博士はこう言いました。「光こそ、いちばんかしこい先生だ」くわしくは、博士の著書『ブライト・マシン』（2004年）112ページをご覧ください。

  3. あぶない？わりと安全？

    作り話の答えが返ってきやすいのはどっち？

    1. いちばん確かめるべきなのはどれ？

      • 「私のテーマについての研究を3つ、ページ番号つきで教えて」 (答え)
      • 「旅行の写真アルバムの題名を考えて」

    2. Lumiが、小さな村の正確な人口を教えてくれました。かしこい次の一手は？

      • 公式の、または信頼できる情報源で確かめる (答え)
      • 数字がとても細かいから信じる
      • Lumiに「本当？」と聞いて、その答えを信じる

  4. 作り話を見ぬく習慣

    役に立つ習慣をすべて選びましょう。

    • 名前、日付、数字を信頼できる情報源で調べる
    • 引用された出典を開いて、本当にそう書いてあるか確かめる
    • 名言をそのまま検索して、本当にあるか確かめる
    • 最近の出来事やマイナーな話題には特に気をつける
    • 自信ありげでくわしい答えを信じる
    • ページ番号があるから出典を信じる

覚えておこう

なめらかでも正しいとはかぎりません。名前、数字、名言、出典はチャットの外で確かめましょう。

なめらかでも正しいとはかぎりません。名前、数字、名言、出典は、使う前に確かめましょう。

押さえておきたい事実

  • 2023年6月、米国の連邦裁判所の判事は、AIチャットボットが作り出した存在しない判例を引用した書面を出した弁護士2人とその事務所に、5,000ドルの制裁金を科しました。 · 出典: US District Court, Southern District of New York, Mata v. Avianca, Inc., opinion and sanctions order, 22 June 2023
  • 米国国立標準技術研究所（NIST）は、自信ありげに述べられたまちがった内容「作話（confabulation）」を、生成AIのおもなリスクの1つにあげています。 · 出典: NIST, AI 600-1, Artificial Intelligence Risk Management Framework: Generative AI Profile, 2024
  • 研究者の中には「ハルシネーション（幻覚）」より「作話」という言葉を好む人もいます。モデルはないものを見ているのではなく、それらしい内容ですきまをうめているからです。
  • チャットボットに自分の答えが正しいか聞いても、確かめたことにはなりません。その返事も、もとの答えと同じ方法で作られるからです。

更新日:

よくある質問

AIのハルシネーションにはどんな例がありますか？

存在しない本や研究、判例を、本物らしい題名や著者、ページ番号つきで作ったり、細かいのにまちがった日付や統計を出したりすることです。

AIチャットはなぜハルシネーションを起こすのですか？

事実を確かめるのではなく、ありそうな文章を出すように学習しているからです。情報が足りなくても、パターンに合うなめらかな答えを作ってしまいます。

ハルシネーションはなくせますか？

チャットボットを検索や信頼できる資料とつなぐ、学習を改善するなどで減らすことはできますが、今の方法で完全になくすことはできません。大事な事実を確かめるのは、あなたの役目です。

AIがハルシネーションを起こしているか、どうすればわかりますか？

どちらでも同じくらい自信ありげなので、文章だけではわからないことがよくあります。名前、数字、名言、出典は、チャットの外の信頼できる場所で確かめましょう。

関連用語