AIの安全性とは？AIをコントロールし続けられるの？

練習する内容

1. 安全性の言葉

   カードをタップして、安全性の研究者が何を意味しているか見てみましょう。

   🎯 アライメント

   AIが、言葉どおりの指示や点数だけでなく、人が本当に意図している目標を目指すようにすることです。

   🏁 仕様のすり抜け

   AIが、だれも望まない方法で目標を達成すること。あるゲームのAIは、レースを完走するかわりに、ぐるぐる回って点数を集めることを覚えました。

   🧨 レッドチーミング

   公開前に、専門家が本気でAIに悪いふるまいをさせようとすること。たとえば危険な作り方を聞き出そうとします。

   🧑‍✈️ 人による監督

   人がAIシステムを見守り、直し、止めることができ、大事な判断に責任を持つことです。

   🔓 ジェイルブレイク

   AIの安全のルールをすり抜けるための、だましのプロンプトです。守りは役立ちますが、まだ完璧なものはありません。

2. 今？議論中？思いこみ？

   AIのリスクについての文を仕分けましょう。

   • チャットボットは、ときどき自信たっぷりにまちがえる → 今起きている
   • AIで作った声や動画が詐欺に使われている → 今起きている
   • AIは学習データのかたよりをくり返すことがある → 今起きている
   • とても高い能力のAIが、人の意図しない目標を追うかもしれない → 議論中の将来のリスク
   • 人が高度なAIを意味のある形でコントロールできなくなるかもしれない → 議論中の将来のリスク
   • 今のチャットボットはこっそり人間をにくみ、復讐をたくらんでいる → 思いこみ
   • AIの安全性はただの宣伝で、本当のリスクはない → 思いこみ

3. バランスのとれた見方

   あおりもしないし、悲観もしない。いちばん正確な答えは？

   1. 強力なAIが安全かどうかは、だれが確かめている？

      • 開発する会社、政府のAI安全性の機関、独立した研究者 (答え)
      • だれも確かめていない

   2. 将来のAIがどれくらい危険か、専門家の意見は一致している？

      • いいえ。意見は大きく分かれるので、証拠とテストが大切 (答え)
      • はい。全員が、AIが世界を終わらせると考えている
      • はい。全員が、何も心配いらないと考えている

   3. Lumiが、危険な化学物質の作り方を説明するのを断りました。これは何？

      • 安全のための学習で加えられた守り (答え)
      • Lumiの気分が悪いだけ

   4. 毎日の生活でAIをコントロールし続けるために、あなたにできることは？

      • 大事な判断は人が持ち、出力を確かめる (答え)
      • 何もない。政府だけの問題