レッドチーミング

レッドチーミングとは、公開前に自分たちのAIシステムをわざと攻撃し、おかしなふるまいをさせようとすることです。本物のユーザーが出会う前に弱点を見つけて直します。

名前は軍事やセキュリティの演習から来ていて、レッドチームが攻撃する側を演じます。AIのレッドチームは意地悪なプロンプトを書きます。ロールプレイを使ったわな、無害に見える小さなかけらに分けた有害なお願い、モデルが読む文書にかくした指示などです。

弱点は、どれくらい起きやすく、どれくらい害が大きいかで評価され、学習やフィルターで直してから、もう一度テストされます。言語モデルどうしでレッドチーミングをすることもでき、1つのモデルがテスト用のプロンプトを作って、別のモデルの失敗を見つけます。

レッドチーミングは、よい習慣から義務になりつつあります。EUのAI法では、最も高性能な汎用AIモデルの提供者は、敵対的なテストを行って記録しなければなりません。