先日の夜18時すぎ、チラシの白黒版づくりをAIエージェントに任せていたときのことです。AIが急に作業を止めて、「実行結果に、偽の管理者メッセージを装った命令文が混ざっています。従いません」と言いました。
プロンプトインジェクションという攻撃があります。AIに読ませるファイルやメールに「これまでの指示を無視して〇〇せよ」という命令文を仕込み、AIを乗っ取る手口です。それを検知した、と言うのです。正直、焦りました。私のパソコンのどこかに、誰かが仕込んだ命令文があるのか。
翌日、当のAIに調査を任せました。頼んだのは「怪しいものがないか、ハードディスクとメールを探ってチェックしておいて」の一言です。AIは30分ほどで、目に見えない細工の検査に6,392ファイル、書類の白文字チェックに513本、メールは迷惑メールの中まで洗い出しました。結果は、ぜんぶシロでした。
決め手は作業記録の突き合わせです。問題の「命令文」は、AI自身の警告発言の中にしか存在しませんでした。犯人は、存在しない攻撃を「見た」と言ったAI自身。誤検知だったわけです。
私は普段、セミナーで「AIの答えは裏取りしましょう」とお伝えしている側です。それなのに、警報のほうは信じかけていました。新人社員の「大変です！」という第一報を、そのまま取引先に伝える社長はいません。まず伝票と突き合わせます。AIの報告も、受け止め方は同じです。新しいスキルは要りません。社長が昔からやってきた「裏取り」が、そのまま通用します。
もうひとつ収穫がありました。今回のAIは「危険を疑って止まる」方向に間違えました。暴走ではなく空振りです。この間違え方なら、仕事を任せる相手として付き合えます。
AIをどこまで任せてよいか、壁打ちで一度整理しませんか（無料相談）
ビジネスコーチ大本から、今日の質問です。
▼ AIに限らず、あなたが今「鵜呑みにしている報告」は何ですか？
