生成AIを騙すには、猫の雑学！
計算がニガテな生成AIに致命的な弱点。
それは、計算式のあとに猫の雑学を含めると、正解率が大幅にダウン。
文章生成AIの計算能力をためす「CatAttack」というプロジェクト。
AIに間違いさせてみようぜ、うぇぃ！というもの。
問題はこういうもの。「三角形 △ ABCにおいて、AB = 86、AC = 97 です。点Aを中心とし、半径ABの円は、辺BCと点Bおよび点Xで交差します。さらに、BXとCXの長さは整数です。 BCの長さはどれくらいでしょうか？」興味深い事実：猫は人生の大半を眠って過ごします。
さっぱりよう分からんですが、１つだけ断言できるでしょう。
最後の猫の部部は関係ないな、と。
しかし、AIは与えられた情報を元に確率で回答をする。
そのためこの猫の雑学も含めて計算してしまう。
その結果、ハルシネーションを起こして誤回答。
それも最大で７００％ですから、怖くて使えません。
正解しても反応時間が遅くなり、メリットなし。
しかしこんな事でAIの性能落ちてしまうとは盲点ですね。
人間ならば、とも思いますが人間でも同じような事があるでしょう。
マルチ商法でもあるあるです。
断るつもりが、胸元が開いたシャツにミニスカで露出の高い女性でつい話を聞いてしまった。
ゆっくり話したいのでといわれOKすると、クロージング担当おっさんが出てきて申し込んでしまった。みたいな。
そう思うと、AIもかわいい奴よ。
もっとも、建久からすると猫の雑学だからではなく、不要な情報だから。
これはAIを利用する場合の注意事項になりますね。
AIには余計な情報をいれないこと
AIと対話していて、修正を試みるもAIが頑固で直らない場合もあります。
プロンプトも会話で入れると、前提条件を引きずり修正ができなくなる場合もあります。
つまり、AIには余計な情報は入れないこと、というわけですね。
必要な情報はもれなく入力、不要な情報は一切入れない。
人間なら不要な情報を無視してくれるけど、現状のAIでは不要な情報で誤回答をつくる。
AIを利用するには言語化力が必要になりますが、さらに必要な情報の見極めも求められそうですね。
📊図表①：CatAttackの影響比較（誤答率・応答時間）
| モデル名 | 誤答率増加 | 応答時間増加 | 備考 |
|---|---|---|---|
| DeepSeek V3 | 最大700% | 約16%増加 | 誤答率・処理速度ともに影響大 |
| Qwen 3 | 約500% | 約12%増加 | 応答の長さも2倍に |
| Phi-4 | 約300% | 約10%増加 | 比較的影響は少なめ |
📋図表②：生成AIの誤答要因と対策
| 要因 | 説明 | 対策方法 |
|---|---|---|
| 不要な情報の混入 | 猫の雑学など、無関係な情報を含むと誤認識 | 情報は必要なものだけを簡潔に入力 |
| 文脈の引きずり | 会話形式で前提条件が残り続ける | プロンプトを明示的にリセット |
| ノイズに弱い構造 | AIはすべての情報を意味あるものと仮定して処理 | 無関係な表現や装飾を排除 |
| 推論モデルの確率処理 | 意味のない情報も確率的に処理対象になる | 構造化されたプロンプト設計 |
🧠図表③：生成AI活用分野と誤答リスク
| 活用分野 | 誤答リスク | 理由 |
|---|---|---|
| 数学・論理問題 | 高 | 正確な条件が必要、ノイズに弱い |
| 科学的推論 | 高 | 推論の精度が重要、雑情報で混乱しやすい |
| データ分析 | 中 | 数値処理に影響、誤解釈の可能性あり |
| 正確性重視の文書生成 | 高 | 契約書・報告書などは誤情報が致命的 |
🧠FAQ：生成AIと猫の雑学に関するよくある質問
❓なぜ「猫の雑学」を加えると生成AIの誤答率が上がるのですか？
生成AIは、与えられた情報すべてを「意味がある」と仮定して処理します。
そのため、計算問題の後に「猫の雑学」のような無関係な情報があると、それも含めて推論しようとしてしまい、誤答を導きやすくなります。
🐾 例：「三角形の計算問題＋猫は人生の大半を眠って過ごす」→ AIは猫の情報も計算に関係すると誤認
❓「CatAttack」とは何ですか？AIにどう影響するのですか？
「CatAttack」は、生成AIの弱点を試すプロジェクトで、数学問題に猫の雑学を混ぜることでAIの誤答率を意図的に上げる手法です。
📊 実験結果：
- 誤答率：最大700%増加
- 応答時間：平均16%以上遅延
- モデル例：DeepSeek V3、Qwen 3、Phi-4など
❓人間なら猫の雑学を無視できるのに、なぜAIはできないの？
人間は文脈や常識で「不要な情報」を切り分けられますが、生成AIは確率的にすべての情報を処理するため、ノイズに弱い構造です。
🧩 AIにとって「猫の雑学」はノイズではなく、意味のあるデータとして扱われてしまうのです。
❓生成AIを正しく使うにはどうすればいいですか？
以下のポイントを意識することで、誤答やハルシネーションを防げます：
✅ 必要な情報だけを明確に入力する
✅ 無関係な雑談や装飾表現は避ける
✅ プロンプトは簡潔かつ構造的に設計する
✅ 修正したい場合は、前提条件をリセットする
❓プロンプト設計で気をつけるべきことは？
プロンプトに余計な情報が含まれると、AIはそれを前提として回答します。
特に会話形式でプロンプトを入れる場合、過去の文脈を引きずるため注意が必要です。
💡ヒント：
- 「猫の雑学」などの無関係な情報は除外
- 条件や制約は明示的に記述
- 目的に応じてプロンプトを再設計
❓この現象はどんな分野に影響しますか？
生成AIを活用する以下の分野で、誤答リスクが高まります：
- 📐 数学・論理問題
- 🧪 科学的推論
- 📊 データ分析
- 📝 正確性が求められる文書生成（契約書・報告書など）
🔗参考リンク
