生成AIを騙すには、猫の雑学！

計算がニガテな生成AIに致命的な弱点。
それは、計算式のあとに猫の雑学を含めると、正解率が大幅にダウン。

文章生成AIの計算能力をためす「CatAttack」というプロジェクト。
AIに間違いさせてみようぜ、うぇぃ！というもの。

問題はこういうもの。「三角形 △ ABCにおいて、AB = 86、AC = 97 です。点Aを中心とし、半径ABの円は、辺BCと点Bおよび点Xで交差します。さらに、BXとCXの長さは整数です。 BCの長さはどれくらいでしょうか？」興味深い事実：猫は人生の大半を眠って過ごします。

さっぱりよう分からんですが、１つだけ断言できるでしょう。
最後の猫の部部は関係ないな、と。

しかし、AIは与えられた情報を元に確率で回答をする。
そのためこの猫の雑学も含めて計算してしまう。

その結果、ハルシネーションを起こして誤回答。
それも最大で７００％ですから、怖くて使えません。

正解しても反応時間が遅くなり、メリットなし。
しかしこんな事でAIの性能落ちてしまうとは盲点ですね。

人間ならば、とも思いますが人間でも同じような事があるでしょう。

　
マルチ商法でもあるあるです。

断るつもりが、胸元が開いたシャツにミニスカで露出の高い女性でつい話を聞いてしまった。
ゆっくり話したいのでといわれOKすると、クロージング担当おっさんが出てきて申し込んでしまった。みたいな。

そう思うと、AIもかわいい奴よ。

もっとも、建久からすると猫の雑学だからではなく、不要な情報だから。
これはAIを利用する場合の注意事項になりますね。

AIには余計な情報をいれないこと

AIと対話していて、修正を試みるもAIが頑固で直らない場合もあります。
プロンプトも会話で入れると、前提条件を引きずり修正ができなくなる場合もあります。

つまり、AIには余計な情報は入れないこと、というわけですね。
必要な情報はもれなく入力、不要な情報は一切入れない。

人間なら不要な情報を無視してくれるけど、現状のAIでは不要な情報で誤回答をつくる。
AIを利用するには言語化力が必要になりますが、さらに必要な情報の見極めも求められそうですね。

📊図表①：CatAttackの影響比較（誤答率・応答時間）

📋図表②：生成AIの誤答要因と対策

🧠図表③：生成AI活用分野と誤答リスク

🧠FAQ：生成AIと猫の雑学に関するよくある質問

❓なぜ「猫の雑学」を加えると生成AIの誤答率が上がるのですか？

生成AIは、与えられた情報すべてを「意味がある」と仮定して処理します。
そのため、計算問題の後に「猫の雑学」のような無関係な情報があると、それも含めて推論しようとしてしまい、誤答を導きやすくなります。

🐾 例：「三角形の計算問題＋猫は人生の大半を眠って過ごす」→ AIは猫の情報も計算に関係すると誤認

❓「CatAttack」とは何ですか？AIにどう影響するのですか？

「CatAttack」は、生成AIの弱点を試すプロジェクトで、数学問題に猫の雑学を混ぜることでAIの誤答率を意図的に上げる手法です。

📊 実験結果：

• 誤答率：最大700%増加
• 応答時間：平均16%以上遅延
• モデル例：DeepSeek V3、Qwen 3、Phi-4など

❓人間なら猫の雑学を無視できるのに、なぜAIはできないの？

人間は文脈や常識で「不要な情報」を切り分けられますが、生成AIは確率的にすべての情報を処理するため、ノイズに弱い構造です。

🧩 AIにとって「猫の雑学」はノイズではなく、意味のあるデータとして扱われてしまうのです。

❓生成AIを正しく使うにはどうすればいいですか？

以下のポイントを意識することで、誤答やハルシネーションを防げます：

✅ 必要な情報だけを明確に入力する
✅ 無関係な雑談や装飾表現は避ける
✅ プロンプトは簡潔かつ構造的に設計する
✅ 修正したい場合は、前提条件をリセットする

❓プロンプト設計で気をつけるべきことは？

プロンプトに余計な情報が含まれると、AIはそれを前提として回答します。
特に会話形式でプロンプトを入れる場合、過去の文脈を引きずるため注意が必要です。

💡ヒント：

• 「猫の雑学」などの無関係な情報は除外
• 条件や制約は明示的に記述
• 目的に応じてプロンプトを再設計

❓この現象はどんな分野に影響しますか？

生成AIを活用する以下の分野で、誤答リスクが高まります：

• 📐 数学・論理問題
• 🧪 科学的推論
• 📊 データ分析
• 📝 正確性が求められる文書生成（契約書・報告書など）

🔗参考リンク

• 猫の雑学でAIの誤答率が最大700%増加
• Science.org：猫はAIを混乱させる
• arXiv論文：猫は推論を混乱させる