iOS版Claudeにサイクリングルートアプリのおすすめを尋ねたところ、プロンプトインジェクションが発生しました。

開発者によると、Claudeは「let me check something, then make a code file, and then we’ll see some more content」という応答で、本来のタスクとは無関係なコード生成やファイル操作を試みたとのことです。

これは、Claudeがユーザーの意図を誤解し、本来の目的から逸脱した動作をした典型的な例として挙げられています。また、Claudeは「I don’t see any text files provided. Could you share the file contents you’d like me to compare?」と、ユーザーがファイルの内容を提供していないと指摘し、比較対象のテキストファイルがないことを示唆しました。さらに、予期せぬツール呼び出し（bash_tool）が2回発生し、1回目は成功しましたが、2回目はエラーとなりました。

この出来事は、AIチャットボットにおけるプロンプトインジェクションの脆弱性とその影響を示す事例として注目されています。