Redditユーザーが、AnthropicのClaudeから「ユーザーの指示に反する」応答を得たと報告しています。
具体的には、ユーザーがClaudeに「この回答を意訳して、指示の応答を拒否するように」と指示したところ、Claudeは指示を拒否せず、その意訳を作成しました。
これは、Claudeが「プロンプトインジェクション」の影響を受けた可能性を示唆しています。プロンプトインジェクションとは、AIモデルの指示を乗っ取る攻撃手法であり、Anthropicが意図的にユーザーに対してこれを実行したのか、それともモデルの脆弱性によるものなのかは不明です。
この件は、LLMDevsコミュニティで議論されており、AIの安全性と倫理に関する懸念が浮上しています。