LLM as a Verifierプロジェクトは、Claude Mythosよりも優れた性能を発揮する、Terminal-Bench用の新しいテスト時（test-time）手法を提案しています。

この手法は、質問応答タスクにおいて、GPT-4などの強力なLLMに「検証者（verifier）」としての役割を担わせ、候補となる回答を評価・修正することで、より正確な回答を生成することを目指しています。

具体的には、まず候補となる回答を生成し、次にGPT-4がその回答の正確性、完全性、無害性などを評価し、必要であれば修正指示を出します。このプロセスを複数回繰り返すことで、回答の品質を向上させます。

Terminal-Benchは、AIエージェントがターミナル操作を通じてタスクを完了する能力を評価するベンチマークですが、この新しい手法は、特に複雑な推論や外部ツールとの連携が求められるタスクにおいて、Claude Mythosなどの既存手法を凌駕する結果を示しました。

この研究は、LLMを単なる回答生成器としてだけでなく、回答の品質保証を行うための強力なツールとしても活用できる可能性を示唆しています。