Google Cloudは、AIによる科学研究の信頼性向上を目指す「Science One Framework」を発表しました。

このフレームワークは、AIが生成する研究論文における「幻覚（hallucination）」、つまり存在しない引用や再現不可能な結果といった問題を解決するために開発されました。

Science One Frameworkは、研究の各段階で生成された証拠（文献、コード、実験結果など）を鎖のように繋げる「Chain-of-Evidence（CoE）」という概念に基づいています。これにより、論文中の全ての主張が、対応する証拠に裏付けられていることを保証します。

具体的には、以下の3つのモジュールで構成されています。

1.

 Problem Investigator（問題調査員）

: 文献を渉猟し、証拠に基づいた研究概要を作成。引用はAPIから取得し、モデルの記憶に依存しない。
2.

 Discovery Engine（発見エンジン）

: 複数の並列ブランチでアイデアを探索・評価し、高性能なものを洗練させる。全ての評価結果は記録される。
3.

 Paper Writer and Claim Verifier（論文執筆・主張検証者）

: 事実の主張を証拠タグと共に構造化し、Claim Verifierが各主張をソースと照合。証拠を超える主張は、修正または削除される。

また、AI生成論文の信頼性を評価するための自動プロトコル「CoE Audit」も開発されました。CoE Auditは、スコア検証、仕様違反、引用検証、手法とコードの整合性チェックの4つの厳密な検証を行います。

実験の結果、Science One Frameworkは、既存のベースラインシステムと比較して、幻覚引用率ゼロ、スコア検証の完全性、高い手法とコードの整合性を達成しました。また、検証可能性を厳格に実装しても、科学的遂行能力は損なわれず、人間の専門家と同等以上の性能を発揮しました。複雑な外部タスク（MLE-Bench、Parameter-Golf）でも優れた成果を上げています。

Science One Frameworkは、AIによる科学研究がますます発展する中で、その結果が信頼できるものであることが不可欠であるという考えに基づいています。このフレームワークは、AI科学者の次世代を築くための重要なツールとなることが期待されます。

※本フレームワークは実験的な研究プロトタイプであり、製品版ではありません。