Guide Labsは、AIモデルの「なぜ」を理解するという課題に対処するため、解釈可能な大規模言語モデル（LLM）「Steerling-8B」をオープンソース化した。

この80億パラメータのLLMは、生成された各トークンが学習データ内のどの部分に由来するかを追跡できる新しいアーキテクチャで訓練されている。これにより、モデルが引用した事実の参照元を特定したり、ユーモアやジェンダーといった概念の理解度を分析したりすることが可能になる。

CEOのJulius Adebayo氏は、従来のモデルでは概念のエンコードやデコードが脆弱である一方、Steerling-8Bではこれを「エンジニアリング」によって実現したと説明。MITでの研究に基づき、モデルの基盤に「コンセプトレイヤー」を挿入することで、データを追跡可能なカテゴリに分類する。

このアプローチは、LLMの魅力である創発的な振る舞いを損なう懸念もあるが、Guide Labsは「発見されたコンセプト」として、モデルが独自に学習した量子コンピューティングのような例を挙げ、汎化能力は維持されていると主張している。

Adebayo氏は、この解釈可能なアーキテクチャは、消費者を対象としたLLMにおける著作権侵害や不適切なコンテンツの制御、金融分野における差別的な判断の排除、科学研究における洞察の提供など、様々な分野で不可欠になると見ている。同氏は、解釈可能なモデルの訓練はもはや「科学」ではなく「エンジニアリングの問題」になったと語り、Steerling-8Bは既存モデルの90%の能力を達成しつつ、より少ない学習データで済むという。

Guide Labsは今後、より大規模なモデルの開発やAPI、エージェントアクセス機能の提供を目指している。Adebayo氏は、モデルの挙動が不明瞭なままで意思決定を行うような状況は避け、根本的な解釈可能性の民主化が人類にとって長期的に有益だと述べている。