Kimi K3は、開発者であるVincent Schmalbach氏の実際のコーディングタスクにおいて、Claude 3 Opusに匹敵する性能を示しました。

Schmalbach氏は、Python、TypeScript、JavaScript、Rust、Go、C++、Java、C#、Haskell、Erlang、Elixir、SQL、HTML、CSS、Bashといった多様な言語で書かれた2000行以上のコードベースを処理するタスクでKimi K3をテストしました。このタスクは、コードの理解、デバッグ、リファクタリング、機能追加といった、現実世界の開発で頻繁に発生するものです。

結果として、Kimi K3はClaude 3 Opusが達成したほぼ同等の性能を発揮し、特にコードの長文コンテキストを正確に処理する能力が評価されました。これは、Kimi K3が大規模なコードベースを効果的に扱えることを示唆しており、開発者にとって強力なツールとなる可能性を秘めています。一方で、OpenAIのGPT-4 TurboやAnthropicのClaude 3 Sonnetといった他のモデルは、このタスクでKimi K3やClaude 3 Opusに遅れをとりました。