メインコンテンツへスキップ

忙しい方のためのカメラ関連ニュース
海外のカメラ関連ニュースを翻訳してお届け


Google, OpenAI, AnthropicなどのAIモデルをスマートにルーティングするホスト型AI APIゲートウェイ

  • From 
    Anthropic (Hacker News)

このサービスは、Google, OpenAI, Anthropic, xAI (Grok), AWS Bedrock, Groq, Cerebrasなど、複数のAIモデルプロバイダーを単一のOpenAI互換エンドポイントで利用できるAPIゲートウェイです。

モデル名を追跡する必要がなく、ユーザーは「機能レベル(economy, standard, premium, auto)」と「最適化方向(cheap, fast, balanced, quality, coding)」を指定するだけで、ルーターが最適なモデルを選択します。これにより、より安価なモデルが登場したり、プロバイダーがダウンしたりした場合でも、リクエストは自動的に適応します。

「auto」モードでは、会話のコンテキスト(システムプロンプト、コードブロック、メッセージ履歴など)を分析し、適切な機能レベルを自動的に選択します。自動ルーティングされたレスポンスには、選択された理由を示すヘッダーも含まれます。

コンテキストウィンドウの制限やプロバイダーの障害(サーキットブレーカー)にも対応し、コードの変更なしにルーティングが適応します。

無料モデルはクレジットカードなしですぐに利用でき、プレミアムモデルを利用したい場合はクレジットを追加します。料金は、プロバイダーの実際の市場価格に4%の手数料が加算される透明性の高い体系です。利用したモデルとプロバイダー、コストはレスポンスヘッダーで確認できます。

サインアップはメールコードのみで簡単です。また、embeddings機能も同じキーとエンドポイントパターンで利用可能です。完全なドキュメントも提供されています。

[custom_js_sp]

AIによる翻訳/要約をしています。正確な情報はオリジナルサイトにてご確認ください。
当サイトの記事にはプロモーションが含まれる場合があります。

今週の人気ニュース

アップル関連のニュースはこちら