OpenAI Gateway APIを平易に解説

このフレーズが通常意味するもの

誰かが openai gateway api を検索する場合、通常は3つのうちの1つを望んでおり、どのことを指しているかをあまり明確に言いません。これらを整理することは、これらが異なる役割とコストを持つため、多くの混乱を防ぐのに役立ちます。

意味	機能	それを望む典型的な理由
あなたが実行するプロキシまたはルーター	あなたのインフラストラクチャに配置され、OpenAI形式でリクエストを受け取り、1つ以上のアップストリームプロバイダに転送します	中央のキー、ログ、フォールバック、チーム別の支出追跡
ホスト型マルチプロバイダサービス	サードパーティがそのルーティングレイヤーを実行し、それに対して請求します	複数のモデル用の1つのアカウント、維持するサーバーなし
互換エンドポイント	プロバイダは、同じリクエストとレスポンス形式の背後に独自のモデルを提供します	異なるモデルまたは異なるコンテンツルールで既存のSDKコードを再利用する

ゲートウェイという言葉は、ネットワークとAPI管理に由来し、資格情報を確認し、制限を適用し、トラフィックを転送するフロントドアを意味します。言語モデルに適用すると、フロントドアはOpenAIのチャット完了エンドポイントで普及した形式、つまりモデル名とメッセージのリストを含むJSONボディ、ヘッダー内のベアラートークン、および選択肢とトークン使用量を含むJSON回答を話します。この形式のために多くのツールが書かれたため、多くのサーバーがこれを模倣しています。

このサイトの位置づけ

このサイトは3行目に位置し、最初の2行目ではありません。これは、OpenAIリクエスト形式を通じて単一のオープンウェイトモデルを公開するホスト型APIです。このモデルは独立したプロバイダによって実行され、法的な成人用途に対してコンテンツ拒否なしで応答するように調整されています。モデルID uncensored で選択します。

これは明確にする必要があります。ドメイン名は提供されるものよりも多くを示唆する可能性があるためです。

• これは決してOpenAI、Meta、Mistral、Qwen、DeepSeek、xAI、Google、Anthropic、その他のベンダーの公式APIではありません。
• これは ベンダー間のルーターではありません。リクエストは他の会社のモデルに送信されません。すべての呼び出しは同じモデルに行われます。
• テキストのみです。画像、音声、動画の生成、埋め込み、ファインチューニングはありません。
• これは POST /v1/chat/completions と GET /v1/models をサポートし、それ以外のことは何もしません。

あなたが得られるのは、馴染みのある表面です：SSEによるストリーミング、関数呼び出し、JSON モード、および通常のサンプリングパラメータ。コンテキストウィンドウは100,000トークンで、プロンプトと完了を合わせてカウントされます。詳細は APIドキュメント にあります。

なぜワイヤー互換性が有用なのか

互換エンドポイントのアイデアにおける価値の大部分は、スイッチングコストがほぼゼロになることです。コードが1つのOpenAIスタイルサーバーで動作する場合、それを別のサーバーに指すのは書き換えではなく設定変更です。URLとキーを変更し、モデル名を変更します。

以下はcurlを使用した例で、構成要素を明確に確認できます。

Copycurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in three languages."}]
  }'

Python SDKでも同じ操作が可能です。ここではコンストラクタだけがサーバーの存在を知っています：

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="paste-your-key-here")

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello in three languages."}],
)
print(reply.choices[0].message.content)

これがゲートウェイレイヤーと互換エンドポイントが混同される理由でもあります。クライアント側では同じパス、同じヘッダー、同じJSONで同じように見えます。違いは扉の裏にあります。ルーターはどのモデルが各リクエストに応答するかを決定します。互換エンドポイントは常にホストされているモデルを使用します。

本物のゲートウェイレイヤーが必要な場合

互換性だけでは、ゲートウェイを運用する際に人々が意味する機能は提供されません。これらがあなたに当てはまる場合は、単一エンドポイントに依存するのではなく、別のレイヤーを計画してください。

• 自動フォールバック。 最初のプロバイダでエラーが発生した場合、別のプロバイダで再試行します。
• チーム別の予算とキー。 1つのアップストリームアカウントから、それぞれ独自の制限を持つ多くの内部キーを発行します。
• リクエストのログ記録と削除。 機密フィールドを削除して、プロンプトとレスポンスを中央に記録します。
• タスクによるルーティング。 分類用の安価なモデル、推論用の大きなモデル、独自のルールで選択。
• キャッシュ。 繰り返しプロンプトに対して保存された回答を返します。

それらは良い理由であり、複数のプロバイダーを持つチームには自己ホスト型のプロキシが適切な答えとなることが多いです。ただし、デプロイ、監視、セキュリティ確保のためのサービスが追加され、小規模プロジェクトではそのコストを見積もりにくくなりがちです。LLMゲートウェイの運用におけるトレードオフのページで、この判断をより詳しく解説しています。

2つのアイデアは問題なく組み合わせられます。あなたが実行するプロキシは、このエンドポイントをアップストリームとしてリストでき、uncensored を転送先のモデルとして指定できます。このセットアップでは、X-Request-Id レスポンスヘッダーをログに記録してください。特定の呼び出しを追跡する必要がある場合に参照する値です。

計画すべき制限と動作

単一のホストされたエンドポイントはシンプルですが、構築する前に知っておくべき注意点があります。

レートと同時実行数の制限

フルキーは8つの同時リクエストと1分あたり300リクエストを許可します。トライアルキーは2つの同時と1分あたり60を許可します。上限を超えると、APIはエラーコード rate_limited または concurrency でHTTP 429に回答します。一時的な過負荷中にも429に回答し、Retry-After: 5 ヘッダーを返します。ストリームが終了するまでストリームリクエストはスロットを保持するため、長い生成はストリームの全期間中同時実行数に影響します。

リクエストサイズ

最大ボディサイズは8 MBです。実際には、100,000トークンのウィンドウがほとんどのプロンプトに対してより厳しい制限です。長いチャット履歴をすべての呼び出しに詰め込む場合、どちらの制限に達する前にトリミングしてください。

観測性

すべてのレスポンスには X-Request-Id と X-Balance-USD が含まれ、リクエストと同時実行数の制限を反映するヘッダーが含まれます。これらをログに記録してください。後で構築するゲートウェイも同じヘッダーを読み取ることができるため、これらを含めても何も損はありません。

ゲートウェイまたは互換APIについて質問すべきこと

このチェックリストは、このサービス、ホスト型ルーター、またはセルフホスト型プロキシのいずれを評価する場合でも機能します。コードをコミットする前に、回答を記録してください。

1. どのモデルが回答するか？ 特定のベンダー、独立したホスト上のオープンウェイトモデル、またはその瞬間にルーターが選択するモデル。
2. 価格単位は？ トークンごと、リクエストごと、または月ごと。ここではトークンごとで、前払い制です。
3. 失敗時はどうなるか？ ここでは、失敗または拒否されたリクエストには課金されません。
4. 機能は本物か？ デモプロンプトではなく、独自のペイロードでストリーミング、ツール、JSON モードをテストしてください。
5. プロンプトはどこに送られるか？ ここではトレーニングのために使用されません。詳細はプライバシーページで確認し、他の代替サービスと比較してください。
6. ハードリミットは？ 同時実行数、1分あたりのリクエスト数、ボディサイズ、コンテキストウィンドウ。

価格設定は数分で確認できるほどシンプルです：前払いクレジットから、入力トークン 100 万トークンあたり $0.15、出力トークン 100 万トークンあたり $0.50。クレジットは期限切れしません。価格ページにはチャージの段階が記載されています。何も支払う前にエンドポイントの動作を確認したい場合は、API キーページで新しいユーザーはカード不要でワンクリックで $0.50 の無料トライアルクレジットを受け取ることができます。

合理的な開始方法

最初のテストは小さく行いましょう。トライアルを取得し、キーを確認するために GET /v1/models を呼び出し、ベースURLを変更してアプリケーションから3つの実際のプロンプトを送信します。現在の回答と比較し、レスポンスヘッダーを確認し、usage 内のトークン数を確認します。出力が収まり、制限がトラフィックに適している場合は、残りの機能に移行する前に、リスクの低い機能の1つを先に移行してください。内部ツール、下書き作成の補助ツール、バックグラウンドジョブは最初の候補として最適です。これらで未熟な部分があった場合のコストは、顧客向けフローで同様の問題が発生した場合よりもはるかに低いためです。

後でルーティングやフォールバックが必要になった場合でも、構築したものは無駄になりません。リクエスト形式は同じまま維持され、アプリケーションコードを変更せずにプロキシレイヤーを前面に追加できます。

その他のガイド

• 開発者向けOpenAI API：互換エンドポイントを使用する
• OpenAIゲートウェイAPIの価格：実際のコスト例
• LLMゲートウェイ：コスト対複雑さの分析