以白話解釋 OpenAI Gateway API

這個詞通常的含義

當有人搜尋 openai gateway api 時，他們通常想要以下三種事物之一，而且很少說明是哪一種。先將它們區分清楚可避免許多混淆，因為這三者有不同的用途和成本。

含義	功能	通常想要它的原因
你執行的代理或路由器	位於你的基礎設施中，接受 OpenAI 格式的請求並將其轉發至一個或多個上游供應商	集中金鑰、日誌、故障轉移、每個團隊的支出追蹤
託管的多供應商服務	第三方為你執行該路由層並向你計費	一個帳戶對應多個模型，無需維護伺服器
相容端點	供應商透過相同的請求和回應格式提供其自有模型	重用現有 SDK 程式碼，搭配不同的模型或不同的內容規則

閘道器一詞來自網路和 API 管理，意指檢查憑證、套用速率限制並將流量轉發的前門。應用於語言模型時，前門使用 OpenAI 的聊天完成端點普及的格式：包含模型名稱和訊息列表的 JSON 主體、標頭中的 Bearer token，以及包含選項和 token 使用量的 JSON 回應。由於許多工具是針對該格式編寫的，許多伺服器現在都模仿它。

此網站的歸屬

此網站屬於第三行，而非前兩行。它是透過 OpenAI 請求格式提供單一開放權重模型的託管 API。該模型由獨立供應商營運，並針對合法成人用途進行微調，以無審查方式回答。你透過模型 ID uncensored 選擇它。

需要說明這一點，因為網域名稱可能暗示比實際交付更多的內容：

• 它不是 OpenAI、Meta、Mistral、Qwen、DeepSeek、xAI、Google、Anthropic 或任何其他供應商的官方 API。
• 它不是跨廠商的轉發器。沒有請求會被轉送到其他公司的模型。每次呼叫都發送到同一個模型。
• 僅限文字。沒有影像、音訊或影片生成，沒有嵌入向量，也不支援微調。
• 它支援 POST /v1/chat/completions 和 GET /v1/models，除此之外沒有其他功能。

你獲得的是熟悉的介面：SSE 串流輸出、工具呼叫、JSON 模式，以及常見的採樣參數。上下文視窗為 100,000 token，包含提示詞和完成內容。詳細資訊請參閱 API 文件。

為什麼線路相容性是有用的部分

相容端點概念的大部分價值在於，你的切換成本降至幾乎為零。如果你的程式碼能與一個 OpenAI 風格的伺服器配合運作，將其指向另一個伺服器只是配置變更，而非重寫。你只需更改 URL、金鑰和模型名稱。

以下是使用 curl 的操作方式，讓各個運作部分一目了然：

Copycurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in three languages."}]
  }'

透過 Python SDK 執行相同的操作，只有建構子知道伺服器：

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="paste-your-key-here")

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello in three languages."}],
)
print(reply.choices[0].message.content)

這也是閘道器層與相容端點容易混淆的原因。從客戶端來看，它們看起來完全相同：相同的路徑、標頭和 JSON。差異在於門後。路由器決定哪個模型回答每個請求。相容端點始終使用其託管的模型。

何時需要真正的閘道器層

僅靠相容性無法提供人們在討論運行閘道器時所指的機能。如果以下任何一項適用於你，請規劃一個獨立層，而不是期望從單一端點獲得：

• 自動故障轉移。 當第一個供應商出錯時，重試另一個供應商。
• 按團隊的預算和金鑰。 從一個上游帳戶發行許多內部金鑰，每個金鑰都有自己的上限。
• 請求記錄與遮蔽。 集中記錄提示詞和回應，並移除敏感欄位。
• 按任務路由。 分類使用便宜的模型，推理使用較大的模型，由你自己的規則選擇。
• 快取。 針對重複的提示詞返回儲存的回答。

這些都是好理由，對於擁有多個供應商的團隊來說，自託管代理通常是正確的選擇。但它也增加了需要部署、監控和保護的服務，這對於小型專案來說，成本很容易被低估。運行 LLM 閘道器的權衡 頁面更詳細地介紹了這項決策。

這兩個概念可以無縫結合。你執行的代理可以將此端點列為一個上游，使用 uncensored 作為它轉發到的模型。在該設置中，在你的端記錄 X-Request-Id 回應標頭。如果你需要協助追蹤特定呼叫，這是需要引用的值。

你應該規劃的限制和行為

單一託管端點很簡單，但在其上構建之前，你應該知道一些極限。

速率和並行上限

完整金鑰允許 8 個並行請求和每分鐘 300 個請求。試用金鑰允許 2 個並行和每分鐘 60 個。超過上限時，API 以錯誤代碼 rate_limited 或 concurrency 回應 HTTP 429。在暫時過載期間，它也會回應 429，並帶有 Retry-After: 5 標頭。串流請求會保留其插槽直到串流結束，因此長時間生成會在其整個持續時間內佔用並行額。

請求大小

最大主體為 8 MB。實際上，對於大多數提示詞而言，100,000 token 的視窗是更緊的限制。如果你將長聊天歷史記錄塞入每次呼叫，請在達到任一上限之前進行修剪。

可觀測性

每個回應都包含 X-Request-Id 和 X-Balance-USD，以及回顯你的請求和並行限制的標頭。記錄它們。你稍後構建的閘道器可以讀取相同的標頭，因此從它們開始不會失去任何東西。

關於任何閘道器或相容 API 的問題

無論你評估的是這項服務、託管路由器或自託管代理程式，這份檢查清單都適用。在為任何一項投入程式碼之前，先將答案寫下來。

1. 誰的模型回答？ 是特定供應商、託管在獨立主機上的開放權重模型，還是路由器當下選擇的任何模型。
2. 計價單位是什麼？ 每個 token、每個請求或每月計費。此處為每個 token 計費，並從預付額度扣款。
3. 失敗時會怎樣？ 在此，失敗或被拒絕的請求不會計費。
4. 哪些功能是真實的？ 使用你自己的資料來測試串流輸出、工具呼叫和 JSON 模式，而非使用示範提示詞。
5. 提示詞會送去哪裡？ 此處不會將它們用於訓練。請閱讀隱私權頁面以取得詳細資訊，並與任何替代方案進行比較。
6. 硬性限制為何？ 並行、每分鐘請求數、主體大小和上下文視窗。

計費方式簡單明瞭，一分鐘即可確認：每 1M 輸入 token 為 $0.15，每 1M 輸出 token 為 $0.50，從永不過期的預付額度扣款。計費頁面列出了儲值等級。如果你想在付費之前先觀察端點的行為，API 金鑰頁面讓新用戶可以一鍵領取 $0.50 的試用額度，無需信用卡。

合理的起步方式

保持首次測試規模小巧。領取試用額度，呼叫GET /v1/models以確認金鑰，然後從你的應用程式發送三個真實提示詞，並更改 Base URL。將答案與你目前獲得的結果進行比較，檢查回應標頭，並查看usage中的 token 計數。如果輸出符合需求且限制適合你的流量，請先遷移一個低風險的功能，再處理其餘部分。內部工具、草稿輔助工具和背景作業是很好的首批候選對象，因為這些地方的粗糙邊緣所付出的代價，遠低於面向客戶的流程。

如果你後來決定需要路由或備援機制，你所建構的程式碼並不會浪費。請求格式保持不變，且可以在應用程式程式碼不變的情況下，在前端新增代理層。

更多指南

• 開發人員用的 OpenAI API：使用相容端點
• OpenAI 閘道 API 定價：實際成本範例
• LLM 閘道：成本與複雜性分析