OpenAI Gateway API को सरल शब्दों में समझाया गया है

वाक्यांश आमतौर पर क्या दर्शाता है

जब कोई किसी openai gateway api की तलाश करता है, तो वे आमतौर पर तीन चीज़ों में से किसी एक की इच्छा रखते हैं, और वे यह दुर्लभ ही बताते हैं कि उन्हें किसकी आवश्यकता है। इन्हें पहले स्पष्ट करने से बहुत सारी भ्रम दूर होती है, क्योंकि तीनों के कार्य और लागत अलग-अलग हैं।

अर्थ	यह क्या करता है	इसे चाहने का सामान्य कारण
एक प्रॉक्सी या राउटर जिसे आप चलाते हैं	आपकी इंफ्रास्ट्रक्चर में स्थित, OpenAI फॉर्मेट में अनुरोध लेता है और उन्हें एक या अधिक अपस्ट्रीम प्रदाताओं को आगे बढ़ाता है	केंद्रीकृत कुंजियाँ, लॉगिंग, फॉलबैक, टीम के अनुसार खर्च ट्रैकिंग
एक होस्टेड मल्टी-प्रोवाइडर सेवा	एक तृतीय पक्ष आपके लिए उस राउटिंग परत को चलाता है और इसके लिए आपको बिल करता है	बहुत सारे मॉडल के लिए एक खाता, बनाए रखने के लिए कोई सर्वर नहीं
एक संगत एंडपॉइंट	एक प्रदाता समान अनुरोध और प्रतिक्रिया फॉर्मेट के पीछे अपना स्वयं का मॉडल प्रस्तुत करता है	अलग मॉडल या अलग सामग्री नियमों के साथ मौजूदा SDK कोड का पुन: उपयोग करें

शब्द गेटवे नेटवर्किंग और API प्रबंधन से आया है, जहाँ इसका अर्थ एक फ्रंट डोर है जो क्रेडेंशियल की जाँच करता है, सीमाएँ लागू करता है और ट्रैफ़िक को आगे बढ़ाता है। भाषा मॉडल के लिए लागू करने पर, फ्रंट डोर OpenAI के चैट कंप्लीशन एंडपॉइंट द्वारा लोकप्रिय बनाए गए प्रारूप का पालन करता है: एक JSON बॉडी जिसमें मॉडल का नाम और संदेशों की एक सूची होती है, हेडर में एक bearer टोकन होता है, और चयनों और टोकन उपयोग के साथ एक JSON उत्तर होता है। चूँकि उस प्रारूप के लिए कई टूल लिखे गए थे, इसलिए अब कई सर्वर उसकी नकल करते हैं।

इस साइट का स्थान

यह साइट तीसरी पंक्ति में आती है, पहले दो में नहीं। यह एक होस्टेड API है जो OpenAI अनुरूप फॉर्मेट के माध्यम से एक ओपन-वेट मॉडल को प्रस्तुत करती है। मॉडल एक स्वतंत्र प्रदाता द्वारा चलाया जाता है और कानूनी वयस्क उपयोग के लिए बिना सेंसर उत्तर देने के लिए ट्यून्ड किया गया है। आप इसे मॉडल ID uncensored का उपयोग करके चुनते हैं।

इसे स्पष्ट रूप से समझाने की आवश्यकता है, क्योंकि डोमेन नाम इससे अधिक संकेत दे सकता है:

• यह कतई OpenAI, Meta, Mistral, Qwen, DeepSeek, xAI, Google, Anthropic या किसी अन्य विक्रेता की आधिकारिक API नहीं है।
• यह कतई विक्रेताओं के बीच एक राउटर नहीं है। कोई भी अनुरोध किसी अन्य कंपनी के मॉडल पर नहीं भेजा जाता है। हर कॉल उसी मॉडल पर जाती है।
• यह केवल टेक्स्ट है। इसमें इमेज, ऑडियो या वीडियो जनरेशन, एम्बेडिंग्स और फाइन-ट्यूनिंग नहीं है।
• यह POST /v1/chat/completions और GET /v1/models का समर्थन करता है, और उन दो से आगे कुछ नहीं।

जो आपको मिलता है वह परिचित सतह है: SSE के माध्यम से स्ट्रीमिंग, टूल कॉलिंग, JSON मोड, और सामान्य सैंपलिंग पैरामीटर। कॉन्टेक्स्ट विंडो 100,000 टोकन की है, जिसमें प्रॉम्प्ट और कंप्लीशन दोनों गिने जाते हैं। विवरण API दस्तावेज़ीकरण में हैं।

वायरिंग संगतता उपयोगी भाग क्यों है

संगत-एंडपॉइंट विचार का सबसे बड़ा मूल्य यह है कि आपका स्विचिंग लागत लगभग शून्य हो जाता है। यदि आपका कोड एक OpenAI-शैली सर्वर के साथ काम करता है, तो उसे किसी अन्य पर इंगित करना एक रीडराइट के बजाय केवल कॉन्फ़िगरेशन बदलाव है। आपको केवल एक URL, एक कुंजी और मॉडल नाम बदलना होता है।

यहाँ curl के साथ वह दृश्य है, जिससे चलने वाले हिस्से स्पष्ट रूप से दिखाई देते हैं:

Copycurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in three languages."}]
  }'

और Python SDK के माध्यम से वही चीज़, जहाँ केवल कंस्ट्रक्टर सर्वर के बारे में जानता है:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="paste-your-key-here")

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello in three languages."}],
)
print(reply.choices[0].message.content)

यही कारण है कि गेटवे लेयर और संगत एंडपॉइंट को अक्सर एक ही समझा जाता है। क्लाइंट साइड से वे समान दिखते हैं: एक ही पथ, एक ही हेडर्स, एक ही JSON। अंतर दरवाजे के पीछे होता है। एक रूटर तय करता है कि प्रत्येक अनुरोध का उत्तर कौन-सा मॉडल देगा। एक संगत एंडपॉइंट हमेशा उसी मॉडल का उपयोग करता है जो वह होस्ट करता है।

जब आपको एक वास्तविक गेटवे लेयर की आवश्यकता होती है

केवल संगतता आपको वे फीचर्स नहीं देती जो लोग गेटवे चलाने के संदर्भ में बताते हैं। यदि आपकी स्थिति में से कोई भी लागू होती है, तो एक अलग लेयर की योजना बनाएँ, न कि केवल एक एंडपॉइंट से उम्मीद करें:

• स्वचालित फॉलबैक। जब पहला प्रदाता फेल हो जाता है, तो किसी अन्य प्रदाता पर पुन: प्रयास करें।
• टीम-वार बजट और कुंजियाँ। एक ही अपस्ट्रीम खाते से कई आंतरिक कुंजियाँ जारी करें, जिनमें से प्रत्येक की अपनी सीमा हो।
• अनुरोध लॉगिंग और रिडैक्शन। प्रॉम्प्ट और प्रतिक्रियाओं को केंद्रीय रूप से रिकॉर्ड करें, संवेदनशील फ़ील्ड्स को हटाकर।
• कार्य के अनुसार रूटिंग। वर्गीकरण के लिए सस्ता मॉडल, तर्क के लिए बड़ा मॉडल, आपके अपने नियमों द्वारा चुना गया।
• कैशिंग। दोहराए गए प्रॉम्प्ट्स के लिए संग्रहीत उत्तर लौटाएँ।

ये अच्छे कारण हैं, और एक स्व-होस्टेड प्रॉक्सी अक्सर कई प्रदाताओं वाली टीम के लिए सही उत्तर होता है। यह डिप्लॉय, मॉनिटर और सुरक्षित करने के लिए एक सेवा भी जोड़ता है, जो एक छोटे प्रोजेक्ट के लिए कम आंकी जाने वाली लागत है। LLM गेटवे चलाने के ट्रेड-ऑफ्स वाले पेज पर उस निर्णय को अधिक विस्तार से समझाया गया है।

दोनों विचार आसानी से संयुक्त हो सकते हैं। आपका चलाया गया प्रॉक्सी इस एंडपॉइंट को एक अपस्ट्रीम के रूप में सूचीबद्ध कर सकता है, जहाँ uncensored वह मॉडल है जिसके लिए यह फॉरवर्ड करता है। उस सेटअप में, X-Request-Id प्रतिक्रिया हेडर को अपनी तरफ लॉग करें। यह वह मान है जिसे आपको किसी विशिष्ट कॉल को ट्रैस करने में सहायता की आवश्यकता होने पर उद्धृत करना चाहिए।

सीमाएँ और व्यवहार जिन्हें आपकी योजना में होना चाहिए

एकल होस्टेड एंडपॉइंट सरल है, लेकिन इसकी कुछ सीमाएँ हैं जिन्हें आप इसे बनाने से पहले जानना चाहिए।

दर और समवर्तीता सीमाएँ

एक पूर्ण कुंजी 8 समानांतर अनुरोधों और प्रति मिनट 300 अनुरोधों की अनुमति देती है। एक ट्रायल कुंजी 2 समानांतर और प्रति मिनट 60 की अनुमति देती है। सीमा पार होने पर, API HTTP 429 को rate_limited या concurrency त्रुटि कोड के साथ उत्तर देती है। अस्थायी ओवरलोड के दौरान यह 429 भी उत्तर देता है, Retry-After: 5 हेडर के साथ। एक स्ट्रीम किए गए अनुरोध में उसकी जगह तब तक बनी रहती है जब तक कि स्ट्रीम समाप्त न हो जाए, इसलिए लंबी जनरेशन पूरी अवधि के लिए समानांतरता के खिलाफ गिनी जाती है।

अनुरोध का आकार

मैक्सिमम बॉडी 8 MB है। व्यावहारिक रूप से, 100,000-टोकन विंडो अधिकांश प्रॉम्प्ट्स के लिए अधिक कठोर सीमा है। यदि आप हर कॉल में लंबी चैट इतिहास भरे जाते हैं, तो किसी भी छत को हिट करने से पहले उसे ट्रिम करें।

ओब्जर्वेबिलिटी

प्रत्येक प्रतिक्रिया में X-Request-Id और X-Balance-USD शामिल होता है, साथ ही आपके अनुरोध और कन्करेंसी सीमाओं को प्रतिबिंबित करने वाले हेडर्स। इन्हें लॉग करें। एक गेटवे जो आप बाद में बनाते हैं, उसी हेडर्स को पढ़ सकता है, इसलिए आप उन्हें शुरू करने से कुछ नहीं खोते।

किसी भी गेटवे या संगत API के बारे में पूछने के लिए प्रश्न

यह चेकलिस्ट तब भी काम करती है जब आप इस सेवा, एक होस्टेड रूटर या एक स्व-होस्टेड प्रॉक्सी का मूल्यांकन करें। किसी भी एक में कोड करने से पहले उत्तर लिख लें।

1. किसका मॉडल उत्तर देता है? एक नामित विक्रेता, एक स्वतंत्र होस्ट पर एक ओपन-वेट मॉडल, या वह मॉडल जो उसी मिनट में रूटर चुनता है।
2. मूल्य इकाई क्या है? प्रति टोकन, प्रति अनुरोध, या प्रति माह। यहाँ यह प्रति टोकन, प्रीपेड है।
3. विफलता पर क्या होता है? यहाँ, विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है।
4. कौन से फीचर्स वास्तविक हैं? स्ट्रीमिंग, टूल्स और JSON मोड को अपने स्वयं के पेलोड्स के साथ परीक्षण करें, न कि डेमो प्रॉम्प्ट के साथ।
5. प्रॉम्प्ट कहाँ जाते हैं? यहाँ उन्हें प्रशिक्षण के लिए उपयोग नहीं किया जाता है। विवरण के लिए गोपनीयता पृष्ठ पढ़ें और किसी अन्य विकल्प से तुलना करें।
6. कठोर सीमाएँ क्या हैं? समानांतर अनुरोध, प्रति मिनट अनुरोध, बॉडी का आकार और कॉन्टेक्स्ट विंडो।

मूल्य निर्धारण इतना सरल है कि आप एक मिनट में जाँच सकते हैं: 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50, प्रीपेड क्रेडिट से जो कभी समाप्त नहीं होता है। मूल्य निर्धारण पृष्ठ पर टॉप-अप स्तर दिए गए हैं। यदि आप भुगतान करने से पहले यह देखना चाहते हैं कि एंडपॉइंट कैसे व्यवहार करता है, तो API कुंजी पृष्ठ नए उपयोगकर्ताओं को एक क्लिक के साथ $0.50 का मुफ़्त ट्रायल क्रेडिट दाव करने की अनुमति देता है, बिना किसी कार्ड के।

शुरुआत करने का एक समझदारी भरा तरीका

पहला परीक्षण छोटा रखें। ट्रायल दाव करें, API कुंजी की पुष्टि करने के लिए GET /v1/models कॉल करें, फिर अपनी एप्लिकेशन से तीन वास्तविक प्रॉम्प्ट भेजें जिसमें बेस URL बदल दिया गया हो। उन उत्तरों की तुलना करें जो आपको आज मिलते हैं, प्रतिक्रिया हेडर जाँचें, और usage में टोकन गणना देखें। यदि आउटपुट फिट बैठता है और सीमाएँ आपके ट्रैफ़िक के लिए उपयुक्त हैं, तो बाकी से पहले एक कम जोखिम वाला फीचर माइग्रेट करें। आंतरिक टूल्स, ड्राफ्टिंग सहायक और बैकग्राउंड जॉब अच्छे पहले उम्मीदवार हैं, क्योंकि वहाँ एक खुरदरा किनारा आपको एक ग्राहक-मुखी फ्लो की तुलना में बहुत कम खर्च करता है।

यदि आप बाद में निर्णय लेते हैं कि आपको रूटिंग या फॉलबैक की आवश्यकता है, तो आपने जो कुछ भी बनाया है वह व्यर्थ नहीं जाता। अनुरोध प्रारूप समान रहता है, और एप्लिकेशन कोड बदले बिना एक प्रॉक्सी परत आगे जोड़ी जा सकती है।

अधिक गाइड

• डेवलपर्स के लिए OpenAI API: एक संगत एंडपॉइंट का उपयोग करें
• OpenAI Gateway API मूल्य निर्धारण: वास्तविक लागत उदाहरण
• LLM गेटवे: लागत बनाम जटिलता विश्लेषण