AI गेटवे: तीन पंक्तियों में अपना क्लाइंट बदलें

आवश्यकताएं: अपनी पसंदीदा SDK स्थापित करें

अनुरोध करने से पहले, सुनिश्चित करें कि आपके डेवलपमेंट एन्वायरनमेंट में उपयुक्त SDK इंस्टॉल है। चूँकि हमारा एंडपॉइंट openai compatible api मानक का पालन करता है, आप आधिकारिक लाइब्रेरी या किसी भी संगत क्लाइंट का उपयोग कर सकते हैं। Python के लिए, pip install openai चलाएँ। Node.js के लिए, npm install openai का उपयोग करें। अगले चरण में सेट करने के लिए आवश्यक एन्वायरनमेंट वेरिएबल्स के अलावा कोई अतिरिक्त कॉन्फ़िगरेशन फ़ाइल की आवश्यकता नहीं है।

चरण 1: बेस URL और API कुंजी कॉन्फ़िगर करें

हमारा ai gateway एंडपॉइंट एक अलग बेस URL पर काम करता है। आपको डैशबोर्ड से अपनी API कुंजी प्राप्त करने और अपने SDK क्लाइंट को https://api.openaigatewayapi.com/v1 की ओर निर्देशित करने की आवश्यकता है। यह सुनिश्चित करता है कि सभी अनुरोध मानक OpenAI इंफ्रास्ट्रक्चर को बायपास करके सीधे हमारे बिना सेंसर मॉडल सर्वरों पर रूट होते हैं। आपको मॉडल नाम बदलने की आवश्यकता नहीं है; बस बेस URL सेट करें और अपनी कुंजी प्रदान करें।

चरण 2: मानक चैट कंप्लीशन अनुरोध भेजें

क्लाइंट कॉन्फ़िगर करने के बाद, आप एक मानक चैट कंप्लीशन अनुरोध भेज सकते हैं। मॉडल ID uncensored है। यह अनुरोध बेसिक टेक्स्ट-इन, टेक्स्ट-आउट क्षमता को दर्शाता है। सिस्टम आपके प्रॉम्प्ट को प्रोसेस करेगा और एक कंप्लीशन लौटाएगा, जिसमें मुख्य प्रदाताओं द्वारा लागू किए जाने वाले सामान्य कंटेंट फ़िल्टर नहीं होंगे, बशर्ते सामग्री नाबालिगों से संबंधित यौन स्पष्ट न हो। कनेक्टिविटी की जांच करने के लिए निम्नलिखित कमांड का उपयोग करें।

चरण 3: सर्वर-सेंट इवेंट्स के साथ स्ट्रीमिंग सक्षम करें

कम लेटेंसी और बेहतर उपयोगकर्ता अनुभव के लिए, stream=true सेट करके स्ट्रीमिंग सक्षम करें। एंडपॉइंट सर्वर-सेंट इवेंट्स (SSE) का समर्थन करता है, जिससे आप टोकन को जनरेट होते हुए प्राप्त कर सकते हैं। यह लंबे-प्रारूप जनरेशन या इंटरैक्टिव एप्लिकेशन्स के लिए विशेष रूप से उपयोगी है। रिस्पॉन्स स्ट्रीम पूरा होने तक प्रतीक्षा किए बिना, पूरे कॉन्टेक्स्ट विंडो को प्रोसेस किए बिना, रियल-टाइम फीडबैक प्रदान करके आंशिक चंक्स उत्सर्जित करेगी।

चरण 4: टूल एकीकरण के लिए फ़ंक्शन कॉलिंग का उपयोग करें

एंडपॉइंट टूल कॉलिंग का समर्थन करता है, जिससे आप फ़ंक्शन परिभाषित कर सकते हैं और मॉडल को तय करने दे सकते हैं कि कब उन्हें कॉल करना है। यह बाहरी API या डेटा स्रोतों को सीधे अपने LLM लॉजिक में एकीकृत करके जटिल वर्कफ़्लो को सक्षम बनाता है। अपने टूल को tools पैरामीटर में परिभाषित करें, और मॉडल उचित होने पर संरचित JSON आउटपुट लौटाएगा। यह सुविधा मानक OpenAI फॉर्मेट के समान ही काम करती है, जिससे टूल एकीकरण लॉजिक को फिर से लिखे बिना प्रदाता बदलना आसान हो जाता है।

चरण 5: त्रुटियों और रेट लिमिट का प्रबंधन करें

अपनी API कुंजी उपयोग की निगरानी करें और संभावित त्रुटियों को प्रभावी ढंग से हैंडल करें। यदि कुंजी अमान्य है, तो आपको 401 त्रुटि मिलेगी। यदि आपका प्रीपेड क्रेडिट खत्म हो जाता है, तो 402 त्रुटि संकेत देती है कि आपको टॉप-अप करना है। प्रणाली प्रति कुंजी प्रति मिनट 300 अनुरोध की सीमा लागू करती है; इससे अधिक होने पर 429 रेट लिमिट त्रुटि ट्रिगर होगी। इसके अलावा, अस्वीकृति से बचने के लिए अपने अनुरोध बॉडी को 8 MB से कम रखें। कॉन्टेक्स्ट विंडो प्रॉम्प्ट और कंप्लीशन दोनों के लिए संयुक्त रूप से 100,000 टोकन तक का समर्थन करती है।

cURL

कॉपी करेंcurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python

कॉपी करेंfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

कॉपी करेंimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaigatewayapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

स्ट्रीमिंग

कॉपी करेंstream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)