AI Ağ Geçidi: İstemcinizi üç satırda değiştirin

Önkoşullar: Tercih Edilen SDK'nızı Yükleyin

İstek göndermeden önce geliştirme ortamınızda uygun SDK'nın yüklü olduğundan emin olun. Uç noktamız openai uyumlu api standardını takip ettiği için resmi kütüphaneyi veya herhangi bir uyumlu istemciyi kullanabilirsiniz. Python için pip install openai komutunu çalıştırın. Node.js için npm install openai kullanın. Bir sonraki adımda ayarlayacağınız ortam değişkenleri dışında ek yapılandırma dosyası gerekmez.

Adım 1: Temel URL ve API Anahtarını Yapılandırın

AI ağ geçidi uç noktamız ayrı bir temel URL'de çalışır. API anahtarınızı panelden almanız ve SDK istemcinizi https://api.openaigatewayapi.com/v1 adresini gösterecek şekilde yapılandırmanız gerekir. Bu, tüm isteklerin standart OpenAI altyapısını bypass etmesini ve doğrudan sansürsüz model sunucularımıza yönlendirilmesini sağlar. Model adını değiştirmenize gerek yoktur; yalnızca temel URL'yi ayarlayın ve anahtarınızı sağlayın.

Adım 2: Standart Sohbet Tamamlama İsteği Gönderin

İstemci yapılandırıldığında, standart bir sohbet tamamlama isteği gönderebilirsiniz. Model kimliği uncensored şeklindedir. Bu istek, temel metin-giriş, metin-çıkış yeteneğini gösterir. Sistem, içeriğin küçüklerle ilgili cinsel açıdan açık içerik içermemesi koşuluyla, büyük sağlayıcıların uyguladığı tipik içerik filtreleri olmadan, isteminizi işleyip bir tamamlama döndürür. Bağlantıyı doğrulamak için aşağıdaki komutu kullanın.

Adım 3: Sunucu Tarafından Gönderilen Etkinliklerle Akışı Etkinleştirin

Daha düşük gecikme süresi ve daha iyi kullanıcı deneyimi için stream=true ayarlayarak akışı etkinleştirin. Uç nokta, Sunucu Tarafından Gönderilen Etkinlikleri (SSE) destekler; bu da token'ların oluşturulurken size iletilmesini sağlar. Bu özellik, özellikle uzun metin üretimi veya etkileşimli uygulamalar için kullanışlıdır. Yanıt akışı, tamamlama bitene kadar kısmi parçaları yayımlar ve tüm bağlam penceresinin işlenmesini beklemeden gerçek zamanlı geri bildirim sağlar.

Adım 4: Araç Entegrasyonu İçin Fonksiyon Çağırma Kullanın

Uç nokta, araç çağırma desteği sunar; bu sayede fonksiyonları tanımlayabilir ve modelin bunları ne zaman çağıracağını belirleyebilirsiniz. Bu özellik, harici API'leri veya veri kaynaklarını doğrudan LLM mantığınıza entegre ederek karmaşık iş akışlarını mümkün kılar. Araçlarınızı tools parametresinde tanımlayın; model uygun olduğunda yapılandırılmış JSON çıktısı döndürür. Bu özellik, standart OpenAI formatıyla aynı şekilde çalışır; bu nedenle sağlayıcı değiştirmeden araç entegrasyon mantığınızı yeniden yazmanıza gerek kalmaz.

Adım 5: Hataları ve Hız Limitlerini Yönetin

API anahtarınızı kullanımını izleyin ve olası hataları zarifçe yönetin. Anahtar geçersizse 401 hatası alırsınız. Ön ödemeli kredileriniz tükendiğinde, 402 hatası bakiye yüklemeniz gerektiğini gösterir. Sistem, anahtar başına dakikada 300 istek için bir hız limiti uygular; bu limiti aşmanız 429 hız limiti hatını tetikler. Ayrıca, reddedilmeyi önlemek için istek gövdenizin 8 MB altında kalmasına dikkat edin. Bağlam penceresi, hem istem hem de tamamlama için birlikte toplam 100.000 token'a kadar destekler.

cURL

Kopyalacurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python

Kopyalafrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Kopyalaimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaigatewayapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Akış

Kopyalastream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)