AI Gateway: wissel je client in drie regels

Vereisten: installeer je favoriete SDK

Voordat je verzoeken doet, zorg ervoor dat je ontwikkelomgeving de juiste SDK heeft geïnstalleerd. Omdat onze endpoint de openai compatible api-standaard volgt, kun je de officiële bibliotheek of elke compatibele client gebruiken. Voor Python voer je pip install openai uit. Voor Node.js gebruik je npm install openai. Er zijn geen extra configuratiebestanden nodig naast de omgevingsvariabelen die je in de volgende stap instelt.

Stap 1: basis-URL en API-sleutel configureren

Ons ai gateway-endpoint werkt op een aparte basis-URL. Je moet je API-sleutel ophalen uit het dashboard en je SDK-client configureren om naar https://api.openaigatewayapi.com/v1 te wijzen. Dit zorgt ervoor dat alle verzoeken de standaard OpenAI-infrastructuur omzeilen en direct naar onze servers voor het ongecensureerde model gaan. Je hoeft de modelnaam niet te wijzigen; stel gewoon de basis-URL in en lever je sleutel.

Stap 2: Stuur een standaard chat-completion-verzoek

Met de geconfigureerde client kun je een standaard chat-completion-verzoek sturen. De model-ID is uncensored. Dit verzoek toont de basis text-in, text-out-functionaliteit. Het systeem verwerkt je prompt en retourneert een voltooiing zonder de typische inhoudsfilters van grote aanbieders, mits de inhoud niet seksueel expliciet is met betrekking tot minderjarigen. Gebruik de volgende opdracht om de verbinding te verifiëren.

Stap 3: streaming inschakelen met Server-Sent Events

Voor minder latentie en een betere gebruikerservaring, activeer je streaming door stream=true in te stellen. Het endpoint ondersteunt Server-Sent Events (SSE), waardoor je tokens kunt ontvangen zodra ze worden gegenereerd. Dit is vooral nuttig voor het genereren van lange teksten of interactieve applicaties. De responsstream zendt gedeeltelijke brokken uit tot de voltooiing klaar is, waardoor je realtime feedback krijgt zonder te wachten tot het hele contextvenster is verwerkt.

Stap 4: function calling gebruiken voor toolintegratie

De endpoint ondersteunt tool calling, waardoor je functies kunt definiëren en het model kunt laten beslissen wanneer ze moeten worden aangeroepen. Dit maakt complexe workflows mogelijk door externe API's of gegevensbronnen direct in je LLM-logica te integreren. Definieer je tools in de parameter tools, en het model retourneert gestructureerde JSON-output wanneer dit gepast is. Deze functie werkt identiek aan de standaard OpenAI-indeling, waardoor het eenvoudig is om van aanbieder te wisselen zonder je toolintegratielogica te herschrijven.

Stap 5: Afhandelen van fouten en rate limits

Houd je API-sleutelgebruik bij en verwerk fouten op een beheersbare manier. Als de sleutel ongeldig is, ontvang je een 401-fout. Als je prepaid tegoed op is, geeft een 402-fout aan dat je moet opwaarderen. Het systeem handhaaft een limiet van 300 verzoeken per minuut per sleutel; overschrijding hiervan leidt tot een 429 rate limit-fout. Houd bovendien je request body onder de 8 MB om afwijzing te voorkomen. Het contextvenster ondersteunt maximaal 100.000 tokens voor zowel prompt als voltooiing samen.

cURL

Kopiërencurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python

Kopiërenfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Kopiërenimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaigatewayapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Kopiërenstream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)