AI-Gateway: Wechsle deinen Client in drei Zeilen

Voraussetzungen: Installiere dein bevorzugtes SDK

Stelle vor dem Senden von Anfragen sicher, dass deine Entwicklungsumgebung das passende SDK installiert hat. Da unser Endpunkt den openai compatible api-Standard folgt, kannst du die offizielle Bibliothek oder jeden kompatiblen Client verwenden. Für Python führe pip install openai aus. Für Node.js verwende npm install openai. Es sind keine zusätzlichen Konfigurationsdateien erforderlich, außer den Umgebungsvariablen, die du im nächsten Schritt festlegst.

Schritt 1: Konfiguriere Base URL und API-Schlüssel

Unser ai gateway-Endpunkt läuft unter einer eigenen Base URL. Du musst deinen API-Schlüssel aus dem Dashboard abrufen und deinen SDK-Client so konfigurieren, dass er auf https://api.openaigatewayapi.com/v1 zeigt. Dies stellt sicher, dass alle Anfragen die Standard-OpenAI-Infrastruktur umgehen und direkt zu unseren Servern für unzensierte Modelle geleitet werden. Du musst den Modellnamen nicht ändern; setze einfach die Base URL und gib deinen Schlüssel an.

Schritt 2: Sende eine Standard-Chat-Vervollständigungsanfrage

Mit dem konfigurierten Client kannst du eine Standard-Chat-Vervollständigungsanfrage senden. Die Modell-ID ist uncensored. Diese Anfrage veranschaulicht die grundlegende Text-in, Text-out-Funktionalität. Das System verarbeitet deinen Prompt und gibt eine Vervollständigung zurück, ohne die typischen Inhaltsfilter, die große Anbieter anwenden, vorausgesetzt, der Inhalt ist nicht sexuell explizit und betrifft Minderjährige. Verwende den folgenden Befehl, um die Konnektivität zu überprüfen.

Schritt 3: Aktiviere Streaming mit Server-Sent Events

Aktiviere für geringere Latenz und eine bessere Benutzererfahrung das Streaming, indem du stream=true setzt. Der Endpunkt unterstützt Server-Sent Events (SSE), sodass du Token empfangen kannst, sobald sie generiert werden. Dies ist besonders nützlich für die Generierung langer Texte oder interaktive Anwendungen. Der Antwort-Stream sendet teilweise Chunks, bis die Vervollständigung abgeschlossen ist, und bietet Echtzeit-Feedback, ohne auf die Verarbeitung des gesamten Kontextfensters zu warten.

Schritt 4: Nutze Function Calling für Tool-Integration

Der Endpunkt unterstützt Function Calling, sodass du Funktionen definieren und das Modell entscheiden lassen kannst, wann es sie aufruft. Dies ermöglicht komplexe Workflows, indem externe APIs oder Datenquellen direkt in deine LLM-Logik integriert werden. Definiere deine Tools im tools-Parameter, und das Modell gibt bei Bedarf strukturierte JSON-Ausgaben zurück. Diese Funktion funktioniert identisch zum Standard-OpenAI-Format, was den Wechsel des Anbieters erleichtert, ohne deine Tool-Integrationslogik neu schreiben zu müssen.

Schritt 5: Fehler und Ratenlimits behandeln

Überwache die Nutzung deines API-Schlüssels und behandle potenzielle Fehler angemessen. Wenn der Schlüssel ungültig ist, erhältst du einen 401-Fehler. Wenn dein Prepaid-Guthaben aufgebraucht ist, zeigt ein 402-Fehler an, dass du aufladen musst. Das System erzwingt ein Limit von 300 Anfragen pro Minute pro Schlüssel; dessen Überschreitung löst einen 429-Ratenlimit-Fehler aus. Halte außerdem deinen Anfragekörper unter 8 MB, um eine Ablehnung zu vermeiden. Das Kontextfenster unterstützt bis zu 100.000 Token für Prompt und Vervollständigung zusammen.

cURL

Kopierencurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python

Kopierenfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Kopierenimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaigatewayapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Kopierenstream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)