Passerelle IA : changez de client en trois lignes

Prérequis : Installez votre SDK préféré

Avant d'effectuer des requêtes, assurez-vous que votre environnement de développement dispose du SDK approprié. Comme notre endpoint suit le standard de l'API compatible OpenAI, vous pouvez utiliser la bibliothèque officielle ou tout client compatible. Pour Python, exécutez pip install openai. Pour Node.js, utilisez npm install openai. Aucun fichier de configuration supplémentaire n'est nécessaire au-delà des variables d'environnement que vous définirez à l'étape suivante.

Étape 1 : Configurez l'URL de base et la clé API

L'endpoint de notre ai gateway fonctionne à une URL de base distincte. Vous devez récupérer votre clé API depuis le tableau de bord et configurer votre client SDK pour pointer vers https://api.openaigatewayapi.com/v1. Cela garantit que toutes les requêtes contournent l'infrastructure OpenAI standard et sont acheminées directement vers nos serveurs de modèles sans censure. Vous n'avez pas besoin de modifier le nom du modèle ; définissez simplement l'URL de base et fournissez votre clé.

Étape 2 : Envoyez une requête standard de complétion de chat

Une fois le client configuré, vous pouvez envoyer une requête de chat completion standard. L'ID du modèle est uncensored. Cette requête démontre la capacité d'entrée et de sortie de texte de base. Le système traitera votre prompt et retournera une réponse sans les filtres de contenu typiques appliqués par les principaux fournisseurs, à condition que le contenu ne soit pas explicitement sexuel impliquant des mineurs. Utilisez la commande suivante pour vérifier la connectivité.

Étape 3 : Activez le streaming avec les Server-Sent Events

Pour une latence plus faible et une meilleure expérience utilisateur, activez le streaming en définissant stream=true. L'endpoint prend en charge les Server-Sent Events (SSE), vous permettant de recevoir les tokens au fur et à mesure de leur génération. Cela est particulièrement utile pour la génération de longs textes ou les applications interactives. Le flux de réponse émettra des morceaux partiels jusqu'à la fin de la réponse, fournissant un retour en temps réel sans attendre que toute la fenêtre de contexte soit traitée.

Étape 4 : Utilisez l'appel de fonctions pour l'intégration d'outils

L'endpoint prend en charge l'appel d'outils, vous permettant de définir des fonctions et de laisser le modèle décider quand les invoquer. Cela permet des workflows complexes en intégrant des API ou des sources de données externes directement dans la logique de votre LLM. Définissez vos outils dans le paramètre tools, et le modèle retournera une sortie JSON structurée lorsque cela est approprié. Cette fonctionnalité fonctionne de manière identique au format OpenAI standard, facilitant le changement de fournisseur sans réécrire la logique d'intégration de vos outils.

Étape 5 : Gérez les erreurs et les limites de débit

Surveillez l'utilisation de votre clé API et gérez les erreurs potentielles avec élégance. Si la clé est invalide, vous recevrez une erreur 401. Si votre crédit prépayé est épuisé, une erreur 402 indique que vous devez recharger. Le système applique une limite de 300 requêtes par minute par clé ; le dépassement déclenchera une erreur de limite de débit 429. De plus, gardez le corps de votre requête sous 8 Mo pour éviter le rejet. La fenêtre de contexte prend en charge jusqu'à 100 000 tokens pour le prompt et la complétion combinés.

cURL

Copiercurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python

Copierfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copierimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaigatewayapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copierstream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)