AI Gateway: cambia il tuo client in tre righe

Prerequisiti: installa il tuo SDK preferito

Prima di inviare richieste, assicurati che il tuo ambiente di sviluppo abbia installato l'SDK appropriato. Poiché il nostro endpoint segue lo standard API compatibile con OpenAI, puoi utilizzare la libreria ufficiale o qualsiasi client compatibile. Per Python, esegui pip install openai. Per Node.js, usa npm install openai. Non sono necessari file di configurazione aggiuntivi oltre alle variabili d'ambiente che imposterai nel passaggio successivo.

Fase 1: configura l'URL di base e la chiave API

L'endpoint del nostro gateway AI opera a un URL base distinto. Devi recuperare la tua chiave API dal dashboard e configurare il client SDK per puntare a https://api.openaigatewayapi.com/v1. Questo garantisce che tutte le richieste bypassino l'infrastruttura standard di OpenAI e vengano instradate direttamente ai server del modello senza censura. Non devi modificare il nome del modello; imposta semplicemente l'URL base e fornisci la tua chiave.

Fase 2: invia una richiesta standard di completamento chat

Con il client configurato, puoi inviare una richiesta standard di completamento chat. L'ID del modello è uncensored. Questa richiesta dimostra la capacità di elaborare testo in ingresso e restituire testo in uscita. Il sistema elaborerà il tuo prompt e restituirà un completamento senza i tipici filtri sui contenuti applicati dai principali provider, purché il contenuto non sia sessualmente esplicito e coinvolga minori. Usa il comando seguente per verificare la connettività.

Fase 3: abilita lo streaming con gli eventi inviati dal server

Per una latenza inferiore e una migliore esperienza utente, abilita lo streaming impostando stream=true. L'endpoint supporta gli eventi inviati dal server (SSE), consentendoti di ricevere i token man mano che vengono generati. Questo è particolarmente utile per la generazione di testi lunghi o per applicazioni interattive. Il flusso di risposta emetterà parti parziali fino al termine del completamento, fornendo feedback in tempo reale senza attendere l'elaborazione dell'intera finestra di contesto.

Fase 4: usa la chiamata di funzioni per l'integrazione degli strumenti

L'endpoint supporta la chiamata di strumenti, consentendoti di definire funzioni e lasciare che il modello decida quando invocarle. Ciò consente flussi di lavoro complessi integrando API esterne o origini dati direttamente nella logica del tuo LLM. Definisci i tuoi strumenti nel parametro tools, e il modello restituirà un output JSON strutturato quando appropriato. Questa funzione funziona identicamente al formato standard di OpenAI, rendendo facile il cambio di provider senza riscrivere la logica di integrazione degli strumenti.

Passo 5: Gestisci errori e limiti di richieste

Monitora l'utilizzo della tua chiave API e gestisci gli errori potenziali in modo elegante. Se la chiave non è valida, riceverai un errore 401. Se i tuoi crediti prepagati sono esauriti, un errore 402 indica che devi ricaricare. Il sistema impone un limite di 300 richieste al minuto per chiave; superarlo attiverà un errore di limite di richiesta 429. Inoltre, mantieni il corpo della richiesta sotto 8 MB per evitare il rifiuto. La finestra di contesto supporta fino a 100.000 token per prompt e completamento combinati.

cURL

Copiacurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python

Copiafrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copiaimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaigatewayapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copiastream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)