Gateway de IA: altere seu cliente em três linhas

Pré-requisitos: Instale seu SDK preferido

Antes de fazer requisições, verifique se o seu ambiente de desenvolvimento tem o SDK apropriado instalado. Como o nosso endpoint segue o padrão API compatível com OpenAI, você pode usar a biblioteca oficial ou qualquer cliente compatível. Para Python, execute pip install openai. Para Node.js, use npm install openai. Nenhum arquivo de configuração adicional é necessário além das variáveis de ambiente que você definirá na próxima etapa.

Passo 1: Configure a URL base e a chave de API

O nosso endpoint gateway de IA opera em um URL base distinto. Você precisa recuperar sua chave de API no painel e configurar o cliente do SDK para apontar para https://api.openaigatewayapi.com/v1. Isso garante que todas as requisições contornem a infraestrutura padrão da OpenAI e sejam roteadas diretamente para os servidores do modelo sem censura. Você não precisa alterar o nome do modelo; basta definir o URL base e fornecer sua chave.

Passo 2: Envie uma requisição padrão de conclusão de chat

Com o cliente configurado, você pode enviar uma requisição padrão de conclusão de chat. O ID do modelo é uncensored. Esta requisição demonstra a capacidade básica de entrada de texto e saída de texto. O sistema processará seu prompt e retornará uma conclusão sem os filtros de conteúdo típicos aplicados pelos principais provedores, desde que o conteúdo não seja sexualmente explícito envolvendo menores. Use o seguinte comando para verificar a conectividade.

Passo 3: Ative o streaming com Server-Sent Events

Para menor latência e melhor experiência do usuário, ative o streaming definindo stream=true. O endpoint suporta Server-Sent Events (SSE), permitindo que você receba tokens conforme são gerados. Isso é particularmente útil para geração de texto longo ou aplicativos interativos. O fluxo de resposta emitirá pedaços parciais até que a conclusão seja finalizada, fornecendo feedback em tempo real sem esperar que toda a janela de contexto seja processada.

Passo 4: Use chamada de funções para integração de ferramentas

O endpoint suporta chamada de ferramentas, permitindo que você defina funções e deixe o modelo decidir quando invocá-las. Isso permite fluxos de trabalho complexos integrando APIs externas ou fontes de dados diretamente na lógica do seu LLM. Defina suas ferramentas no parâmetro tools, e o modelo retornará saída JSON estruturada quando apropriado. Este recurso funciona de forma idêntica ao formato padrão da OpenAI, facilitando a troca de provedores sem reescrever a lógica de integração de ferramentas.

Etapa 5: Lidar com erros e limites de taxa

Monitore o uso da sua chave de API e trate erros potenciais de forma graciosa. Se a chave for inválida, você receberá um erro 401. Se o seu crédito pré-pago se esgotar, um erro 402 indica que você precisa recarregar. O sistema impõe um limite de 300 requisições por minuto por chave; exceder isso acionará um erro de limite de requisições 429. Além disso, mantenha o corpo da requisição abaixo de 8 MB para evitar rejeição. A janela de contexto suporta até 100.000 tokens para o prompt e a conclusão combinados.

cURL

Copiarcurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python

Copiarfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copiarimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaigatewayapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copiarstream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)