AI-шлюз: смените клиента за три строки

Предварительные требования: установите предпочитаемый SDK

Перед отправкой запросов убедитесь, что в вашей среде разработки установлен соответствующий SDK. Поскольку наш эндпоинт соответствует стандарту openai compatible api, вы можете использовать официальную библиотеку или любой совместимый клиент. Для Python выполните pip install openai. Для Node.js используйте npm install openai. Дополнительные файлы конфигурации не требуются, кроме переменных среды, которые вы установите на следующем шаге.

Шаг 1: настройка базового URL и API-ключа

Эндпоинт нашего ai gateway работает по отдельному базовому URL. Вам нужно получить API-ключ из панели управления и настроить клиент SDK на указание на https://api.openaigatewayapi.com/v1. Это гарантирует, что все запросы обходят стандартную инфраструктуру OpenAI и направляются напрямую на серверы нашей модели без цензуры. Вам не нужно менять имя модели; просто установите базовый URL и укажите ключ.

Шаг 2: Отправьте стандартный запрос Chat Completion

Настроив клиент, вы можете отправить стандартный запрос завершения диалога. Идентификатор модели — uncensored. Этот запрос демонстрирует базовую возможность ввода текста и получения ответа. Система обработает ваш промпт и вернет завершение без типичных фильтров контента, применяемых крупными провайдерами, при условии, что контент не является откровенно сексуальным с участием несовершеннолетних. Используйте следующую команду для проверки подключения.

Шаг 3: включение потоковой передачи с помощью Server-Sent Events

Для снижения задержки и улучшения пользовательского опыта включите потоковую передачу, установив stream=true. Эндпоинт поддерживает Server-Sent Events (SSE), позволяя получать токены по мере их генерации. Это особенно полезно для генерации длинных текстов или интерактивных приложений. Поток ответа будет выдавать частичные фрагменты до завершения ответа, предоставляя обратную связь в реальном времени без ожидания обработки всего контекстного окна.

Шаг 4: использование вызова функций для интеграции инструментов

Эндпоинт поддерживает вызов инструментов, позволяя определять функции и позволяя модели решать, когда их вызывать. Это позволяет создавать сложные рабочие процессы, интегрируя внешние API или источники данных непосредственно в логику LLM. Определите свои инструменты в параметре tools, и модель вернет структурированный вывод JSON при необходимости. Эта функция работает идентично стандартному формату OpenAI, что упрощает смену провайдера без переписывания логики интеграции инструментов.

Шаг 5: Обработка ошибок и лимитов запросов

Отслеживайте использование API-ключа и обрабатывайте возможные ошибки. Если ключ недействителен, вы получите ошибку 401. Если ваш предоплаченный баланс исчерпан, ошибка 402 указывает на необходимость пополнить баланс. Система ограничивает количество запросов до 300 в минуту на ключ; превышение этого лимита вызовет ошибку rate limit 429. Кроме того, держите тело запроса в пределах 8 МБ, чтобы избежать отклонения. Контекстное окно поддерживает до 100 000 токенов для промпта и завершения вместе.

cURL

Копироватьcurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python

Копироватьfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Копироватьimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaigatewayapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Потоковая передача

Копироватьstream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)