API шлюза OpenAI: простое объяснение

Что обычно означает эта фраза

Когда кто-то ищет openai gateway api, он обычно хочет одно из трёх, но редко говорит, что именно. Разбор по пунктам экономит путаницу, так как у трёх вариантов разные задачи и разная стоимость.

Что значит	Что делает	Типичная причина желания
Прокси или маршрутизатор, который вы запускаете	Находится в вашей инфраструктуре, принимает запросы в формате OpenAI и пересылает их одному или нескольким вышестоящим провайдерам	Центральные ключи, логирование, резервирование, учёт расходов по командам
Размещённый сервис для нескольких провайдеров	Третья сторона запускает этот слой маршрутизации за вас и выставляет вам счёт	Один аккаунт для многих моделей, не нужно обслуживать серверы
Совместимый эндпоинт	Провайдер обслуживает свою модель через тот же формат запросов и ответов	Переиспользуйте существующий код SDK с другой моделью или другими правилами контента

Слово «шлюз» пришло из сетевых технологий и управления API, где оно означает входную дверь, проверяющую учётные данные, применяющую лимиты и передающую трафик дальше. Применительно к языковым моделям эта входная дверь говорит на формате, популяризированном эндпоинтом завершений чата от OpenAI: JSON-тело с именем модели и списком сообщений, токен Bearer в заголовке и JSON-ответ с вариантами и использованием токенов. Поскольку под этот формат написано множество инструментов, многие серверы теперь его имитируют.

Где вписывается этот сайт

Этот сайт относится к третьей строке, а не к первым двум. Это размещённый API, предоставляющий одну модель с открытыми весами через формат запросов OpenAI. Модель запускается независимым провайдером и дообучена для ответов без отказов по контенту для законного использования взрослыми. Вы выбираете её по ID модели uncensored.

Это стоит разъяснить, так как доменное имя может намекать на большее, чем есть на самом деле:

• Это не официальный API OpenAI, Meta, Mistral, Qwen, DeepSeek, xAI, Google, Anthropic или любого другого поставщика.
• Это не маршрутизатор между поставщиками. Запрос не пересылается в модель другой компании. Каждый вызов идёт к одной и той же модели.
• Только текст. Нет генерации изображений, аудио или видео, нет эмбеддингов и нет дообучения.
• Он поддерживает POST /v1/chat/completions и GET /v1/models, и ничего больше.

Что вы получаете, так это привычный интерфейс: потоковая передача через SSE, вызов функций, JSON-режим и стандартные параметры сэмплирования. Контекстное окно — 100 000 токенов, считая промпт и завершение вместе. Подробности в документации API.

Почему совместимость на уровне протокола — полезная часть

Большая ценность идеи совместимого эндпоинта в том, что стоимость переключения падает почти до нуля. Если ваш код работает с сервером в стиле OpenAI, указание его на другой — это изменение конфигурации, а не переписывание. Вы меняете URL и ключ, а также имя модели.

Вот как это выглядит с curl, что позволяет увидеть все компоненты:

Copycurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in three languages."}]
  }'

И то же самое через Python SDK, где о сервере знает только конструктор:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="paste-your-key-here")

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello in three languages."}],
)
print(reply.choices[0].message.content)

Это также причина, по которой слой шлюза и совместимый эндпоинт путают. Со стороны клиента они выглядят одинаково: тот же путь, те же заголовки, тот же JSON. Разница за дверью. Маршрутизатор решает, какая модель отвечает на каждый запрос. Совместимый эндпоинт всегда использует размещённую им модель.

Когда нужен настоящий слой шлюза

Сама по себе совместимость не даёт функций, которые люди имеют в виду, говоря о запуске шлюза. Если что-то из этого про вас, планируйте отдельный слой, а не ожидайте его от одного эндпоинта:

• Автоматическое резервирование. Повторная попытка у другого провайдера при ошибке первого.
• Бюджеты и ключи для команд. Выпускайте много внутренних ключей с собственным лимитом из одного аккаунта вышестоящего провайдера.
• Логирование и маскировка запросов. Записывайте промпты и ответы централизованно, удаляя чувствительные поля.
• Маршрутизация по задачам. Дешёвая модель для классификации, большая для рассуждений, выбираемая по вашим правилам.
• Кеширование. Возвращайте сохранённые ответы для повторяющихся промптов.

Это веские причины, и самохостинговый прокси часто является правильным ответом для команды с несколькими провайдерами. Он также добавляет сервис для развёртывания, мониторинга и защиты, что является стоимостью, которую легко недооценить для небольшого проекта. Страница о компромиссах при запуске шлюза LLM подробно разбирает это решение.

Две идеи сочетаются без проблем. Прокси, который вы запускаете, может указать этот эндпоинт как один из вышестоящих, с uncensored в качестве модели, к которой он пересылает запросы. В этой настройке логируйте заголовок ответа X-Request-Id на своей стороне. Это значение нужно указывать, если вам когда-нибудь понадобится помощь в отслеживании конкретного вызова.

Ограничения и поведение, которые стоит учесть

Один размещённый эндпоинт прост, но у него есть особенности, о которых стоит знать перед построением на его основе.

Лимиты частоты и параллельных запросов

Полный ключ позволяет 8 параллельных запросов и 300 запросов в минуту. Пробный ключ позволяет 2 параллельных и 60 в минуту. При превышении лимита API отвечает HTTP 429 с кодом ошибки rate_limited или concurrency. При временной перегрузке он также отвечает 429, с заголовком Retry-After: 5. Потоковый запрос удерживает свой слот до конца потока, поэтому длинные генерации учитываются в лимите параллельных запросов на всё их время.

Размер запроса

Максимальный размер тела — 8 МБ. На практике 100 000-токенное окно является более строгим ограничением для большинства промптов. Если вы загружаете длинную историю чата в каждый вызов, сократите её, прежде чем достигнуть любого из пределов.

Наблюдаемость

Каждый ответ включает X-Request-Id и X-Balance-USD, а также заголовки, возвращающие ваши лимиты запросов и параллельных запросов. Логируйте их. Шлюз, который вы построите позже, сможет читать те же заголовки, так что вы ничего не теряете, начиная с них.

Вопросы, которые стоит задать о любом шлюзе или совместимом API

Этот же чек-лист подходит, если вы оцениваете этот сервис, хостинговый роутер или прокси, установленный самостоятельно. Запишите ответы, прежде чем интегрировать код с любым из них.

1. Какая модель отвечает? Названный вендор, модель с открытыми весами на независимом хосте или та, которую роутер выберет в данный момент.
2. Какова единица цены? За токен, за запрос или в месяц. Здесь цена за токен, предоплата.
3. Что происходит при сбое? Здесь неудачные или отклоненные запросы не оплачиваются.
4. Какие функции работают на самом деле? Протестируйте потоковую передачу, вызов функций и JSON-режим с помощью своих полезных нагрузок, а не демо-промпта.
5. Куда отправляются промпты? Здесь они не используются для обучения. Прочитайте страницу конфиденциальности, чтобы узнать подробности, и сравните её с любым альтернативным вариантом.
6. Какие жесткие ограничения? Параллельные запросы, количество запросов в минуту, размер тела и контекстное окно.

Ценообразование достаточно простое, чтобы проверить его за минуту: $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов, списываются с предоплаченного баланса, который не сгорает. На странице с ценами указаны уровни пополнения. Если вы хотите посмотреть, как работает эндпоинт, прежде чем что-либо оплатить, на странице API-ключей новые пользователи могут одним кликом получить пробный баланс в размере $0,50 без привязки карты.

Разумный способ начать

Сделайте первый тест небольшим. Получите пробный баланс, вызовите GET /v1/models, чтобы подтвердить ключ, затем отправьте три реальных промпта из вашего приложения, изменив базовый URL. Сравните ответы с тем, что вы получаете сегодня, проверьте заголовки ответа и посмотрите на количество токенов в usage. Если вывод подходит и ограничения соответствуют вашему трафику, перенесите одну функцию с низким риском, прежде чем остальные. Внутренние инструменты, помощники для черновиков и фоновые задания — хорошие первые кандидаты, поскольку шероховатость там обойдется вам гораздо дешевле, чем в потоке, ориентированном на клиентов.

Если позже вы решите, что вам нужны маршрутизация или резервирование, ничего из созданного не пропадет. Формат запроса остается прежним, и слой прокси можно добавить перед приложением без изменения кода.

Дополнительные руководства

• API OpenAI для разработчиков: использование совместимого эндпоинта
• Ценообразование OpenAI Gateway API: примеры реальных затрат
• Шлюз LLM: анализ стоимости и сложности