OpenAI 게이트웨이 API 쉽게 설명하기

일반적으로 이 구문이 의미하는 것

어떤 사람이 openai gateway api를 검색할 때, 그들은 보통 세 가지 중 하나를 원하며 어떤 것인지 거의 말하지 않습니다. 세 가지는 서로 다른 작업과 비용을 가지므로, 먼저 이를 정리하면 많은 혼란을 피할 수 있습니다.

의미	기능	이것을 원하는 일반적인 사유
사용자가 실행하는 프록시 또는 라우터	사용자 인프라에 위치하며 OpenAI 형식의 요청을 받아 하나 이상의 업스트림 공급자에게 전달합니다.	중앙화된 키, 로깅, 폴백, 팀별 지출 추적
호스팅된 다중 공급자 서비스	제3자가 라우팅 레이어를 실행하고 이에 대해 청구합니다.	여러 모델에 대한 단일 계정, 유지보수할 서버 없음
호환 엔드포인트	공급자는 동일한 요청 및 응답 형식 뒤에 자체 모델을 제공합니다	다른 모델 또는 다른 콘텐츠 규칙과 함께 기존 SDK 코드를 재사용합니다.

게이트웨이라는 단어는 네트워킹 및 API 관리에서 유래했으며, 자격 증명을 확인하고 제한을 적용하며 트래픽을 전달하는 정문(front door)을 의미합니다. 언어 모델에 적용할 때, 이 정문은 OpenAI의 chat completions 엔드포인트가 대중화한 형식을 사용합니다: 모델 이름과 메시지 목록이 포함된 JSON 본문, 헤더의 베어러 토큰, 선택지와 토큰 사용량을 포함하는 JSON 응답입니다. 이러한 형식을 위해 많은 도구가 작성되었으므로, 많은 서버가 이를 모방하고 있습니다.

이 사이트의 위치

이 사이트는 첫 번째와 두 번째 행이 아닌 세 번째 행에 속합니다. 이것은 오픈 웨이트 모델 하나를 OpenAI 요청 형식으로 노출하는 호스팅 API입니다. 이 모델은 독립적인 공급자가 실행하며, 합법적인 성인 사용 시 콘텐츠 거부 없이 답변하도록 조정되었습니다. 모델 ID uncensored를 선택하여 사용합니다.

도메인 이름이 제공하는 것보다 더 많은 것을 암시할 수 있으므로 이를 명확히 해야 합니다:

• 결코 OpenAI, Meta, Mistral, Qwen, DeepSeek, xAI, Google, Anthropic 또는 다른 벤더의 공식 API가 아닙니다.
• 이것은 벤더 간 라우터가 아닙니다. 요청이 다른 회사의 모델로 전송되지 않습니다. 모든 호출은 동일한 모델로 전송됩니다.
• 텍스트 전용입니다. 이미지, 오디오 또는 비디오 생성, 임베딩, 파인튜닝이 없습니다.
• POST /v1/chat/completions 및 GET /v1/models을 지원하며, 이 두 가지 이상의 기능은 없습니다.

실제로 제공되는 것은 익숙한 인터페이스입니다: SSE를 통한 스트리밍, 도구 호출, JSON 모드 및 일반적인 샘플링 매개변수. 컨텍스트 창은 프롬프트와 생성 텍스트를 합쳐 100,000 토큰입니다. 자세한 내용은 API 문서를 참조하세요.

와이어 호환성이 유용한 이유

호환 엔드포인트 아이디어의 대부분 가치는 전환 비용을 거의 0으로 낮출 수 있다는 데 있습니다. 하나의 OpenAI 스타일 서버에서 작동하는 코드가 있다면, 다른 서버로 가리키는 것은 재작성이 아닌 구성 변경입니다. URL과 키를 변경하고 모델 이름을 변경하면 됩니다.

curl을 사용하면 구성 요소가 쉽게 보이므로 다음과 같습니다:

Copycurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in three languages."}]
  }'

Python SDK를 통한 동일한 작업이며, 여기서 생성자만 서버 정보를 알면 됩니다:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="paste-your-key-here")

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello in three languages."}],
)
print(reply.choices[0].message.content)

게이트웨이 레이어와 호환 엔드포인트가 혼동되는 이유이기도 합니다. 클라이언트 측면에서는 동일해 보입니다: 동일한 경로, 헤더, JSON. 차이는 문 뒤에 있습니다. 라우터는 각 요청에 대한 모델을 결정합니다. 호환 엔드포인트는 항상 호스팅된 모델을 사용합니다.

실제 게이트웨이 레이어가 필요한 경우

호환성만으로는 게이트웨이를 실행할 때 사람들이 의미하는 기능을 제공하지 않습니다. 다음 중 하나라도 해당되면 단일 엔드포인트에서 기대하기보다는 별도의 레이어를 계획하세요:

• 자동 폴백. 첫 번째 공급자가 실패하면 다른 공급자에서 다시 시도합니다.
• 팀별 예산 및 키. 하나의 업스트림 계정에서 각기 다른 한계가 있는 여러 내부 키를 발급합니다.
• 요청 로깅 및 마스킹. 민감한 필드를 제거하여 프롬프트 및 응답을 중앙에 기록합니다.
• 작업별 라우팅. 분류용 저렴한 모델, 추론용 대형 모델, 자체 규칙에 따라 선택합니다.
• 캐싱. 반복된 프롬프트에 대해 저장된 답변을 반환합니다.

이것은 좋은 이유이며, 여러 공급자가 있는 팀에는 자체 호스팅 프록시가 종종 올바른 답변입니다. 또한 배포, 모니터링 및 보안을 위한 서비스를 추가하므로, 이는 작은 프로젝트에서 쉽게 과소평가할 수 있는 비용입니다. LLM 게이트웨이 실행의 트레이드오프 페이지에서 이 결정을 더 자세히 살펴봅니다.

두 아이디어는 문제 없이 결합됩니다. 사용자가 실행하는 프록시는 이 엔드포인트를 업스트림으로 나열할 수 있으며, uncensored를 전달할 모델로 사용할 수 있습니다. 이러한 설정에서 X-Request-Id 응답 헤더를 로깅하세요. 특정 호출을 추적하는 데 도움이 필요할 때 인용할 값입니다.

계획해야 할 제한 사항 및 동작

단일 호스팅 엔드포인트는 단순하지만, 구축하기 전에 알아야 할 한계가 있습니다.

속도 및 동시성 제한

전체 키는 8개의 동시 요청과 분당 300개의 요청을 허용합니다. 체험 키는 2개의 동시 요청과 분당 60개의 요청을 허용합니다. 한도를 초과하면 API는 오류 코드 rate_limited 또는 concurrency와 함께 HTTP 429를 응답합니다. 임시 과부하 상태에서도 Retry-After: 5 헤더와 함께 429를 응답합니다. 스트리밍 요청은 스트림이 끝날 때까지 슬롯을 유지하므로, 긴 생성은 전체 기간 동안 동시성 제한에 포함됩니다.

요청 크기

최대 본문 크기는 8 MB입니다. 실제로 100,000토큰의 컨텍스트 창은 대부분의 프롬프트에서 더 엄격한 제한입니다. 긴 채팅 기록을 모든 호출에 넣는 경우, 한계에 도달하기 전에 줄이세요.

관찰 가능성

모든 응답에는 X-Request-Id 및 X-Balance-USD이 포함되며, 요청 및 동시성 제한을 반영하는 헤더가 포함됩니다. 이를 로깅하세요. 나중에 구축하는 게이트웨이는 동일한 헤더를 읽을 수 있으므로, 시작 시 이를 사용해도 손실이 없습니다.

모든 게이트웨이 또는 호환 API에 대해 물어볼 질문

이 서비스, 호스팅 라우터 또는 자체 호스팅 프록시를 평가할 때 동일한 체크리스트가 적용됩니다. 코드를 작성하기 전에 답변을 기록하세요.

1. 어떤 모델이 답변을 생성합니까? 특정 벤더, 독립적인 호스트에 있는 오픈 웨이트 모델, 또는 라우터가 해당 시점에 선택한 모델입니다.
2. 가격 단위는 무엇입니까? 토큰별, 요청별 또는 월별입니다. 여기서는 토큰별 선불 요금입니다.
3. 실패 시 어떻게 됩니까? 여기서는 실패하거나 거부된 요청에 대해 요금이 부과되지 않습니다.
4. 어떤 기능이 실제로 작동합니까? 데모 프롬프트가 아닌 자체 페이로드로 스트리밍, 함수 호출 및 JSON 모드를 테스트하세요.
5. 프롬프트는 어디로 가나요? 여기서는 학습용으로 사용되지 않습니다. 개인정보 보호 페이지를 읽고 대안과 비교하세요.
6. 하드 제한은 무엇입니까? 동시 요청 수, 분당 요청 수, 본문 크기 및 컨텍스트 창입니다.

가격은 1분 만에 확인할 수 있을 정도로 간단합니다: 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50이며, 만료되지 않는 선불 크레딧에서 차감됩니다. 가격 책정 페이지에는 충전 단계가 있습니다. 아무것도 지불하기 전에 엔드포인트가 어떻게 작동하는지 확인하고 싶다면, API 키 페이지에서 새 사용자가 카드 없이 한 번의 클릭으로 $0.50 무료 체험 크레딧을 받을 수 있습니다.

현명한 시작 방법

첫 번째 테스트는 작게 진행하세요. 체험 크레딧을 받거나, API 키를 확인하기 위해 GET /v1/models를 호출한 후, base URL을 변경하여 애플리케이션에서 세 개의 실제 프롬프트를 전송하세요. 오늘의 결과와 비교하고 응답 헤더를 확인하며 usage의 토큰 수를 확인하세요. 출력이 적합하고 제한 사항이 트래픽에 적합하면 나머지 기능 적용 전에 저위험 기능 하나를 먼저 적용하세요. 내부 도구, 초안 작성 보조 도구 및 백그라운드 작업은 고객 대상 워크플로우에서 발생하는 문제보다 비용이 훨씬 적게 들기 때문에 좋은 첫 번째 후보입니다.

나중에 라우팅 또는 폴백이 필요하다고 결정해도 기존에 구축한 것은 낭비되지 않습니다. 요청 형식은 동일하게 유지되며 프록시 레이어를 애플리케이션 코드 변경 없이 앞에 추가할 수 있습니다.

더 많은 가이드

• 개발자를 위한 OpenAI API: 호환 가능한 엔드포인트 사용
• OpenAI Gateway API 가격: 실제 비용 예시
• LLM 게이트웨이: 비용 대 복잡도 분석