AI 게이트웨이: 3줄로 클라이언트 전환

사전 준비: 선호하는 SDK 설치

요청을 시작하기 전에 개발 환경에 적절한 SDK가 설치되어 있는지 확인하세요. 엔드포인트는 openai 호환 API 표준을 따르므로 공식 라이브러리나 호환 가능한 클라이언트를 사용할 수 있습니다. Python의 경우 pip install openai를 실행하세요. Node.js의 경우 npm install openai를 사용하세요. 다음 단계에서 설정할 환경 변수 외에 추가 구성 파일은 필요하지 않습니다.

단계 1: 기본 URL 및 API 키 구성

ai gateway 엔드포인트는 고유한 기본 URL에서 작동합니다. 대시보드에서 API 키를 가져와 SDK 클라이언트가 https://api.openaigatewayapi.com/v1을 가리키도록 구성해야 합니다. 이렇게 하면 모든 요청이 표준 OpenAI 인프라를 우회하여 무검열 모델 서버로 직접 라우팅됩니다. 모델 이름을 변경할 필요 없으며 기본 URL만 설정하고 키를 제공하면 됩니다.

단계 2: 표준 채팅 완료 요청 보내기

클라이언트를 구성하면 표준 채팅 완료 요청을 보낼 수 있습니다. 모델 ID는 uncensored입니다. 이 요청은 기본 텍스트 입력-출력 기능을 보여줍니다. 시스템은 프롬프트를 처리하고 콘텐츠가 미성년자를 포함한 성적으로 명시적이지 않은 경우, 주요 제공업체가 적용하는 일반적인 콘텐츠 필터 없이 완료 결과를 반환합니다. 연결을 확인하려면 다음 명령을 사용하십시오.

단계 3: 서버 전송 이벤트로 스트리밍 활성화

낮은 지연 시간과 향상된 사용자 경험을 위해 stream=true를 설정하여 스트리밍을 활성화하세요. 엔드포인트는 서버 전송 이벤트(SSE)를 지원하여 생성된 토큰을 즉시 받을 수 있습니다. 이는 긴 형식 생성이나 대화형 애플리케이션에 특히 유용합니다. 응답 스트림은 완료가 될 때까지 부분 청크를 방출하여 전체 컨텍스트 창 처리를 기다리지 않고도 실시간 피드백을 제공합니다.

단계 4: 도구 통합을 위한 함수 호출 사용

엔드포인트는 도구 호출을 지원하여 함수를 정의하고 모델이 언제 호출할지 결정하게 할 수 있습니다. 이를 통해 외부 API나 데이터 소스를 LLM 로직에 직접 통합하여 복잡한 워크플로우를 구현할 수 있습니다. tools 매개변수에 도구를 정의하면 모델은 적절한 경우 구조화된 JSON 출력을 반환합니다. 이 기능은 표준 OpenAI 형식과 동일하게 작동하여 공급자 변경 시 도구 통합 로직을 다시 작성할 필요가 없습니다.

단계 5: 오류 및 속도 제한 처리

API 키 사용량을 모니터링하고 오류를 우아하게 처리하세요. 키가 유효하지 않으면 401 오류가 발생합니다. 선불 크레딧이 고갈되면 402 오류가 발생하여 충전이 필요함을 나타냅니다. 시스템은 키당 분당 300개의 요청 제한을 시행하며 이를 초과하면 429 속도 제한 오류가 발생합니다. 또한 요청 본문을 8 MB 이하로 유지하여 거부를 방지하세요. 컨텍스트 창은 프롬프트와 완료를 합쳐 최대 100,000 토큰을 지원합니다.

cURL

복사curl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python

복사from openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

복사import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaigatewayapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

스트리밍

복사stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)