Brama AI: Zmień klienta API w trzech liniach

Wymagania wstępne: Zainstaluj preferowane SDK

Przed wysłaniem zapytań upewnij się, że środowisko programistyczne ma zainstalowane odpowiednie SDK. Ponieważ nasz endpoint jest zgodny ze standardem zgodnym z API OpenAI, możesz użyć oficjalnej biblioteki lub dowolnego kompatybilnego klienta. Dla Pythona uruchom pip install openai. Dla Node.js użyj npm install openai. Nie są wymagane dodatkowe pliki konfiguracyjne poza zmiennymi środowiskowymi, które ustawisz w następnym kroku.

Krok 1: Skonfiguruj bazowy URL i klucz API

Nasz endpoint bramy AI działa na osobnym bazowym URL. Musisz pobrać swój klucz API z panelu i skonfigurować klienta SDK, aby wskazywał na https://api.openaigatewayapi.com/v1. To zapewnia, że wszystkie zapytania omijają standardową infrastrukturę OpenAI i są kierowane bezpośrednio do serwerów naszego modelu bez cenzury. Nie musisz zmieniać nazwy modelu; wystarczy ustawić bazowy URL i podać swój klucz.

Krok 2: Wyślij standardowe zapytanie uzupełnienia czatu

Po skonfigurowaniu klienta możesz wysłać standardowe zapytanie uzupełnienia czatu. ID modelu to uncensored. To zapytanie demonstruje podstawową zdolność do przetwarzania tekstu wejściowego i zwracania tekstu wyjściowego. System przetworzy Twój prompt i zwróci uzupełnienie bez typowych filtrów treści stosowanych przez głównych dostawców, pod warunkiem że treść nie jest erotyczna i nie dotyczy małoletnich. Użyj następującej komendy, aby zweryfikować łączność.

Krok 3: Włącz strumieniowanie za pomocą zdarzeń wysłanych przez serwer

Aby zmniejszyć opóźnienia i poprawić doświadczenie użytkownika, włącz strumieniowanie, ustawiając stream=true. Endpoint obsługuje zdarzenia wysłane przez serwer (SSE), pozwalając na odbieranie tokenów w miarę ich generowania. Jest to szczególnie przydatne przy generowaniu długich tekstów lub aplikacjach interaktywnych. Strumień odpowiedzi emituje częściowe fragmenty, aż uzupełnienie zostanie ukończone, zapewniając informacje w czasie rzeczywistym bez oczekiwania na przetworzenie całego okna kontekstu.

Krok 4: Użyj wywoływania funkcji do integracji narzędzi

Endpoint obsługuje wywoływanie narzędzi, pozwalając zdefiniować funkcje i pozwolić modelowi zdecydować, kiedy je wywołać. To umożliwia złożone przepływy pracy poprzez integrację zewnętrznych API lub źródeł danych bezpośrednio w logice LLM. Zdefiniuj swoje narzędzia w parametrze tools, a model zwróci strukturalny wynik JSON, gdy będzie to odpowiednie. Ta funkcja działa identycznie jak standardowy format OpenAI, co ułatwia zmianę dostawcy bez przepisywania logiki integracji narzędzi.

Krok 5: Obsługa błędów i limitów zapytań

Monitoruj użycie swojego klucza API i obsługuj potencjalne błędy w sposób elegancki. Jeśli klucz jest nieprawidłowy, otrzymasz błąd 401. Jeśli Twój przedpłacony kredyt zostanie wyczerpany, błąd 402 oznacza, że musisz doładować środki. System narzuca limit 300 zapytań na minutę na klucz; przekroczenie tego spowoduje błąd limitu zapytań 429. Dodatkowo, utrzymuj ciało zapytania poniżej 8 MB, aby uniknąć odrzucenia. Okno kontekstu obsługuje do 100 000 tokenów dla promptu i uzupełnienia łącznie.

cURL

Kopiujcurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python

Kopiujfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Kopiujimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaigatewayapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Strumieniowanie

Kopiujstream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)