AI Gateway: Ubah klien Anda dalam tiga baris

Prasyarat: Instal SDK Pilihan Anda

Sebelum membuat permintaan, pastikan lingkungan pengembangan Anda memiliki SDK yang sesuai terinstal. Karena endpoint kami mengikuti standar api kompatibel openai, Anda dapat menggunakan pustaka resmi atau klien kompatibel lainnya. Untuk Python, jalankan pip install openai. Untuk Node.js, gunakan npm install openai. Tidak ada file konfigurasi tambahan yang diperlukan selain variabel lingkungan yang akan Anda atur di langkah berikutnya.

Langkah 1: Konfigurasikan URL Dasar dan Kunci API

Endpoint ai gateway kami beroperasi di URL dasar yang berbeda. Anda perlu mengambil kunci API dari dasbor dan mengonfigurasi klien SDK Anda untuk mengarah ke https://api.openaigatewayapi.com/v1. Ini memastikan semua permintaan melewati infrastruktur OpenAI standar dan dialihkan langsung ke server model tanpa sensor kami. Anda tidak perlu mengubah nama model; cukup atur URL dasar dan berikan kunci Anda.

Langkah 2: Kirim Permintaan Chat Completion Standar

Dengan klien yang dikonfigurasi, Anda dapat mengirim permintaan chat completion standar. ID model adalah uncensored. Permintaan ini menunjukkan kemampuan dasar teks masuk, teks keluar. Sistem akan memproses prompt Anda dan mengembalikan completion tanpa filter konten típikal yang diterapkan oleh penyedia utama, selama konten tidak eksplisit secara seksual melibatkan anak di bawah umur. Gunakan perintah berikut untuk memverifikasi konektivitas.

Langkah 3: Aktifkan Streaming dengan Server-Sent Events

Untuk latensi lebih rendah dan pengalaman pengguna yang lebih baik, aktifkan streaming dengan mengatur stream=true. Endpoint mendukung Server-Sent Events (SSE), memungkinkan Anda menerima token saat dihasilkan. Ini sangat berguna untuk generasi teks panjang atau aplikasi interaktif. Stream respons akan memancarkan potongan parsial hingga completion selesai, memberikan umpan balik waktu nyata tanpa menunggu seluruh jendela konteks diproses.

Langkah 4: Gunakan Function Calling untuk Integrasi Alat

Endpoint mendukung pemanggilan alat, memungkinkan Anda mendefinisikan fungsi dan membiarkan model memutuskan kapan harus memanggilnya. Ini memungkinkan alur kerja kompleks dengan mengintegrasikan API eksternal atau sumber data langsung ke dalam logika LLM Anda. Definisikan alat Anda dalam parameter tools, dan model akan mengembalikan output JSON terstruktur saat sesuai. Fitur ini bekerja identik dengan format OpenAI standar, membuatnya mudah untuk mengganti penyedia tanpa menulis ulang logika integrasi alat Anda.

Langkah 5: Tangani Error dan Batas Laju

Pantau penggunaan kunci API Anda dan tangani error yang mungkin terjadi dengan baik. Jika kunci tidak valid, Anda akan menerima error 401. Jika saldo prabayar Anda habis, error 402 menunjukkan Anda perlu mengisi ulang. Sistem memberlakukan batas 300 permintaan per menit per kunci; melebihi ini akan memicu error batas laju 429. Selain itu, jaga agar body permintaan Anda di bawah 8 MB untuk menghindari penolakan. Jendela konteks mendukung hingga 100.000 token untuk prompt dan completion gabungan.

cURL

Salincurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python

Salinfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Salinimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaigatewayapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Salinstream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)