AI Gateway: เปลี่ยนไคลเอนต์ของคุณในสามบรรทัด

ข้อกำหนดเบื้องต้น: ติดตั้ง SDK ที่คุณต้องการ

ก่อนส่งคำขอ ให้แน่ใจว่าสภาพแวดล้อมการพัฒนาของคุณมี SDK ที่เหมาะสมติดตั้งอยู่ เนื่องจากเอนด์พอยต์ของเราปฏิบัติตามมาตรฐาน api ที่เข้ากันได้กับ openai คุณสามารถใช้ไลบรารีทางการหรือไคลเอนต์ที่เข้ากันได้ สำหรับ Python ให้รัน pip install openai สำหรับ Node.js ให้ใช้ npm install openai ไม่จำเป็นต้องมีไฟล์กำหนดค่าเพิ่มเติม นอกเหนือจากตัวแปรสภาพแวดล้อมที่คุณจะตั้งค่าในขั้นตอนถัดไป

ขั้นตอนที่ 1: กำหนดค่า Base URL และคีย์ API

เอนด์พอยต์ ai gateway ของเราทำงานที่ Base URL ที่แตกต่างกัน คุณต้องดึงคีย์ API ของคุณจากแดชบอร์ดและกำหนดค่าไคลเอนต์ SDK ของคุณให้ชี้ไปที่ https://api.openaigatewayapi.com/v1 สิ่งนี้ทำให้แน่ใจว่าคำขอทั้งหมดจะข้ามโครงสร้างพื้นฐานมาตรฐานของ OpenAI และเปลี่ยนเส้นทางไปยังเซิร์ฟเวอร์โมเดลแบบไม่เซ็นเซอร์ของเราโดยตรง คุณไม่จำเป็นต้องเปลี่ยนชื่อโมเดล เพียงตั้งค่า Base URL และให้คีย์ของคุณ

ขั้นตอนที่ 2: ส่งคำขอ Chat Completion มาตรฐาน

เมื่อตั้งค่าไคลเอนต์แล้ว คุณสามารถส่งคำขอ chat completion มาตรฐานได้ รหัสโมเดลคือ uncensored คำขอนี้แสดงความสามารถพื้นฐานในการรับข้อความและส่งออกข้อความ ระบบจะประมวลผลพรอมต์ของคุณและส่งค่า completion กลับมาโดยไม่มีตัวกรองเนื้อหาทั่วไปที่ผู้ให้บริการรายใหญ่ใช้ โดยที่เนื้อหาไม่มีความชัดเจนทางเพศที่เกี่ยวข้องกับเด็ก ใช้คำสั่งต่อไปนี้เพื่อตรวจสอบการเชื่อมต่อ

ขั้นตอนที่ 3: เปิดใช้งานสตรีมมิงด้วย Server-Sent Events

เพื่อลดเวลาแฝงและปรับปรุงประสบการณ์ผู้ใช้ ให้เปิดใช้งานสตรีมมิงโดยการตั้งค่า stream=true เอนด์พอยต์รองรับ Server-Sent Events (SSE) ทำให้คุณสามารถรับโทเคนเมื่อถูกสร้างขึ้น สิ่งนี้มีประโยชน์อย่างยิ่งสำหรับการสร้างเนื้อหาแบบยาวหรือแอปพลิเคชันแบบโต้ตอบ สตรีมการตอบกลับจะปล่อยชิ้นส่วนย่อยจนกว่าการสร้างจะเสร็จสิ้น ให้ข้อเสนอแนะแบบเรียลไทม์โดยไม่ต้องรอให้ประมวลผลหน้าต่างบริบททั้งหมด

ขั้นตอนที่ 4: ใช้การเรียกใช้ฟังก์ชันสำหรับการผสานรวมเครื่องมือ

เอนด์พอยต์รองรับการเรียกใช้เครื่องมือ ซึ่งอนุญาตให้คุณกำหนดฟังก์ชันและให้โมเดลตัดสินใจเมื่อเรียกใช้ สิ่งนี้เปิดใช้งานเวิร์กโฟลว์ที่ซับซ้อนโดยการผสานรวม API หรือแหล่งข้อมูลภายนอกเข้ากับตรรกะ LLM ของคุณโดยตรง กำหนดเครื่องมือของคุณในพารามิเตอร์ tools และโมเดลจะคืนค่า JSON ที่มีโครงสร้างเมื่อเหมาะสม คุณลักษณะนี้ทำงานเหมือนกับรูปแบบ OpenAI มาตรฐาน ทำให้สลับผู้ให้บริการได้ง่ายโดยไม่ต้องเขียนตรรกะการผสานรวมเครื่องมือของคุณใหม่

ขั้นตอนที่ 5: จัดการข้อผิดพลาดและขีดจำกัดอัตรา

ตรวจสอบการใช้งานคีย์ API ของคุณและจัดการข้อผิดพลาดอย่างเหมาะสม หากคีย์ไม่ถูกต้อง คุณจะรับข้อผิดพลาด 401 หากเครดิตแบบเติมเงินล่วงหน้าของคุณหมดแล้ว ข้อผิดพลาด 402 ระบุว่าคุณต้องเติมเงิน ระบบกำหนดขีดจำกัด 300 คำขอต่อนาทีต่อคีย์ การเกินนี้จะทำให้เกิดข้อผิดพลาด rate limit 429 นอกจากนี้ ให้รักษาร่างคำขอของคุณไว้ต่ำกว่า 8 MB เพื่อหลีกเลี่ยงการปฏิเสธ หน้าต่างบริกรรองรับโทเคนได้สูงสุด 100,000 โทเคนสำหรับพรอมต์และการสร้างเอาต์พุตรวมกัน

cURL

คัดลอกcurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python

คัดลอกfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

คัดลอกimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaigatewayapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

สตรีมมิง

คัดลอกstream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)