AI Gateway: Chuyển đổi client của bạn chỉ với ba dòng mã

Yêu cầu tiên quyết: Cài đặt SDK bạn thích

Trước khi gửi yêu cầu, hãy đảm bảo môi trường phát triển của bạn đã cài đặt SDK phù hợp. Vì endpoint của chúng tôi tuân theo tiêu chuẩn API tương thích OpenAI, bạn có thể sử dụng thư viện chính thức hoặc bất kỳ client tương thích nào. Đối với Python, chạy pip install openai. Đối với Node.js, sử dụng npm install openai. Không cần tệp cấu hình bổ sung ngoài các biến môi trường bạn sẽ đặt ở bước tiếp theo.

Bước 1: Cấu hình URL cơ sở và khóa API

Endpoint AI gateway của chúng tôi hoạt động trên một URL cơ sở riêng biệt. Bạn cần lấy khóa API từ bảng điều khiển và cấu hình client SDK của bạn trỏ đến https://api.openaigatewayapi.com/v1. Điều này đảm bảo tất cả yêu cầu bỏ qua cơ sở hạ tầng OpenAI tiêu chuẩn và định tuyến trực tiếp đến máy chủ mô hình không kiểm duyệt của chúng tôi. Bạn không cần thay đổi tên mô hình; chỉ cần đặt URL cơ sở và cung cấp khóa của bạn.

Bước 2: Gửi yêu cầu hoàn thành chat tiêu chuẩn

Với client đã được cấu hình, bạn có thể gửi một yêu cầu hoàn thành trò chuyện tiêu chuẩn. ID của mô hình là uncensored. Yêu cầu này minh họa khả năng cơ bản nhập văn bản và xuất văn bản. Hệ thống sẽ xử lý prompt của bạn và trả về kết quả hoàn thành mà không có các bộ lọc nội dung thông thường do các nhà cung cấp lớn áp dụng, miễn là nội dung không phải là tình dục rõ ràng liên quan đến trẻ vị thành niên. Sử dụng lệnh sau để xác minh kết nối.

Bước 3: Bật truyền phát với Sự kiện gửi bởi máy chủ

Để giảm độ trễ và cải thiện trải nghiệm người dùng, hãy bật truyền phát bằng cách đặt stream=true. Endpoint hỗ trợ Sự kiện gửi bởi máy chủ (SSE), cho phép bạn nhận token khi chúng được tạo. Điều này đặc biệt hữu ích cho việc tạo nội dung dài hoặc các ứng dụng tương tác. Luồng phản hồi sẽ phát ra các phần nhỏ cho đến khi hoàn thành, cung cấp phản hồi thời gian thực mà không cần chờ xử lý toàn bộ cửa sổ ngữ cảnh.

Bước 4: Sử dụng gọi hàm để tích hợp công cụ

Endpoint hỗ trợ gọi công cụ, cho phép bạn xác định các hàm và để mô hình quyết định khi nào gọi chúng. Điều này cho phép các quy trình làm việc phức tạp bằng cách tích hợp các API hoặc nguồn dữ liệu bên ngoài trực tiếp vào logic LLM của bạn. Xác định các công cụ của bạn trong tham số tools, và mô hình sẽ trả về đầu ra JSON có cấu trúc khi thích hợp. Tính năng này hoạt động giống hệt với định dạng OpenAI tiêu chuẩn, giúp dễ dàng chuyển đổi nhà cung cấp mà không cần viết lại logic tích hợp công cụ của bạn.

Bước 5: Xử lý lỗi và giới hạn tốc độ

Theo dõi việc sử dụng khóa API của bạn và xử lý các lỗi tiềm ẩn một cách khéo léo. Nếu khóa không hợp lệ, bạn sẽ nhận được lỗi 401. Nếu tín dụng trả trước của bạn đã hết, lỗi 402 cho biết bạn cần nạp tiền. Hệ thống áp dụng giới hạn 300 yêu cầu mỗi phút trên mỗi khóa; vượt quá giới hạn này sẽ kích hoạt lỗi giới hạn tốc độ 429. Ngoài ra, hãy giữ thân yêu cầu của bạn dưới 8 MB để tránh bị từ chối. Cửa sổ ngữ cảnh hỗ trợ tối đa 100.000 token cho cả prompt và kết quả hoàn thành kết hợp.

cURL

Sao chépcurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python

Sao chépfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Sao chépimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaigatewayapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Truyền phát

Sao chépstream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)