อธิบาย API Gateway ของ OpenAI อย่างเข้าใจง่าย แบบเข้าใจง่าย

ความหมายที่พบบ่อยของวลีนี้

เมื่อใครบางคนค้นหา openai gateway api พวกเขามักต้องการสิ่งใดสิ่งหนึ่งจากสามสิ่งนี้ แต่พวกเขาไม่ค่อยบอกความต้องการที่ชัดเจน การแยกแยะสิ่งเหล่านี้ก่อนจะช่วยลดความสับสนได้มาก เพราะทั้งสามอย่างมีหน้าที่และต้นทุนที่แตกต่างกัน

ความหมาย	สิ่งที่มันทำ	เหตุผลทั่วไปที่ต้องการ
พร็อกซีหรือเราเตอร์ที่คุณดำเนินการเอง	อยู่ในโครงสร้างพื้นฐานของคุณ รับคำขอในรูปแบบ OpenAI และส่งต่อไปยังผู้ให้บริการต้นทางหนึ่งรายหรือมากกว่า	คีย์กลาง การบันทึกข้อมูล การเปลี่ยนไปใช้ผู้ให้บริการอื่น และการติดตามค่าใช้จ่ายต่อทีม
บริการโฮสต์หลายผู้ให้บริการ	บุคคลที่สามดำเนินการชั้นเราเตอร์นี้ให้คุณและเรียกเก็บเงินจากคุณ	บัญชีเดียวสำหรับโมเดลหลายตัว ไม่ต้องดูแลเซิร์ฟเวอร์
เอนด์พอยต์ที่เข้ากันได้	ผู้ให้บริการให้บริการโมเดลของตนเองผ่านรูปแบบคำขอและคำตอบเดียวกัน	นำโค้ด SDK ที่มีอยู่ไปใช้กับโมเดลอื่นหรือกฎเนื้อหาที่แตกต่างออกไป

คำว่าเกตเวย์มาจากเครือข่ายและการจัดการ API ซึ่งหมายถึงประตูหน้าบ้านที่ตรวจสอบข้อมูลประจำตัว ใช้ขีดจำกัด และส่งการจราจรต่อไป เมื่อใช้กับโมเดลภาษา ประตูหน้าบ้านนี้จะพูดในรูปแบบที่ได้รับความนิยมจากเอนด์พอยต์ chat completions ของ OpenAI: ร่าง JSON ที่มีชื่อโมเดลและรายการข้อความ โทเคน Bearer ในส่วนหัว และคำตอบ JSON ที่มีตัวเลือกและการใช้งานโทเคน เนื่องจากเครื่องมือจำนวนมากถูกเขียนสำหรับรูปแบบนี้ เซิร์ฟเวอร์จำนวนมากจึงเลียนแบบรูปแบบนี้

ตำแหน่งของเว็บไซต์นี้

เว็บไซต์นี้อยู่ในแถวที่สาม ไม่ใช่สองแถวแรก เป็น API แบบโฮสต์ที่เปิดเผยโมเดลแบบเปิดน้ำหนักหนึ่งตัวผ่านรูปแบบคำขอของ OpenAI โมเดลนี้ได้รับการปรับแต่งให้ตอบคำถามโดยไม่มีการปฏิเสธเนื้อหา สำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย คุณเลือกมันด้วย ID โมเดล uncensored

สิ่งนี้จำเป็นต้องอธิบายให้ชัดเจน เพราะชื่อโดเมนอาจสื่อมากกว่าที่ให้บริการ:

• มันไม่ใช่ API อย่างเป็นทางการของ OpenAI, Meta, Mistral, Qwen, DeepSeek, xAI, Google, Anthropic หรือผู้ขายรายอื่น
• มันไม่ใช่ เราเตอร์ข้ามผู้ขาย ไม่มีคำขอใดที่ส่งไปยังโมเดลของบริษัทอื่น คำเรียกทั้งหมดไปยังโมเดลเดียวกัน
• รองรับเฉพาะข้อความ ไม่มีสร้างภาพ เสียง หรือวิดีโอ ไม่มี embeddings และการปรับแต่งเฉพาะทาง
• มันรองรับ POST /v1/chat/completions และ GET /v1/models และไม่มีอย่างอื่นนอกจากสองสิ่งนี้

สิ่งที่คุณได้รับคือพื้นผิวที่คุ้นเคย: สตรีมมิงผ่าน SSE, การเรียกใช้ฟังก์ชัน, โหมด JSON และพารามิเตอร์การสุ่มตัวอย่างทั่วไป หน้าต่างบริบทคือ 100,000 โทเคน โดยนับพรอมต์และการสร้างคำตอบรวมกัน รายละเอียดอยู่ใน เอกสาร API

ทำไมความเข้ากันได้ของโปรโตคอลจึงเป็นส่วนที่มีประโยชน์

คุณค่าหลักของแนวคิดเอนด์พอยต์ที่เข้ากันได้คือทำให้ต้นทุนการเปลี่ยนไปใช้ผู้ให้บริการอื่นลดลงจนแทบเป็นศูนย์ หากโค้ดของคุณทำงานกับเซิร์ฟเวอร์สไตล์ OpenAI ได้ การเปลี่ยนไปใช้เซิร์ฟเวอร์อื่นจึงเป็นการแก้ไขการกำหนดค่าแทนที่จะเป็นการเขียนโค้ดใหม่ คุณเพียงเปลี่ยน URL และคีย์ และเปลี่ยนชื่อโมเดล

นี่คือตัวอย่างการใช้งานผ่าน curl ซึ่งช่วยให้เห็นส่วนประกอบต่างๆ ได้ชัดเจน:

Copycurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in three languages."}]
  }'

และตัวอย่างเดียวกันนี้ผ่าน Python SDK ซึ่งตัวคอนสตรัคเตอร์เพียงตัวเดียวเท่านั้นที่รู้จักเซิร์ฟเวอร์:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="paste-your-key-here")

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello in three languages."}],
)
print(reply.choices[0].message.content)

นี่คือสาเหตุที่เลเยอร์เกตเวย์และเอนด์พอยต์ที่เข้ากันได้มักถูกเข้าใจผิดจากกัน จากมุมมองไคลเอนต์ทั้งสองดูเหมือนกัน: เส้นทางเดียวกัน เฮดเดอร์เดียวกัน และ JSON เดียวกัน ความแตกต่างอยู่ภายใน เกตเวย์ทำหน้าที่ตัดสินใจว่าโมเดลใดจะตอบกลับคำขอแต่ละคำ ในขณะที่เอนด์พอยต์ที่เข้ากันได้จะใช้โมเดลที่โฮสต์ไว้เสมอ

เมื่อคุณต้องการเลเยอร์เกตเวย์แบบเต็มรูปแบบ

ความเข้ากันได้เพียงอย่างเดียวไม่ได้มอบฟีเจอร์ที่ผู้คนหมายถึงเมื่อพูดถึงการรันเกตเวย์ หากเงื่อนไขใดเงื่อนไขหนึ่งด้านล่างตรงกับคุณ ให้วางแผนสำหรับเลเยอร์แยกต่างหากแทนที่จะคาดหวังให้มันมาจากเอนด์พอยต์เดียว:

• การเปลี่ยนไปใช้ผู้ให้บริการอื่นอัตโนมัติ ลองเรียกใช้ผู้ให้บริการรายอื่นเมื่อผู้ให้บริการแรกเกิดข้อผิดพลาด
• งบประมาณและคีย์แบบทีม ออกคีย์ภายในจำนวนมาก แต่ละคีย์มีขีดจำกัดของตัวเอง จากบัญชีหลักหนึ่งบัญชี
• การบันทึกและปิดบังคำขอ บันทึกพรอมต์และผลลัพธ์รวมกัน โดยลบฟิลด์ที่ละเอียดอ่อนออก
• การเปลี่ยนเส้นทางตามงาน ใช้โมเดลราคาถูกสำหรับการจัดประเภท และโมเดลขนาดใหญ่สำหรับการให้เหตุผล โดยเลือกตามกฎของคุณเอง
• การแคช คืนค่าคำตอบที่บันทึกไว้สำหรับพรอมต์ที่ซ้ำกัน

เหตุผลเหล่านี้เป็นเหตุผลที่ดี และพร็อกซ์ที่โฮสต์เองมักเป็นคำตอบที่เหมาะสมสำหรับทีมที่มีผู้ให้บริการหลายราย แต่มันยังเพิ่มบริการที่ต้องติดตั้ง ตรวจสอบ และรักษาความปลอดภัย ซึ่งถือเป็นต้นทุนที่ประเมินต่ำได้ง่ายสำหรับโครงการขนาดเล็ก รายละเอียดการตัดสินใจนี้สามารถอ่านเพิ่มเติมได้ที่หน้า ข้อดีข้อเสียของการรันเกตเวย์ LLM

แนวคิดทั้งสองนี้ทำงานร่วมกันได้อย่างราบรื่น โปร็กซีที่คุณรันสามารถระบุเอนด์พอยต์นี้เป็น upstream หนึ่งรายการ โดยกำหนด uncensored เป็นโมเดลที่จะส่งคำขอไป ในชุดการตั้งค่านี้ ให้บันทึกค่าของเฮดเดอร์การตอบกลับ X-Request-Id ไว้ฝั่งของคุณ ค่านี้คือค่าที่คุณควรอ้างอิงเมื่อต้องการความช่วยเหลือในการติดตามคำขอเฉพาะเจาะจง

ขีดจำกัดและพฤติกรรมที่คุณควรวางแผนไว้

เอนด์พอยต์แบบโฮสต์เดียวใช้งานง่าย แต่มีข้อจำกัดที่คุณควรทราบก่อนนำไปพัฒนา

ขีดจำกัดอัตราและการเรียกใช้พร้อมกัน

คีย์แบบเต็มอนุญาตให้เรียกใช้คำขอพร้อมกันได้ 8 คำขอ และ 300 คำขอต่อนาที คีย์ทดลองอนุญาตให้เรียกใช้คำขอพร้อมกันได้ 2 คำขอ และ 60 คำขอต่อนาที เมื่อเกินขีดจำกัด API จะตอบกลับด้วย HTTP 429 พร้อมรหัสข้อผิดพลาด rate_limited หรือ concurrency ในช่วงที่ระบบมีภาระสูงชั่วคราว ระบบยังตอบกลับด้วย 429 พร้อมเฮดเดอร์ Retry-After: 5 คำขอแบบสตรีมจะคงสถานะไว้จนกว่าสตรีมจะสิ้นสุด ดังนั้นการสร้างข้อความยาวจึงนับรวมในการจำกัดจำนวนคำขอพร้อมกันตลอดระยะเวลาการสตรีม

ขนาดคำขอ

ขนาดของบอดีสูงสุดคือ 8 MB ในทางปฏิบัติ หน้าต่างบริบท 100,000 โทเคนเป็นขีดจำกัดที่เข้มงวดกว่าสำหรับพรอมต์ส่วนใหญ่ หากคุณใส่ประวัติแชทที่ยาวเข้าไปในทุกคำขอ ให้ตัดทอนข้อมูลออกก่อนจะถึงขีดจำกัดใดขีดจำกัดหนึ่ง

การสังเกตการณ์

ทุกการตอบกลับจะรวม X-Request-Id และ X-Balance-USD รวมถึงเฮดเดอร์ที่สะท้อนคำขอของคุณและขีดจำกัดการเรียกใช้พร้อมกัน บันทึกค่าเหล่านี้ไว้ เกตเวย์ที่คุณสร้างในภายหลังสามารถอ่านเฮดเดอร์เดียวกันได้ ดังนั้นการเริ่มใช้งานเฮดเดอร์เหล่านี้ตั้งแต่แรกจึงไม่ทำให้คุณเสียเปรียบ

คำถามที่ควรถามเกี่ยวกับเกตเวย์หรือ API ที่เข้ากันได้

รายการตรวจสอบชุดเดียวกันนี้ใช้ได้ไม่ว่าคุณจะประเมินบริการนี้ เกตเวย์ที่โฮสต์ หรือพร็อกซ์ที่โฮสต์เอง จดบันทึกคำตอบไว้ก่อนที่คุณจะเขียนโค้ดสำหรับบริการใดบริการหนึ่ง

1. โมเดลใดที่ตอบกลับ? ผู้ขายที่มีชื่อระบุ โมเดลแบบเปิดน้ำหนักบนโฮสต์อิสระ หรือโมเดลที่เกตเวย์เลือกในวินาทีนั้น
2. หน่วยราคาคืออะไร? ต่อโทเคน ต่อคำขอ หรือต่อเดือน ที่นี่คิดราคาต่อโทเคน แบบเติมเงินล่วงหน้า
3. เกิดอะไรขึ้นเมื่อล้มเหลว? ที่นี่ คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน
4. ฟีเจอร์ใดใช้งานได้จริง? ทดสอบสตรีมมิง เครื่องมือ และโหมด JSON ด้วยข้อมูลของคุณเอง ไม่ใช่ด้วยพรอมต์ตัวอย่าง
5. พรอมต์ไปอยู่ที่ไหน? ที่นี่ไม่มีการนำพรอมต์ไปใช้ฝึกโมเดล อ่านหน้าความเป็นส่วนตัวเพื่อดูรายละเอียดและเปรียบเทียบกับบริการอื่น
6. ขีดจำกัดสูงสุดคืออะไร? จำนวนคำขอพร้อมกัน, จำนวนคำขอต่อนาที, ขนาดของ body และหน้าต่างบริบท

ราคาเข้าใจง่ายและตรวจสอบได้ภายในหนึ่งนาที: $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens หักจากเครดิตแบบเติมเงินล่วงหน้าที่ไม่หมดอายุ หน้าหน้ากำหนดราคามีระดับการเติมเงิน หากคุณต้องการทดสอบพฤติกรรมของเอนด์พอยต์ก่อนชำระเงิน หน้าหน้าคีย์ APIอนุญาตให้ผู้ใช้ใหม่ขอรับเครดิตทดลองใช้ $0.50 ได้ด้วยคลิกเดียวโดยไม่ต้องใช้บัตรเครดิต

วิธีเริ่มต้นที่สมเหตุสมผล

เริ่มจากการทดสอบเล็กๆ ก่อน รับเครดิตทดลองแล้วเรียกใช้GET /v1/modelsเพื่อยืนยันคีย์ จากนั้นส่งพรอมต์จริงสามครั้งจากแอปพลิเคชันของคุณโดยเปลี่ยน base URL เปรียบเทียบคำตอบกับสิ่งที่ได้รับในปัจจุบัน ตรวจสอบ response headers และดูจำนวนโทเคนในusage หากผลลัพธ์ตรงตามความต้องการและขีดจำกัดรองรับปริมาณการใช้งานของคุณ ให้ย้ายฟีเจอร์ที่มีความเสี่ยงต่ำหนึ่งรายการไปใช้งานก่อนส่วนอื่น เครื่องมือภายใน เครื่องมือช่วยร่างข้อความ และงานแบ็กกราวด์เป็นตัวเลือกแรกที่ดี เนื่องจากข้อบกพร่องเล็กน้อยในส่วนเหล่านี้มีต้นทุนต่ำกว่าเมื่อเทียบกับฟีเจอร์ที่แสดงผลต่อผู้ใช้

หากคุณตัดสินใจในภายหลังว่าต้องการ routing หรือ fallbacks สิ่งที่คุณสร้างไว้จะไม่สูญเปล่า รูปแบบคำขอยังคงเดิม และสามารถเพิ่มชั้น proxy ด้านหน้าได้โดยไม่ต้องเปลี่ยนแปลงโค้ดแอปพลิเคชัน

คู่มือเพิ่มเติม

• OpenAI API สำหรับนักพัฒนา: ใช้เอนด์พอยต์ที่เข้ากันได้
• ราคา API Gateway ของ OpenAI: ตัวอย่างต้นทุนจริง
• LLM Gateway: วิเคราะห์ต้นทุนเทียบกับความซับซ้อน