OpenAI Gateway API'si Basit Terimlerle Açıklandı

İfadenin genellikle ne anlama geldiği

Birisi openai gateway api araması yaptığında, genellikle üç şeyden birini ister ve hangisi olduğunu nadiren söyler. Bunları ilk başta ayırt etmek, üçünün farklı işlevleri ve maliyetleri olması nedeniyle kafa karışıklığını büyük ölçüde azaltır.

Anlamı	Ne yaptığı	Bunu isteme nedenleri
Kendi çalıştırdığınız bir proxy veya yönlendirici	Altyapınızda oturur, OpenAI formatında istekleri alır ve bunları bir veya daha fazla üst akış sağlayıcıya iletir	Merkezi anahtarlar, günlük kaydı, yedeklemeler, takım başına harcama takibi
Barındırılan çok sağlayıcılı hizmet	Bu yönlendirme katmanını sizin için işleten bir üçüncü taraf ve sizden bunun için fatura keser	Birden fazla model için tek bir hesap, bakımı gereken sunucu yok
Uyumlu bir uç nokta	Bir sağlayıcı, aynı istek ve yanıt formatının arkasına kendi modelini yerleştirir	Mevcut SDK kodunu farklı bir model veya farklı içerik kurallarıyla yeniden kullanın

Gateway kelimesi ağ ve API yönetimi kökenlidir ve kimlik doğrulaması yapan, limitler uygulayan ve trafiği ilerleten bir ön kapı anlamına gelir. Dil modellerine uygulandığında, ön kapı OpenAI'nin chat completions endpoint'i tarafından popüler hale getirilen formatı konuşur: bir model adı ve mesaj listesi içeren bir JSON gövdesi, başlıkta bir bearer token ve seçenekler ve token kullanımı içeren bir JSON yanıtı. Bu format için çok sayıda araç yazıldığından, birçok sunucu şimdi bunu taklit etmektedir.

Bu sitenin nereye uyduğu

Bu site üçüncü satıra, ilk ikisine değil aittir. OpenAI istek formatı üzerinden tek bir açık ağırlıklı model sunan barındırılan bir API'dir. Model bağımsız bir sağlayıcı tarafından çalıştırılır ve yasal yetişkin kullanımı için içerik reddi olmadan cevap verecek şekilde ayarlanmıştır. Bunu model ID uncensored ile seçersiniz.

Bu açıklığa kavuşturulmalıdır, çünkü alan adı teslim ettiğinden daha fazlasını ima edebilir:

• Bu, OpenAI, Meta, Mistral, Qwen, DeepSeek, xAI, Google, Anthropic veya başka herhangi bir sağlayıcının resmi API'si değil.
• Bu, sağlayıcılar arasında bir yönlendirici değil. Herhangi bir istek başka bir şirketin modeline gönderilmez. Her çağrı aynı modele gider.
• Sadece metin içerir. Görüntü, ses veya video üretimi, gömme (embedding) ve ince ayar (fine-tuning) yoktur.
• POST /v1/chat/completions ve GET /v1/models destekler, ancak bu ikisinin ötesinde bir şey yok.

Elde ettiğiniz şey tanıdık bir yüzeydir: SSE üzerinden akış, fonksiyon çağırma, JSON modu ve yaygın örnekleme parametreleri. Bağlam penceresi 100,000 token'dır; istem ve tamamlama birlikte sayılır. Ayrıntılar API belgelerinde yer alır.

Neden kablosal uyumluluk faydalı kısımdır

Uyumlu uç nokta fikrindeki değerin çoğu, geçiş maliyetinizin neredeyse sıfıra düşmesidir. Kodunuz bir OpenAI tarzı sunucuyla çalışıyorsa, onu başka birine yönlendirmek bir yeniden yazma değil, bir yapılandırma değişikliğidir. Bir URL ve anahtar değiştirirsiniz ve model adını değiştirirsiniz.

Bu, hareketli parçaları kolayca görmeyi sağlayan curl ile şöyle görünür:

Copycurl https://api.openaigatewayapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in three languages."}]
  }'

Ve sunucu hakkında sadece yapıcının bildiği Python SDK üzerinden aynı şey:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaigatewayapi.com/v1", api_key="paste-your-key-here")

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello in three languages."}],
)
print(reply.choices[0].message.content)

Bu aynı zamanda bir gateway katmanı ile bir uyumlu uç noktanın neden karıştırıldığının da nedenidir. İstemci tarafından aynı görünürler: aynı yol, aynı başlıklar, aynı JSON. Fark kapının arkasındadır. Bir yönlendirici her istek için hangi modelin cevap vereceğine karar verir. Bir uyumlu uç nokta her zaman barındırdığı modeli kullanır.

Gerçek bir gateway katmanına ne zaman ihtiyacınız vardır

Yalnızca uyumluluk, gateway çalıştırırken insanların kastettiği özellikleri size vermez. Bunlardan herhangi biri sizin için geçerliyse, tek bir uç noktadan beklemek yerine ayrı bir katman planlayın:

• Otomatik yedekleme. İlk hata verdiğinde başka bir sağlayıcıda yeniden dene.
• Takım başına bütçeler ve anahtarlar. Tek bir upstream hesabından kendi tavanı olan birçok dahili anahtar ver.
• İstek günlük kaydı ve gizleme. Hassas alanlar kaldırılarak istekleri ve yanıtları merkezi olarak kaydet.
• Görev bazlı yönlendirme. Sınıflandırma için ucuz model, muhakeme için büyük model, kendi kurallarınızla seçilen.
• Önbellekleme. Tekrarlanan istemler için depolanan cevapları döndür.

Bunlar iyi nedenler ve birden fazla sağlayıcısı olan bir ekip için kendi kendine barındırılan bir proxy genellikle doğru bir çözümdür. Ancak bu, dağıtmanız, izlemeniz ve güvenli hale getirmeniz gereken bir hizmeti de ekler; bu da küçük bir proje için kolayca altından kalkılamayacak bir maliyettir. LLM geçidi çalıştırmanın bedelleri sayfası, bu kararı daha detaylı olarak ele alır.

İki fikir sorunsuz bir şekilde birleşir. Çalıştırdığınız bir proxy, bu uç noktası uncensored modeline ilettiği bir upstream olarak listeleyebilir. Bu kurulumda, X-Request-Id yanıt başlığını tarafınızda günlüğe kaydedin. Belirli bir çağrıyı izlemek için yardıma ihtiyacınız olursa, bu değeri referans verin.

Planlamanız gereken sınırlar ve davranışlar

Tek bir barındırılan uç nokta basittir, ancak üzerine inşa etmeden önce bilmeniz gereken sınırlar vardır.

Hız ve eşzamanlılık sınırları

Tam yetkili bir anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir. Deneme anahtarı 2 eşzamanlı istek ve dakikada 60 istek izni verir. Sınır aşıldığında API, rate_limited veya concurrency hata koduyla birlikte HTTP 429 yanıtı döndürür. Geçici aşırı yüklenme sırasında da Retry-After: 5 başlığıyla 429 yanıtı verir. Akışlı bir istek, akış bitene kadar slotunu korur; bu nedenle uzun üretimler, süreleri boyunca eşzamanlılık sınırından düşer.

İstek boyutu

Maksimum gövde 8 MB'tır. Pratikte 100,000 token'lık pencere, çoğu istem için daha sıkı bir sınırdır. Uzun bir sohbet geçmişini her çağrıya sığdırırsanız, her iki tavana da ulaşmadan önce onu kısaltın.

Gözlemlenebilirlik

Her yanıt X-Request-Id ve X-Balance-USD içerir, ayrıca istek ve eşzamanlılık limitlerinizi yansıtan başlıklar içerir. Bunları günlüğe kaydedin. Daha sonra oluşturacağınız bir gateway aynı başlıkları okuyabilir, bu yüzden onlarla başlamakla hiçbir şey kaybetmezsiniz.

Herhangi bir gateway veya uyumlu API hakkında sorulması gereken sorular

Aynı kontrol listesi, bu hizmeti, barındırılan bir yönlendiriciyi veya kendi kendine barındırılan bir proxyyi değerlendirip değerlendirmemenize bakılmaksızın geçerlidir. Herhangi birine karar vermeden önce yanıtları not edin.

1. Kimin modeli cevap veriyor? Belirli bir satıcı, bağımsız bir sunucuda çalışan açık ağırlıklı bir model veya yönlendiricinin o an seçtiği herhangi bir şey.
2. Fiyat birimi nedir? Token başına, istek başına veya ay başına. Burada token başına, ön ödemeli olarak.
3. Hata durumunda ne olur? Burada başarısız veya reddedilen istekler için ücret alınmaz.
4. Hangi özellikler gerçek? Akış, araçlar ve JSON modunu kendi yüklerinizle test edin, bir demo istemiyle değil.
5. İstemler nereye gidiyor? Burada istemler eğitim için kullanılmaz. Detaylar için gizlilik sayfasını okuyun ve alternatiflerle karşılaştırın.
6. Sert limitler nelerdir? Eşzamanlı istekler, dakika başına istek sayısı, gövde boyutu ve bağlam penceresi.

Fiyatlandırma o kadar basittir ki bir dakikada kontrol edebilirsiniz: 1M giriş token'ı başına $0.15 ve 1M çıkış token'ı başına $0.50, hiç süresi dolmayan ön ödemeli krediden. Fiyatlandırma sayfası bakiye yükleme aşamalarını içerir. Herhangi bir şey ödemeden önce uç noktanın nasıl davrandığını görmek isterseniz, API anahtarı sayfası yeni kullanıcılara tek tıkla $0.50 deneme kredisi kazanma imkanı sunar, kart gerekmez.

Başlamak için mantıklı bir yol

İlk testi küçük tutun. Deneme süresini başlatın, anahtarı doğrulamak için GET /v1/models uç noktasını çağırın, ardından temel URL'yi değiştirerek uygulamanızdan üç gerçek istem gönderin. Yanıtları bugün aldıklarınızla karşılaştırın, yanıt başlıklarını kontrol edin ve usage içindeki token sayılarına bakın. Çıktı uyuyorsa ve hız limitleri trafiğinize uygunsa, geri kalanından önce düşük riskli bir özelliği geçirin. Dahili araçlar, taslak yardımcıları ve arka plan işleri iyi ilk adaylardır, çünkü oradaki pürüzler müşteriye yönelik bir akımdakinden çok daha az maliyetlidir.

Daha sonra yönlendirme veya yedekleme ihtiyacı duyarsanız, yaptığınız hiçbir şey boşa gitmez. İstek formatı aynı kalır ve uygulama kodunu değiştirmeden önüne bir proxy katmanı eklenebilir.

Daha fazla kılavuz

• Geliştiriciler için OpenAI API: Uyumluluk Sağlayan Bir Uç Nokta Kullanın
• OpenAI Gateway API Fiyatlandırması: Gerçek Maliyet Örnekleri
• LLM Ağ Geçidi: Maliyet vs. Karmaşıklık Analizi