Bir müşteri destek botunun “kargom nerede?” sorusuyla karmaşık bir sözleşme analizini aynı yapay zekâ modeline göndermesi kolaydır; fakat çoğu zaman pahalı, yavaş ve gereksizdir. Microsoft Foundry’nin 20 Ağustos 2026’da güncellediği model router belgeleri, her isteği önce değerlendirip uygun modele yönlendiren farklı bir yaklaşımı anlatıyor. Bu yazıda model yönlendirmenin ne yaptığını, maliyeti gerçekten nerede düşürebileceğini ve üretimde hangi ölçümler olmadan kullanılmaması gerektiğini sade bir test planıyla ele alıyoruz.

Model router tam olarak nedir?

Model router, kendi başına yanıt üreten büyük bir dil modeli değil. Microsoft’un tanımına göre gelen isteği gerçek zamanlı inceleyen, zorluk ve ihtiyaç düzeyini tahmin eden hafif bir makine öğrenmesi katmanı. Sistem mesajı, kullanıcı mesajı, konuşma geçmişi ve varsa araç tanımları birlikte değerlendirilerek uygun model seçiliyor. Ardından istek seçilen modele aktarılıyor ve normal API yanıtı dönüyor.

Temel fikir, her iş için en güçlü modeli kullanmak yerine gereken kapasiteyi satın almak. Basit sınıflandırma ve kısa özet görevleri hızlı bir modele giderken, çok adımlı muhakeme veya araç kullanımı daha güçlü bir modele yönlendirilebilir. Yanıttaki model alanı hangi modelin seçildiğini gösterdiği için karar tamamen görünmez kalmıyor.

Balanced, Cost ve Quality modları neyi değiştiriyor?

  • Balanced: Varsayılan yaklaşım. Kalite ile maliyet arasında genel amaçlı bir denge kurmaya çalışıyor.
  • Cost: Basit işlerde daha küçük ve ucuz modellere daha güçlü biçimde öncelik veriyor; karmaşık sorularda kalite kaybı ihtimali kabul ediliyor.
  • Quality: Maliyetten çok yanıt kalitesini öne alıyor ve güçlü modellerin kullanım oranını artırıyor.

Bu adlar birer sonuç garantisi değil. “Cost” seçmek faturayı belirli bir oranda düşürmez; “Quality” de her veri kümesinde en iyi cevabı garanti etmez. Sonuç, gerçek istemlerin dağılımına, izin verilen model havuzuna ve değerlendirme ölçütlerine bağlıdır. Microsoft da yönlendirmenin değerlendirme ihtiyacını ortadan kaldırmadığını özellikle belirtiyor.

Türkiye’deki küçük ekip için asıl fırsat nerede?

API faturası dövizle oluştuğu için gereksiz güçlü model kullanımı Türkiye’deki küçük ürün ekiplerini doğrudan etkiliyor. Destek talebini konuya göre ayırma, ürün açıklamasını biçimlendirme veya kısa metinden etiket çıkarma gibi işler için en pahalı modeli sürekli çağırmak mantıklı olmayabilir. Yönlendirici, trafik karışık olduğunda bu farkı otomatikleştirebilir.

Ancak veri bölgesi seçeneği tek başına KVKK uyumluluğu anlamına gelmez. Hangi modellerin havuza girebildiği, verinin nerede işlendiği, günlüklerin nasıl tutulduğu ve alt işleyenlerin kim olduğu ayrıca incelenmeli. Model alt kümesi, yalnız kurumun onayladığı modelleri yönlendirmeye açmak için yararlı bir teknik kapıdır; hukuki değerlendirmeyi ikame etmez.

Yedi günlük küçük bir test nasıl kurulur?

  • Gerçek kullanıcı verisi yerine anonimleştirilmiş 100–300 örnek istem hazırlayın.
  • Örnekleri basit, orta ve karmaşık görevler olarak etiketleyin.
  • Aynı veri kümesini sabit model, Balanced ve Cost yollarında çalıştırın.
  • Her yanıtta seçilen modeli, gecikmeyi, toplam tokenı ve hatayı kaydedin.
  • Kaliteyi yalnız “güzel yazdı” ile değil; doğru sınıf, eksiksiz alan, kaynak doğruluğu ve insan düzeltme süresiyle ölçün.
  • Bir değişiklik yaparken diğer ayarları sabit tutun.
  • En az iki model bırakın; tek modellik havuz yönlendirme ve otomatik geçiş avantajını yok eder.

Bu çalışma, yapay zekâya daha açık soru sorma alışkanlığıyla birlikte düşünülmeli. Belirsiz istemi doğru modele göndermek, belirsizliği ortadan kaldırmaz. İstek kalitesi kötü olduğunda router yalnız pahalı veya ucuz bir belirsizlik seçmiş olur.

Hangi durumda doğrudan tek model daha doğru?

Aynı çıktının tekrar üretilebilir olması kritikse, belirli bir model için onay alınmışsa veya parametre davranışları modele sıkı biçimde bağlıysa doğrudan dağıtım daha nettir. Finansal karar, sağlık metni ya da mevzuata bağlı süreçlerde “hangi model çalıştı?” sorusuna sonradan değil, baştan kesin cevap gerekebilir. Genel destek trafiğini router’a, özel ve yüksek riskli iş akışlarını sabit modele ayıran hibrit yapı çoğu ekip için daha anlaşılırdır.

Sonuç: model seçimini otomatikleştirin, sorumluluğu değil

Üretimde bir başka kritik nokta sürüm değişimidir. Yönlendiricinin model havuzu güncellendiğinde aynı istem dağılımı farklı modellere kayabilir. Bu nedenle yalnız toplam faturayı izlemek yetmez; model seçimi dağılımı, hata türleri ve insan düzeltme oranı haftalık olarak karşılaştırılmalı. Yeni model eklenirken önce küçük trafik yüzdesiyle deneme yapılması, beklenmeyen biçim veya araç çağrısı değişikliklerini erken yakalar.

Otomatik geçiş de kesintiye dayanıklılığı artırabilir; ancak yedek modelin bağlam uzunluğu, araç desteği ve çıktı biçimi ana modelle eşdeğer olmayabilir. Başarılı HTTP yanıtını kaliteli sonuç sanmamak için failover senaryosu ayrıca test edilmelidir.

Model router, tek API noktası üzerinden maliyet, hız ve kalite arasında dinamik seçim yapmayı kolaylaştırıyor. Değeri “her şeyi kendi çözer” iddiasında değil; gerçek trafik üzerinde ölçülebilir bir optimizasyon katmanı sunmasında. Sağlıklı kullanımın şartı, seçilen modeli loglamak, kalite taban çizgisi oluşturmak ve yönlendirme ayarlarını tek tek değiştirmektir.

Kaynaklar