Görsel ve ses girdili yapay zeka: testte görünmeyen maliyetler ve hatalar

Fiş fotoğraflarından harcama kaydı çıkaran bir özellik, ekipteki herkesin telefonundan çekilmiş on fotoğrafla test ediliyor ve kusursuz çalışıyor. Yayına alındığı hafta üç farklı şikâyet geliyor: bazı fotoğraflar "istek çok büyük" hatasıyla reddediliyor, bulanık bir fişten tutarlı ama yanlış bir toplam çıkıyor ve özellik sohbet içinde kullanıldığında fatura beklenenin birkaç katına çıkıyor.

Üçünün de ortak noktası, test sırasında görünmemeleri. Görsel ve ses girdili yapay zeka, metin tabanlı olanın bütün sorunlarını taşır, üstüne kendine özgü birkaç tane daha ekler.

Multimodal model nedir?

Metnin yanında görsel, ses ya da başka türde girdiyi de anlayabilen bir modeldir.

Bir görme-dil modeli, bir fotoğrafı ve bir soruyu birlikte alır ve metin olarak cevap verir: "bu fişteki toplam nedir?" gibi. Bir görsel üretim modeli ise tersini yapar: metin alır, görsel üretir. İkisi farklı işler yapan farklı modellerdir ve aynı ürünün içinde farklı mimari kararlar gerektirirler.

Bir görsel neden "istek çok büyük" hatası verir?

Çünkü görsel istekte genellikle metne çevrilerek gönderilir ve bu dönüşüm dosyayı büyütür.

Görseli bir adres (URL) yerine doğrudan isteğin içinde göndermek için base64 adı verilen bir kodlama kullanılır ve bu kodlama veriyi yaklaşık üçte bir oranında büyütür. Yani altı megabaytlık bir fotoğraf, altı megabaytlık bir istek sınırına takılır. Telefon kameralarının ürettiği fotoğraflar çoğu zaman bu sınırın üstündedir. Çözüm basittir ama baştan düşünülmelidir: görseli göndermeden önce makul bir çözünürlüğe küçültmek. Bu hem sınırı aşmayı önler hem de görselin tuttuğu token'ı, yani maliyeti azaltır.

Görseli bir adres olarak göndermek de bir varsayım taşır: sağlayıcının o adrese erişebilmesi. Kullanıcının yüklediği özel bir dosya ya da yalnızca sizin ağınızdan ulaşılabilen bir adres, sağlayıcı tarafından açılamaz.

Model okunamayan bir görselden neden yine de cevap üretir?

Çünkü "okuyamadım" demesi garanti değildir; görevi bir cevap üretmektir.

Bulanık bir fişten toplam istendiğinde, model çoğu zaman makul görünen bir sayı üretir. "Model bilmediğinde söyler" varsayımı, etrafına sistem kuracak kadar sık yanlıştır. Bu yüzden güvenlik önlemi modelin içinde değil, sizin kodunuzda olmalıdır: çıkan değerleri kendi aralarında tutarlılık için kontrol etmek (kalemlerin toplamı toplamı veriyor mu?), modelden emin olmadığı alanları açıkça işaretlemesini istemek ve belirsiz durumlarda kullanıcıdan onay almak.

Ses tanıma sessizlikte neden metin üretir?

Çünkü transkripsiyon modelleri de olası metni üretir ve sessizlik, bazen kimsenin söylemediği bir cümleyle doldurulur.

Uzun bir kaydın sessiz ya da gürültülü bir bölümünde, transkriptte hiç söylenmemiş bir cümlenin belirmesi bilinen bir davranıştır. "Bir şey yokken model bir şey üretmez" varsayımı, en güvenilir biçimde burada yanlış çıkar. Bunu sınırlamanın yolu, sesi modelden önce işlemektir: sessiz bölümleri tespit edip modele göndermemek ve uzun sesi sabit aralıklar yerine sessizlik noktalarından bölmek. İkincisi aynı zamanda bir kelimenin iki parçanın arasında ikiye bölünmesini de önler.

Görsel üretimi neden bir mimari karardır?

Çünkü saniyeler sürer ve bu, normal bir istek-cevap döngüsüne sığmaz.

Bir metin cevabı akış olarak birkaç saniyede gelmeye başlar. Birkaç büyük görsel üretmek ise çok daha uzun sürebilir. Bunu kullanıcının isteğiyle aynı HTTP çağrısında yapmaya çalışmak zaman aşımlarına ve takılan sayfalara yol açar. Doğru yapı, üretimi bir arka plan işine vermek, kullanıcıya işin başladığını söylemek ve sonuç hazır olduğunda göstermektir. Bunu baştan bilmek, bir özellik ile bir yeniden yazım arasındaki farktır.

Bir de şu var: görsel üretim modelleri görselin içine doğru yazılmış metin koymakta hâlâ güvenilir değildir. Bir afişte sloganın harfi harfine doğru olması gerekiyorsa, görseli üretip metni üstüne kendiniz yerleştirmek daha güvenilir bir yoldur.

Bir görselin bedeli bir konuşmada kaç kez ödenir?

Varsayılan olarak, konuşmanın her turunda bir kez.

Model hiçbir şey hatırlamadığı için, bir görsel üzerine yapılan sohbette görsel her turda yeniden gönderilir ve her turda yeniden ücretlendirilir. On turluk bir konuşma, aynı görselin bedelini on kez öder. Bu, testte görünmez, çünkü testte genellikle tek bir soru sorulup bırakılır. Çözüm, "bir kez bak, sonra metinle devam et" desenidir: ilk turda görselden gereken bilgiyi metin olarak çıkarmak ve sonraki turlarda görsel yerine o metni göndermek. Bu desen yalnızca kullanıcı görselin başka bir ayrıntısını sorduğunda bozulur; o zaman görseli yeniden göndermek gerekir. Konuşma uzunluğunun maliyete etkisini maliyet oyununda deneyebilirsiniz.

Kaynaklar

• Anthropic: Vision: görsellerin nasıl gönderildiği, boyut sınırları ve maliyet. (eklenme: 2026-09)
• Hugging Face: Vision-language models explained: görme-dil modellerinin nasıl çalıştığına dair genel bir anlatım. (eklenme: 2026-09)
• Jay Alammar: The Illustrated Stable Diffusion: görsel üretiminin neden zaman aldığını sezgisel olarak anlatan görsel bir açıklama. (eklenme: 2026-09)