Haiku 5.5 ile Düşük Maliyetli Tarayıcı Ajanları: Yeni Maliyet Artık İnceleme Kuyruğu

Anthropic, 7 Ekim'de Claude Haiku 5.5'i kullanıma sundu ve modeli doğrudan tarayıcı görevlerine yönelik konumlandırdı. Lansman yazısında modelin "canlı müşteri desteği ve tarayıcı kullanımı gibi hıza duyarlı görevler" için ideal olduğu belirtilirken, ürün sayfasında form doldurma, veri girişi ve uygulamalar arasında bilgi taşıma gibi kullanım alanları sıralanıyor. Aynı sürümle birlikte Anthropic'in Python ve TypeScript SDK'larına bilgisayar kullanımı ve tarayıcı kullanımı özellikleri beta olarak eklendi. Anthropic'in paylaştığı bilgisayar kullanımı karşılaştırma testi OSWorld 2.1'de Haiku 5.5, maksimum eforda deneme başına yaklaşık 0,61 dolar maliyetle %72,4; varsayılan orta eforda ise yaklaşık 0,13 dolar maliyetle %53,3 puan alıyor.

Öne çıkarılan bu manşet rakamı, kısmi başarı puanını yansıtıyor. Sistem kartı incelendiğinde, aynı testlerin tam başarı oranının yalnızca %37,1 olduğu görülüyor. Dolayısıyla Haiku 5.5'i tarayıcı iş akışlarına entegre eden bir ekip, sadece birkaç sente mal olan ancak çoğu zaman yalnızca kısmen tamamlanmış sonuçlar elde ediyor. Çalıştırma maliyeti ucuzladı; ancak doğrulamak ucuzlamadı. Birden fazla ajan çalıştıran bir ekip için bu durum, tarayıcı otomasyonunun asıl maliyetini sonuçları inceleyen kişinin üzerine yıkıyor.

Özetle

Anthropic'in OSWorld 2.1 çevrimdışı alt kümesinde Haiku 5.5 ortalama %72,4 kısmi başarı sağlarken denemelerin yalnızca %37,1'ini tam olarak geçebiliyor; Sonnet 5.5 ve Opus 5.5 da daha yüksek fiyatlarla benzer şekilde 34 ila 35 puanlık bir fark sergiliyor. Kontrol edilene kadar her tarayıcı çalıştırmasını kısmen tamamlanmış kabul edin: Göreve (Task) katı bir kabul kriteri yazın, Ajanın (Agent) herhangi bir gönderme eyleminden önce durmasını sağlayın; tamamlananları, tamamlanmayanları ve kanıtları raporlamasını isteyin ve nihai adımı bir insanın Ajanı @ ile etiketlediği bir yorumla tetiklemesine izin verin. İnceleme süresinden tasarruf etmek için efora yatırım yapın; çünkü işin ucuz kısmı çalıştırmaktır. Ajanlar araştırır, yürütür, test eder ve raporlar. İnsanlar ise yön belirler, yetki verir ve sonucu onaylar.

Kısmi başarı, işin bittiği anlamına gelmez

Anthropic, OSWorld 2.1 testini 108 görevin 82'sinde 1080p çözünürlükte, deneme başına 500 adıma kadar ve maksimum eforda beş denemenin ortalamasını alarak gerçekleştirdi. Model başına iki rakam bildirildi ve bir denetçinin asıl dikkate alması gereken ikincisidir.

İlk olarak, bu fark sadece Haiku'ya özgü bir sorun değil. Model ailesindeki her üye, "adımların çoğu gerçekleştirildi" ile "görev tamamlandı" arasında yaklaşık 35 puanlık bir boşluk bırakıyor; hatta Opus 5.5 bile görevleri yalnızca yaklaşık yarı yarıya tam olarak başarıyor. Burada ölçüldüğü şekliyle, bilgisayar kullanımı denemelerinin büyük bir kısmı kısmen tamamlanmış olarak sonuçlanıyor. İkincisi, Haiku 5.5 kısmen tamamlanmış işleri üretmeyi oldukça ucuz hale getiriyor. Tam başarı başına maliyeti Sonnet 5.5'in yaklaşık yedide biri, deneme başına maliyeti ise yaklaşık dokuzda biri kadar.

Kısmen tamamlanmış işler, tarayıcı tabanlı süreçler için en tehlikeli senaryodur. Tamamen başarısız olan bir çalıştırma arkasında hiçbir şey bırakmaz. Ancak 40 kayıttan 31'ini CRM'e aktaran veya bir tedarikçi formunu vergi alanına kadar dolduran bir çalıştırma, uzaktan bakıldığında bitmiş gibi görünen yarım bir durumu başkasının uygulamasında öylece bırakır. İşi inceleyen kişi, ekranda bunları işaret eden hiçbir ipucu olmadan o eksik dokuz kaydı tek tek bulmak zorunda kalır.

Çalıştırma kuruşlara mal olurken asıl harcama nereye gidiyor?

Ucuz bir tarayıcı hattı, bütçede dikkat etmeniz gereken kalemi değiştirir. Deneme başına 0,13 dolardan 100 adet form doldurma işlemi, model faturasında önemsiz bir yuvarlama hatasından farksızdır. Ancak girilen verileri doğrulamak için bir insanın onayına ihtiyaç duyan 100 işlem, bir çalışanın koca bir gününü alabilir. Haiku 5.5, 100 bin tokene kadar olan komut istemlerinde Haiku 4.5'e kıyasla %90 daha ucuzdur; ancak incelemeyi yapan insan öyle değildir.

Fiyatlandırmada dikkat edilmesi gereken küçük bir detay daha var. Haiku 5.5, 100 bin tokene kadar olan istemler için milyon girdi tokeni başına 0,10 dolar ve milyon çıktı tokeni başına 0,50 dolardır; 100 bin tokenin üzerindeki istemlerde ise bu rakamlar sırasıyla 0,50 dolar ve 2,50 dolara çıkar. Uzun bir tarayıcı oturumu istem boyutunu bu sınırın ötesine taşıyabilir ve bu noktadan sonraki her istek daha yüksek tarifeden ücretlendirilir. Bu durum, tarayıcı Görevlerini kısa tutmak için bir başka nedendir: bir form, bir kayıt grubu, bir Görev.

İnsan denetimi bir darboğazdır ve insan iş günü başına ajan iş günleri başlıklı yazılarımızda bu argümanı daha önce işlemiştik. Haiku 5.5'in değiştirdiği şey bu orandır: Çalıştırma başına 0,13 dolar gibi bir tutar faturada neredeyse hiç yer tutmazken, inceleme kuyruğu hesaba katıldığında ucuz modeller daha pahalıya gelebilir. Elinizde kalan tek koz ise her denetimi daha hızlı hale getirmektir.

Bilgisayar kullanan ajanların denetimi: Görev neleri içermeli?

Bir tarayıcı ajanının Görevi, denetlemesi o işi baştan yapmaktan daha az zaman aldığında gerçekten incelenebilir niteliktedir. Bu da Ajanın sonradan uyduramayacağı üç şeye bağlıdır: çalıştırmadan önce yazılmış katı bir kabul kriteri, tamamlananlarla tamamlanmayanları ayıran bir rapor ve bir insanın oturumu baştan oynatmasına gerek kalmadan açıp inceleyebileceği kanıtlar.

Sharkly'de Görev zaten paylaşılan ortak kayıt merkezidir. Açıklamayı, yorumları, ekleri ve etkinlikleri barındırır; Ajanın ekibe yönelik metni, çalıştırmayla bağlantılı bir yorum olarak Görev üzerinde saklanır; yürütme günlüğü ise araç çağrılarını ve Çalışma Zamanı (Runtime) olaylarını kaydeder. Dolayısıyla denetim tasarımı iki yerde yaşar: Görev açıklaması işin ne zaman "tamamlanmış" sayılacağını belirtir, Ajan talimatları ise raporun neleri içermesi gerektiğini tanımlar. Tarayıcıya veri girişi yapan bir Ajanın talimatları için bir başlangıç noktası:

Restate the acceptance check from the Task description before you start.
Work up to, but not including, any submit, send, publish, pay, or delete action.
Then stop and report, in this order:
  Done: every record or field you completed, by its identifier.
  Not done: everything you skipped or could not complete, and why.
  Check: the acceptance check, and whether your own count meets it.
  Evidence: the paths of the screenshots you saved in the task directory.
Leave the Task waiting for human review. Do not take the final action
until a person @ mentions you in a comment on this Task to release it.

Kabul kriterini sayılabilir bir koşul olarak yazın: "E-tabloyu içe aktar" yerine "CRM'de her biri eşleşen bir e-postaya sahip 40 satır" gibi. "Tamamlanmayanlar" listesi, kısmi puanın gizlediği kısmı açığa çıkarır; nelerin atlandığını net bir şekilde belirtmek, %72'lik bir çalıştırmayı, kalan kısmı bilinen şeffaf bir %72'lik çalıştırmaya dönüştürür. Görev düzeyinde kanıtlarla ajan çalışmalarını inceleme rehberimiz rapor formatları hakkında daha fazla ayrıntı sunuyor.

Sharkly'nin Ajanlar belgelerine göre, Ajan varsayılan Çalışma Zamanı modelini izler; bunu değiştirmek için Ajan veya Çalışma Zamanı üzerindeki Özel bağımsız değişkenler (Custom arguments) alanında bir model belirtin (Claude Code için claude-haiku-5-5). Açılır bir model seçme menüsü bulunmaz. Kurulum detaylarına Sharkly'de Claude Haiku 5.5 ajanlarını çalıştırma rehberimizden ulaşabilirsiniz.

Onaylamadan önce durdurun

Kısmi başarı bir taslak için kabul edilebilir olsa da gönderilmiş bir form için kesinlikle kabul edilemez. Bu yüzden modelin her şeyi doğru yapmasını ummak yerine, geri dönüşü olmayan bu adımı çalıştırma sürecinden ayırın.

Bu desen, Sharkly'de halihazırda bulunan bileşenleri kullanır. Ajan son eyleme kadar çalışır ve Görevi inceleyenin Gelen Kutusu'na düşecek şekilde insan denetimine bırakır. İnceleyen kişi raporu ve ekran görüntülerini açar, düzeltir veya reddeder; ardından onay vermek için Görev üzerindeki bir yorumda Ajanı @ ile etiketler. Düz bir yorum Ajanı tetiklemez; etiketleme, Görev üzerindeki sohbetini başlatır ya da devam ettirir ve Ajanın yanıtı bu çalıştırmaya bağlı başka bir yorum olarak saklanır. Nihai gönderme işlemi, bir insan onay verdikten sonra, aynı Görev altında ve aynı kayıt içinde gerçekleşir. Kodlama ajanları için onay geçitleri kılavuzumuz, bu durdurma noktasının başka nerelere yerleştirilebileceğini ele alıyor.

Bu onay geçidi, tarayıcıyla ilgili diğer bir riski de sınırlar. Tarayıcı ajanı, kendisinin yazmadığı web sayfalarını okur. Anthropic'in sistem kartı, Haiku 5.5'in komut istemi enjeksiyonuna (prompt injection) önceki tüm Haiku modellerinden daha iyi direndiğini ve bilgisayar kullanımı ortamlarındaki uyarlanabilir saldırganlara karşı büyük ölçüde öncü modellerin seviyesine ulaştığını belirtiyor. Ancak bu bir karşılaştırma testi iddiasıdır; sizin tedarikçi portalınız için verilmiş bir garanti değildir. İnsan onayı içeren bir yorum olmadan gönderme butonuna erişemeyen bir enjeksiyon talimatı ise çok daha zararsız bir olay olarak kalır. Ana bilgisayar tarafındaki güvenlik sınırı (özel bir Bilgisayar, gizli ortam değişkenleri aracılığıyla Ajan başına bağlanan kimlik bilgileri, aynı anda tek bir tarayıcı çalıştırması), bilgisayar kullanımı güvenlik bariyerleri kılavuzumuzdakiyle aynıdır; geri kalan detayları ise komut istemi enjeksiyonu ve ajan güvenlik bariyerleri yazımızda bulabilirsiniz.

Bu iş akışı için iki aşamalı bir karar kriteri: Çıktı bir dakika içinde bir sayı veya liste üzerinden doğrulanabiliyorsa ve son eylem geri alınabilir durumdaysa ya da bir yorumla onay geçidine bağlanmışsa Haiku 5.5 tarayıcı Ajanını kullanın. Denetlemek, işi sıfırdan yapmak anlamına geliyorsa işi bir insana veya aynı onay geçidine sahip daha büyük bir modele bırakın; çünkü bu durumda %37'lik tam başarı oranı, size o işi baştan yapmaktan başka hiçbir şey kazandırmaz.

Efora yatırım yapın, incelemeden tasarruf edin

Haiku 5.5, Anthropic'in efor ayarına sahip ilk Haiku modelidir ve varsayılan ayarı ortadır. OSWorld üzerinde efor seviyesi, çok cüzi bir ücret karşılığında kısmi puanı ciddi oranda artırır:

Orta seviyeden maksimuma çıkmak, deneme başına yaklaşık 0,49 dolar ek maliyet getirirken kısmi puanı 19 puan artırır. Eğer bu puanlar inceleme süresini azıcık bile kısaltıyorsa, bir insanın kontrol ettiği her tarayıcı Görevi için maksimum seviye aslında daha ucuz olan seçenektir. Sistem kartı efor seviyesine göre tam başarı oranını grafikle gösterse de kesin rakamı yalnızca maksimum seviye için belirtiyor; bu nedenle daha düşük bir seviye seçmeden önce kendi Görevlerinizdeki tam başarı sonuçlarını mutlaka ölçün. Efor ayarı Bilgisayar üzerindeki Claude Code içerisinden yapılandırılır: Ajan herhangi bir model seçici veya düşünme derinliği denetimi sunmaz. Sıkıcı yüzde seksen için Luna yazımızda bahsettiğimiz gibi, çıktıyı kimsenin okumadığı durumlarda ucuz hattı ucuza çalıştırın; ancak bir tarayıcı hattı kesinlikle öyle bir senaryo değildir.

Başkalarının sistemlerine veri yazan tarayıcı işleri, daha büyük bir çalıştırma içine gömülmek yerine kendi bağımsız Görevine sahip olmalıdır; çünkü birinin bu çıktıyı onaylaması gerekir. Alt ajan mı yoksa bağımsız bir Ajan mı olarak Haiku 5.5 başlıklı yazımız bu genel kuralı ayrıntılarıyla ele alıyor.

Daha ucuz bir tarayıcı ajanı, daha fazla çalıştırma demektir; daha fazla çalıştırma ise kontrol edilmeyi bekleyen daha fazla kısmen tamamlanmış sonuç anlamına gelir. Halihazırda birden fazla ajan çalıştırıyorsanız, Sharkly tüm bu görevleri ve sonuçları tek bir yerden yönetmenizi sağlar.