Claude Fable 5.2'yi; sabit kabul kriterleri, birebir aynı ortamlar ve hâlihazırda kullandığınız bir referans noktasıyla (baseline), deponuzu temsil eden görevler üzerinde değerlendirin. Kabul edilen değişiklikleri, kod inceleme eforunu, geçen süreyi ve toplam maliyeti bir arada ölçün. Denemeleri tekrarlayın, başarısızlıkları saklayın ve modeli benimseme kararını tek bir kıyaslama (benchmark) puanına göre değil, görev kategorisi bazında verin.
Anthropic, Fable 5.2'yi 9 Kasım 2026'da duyurdu. Şirketin duyurusunda kodlama ve mantık yürütme alanındaki iyileştirmelerden bahsediliyor. Ancak bunlar, sağlayıcının kendi değerlendirmelerine ve deneyimlerine dayanan iddialardır; modelin sizin bağımlılıklarınıza, kodlama standartlarınıza ve sürüm gereksinimlerinize karşı nasıl bir performans sergileyeceğini kanıtlamaz.
Yapacağınız değerlendirmenin daha net bir soruya yanıt vermesi gerekir: Kabul edilebilir bir kod inceleme yüküyle hangi işleri modele devredebilirsiniz? Bu işleri hâlihazırda birden fazla kodlama aracısı (coding agent) paylaşıyorsa, Sharkly görevleri ve bunların inceleme bağlamını organize etmeniz için ideal bir alan sunar.
Bu rehber bir deney modeli önermektedir; herhangi bir ölçülmüş karşılaştırma sonucu içermez.

Temsili bir görev seti oluşturun
Depo bazlı bir değerlendirme, kendi geliştirme süreçlerinizden alınan gereksinimlere karşı kodlama iş akışlarının kontrollü bir karşılaştırmasıdır. Buradaki başarı birimi; testleri ve inceleme süreci tamamlanarak kabul edilmiş bir değişikliktir. Makul görünen bir yama (patch), başarıyla geçen bir test komutu ya da modelin kendinden emin bir tamamlama mesajı vermesi tek başına kabul anlamına gelmez.
Son bakım çalışmalarınızdan seçilen on iki görevle başlayın. Bu sayı istatistiksel bir garanti değil, pilot çalışma için önerilen bir ölçek niteliğindedir. Hata düzeltmelerini, küçük eklemeleri, yeniden düzenlemeleri (refactor) ve inceleme görevlerini iş listenizdeki (backlog) dağılıma benzer oranlarda dahil edin.
Başlangıç commit'i net olan ve beklenen davranışı iyi bilen bir incelemecisi bulunan işleri seçin. Yalnızca yanıtı çok belirgin olan sorunları seçmekten kaçının. Doğru yanıtın soru sormayı veya eksik bir bağımlılığı açıklamayı gerektirdiği en az bir göreve mutlaka yer verin.
Geçmişte çözülmüş sorunlar için, çözümü modele sağlanan bağlamdan çıkarın. Düzeltmenin daha önce herkese açık olup olmadığını kaydedin; model eğitim verisinde bununla daha önce karşılaşmış olabilir. Daha sonraki bir doğrulama aşaması için henüz yayımlanmamış görevlerden oluşan ayrı bir küme saklayın.
Kabul kriterlerini çalıştırmalara başlamadan önce yazın. Örneğin bir API sayfalandırma (pagination) düzeltmesi için boş sonuçları, sayfa sınırlarını, geçersiz imleçleri (cursor) ve mevcut istemcilerle uyumluluğu netleştirin. İzin verilen değişiklik kapsamını ve kabul için gereken kontrolleri dahil edin.
| Kategori | Örnek görev | Kabul kanıtı |
|---|---|---|
| Hata düzeltme | İmleç sınır yönetimini düzeltme | Regresyon testinin ve mevcut test paketinin geçmesi |
| Küçük ekleme | İsteğe bağlı istek filtreleme ekleme | Sözleşme testleri ve belgelenmiş varsayılanlar |
| Yeniden düzenleme | Yinelenen doğrulama mantığını ayıklama | Değişmeyen genel davranış ve inceleme onayı |
| İnceleme | Ara sıra oluşan zaman aşımını teşhis etme | Sorunun yeniden üretilmesi ve kanıtlanmış nedensel açıklama |
Net ve yalın bir karşılaştırma gerektiğinde küçük bir görev tercih edin. Koordinasyonun da değerlendirilmesi gereken durumlarda daha büyük bir görev kullanın ve bu deneyi ayrı puanlayın.
Aracıları çalıştırmadan önce koşulları sabitleyin

Depo commit'ini, işletim sistemini, bağımlılık kilit dosyalarını (lockfile), araç sürümlerini, model tanımlayıcısını ve yapılandırmayı kaydedin. Aracı donanımını (harness) da sabitleyin: Harness, modelin etrafındaki araçları, bağlamı ve çalıştırma davranışını sağlayan yazılımdır.
Fable 5.2'yi mevcut iş akışınızla karşılaştırın. Model düzeyinde bir karşılaştırma, desteklendiği sürece aynı harness yapısının kullanılmasını gerektirir. Bir iş akışı karşılaştırmasında farklı araçlar kullanılabilir; ancak varılan sonuçta bu eksiksiz yapılandırmalar açıkça belirtilmelidir.
İzinleri, ağ erişimini, başlangıç bağlamını ve süre sınırlarını eşdeğer tutun. Bağımlılık kurulumunun geçen süreye dahil edilip edilmeyeceğini belirleyin. Bir yapılandırmanın başka bir çalıştırmadan kalan düzenlenmiş dosyaları, yanıtları içeren önbellekleri veya konuşma geçmişini devralmasına izin vermeyin.
Her deneme için temiz bir checkout veya izole edilmiş bir worktree kullanın. Git’in worktree belgeleri, birden fazla çalışma ağacının bir depoyu nasıl paylaşabileceğini açıklar. Dosyaların yalıtılması veritabanlarını, portları veya harici servisleri izole etmez; bunlar için de ayrı test kaynakları sağlayın.
Açık bir müdahale kuralı belirleyin. Örneğin, yalnızca her yapılandırmanın erişebildiği bilgileri içeren tek bir açıklama yanıtına izin verin. Tüm müdahale süresini kaydedin. Bir incelemecinin uygulanan çözümü sessizce onarması, deneyin ölçtüğü şeyi tamamen değiştirir.
Eşleştirilmiş denemeler yapın ve başarısızlıkları saklayın
Her yapılandırmayı aynı görevler üzerinde çalıştırın. Geçici bir servis yavaşlamasının sürekli olarak belirli bir adayı kayırmaması için yürütme sırasını dönüşümlü yapın. Kaynaklar elverdiğinde denemeleri tekrarlayın ve sonuçları görmeden önce belirlenmiş sabit bir tekrar sayısı kullanın.
Pratik bir pilot çalışma için görev başına ve yapılandırma başına üç deneme uygulanabilir. Bunu mühendislik açısından bir başlangıç noktası olarak görün. Küçük bir örneklem, nadir görülen arızalar ya da evrensel bir üstünlük hakkında kesin iddiaları destekleyemez.
Her deneme için prompt'u, yapılandırmayı, zaman damgalarını, transkripti, yamayı, araç çıktılarını ve nihai sonucu saklayın. Zaman aşımlarını ve yarıda bırakılan çalıştırmaları da sonuç olarak kaydedin. Bunları göz ardı etmek, başarılı çalıştırmaların gerçekte devreye alacağınız iş akışından daha ucuz ve daha hızlı görünmesine yol açar.
Test bileşenlerini (fixture) ve kimlik bilgilerini üretim ortamından ayrı tutun. Deponuzun mevcut test sürecini takip edin. Python depoları için pytest belgeleri fixture'ları ve test yürütmeyi açıklar; ancak çerçevenin kendisi, kabul kriterlerinizin gereksinimi karşılayıp karşılamadığına karar veremez.
Hızdan önce doğruluğu inceleyin
Mümkün olan durumlarda bir incelemecinin hangi model olduğunu görmeden yamayı değerlendirmesini sağlayın. Gereksinimlerin karşılanması, regresyon riski, sürdürülebilirlik, test kalitesi ve gereksiz kapsam genişlemesini içeren sabit bir değerlendirme kriteri (rubrik) kullanın.
Görevin gerektirdiği durumlarda testlerin başarıyla geçmesi zorunludur; ancak testler hatalı bir davranışı da doğrulayacak şekilde yazılmış olabilir. İddiaları (assertion) orijinal gereksinimle karşılaştırın. Devre dışı bırakılan kontrolleri, genişletilen toleransları, yutulan hataları ve başarısız olan yolu tamamen baypas eden değişiklikleri dikkatle inceleyin.
Sonuçları üç ayrı kategoriye ayırın: doğrudan kabul edilen, düzeltme sonrası kabul edilen ve reddedilen. Düzeltme için harcanan dakikaları ve her düzeltmenin niteliğini kaydedin. Düzeltilen değişikliklerin birincil kabul oranınıza dahil edilip edilmeyeceğine önceden karar verin.
İnceleme görevlerinde kanıt zincirini puanlayın. Yararlı bir rapor gözlemleri tespit eder, hipotezleri birbirinden ayırır ve tekrarlanabilir bir sonraki adım sunar. Kanıtsız fakat kendinden emin teşhisleri başarı olarak ödüllendirmeyin.
Kabul edilen değişiklik başına maliyeti hesaplayın

Kabul edilen değişiklik başına maliyet, toplam değerlendirme maliyetinin önceden tanımladığınız kurala göre kabul edilen değişiklik sayısına bölünmesiyle bulunur. Başarısız denemeleri pay kısmına dahil edin. Hiçbir değişiklik kabul edilmezse, maliyeti ve sıfır kabulü raporlayın; bu oranın sonlu bir sayısal değeri yoktur.
Şu metrikleri bir arada takip edin:
- Görev kategorisine göre kabul oranı.
- Görevin başlangıcından incelemeye hazır çıktıya kadar geçen reel süre (wall-clock time).
- İnsan incelemesi ve onarımı için harcanan dakikalar.
- Tüm denemeler için model ve araç ücretleri.
- Belirgin düzeyde olan altyapı maliyetleri.
- Gözlem penceresi boyunca keşfedilen regresyonlar.
Faturalandırılan tutarların yanı sıra token kullanımını ve tarihli fiyat kaynağını da kaydedin. Önbelleğe alınan token'lar, yeniden denemeler ve yürütme araçları maliyetleri değiştirebilir. Faturayı yalnızca çıktı uzunluğuna bakarak tahmin etmeyin.
İncelemecinin zamanına parasal bir değer biçiyorsanız, bunu dahili bir varsayım olarak belirtin. Okuyucuların karşılaştırmayı yeniden hesaplayabilmesi için nakit harcamayı ve harcanan iş gücü dakikalarını ayrı ayrı gösterin. Daha ucuz bir üretim, yine de daha fazla mühendislik ilgisi gerektirebilir.
Değerlendirme kanıtlarını iş kayıtlarıyla birlikte saklayın
Sharkly, kodlama aracıları etrafındaki iş akışını yönetir. Belgelenmiş iş akışı Görevleri (Tasks), Aracıları (Agents), Bilgisayarları (Computers), yürütme bağlamını ve insan incelemesini birbirine bağlar. Güncel ürün terminolojisi ve kurulum adımları için Sharkly belgelerine göz atın.
Bu deney için kabul kriterlerini her bir Göreve (Task) ekleyin; yamayı, test kanıtlarını ve sonucu aynı iş kaydına aktarın. Analiz etmesi daha kolaysa değerlendirme defterini bir e-tabloda veya sürümlendirilmiş bir veri dosyasında tutun. Platformun deneysel metriklerinizi otomatik olarak hesaplayacağını varsaymayın.
Kapsamı sınırlı bir deneme için tek bir Aracı (Agent) kullanın. Yalnızca koordinasyonun kendisi değerlendirmenin bir parçası olduğunda bir Ekip (Crew) dahil edin. Ekip yapısını yarı yolda değiştirmek sürece yeni bir değişken ekler.
Aracılar çalışır ve kanıt raporlar. İnsanlar ise kabulü tanımlar, değişiklikleri inceler ve sürüme onay verir. Bu iş bölümü, kod tüm otomatik kontrollerden geçse bile değerini korur.
Kullanım kararını kategori bazında verin
Modele geçiş (adoption) kuralını sonuçları incelemeden önce belirleyin. Öncelikli olarak kabul edilebilir bir doğruluk şartı arayın; ardından bu çıtayı aşan yapılandırmalar arasında maliyeti ve geçen süreyi karşılaştırın. Güvenlik açısından hassas veya test kapsamı zayıf kategorileri ilk aşamadaki dağıtımın dışında tutun.
Yüzdelerin yanında sayıları da bildirin. Üç görevden ikisinin kabul edilmesiyle üç yüz görevden iki yüzünün kabul edilmesi çok farklı şeyler ifade eder. Genel geçer bir kazanan ilan etmek yerine, belirsizlikleri ve başarısızlık modellerini açıklayın.
Prompt'larda, harness yapılarında, model sürümlerinde veya depo mimarisinde önemli değişiklikler yapıldığında değerlendirmeyi tekrarlayın. Daha sonra yapılacak bir iyileştirmenin tekrarlanabilir bir referans noktasına sahip olması için eski yapılandırmayı saklayın.
Sharkly üzerinde depoyu temsil eden tek bir bakım göreviyle başlayın, net kabul kriterleri ekleyin ve gelen kanıtları mevcut iş akışınızla karşılaştırın. Hem başarıları hem de başarısızlıkları açıklayabilir hâle geldikten sonra kapsamı genişletin.
SSS
Herkese açık bir kodlama kıyaslaması (benchmark) bu değerlendirmenin yerini tutabilir mi?
Adayları seçmenize yardımcı olabilir; ancak deponuzun standartlarını, bağımlılıklarını, kod inceleme beklentilerini veya çalışma kısıtlarını kapsamaz.
Her denemede birebir aynı prompt'lar mı kullanılmalı?
Eşdeğer görev bilgisi ve önceden tanımlanmış bir prompt politikası kullanın. Farklılıkların incelenebilir kalması için araca özgü sarmalayıcıları (wrapper) kaydedin.
Düzeltilen yamalar başarı olarak sayılır mı?
Kuralı önceden belirleyin. Düzeltilmiş ve doğrudan kabul edilen yamaları ayrı raporlayın; düzeltme süresini iş akışı karşılaştırmasına dahil edin.
Zaman aşımları nasıl puanlanmalı?
Belirlenen zaman bütçesi çerçevesinde bunları başarısızlık olarak kabul edin. Harcamalarını ve geçen sürelerini sonuçlara dahil edin.
Ekip kullanım kapsamını ne zaman genişletmeli?
Bir görev kategorisi tekrarlanan denemelerde kabul kuralınızı karşıladığında ve incelemeciler modelin tekrarlayan hata biçimlerini anladığında kapsamı genişletin.
Ek kaynaklar
Depo izolasyonu için Git belgelerini, kontrollü test ortamı kurulumu için pytest fixtures kılavuzunu, aracı çalışmalarını ve insan incelemesini organize etmek içinse Sharkly'yi inceleyebilirsiniz.



