Browser Agent Murah dengan Haiku 5.5: Antrean Review Menjadi Biaya Baru

Anthropic merilis Claude Haiku 5.5 pada 7 Oktober dan secara langsung menargetkannya untuk pekerjaan di peramban. Artikel peluncurannya menyebut model ini sangat cocok untuk “tugas-tugas yang mengutamakan kecepatan seperti dukungan pelanggan langsung dan penggunaan peramban”, halaman produknya mencantumkan pengisian formulir, entri data, serta pemindahan informasi antaraplikasi, dan rilis yang sama juga menambahkan fitur computer use dan browser use versi beta ke SDK Python dan TypeScript Anthropic. Pada OSWorld 2.1, tolok ukur computer-use yang dilaporkan Anthropic, Haiku 5.5 meraih skor 72,4% dengan biaya sekitar $0,61 per percobaan pada tingkat effort maksimal, dan 53,3% dengan biaya sekitar $0,13 pada tingkat effort default (medium).

Angka utama tersebut merupakan skor nilai parsial (partial credit). Jika membaca system card-nya, pengujian yang sama sebenarnya memiliki tingkat kelulusan ketat (strict pass rate) sebesar 37,1%. Jadi, tim yang mengintegrasikan Haiku 5.5 ke alur kerja peramban akan mendapatkan eksekusi yang hanya berbiaya beberapa sen, namun hasilnya lebih sering hanya selesai sebagian. Biaya eksekusinya memang murah. Namun, biaya pemeriksaannya tidak, dan bagi tim yang menjalankan beberapa agen, hal ini mengalihkan biaya riil otomatisasi peramban kepada siapa pun yang harus meninjau hasilnya.

TL;DR

Pada subset offline OSWorld 2.1 milik Anthropic, Haiku 5.5 rata-rata memperoleh skor partial credit 72,4%, tetapi hanya lolos penuh (strict pass) pada 37,1% percobaan; Sonnet 5.5 dan Opus 5.5 menunjukkan selisih serupa sebesar 34 hingga 35 poin dengan harga yang lebih mahal. Perlakukan setiap eksekusi peramban sebagai pekerjaan yang baru selesai sebagian sampai diperiksa: tuliskan kriteria penerimaan (acceptance check) yang ketat pada Task, buat Agen berhenti sebelum melakukan tindakan pengiriman (submit) apa pun lalu melaporkan apa yang selesai, belum selesai, serta bukti pendukung, dan biarkan manusia menyetujui langkah terakhir melalui komentar yang me-mention (@) Agen tersebut. Alokasikan upaya untuk menghemat waktu peninjauan; proses eksekusinya adalah bagian yang murah. Agen bertugas meriset, mengeksekusi, menguji, dan melapor. Manusia bertugas menentukan arah, memberi otorisasi, dan menyetujui hasilnya.

Nilai parsial bukan berarti selesai

Anthropic menguji OSWorld 2.1 pada 82 dari 108 tugas di resolusi 1080p, dengan hingga 500 langkah per percobaan, pada setelan max effort, yang dirata-ratakan dari lima kali uji coba. Mereka melaporkan dua angka untuk setiap model, dan angka keduanyalah yang menjadi beban nyata bagi seorang peninjau (reviewer).

Pertama, selisih ini bukan masalah khusus pada Haiku semata. Setiap model dalam lini tersebut menyisakan celah sekitar 35 poin antara “sebagian besar langkah sudah dijalankan” dan “tugas telah selesai”, dan bahkan Opus 5.5 hanya lulus penuh sekitar separuh waktu. Sebagian besar percobaan computer-use, sebagaimana diukur di sini, berakhir hanya selesai sebagian. Kedua, Haiku 5.5 membuat pekerjaan yang selesai sebagian menjadi sangat murah untuk dihasilkan. Per kelulusan ketat (strict pass), biayanya sekitar sepertujuh dari Sonnet 5.5, dan per percobaan sekitar sepersembilannya.

Kondisi selesai sebagian adalah situasi paling berbahaya untuk pekerjaan peramban. Eksekusi yang gagal total sama sekali tidak meninggalkan apa-apa. Namun, eksekusi yang memindahkan 31 dari 40 data ke CRM, atau mengisi formulir vendor hanya sampai kolom pajak, akan meninggalkan status pada aplikasi pihak ketiga yang tampak selesai jika dilihat sekilas. Siapa pun yang meninjaunya harus mencari sembilan data yang hilang tersebut, padahal tidak ada petunjuk apa pun di layar yang mengarahkannya.

Ke mana larinya biaya saat eksekusi hanya berbiaya beberapa sen

Alur kerja peramban yang murah mengubah pos anggaran mana yang perlu Anda perhatikan. Dengan biaya $0,13 per percobaan, seratus kali eksekusi pengisian formulir hanyalah selisih kecil tak terasa pada tagihan model AI Anda. Namun, seratus eksekusi yang masing-masing membutuhkan manusia untuk memeriksa apa saja yang telah diinput dapat menyita perhatian seseorang selama seharian penuh. Biaya Haiku 5.5 memang 90% lebih murah dibandingkan Haiku 4.5 untuk prompt hingga 100 ribu token; tetapi biaya waktu sang peninjau tidak demikian.

Ada juga detail penting terkait struktur harga. Tarif Haiku 5.5 adalah $0,10 per sejuta token input dan $0,50 per sejuta token output untuk prompt hingga 100 ribu token, serta $0,50 dan $2,50 untuk prompt di atas 100 ribu token. Sesi peramban yang panjang dapat membuat ukuran prompt melampaui batas tersebut, dan sejak saat itu setiap permintaan akan dikenakan tarif yang lebih tinggi. Itulah satu alasan lagi untuk menjaga Task peramban tetap ringkas: satu formulir, satu kelompok data, satu Task.

Artikel Peninjauan manusia adalah hambatan utama dan hari kerja agen per hari kerja manusia telah mengemukakan argumen ini sebelumnya. Yang diubah oleh Haiku 5.5 adalah rasionya: dengan $0,13 per eksekusi, biaya eksekusi hampir tidak terasa, dan model yang murah bisa menjadi lebih mahal jika antrean peninjauan ikut diperhitungkan. Satu-satunya tuas efisiensi yang tersisa adalah membuat setiap pemeriksaan berjalan lebih cepat.

Peninjauan agen computer-use: apa saja yang wajib dimuat dalam Task

Sebuah Task pada agen peramban layak ditinjau jika waktu untuk memeriksanya lebih singkat daripada mengerjakannya ulang. Hal ini bergantung pada tiga hal yang tidak bisa dikarang oleh Agen setelah proses selesai: acceptance check ketat yang ditulis sebelum eksekusi, laporan yang memisahkan apa yang sudah selesai dan belum selesai, serta bukti yang bisa dibuka oleh manusia tanpa perlu memutar ulang rekaman sesi.

Di Sharkly, Task sudah menjadi catatan bersama (shared record). Task memuat deskripsi, komentar, lampiran, dan riwayat aktivitas; teks Agen untuk tim disimpan pada Task sebagai komentar yang tertaut ke eksekusi; dan log eksekusi merekam pemanggilan alat (tool calls) serta event Runtime. Dengan demikian, desain peninjauan berada di dua tempat: deskripsi Task menentukan arti “selesai”, sedangkan instruksi Agen menentukan apa saja yang wajib dimuat dalam laporan. Berikut titik awal untuk instruksi Agen input peramban:

Restate the acceptance check from the Task description before you start.
Work up to, but not including, any submit, send, publish, pay, or delete action.
Then stop and report, in this order:
  Done: every record or field you completed, by its identifier.
  Not done: everything you skipped or could not complete, and why.
  Check: the acceptance check, and whether your own count meets it.
  Evidence: the paths of the screenshots you saved in the task directory.
Leave the Task waiting for human review. Do not take the final action
until a person @ mentions you in a comment on this Task to release it.

Tulis kriteria acceptance check sebagai sesuatu yang dapat dihitung: “40 baris di CRM, masing-masing dengan email yang cocok”, bukan “impor spreadsheet”. Daftar “Belum selesai” (Not done) adalah bagian yang disembunyikan oleh nilai parsial; menyebutkan secara gamblang apa saja yang dilewati akan mengubah hasil eksekusi 72% menjadi eksekusi 72% dengan sisa pekerjaan yang diketahui secara pasti. Panduan kami tentang meninjau pekerjaan agen dengan bukti tingkat tugas (task-level evidence) membahas format laporan ini lebih mendalam.

Berdasarkan dokumentasi Agen Sharkly, Agen mengikuti model default Runtime; untuk mengubahnya, tentukan model pada Custom arguments di Agen atau Runtime (claude-haiku-5-5 untuk Claude Code). Tidak ada menu dropdown pilihan model. Panduan pengaturannya dapat dilihat di cara menjalankan agen Claude Haiku 5.5 di Sharkly.

Berhenti sebelum menekan submit

Hasil yang sebagian (parsial) masih dapat diterima untuk sebuah draf, tetapi sama sekali tidak dapat diterima untuk formulir yang sudah dikirimkan (submitted). Oleh karena itu, pisahkan langkah yang tidak dapat dibatalkan (irreversible) dari alur eksekusi, alih-alih hanya berharap model akan melakukannya dengan benar.

Pola ini memanfaatkan fitur-fitur yang sudah tersedia di Sharkly. Agen bekerja hingga sebelum tindakan final dan membiarkan Task menunggu tinjauan manusia, yang akan muncul di Inbox peninjau. Peninjau membuka laporan dan tangkapan layar (screenshot), memperbaiki atau menolaknya, lalu me-mention (@) Agen dalam komentar pada Task tersebut untuk memberikan izin melanjutkan. Komentar biasa tidak akan memicu Agen; hanya mention yang akan membuka atau melanjutkan percakapannya pada Task, dan balasannya akan disimpan sebagai komentar lain yang tertaut ke eksekusi tersebut. Tindakan submit dilakukan dalam Task yang sama, di bawah catatan yang sama, setelah manusia memberikan persetujuan. Panduan kami tentang gerbang persetujuan (approval gates) membahas titik-titik lain untuk menempatkan penghentian ini.

Gerbang ini juga memitigasi risiko peramban lainnya. Agen peramban membaca halaman-halaman yang tidak dibuatnya sendiri. System card Anthropic menyatakan bahwa Haiku 5.5 lebih tahan terhadap prompt injection dibandingkan versi Haiku sebelumnya, secara umum menandingi model frontier mereka dalam menghadapi penyerang adaptif di lingkungan computer-use. Namun, itu adalah klaim tolok ukur, bukan jaminan untuk portal vendor Anda; instruksi yang disusupkan (injected instruction) yang tidak dapat mengeksekusi tombol submit tanpa komentar manusia tentu menjadi insiden yang dampaknya jauh lebih kecil. Batasan di sisi host (Computer khusus, kredensial yang diikat per Agen melalui secret environment variables, satu eksekusi peramban dalam satu waktu) sama seperti dalam panduan guardrail computer-use kami, dan artikel prompt injection dan guardrail agen membahas aspek selebihnya.

Panduan pengambilan keputusan untuk alur ini: Gunakan Agen peramban Haiku 5.5 jika hasilnya dapat diverifikasi berdasarkan jumlah atau daftar dalam waktu kurang dari satu menit, dan tindakan akhirnya bersifat dapat dibatalkan (reversible) atau dijaga di balik persetujuan komentar. Tetap serahkan pekerjaan kepada manusia, atau gunakan model yang lebih besar dengan gerbang persetujuan yang sama, jika memeriksa hasil berarti harus mengulang seluruh pekerjaan dari awal—karena dalam situasi tersebut, tingkat strict pass 37% hanya akan memaksa Anda melakukan pengecekan ulang sepenuhnya.

Bayar lebih untuk effort, hemat waktu peninjauan

Haiku 5.5 adalah model Haiku pertama dari Anthropic yang memiliki pengaturan effort, dengan nilai default medium. Pada OSWorld, peningkatan effort menaikkan skor partial credit secara signifikan dengan tambahan biaya yang sangat kecil:

Menaikkan dari medium ke max menambah biaya sekitar $0,49 per percobaan dan meningkatkan nilai partial credit sebesar 19 poin. Jika poin tambahan tersebut dapat mempersingkat waktu peninjauan meskipun hanya sedikit, setelan max justru menjadi opsi yang lebih hemat untuk Task peramban apa pun yang harus diperiksa manusia. System card menampilkan grafik tingkat strict pass berdasarkan effort, tetapi hanya mencantumkan angkanya secara eksplisit pada tingkat max; jadi, ukurlah hasil ketat tersebut pada Task Anda sendiri sebelum memilih tingkat yang lebih rendah. Effort diatur di Claude Code pada Computer: Agen tidak menyediakan pemilih model atau kontrol kedalaman berpikir (thinking depth). Jalankan alur murah secara hemat jika tidak ada orang yang perlu membaca hasilnya, seperti dalam Luna untuk delapan puluh persen pekerjaan yang membosankan; namun alur kerja peramban bukanlah tipe yang seperti itu.

Pekerjaan peramban yang menulis data ke dalam sistem pihak lain sebaiknya memiliki Task tersendiri daripada digabungkan dalam eksekusi yang lebih besar, karena seseorang harus memvalidasi dan menerimanya; panduan Haiku 5.5 sebagai subagen atau Agen mandiri menjelaskan aturan umumnya.

Agen peramban yang lebih murah berarti akan ada lebih banyak eksekusi, dan lebih banyak eksekusi berarti lebih banyak hasil yang selesai sebagian menunggu untuk diperiksa seseorang. Jika Anda sudah menjalankan beberapa agen, Sharkly menyediakan satu tempat terpusat untuk mengelola tugas dan hasil mereka.