Claude Haiku 5.5 vs GPT-6 Luna: Mana yang Lebih Unggul?

Anthropic merilis Claude Haiku 5.5 pada 7 Oktober dengan harga $0,10 per satu juta token input dan $0,50 per satu juta token output untuk prompt hingga 100K token. GPT-6 Luna telah mematok tarif yang persis sama, yaitu $0,10 dan $0,50, sejak 22 September, dan harga cache-nya pun identik: $0,01 untuk membaca dan $0,125 untuk menulis. Sembilan hari setelah Sonnet 5.5 menyamai GPT-6 Sol di angka $2 dan $10, tier murah pun mengikuti langkah yang sama.

Kesesuaian harga ini justru membuat pilihan kian sulit, bukan kian mudah, karena volume beban kerja terbesar berada di tier murah: triase, ringkasan, penyusunan scaffolding pengujian—tugas-tugas yang sebelumnya sudah kami bahas lebih cocok dijalankan di Runtime murah. Jika Anda memilih di antara keduanya hanya bermodalkan firasat, pada akhirnya kedua model tersebut akan sama-sama digunakan di papan kerja: satu di Claude Code dan satu lagi di Codex. Akibatnya, tidak ada yang tahu pasti Agent mana yang menangani tugas apa, proses mana yang sudah selesai, atau model mana yang menulis ringkasan triase yang salah mengarahkan bug pada hari Selasa lalu.

TL;DR

Claude Haiku 5.5 dan GPT-6 Luna hanya berbiaya sama jika prompt berada di bawah 100K token. Di atas batasan tersebut, tarif Haiku 5.5 naik menjadi $0,50/$2,50, sementara Luna bertahan pada harga katalog hingga 272K token sebelum naik ke $0,20/$0,75. Dengan demikian, sesi agent yang panjang adalah titik pembeda utama biayanya. Tabel peluncuran Anthropic—satu-satunya tabel dari vendor yang membandingkan kedua model—menunjukkan Haiku 5.5 mencatatkan skor lebih tinggi di setiap baris pengujian yang sama. Namun, grafik biayanya memperlihatkan Luna lebih murah per percobaan pada setiap tingkat effort untuk pekerjaan berbasis pengetahuan (knowledge work), serta pada semua tingkat kecuali medium untuk computer use—di mana biayanya setara tetapi skor Haiku 5.5 sekitar 16 poin lebih tinggi. Ini adalah data dari salah satu vendor, dan belum ada hasil pengujian independen untuk Haiku 5.5. Arahkan rute model berdasarkan ukuran prompt serta metrik yang Anda ukur pada Task Anda sendiri; mempertahankan kedua Runtime adalah opsi yang sangat masuk akal.

Harganya identik sampai ukuran prompt membengkak

Kesesuaian tarif utama tersebut hanya berlaku untuk rentang ukuran prompt tertentu. Kedua vendor menyesuaikan harga untuk prompt panjang pada batas volume serta besaran biaya yang berbeda:

Dokumentasi harga Anthropic menjelaskannya secara gamblang: prompt di atas 100.000 token dikenai tarif lebih tinggi. Halaman model Luna dari OpenAI menetapkan tarif prompt di atas 272K token input sebesar 2x tarif input dan cache, serta 1,5x tarif output untuk keseluruhan permintaan. Pemrosesan batch memangkas kedua tarif tersebut hingga separuhnya.

Hal ini berdampak jauh lebih besar pada agent dibandingkan chat biasa, karena setiap giliran interaksi (turn) dalam sesi agent mengirimkan ulang seluruh konteksnya. Anthropic menyatakan bahwa 90% permintaan ke Haiku 4.5 berada di bawah 100K, tetapi sesi coding yang panjang bukanlah permintaan yang biasa. Secara default, Claude Code melakukan auto-compact pada model dengan native context 1M—termasuk Haiku 5.5—di kisaran 967K token. Oleh karena itu, sesi eksekusi panjang Claude Code menggunakan Haiku 5.5 bisa menghabiskan sebagian besar gilirannya di atas 100K, yang berarti lima kali lipat dari tarif dasarnya. Sebaliknya, Codex pada Luna memiliki ruang tambahan 172K token sebelum biaya tambahan berlaku, dan kenaikan tarifnya pun lebih kecil saat batas itu tercapai.

Jumlah token antar-vendor juga tidak bisa dibandingkan secara langsung. Anthropic menyebutkan bahwa teks yang sama menghasilkan token sekitar 30% lebih banyak pada Haiku 5.5 dibandingkan Haiku 4.5. Seorang komentator di Hacker News memperkirakan bahwa 100K token Claude modern setara dengan kira-kira 60K hingga 65K token GPT modern. Walaupun itu baru sekadar estimasi dan bukan pengukuran pasti, arahnya tetap sama: repositori yang sama akan lebih cepat memenuhi batas tier murah Haiku 5.5.

Apa yang bisa dibandingkan dari tabel Anthropic

Artikel peluncuran Haiku 5.5 memuat enam baris perbandingan dengan angka milik Luna. Angka untuk Haiku 5.5 dicapai pada tingkat effort maksimal (max effort):

Haiku 5.5 unggul di setiap baris. Namun, ada dua catatan penting sebelum menarik kesimpulan mutlak. Pertama, ini adalah tabel dari pihak Anthropic sendiri. Kedua, grafik pada halaman peluncuran membandingkan skor terhadap biaya per percobaan, yang menyajikan sudut pandang berbeda dibandingkan sekadar melihat angka skor:

Pada GDPval-AA, Luna lebih murah per tugas di setiap tingkat effort. Pada OSWorld, Luna lebih hemat di semua level kecuali medium, di mana keduanya sama-sama berbiaya sekitar 13 sen per percobaan. Untuk computer use, selisih skornya cukup jauh sehingga perbedaan biaya menjadi tidak signifikan: Haiku 5.5 pada tingkat medium mampu mengalahkan Luna pada tingkat max dengan biaya lebih rendah. Sebaliknya, pada knowledge work, selisihnya nyaris tertutup. Haiku 5.5 pada tingkat high dan Luna pada tingkat max sama-sama berbiaya sekitar sembilan sen per tugas dan hanya berjarak 17 poin Elo, sementara tarif max Haiku 5.5 hampir sepuluh kali lipat dari Luna.

Ada dua batasan lain yang perlu diperhatikan. Angka utama OSWorld merupakan penilaian parsial (partial credit); system card Anthropic mencatat tingkat kelulusan ketat (strict pass rate) Haiku 5.5 berada di angka 37,1%, serta tidak mencantumkan data strict untuk Luna. Pengaruh kondisi ini terhadap antrean review dibahas mendalam dalam artikel kami tentang browser agent. Selain itu, kedua model ini bukan model utama untuk tugas coding: Anthropic sendiri menyatakan bahwa Sonnet 5.5 dan Opus 5.5 tetap menjadi pilihan yang lebih andal untuk agentic coding yang kompleks.

Runtime di balik setiap model

Memilih model hanyalah separuh keputusan. Masing-masing model biasanya berjalan di dalam Runtime yang berbeda, dan perilaku setiap Runtime pun tidak sama di papan kerja.

Claude Code pada claude-haiku-5-5. Memerlukan Claude Code v2.1.293 atau versi lebih baru; jalankan dengan perintah claude --model claude-haiku-5-5 atau beralih menggunakan /model. Alias haiku hanya merujuk ke Haiku 5.5 pada Anthropic API dan masih mengarah ke Haiku 4.5 pada Bedrock, Google Cloud, Microsoft Foundry, serta Claude Platform on AWS, jadi pastikan menyematkan ID lengkapnya. Effort default-nya adalah medium, dan Claude Code tidak dapat menonaktifkan fitur thinking pada Haiku 5.5. Kredit API bulanan baru untuk paket Max dan Team tidak mencakup Claude Code, sehingga tidak dapat digunakan untuk membiayai Runtime ini.

Codex pada gpt-6-luna. Luna berjalan di Codex untuk paket Plus, Pro, Business, Enterprise, dan Edu. Tingkat reasoning effort pada API-nya berkisar dari none hingga max, dengan medium sebagai default. Jadi, kedua model sama-sama beroperasi di tingkat medium kecuali diubah secara manual.

Satu perbedaan perilaku penting yang harus terpantau di papan kerja alih-alih sekadar menjadi catatan kaki: Haiku 5.5 menjalankan safety classifier yang dapat menolak permintaan tanpa fallback di sisi server. System card Anthropic menyebutkan bahwa model ini melakukan penolakan berlebih (over-refusal) paling sering dibandingkan model lain dalam audit perilaku otomatisnya. Sebuah penolakan berarti proses eksekusi berakhir tanpa hasil apa pun. Kondisi ini harus dilaporkan kembali ke Task sebagai kegagalan yang terlihat jelas, bukan lenyap begitu saja di dalam terminal yang tidak dipantau siapa pun.

Cara membandingkannya pada Task Anda sendiri

Sharkly tidak memilihkan model untuk Anda. Dokumentasi Agents menyatakan: “Agent mengikuti model default milik Runtime. Agent tidak menjanjikan atau menampilkan nama model tertentu. Untuk mengubah model, tentukan model pada Custom arguments di Agent atau Runtime, misalnya tentukan model: model-name.” Tidak ada menu drop-down pemilihan model pada antarmuka Agent. Oleh karena itu, konfigurasinya adalah menyiapkan dua Agent, satu untuk tiap Runtime, dengan penamaan yang sesuai dengan jalurnya masing-masing:

Agent A:  Claude Code Runtime, Custom arguments  model: claude-haiku-5-5
Agent B:  Codex Runtime,       Custom arguments  model: gpt-6-luna
Tasks:    the same description and starting commit, one Task per Agent,
          drawn from jobs you actually hand the cheap tier
Accept:   one acceptance check, written before either run starts
Record:   accepted y/n, review minutes, reruns, refusals,
          whether the run crossed 100K (Haiku) or 272K (Luna) input tokens,
          provider cost from your own Anthropic and OpenAI bills

Penggunaan model berjalan melalui langganan atau API key yang dikonfigurasikan pada alat-alat tersebut, sehingga kedua tagihan tetap tercatat langsung di masing-masing penyedia layanan. Metode lengkapnya, termasuk argumen review-minutes, dapat dilihat dalam komparasi Sonnet 5.5 vs GPT-6 Sol kami dan cara membandingkan coding agent pada codebase Anda sendiri. Konfigurasi khusus Haiku tersedia di panduan menjalankan agent Claude Haiku 5.5 di Sharkly.

Kolom tambahan yang diperlukan untuk pasangan model ini adalah kolom ukuran prompt. Sesi hemat yang melampaui 100K pada Haiku 5.5 bukanlah sesi sepuluh sen, dan sesi hemat yang memerlukan dua kali pengulangan (rerun) sama sekali tidak hemat, sebagaimana dibahas dalam saat model murah berbiaya lebih mahal.

Mengapa memilih “keduanya” adalah jawaban yang masuk akal

Bukti yang dipublikasikan tidak menunjukkan pemenang mutlak, dan skema harga yang ada hampir pasti menuntut pembagian penggunaan.

Gunakan Haiku 5.5 saat prompt tetap berada di bawah 100K, saat tugas melibatkan pekerjaan peramban atau desktop di mana keunggulan OSWorld-nya paling dominan, atau saat tugas murah tersebut dijalankan sebagai subagent di bawah kendali model Claude utama (artikel tentang subagent atau Agent mandiri mengulas di mana tugas tersebut sebaiknya ditempatkan). Gunakan Luna ketika tugas rutin membawa konteks antara 100K hingga 272K token—seperti ringkasan log yang panjang atau diff berukuran besar—atau ketika harga terendah per percobaan menjadi prioritas utama. Jika Anda hanya menjalankan Claude Code dan tugas-tugas ringan Anda berdurasi singkat, Anda mungkin tidak memerlukan Runtime murah kedua sama sekali.

Mempertahankan keduanya hanya akan berjalan lancar jika Task menjadi pusat pencatatan, bukan Runtime-nya. Agent bertugas melakukan riset, mengeksekusi, menguji, dan melaporkan. Manusialah yang menentukan arah, memberikan otorisasi, dan menyetujui hasil akhirnya. Dua laboratorium AI telah menetapkan harga yang identik untuk tier murah mereka dalam kurun waktu tiga minggu, dan masing-masing pihak bisa mengubahnya sewaktu-waktu. Oleh karena itu, konteks, progres, hambatan, hasil akhir, serta tinjauan manusia harus tetap terpantau jelas dari tahap permintaan hingga rilis, terlepas dari Runtime mana yang lebih unggul di babak berikutnya. Jika Anda ingin tetap menggunakan beberapa coding agent alih-alih terpaku pada satu ekosistem saja, permasalahan itulah yang dirancang untuk diselesaikan oleh Sharkly.