Claude Sonnet 5.5 vs GPT-6 Sol: Dua Runtime dengan Harga yang Sama

Anthropic merilis Claude Sonnet 5.5 pada 28 September dengan harga $2 per juta token input dan $10 per juta token output. OpenAI merilis GPT-6 Sol pada 22 September dengan harga yang persis sama, yaitu $2 dan $10. Terpaut enam hari, harga resmi identik, dan masing-masing berada satu tingkat di bawah model flagship dari labnya. Bagi tim yang sedang memilih model default untuk agen coding, daftar harga tidak menyelesaikan masalah apa pun. Pilihan sebenarnya adalah antara Claude Code vs Codex sebagai Runtime di sekeliling tiap model, serta biaya yang dikeluarkan tiap pasangan model-runtime untuk setiap tugas yang terselesaikan.

Uji coba yang jujur membutuhkan dua Runtime, dua konfigurasi, dua rangkaian hasil, dan satu reviewer yang berusaha mengingat terminal mana yang menghasilkan diff yang mana. Memilih modelnya hanyalah pengaturan satu baris. Namun membandingkan keduanya adalah kekacauan agen dalam skala miniatur.

TL;DR

Biaya per token untuk Claude Sonnet 5.5 dan GPT-6 Sol sama persis, dan yang membedakan keduanya adalah Runtime yang biasanya digunakan oleh tim: Claude Code untuk Sonnet 5.5, dan Codex untuk Sol. Tabel peluncuran dari Anthropic memiliki empat baris dengan kolom GPT-6 Sol. Sonnet 5.5 unggul telak di tiga baris; baris keempat, FrontierCode, bergantung pada tingkat effort. Biaya per tugas berbalik tergantung benchmark-nya: pada FrontierCode, Sonnet 5.5 menyamai hasil terbaik Sol hanya dengan sekitar seperlima biayanya; pada AA-Briefcase, hasil terbaik Sol berbiaya $2,67 per tugas, sedangkan Sonnet 5.5 sebesar $29,19. Ini hanyalah tabel dari satu vendor. Tentukan pemenang antara Sonnet 5.5 vs GPT-6 Sol dengan menjalankan Task yang sama melalui kedua Runtime pada codebase Anda sendiri dan hitung waktu review (dalam menit) per perubahan yang diterima. Mempertahankan keduanya juga merupakan jawaban yang valid asalkan Task tetap menjadi sumber pencatatan utama.

Apa yang sebenarnya bisa Anda bandingkan dari angka-angka yang dipublikasikan

Empat baris. Artikel peluncuran Claude Sonnet 5.5 membandingkan Sonnet 5.5, Sonnet 5, Opus 5.5, dan GPT-6 Sol, dan hanya baris-baris berikut yang mencantumkan angka untuk Sol:

Ini adalah tabel dari satu vendor. Artikel Sol dari OpenAI dirilis enam hari sebelum Sonnet 5.5 ada, sehingga satu-satunya tabel vendor yang mencakup kedua model adalah milik Anthropic. Kedua kolom membawa catatan terkait bug: pengujian Sonnet 5.5 oleh Artificial Analysis menggunakan deployment pra-rilis dengan bug pada structured-output yang kini sudah diperbaiki, dan OpenAI baru-baru ini memperbaiki bug pemahaman gambar pada Sol yang mungkin belum tercermin dalam skor Artificial Analysis dan Surge AI.

Baris FrontierCode adalah baris yang patut diperhatikan oleh tim coding, karena ini sudah merupakan perbandingan antar-Runtime: 52,1% berbanding 49,3% adalah Claude Code pada Sonnet 5.5 melawan Codex CLI pada Sol, yaitu kombinasi yang sebenarnya akan Anda gunakan dalam deployment. Catatan kaki pada skor tingkat max juga tak kalah penting. FrontierCode memberikan penalti untuk perubahan di luar cakupan (out-of-scope), dan pada tingkat effort max, Sonnet 5.5 lebih sering menjalankan kemampuan code-review dari Claude Code yang bercabang ke banyak sub-agen. Dalam dua kasus yang diteliti oleh Cognition, hal tersebut menyebabkan batas waktu terlampaui (timeout) atau suntingan di luar cakupan tugas. Makin tinggi effort, makin lebar diff-nya, makin banyak yang harus di-review.

Tidak ada hal lain di halaman tersebut yang mencantumkan angka untuk Sol. Grafik effort untuk Terminal-Bench 4.0 dan CursorBench 4.0 memplot GPT-5.6 Sol, karena tidak ada angka GPT-6 Sol yang dipublikasikan.

Ada satu agregat pihak ketiga yang tersedia. Artificial Analysis menempatkan endpoint max-effort Sonnet 5.5 pada skor 56 di Intelligence Index mereka, peringkat ketiga dari 216 model per 29 September. Sol berada di angka 48 pada 23 September saat terakhir kami mencatatnya. Dua tanggal berbeda, indeks yang dinamis, dan tidak ada satu pun dari angka tersebut yang mengukur performa pada repositori Anda sendiri.

Biaya per tugas yang selesai, bukan per token

Harga token yang identik tidak banyak menggambarkan besaran tagihan Anda, karena jumlah token per tugas bergantung pada model, effort, dan Runtime. Halaman peluncuran Anthropic mempublikasikan skor dan biaya per tugas berdasarkan tingkat effort untuk dua baris pengujian bersama:

Perhatikan FrontierCode terlebih dahulu. Sonnet 5.5 pada level high meraih skor 49,4% dengan biaya $0,42 per tugas, setara dengan performa terbaik Sol yaitu 49,3% di harga $2,07; kesimpulan dari Anthropic adalah “sekitar seperlima dari biaya per tugas”. Namun detail penting yang perlu diperhatikan ada di bawahnya: pada level medium, Sonnet 5.5 meraih skor 36,5%, di bawah skor Sol bahkan pada level low, padahal medium adalah default effort Claude Code untuk Sonnet 5.5. Panduan prompting Anthropic menyarankan untuk memulai dari high, atau medium untuk agentic coding pada tugas-tugas dengan spesifikasi yang jelas. Pengaturan yang jarang diotak-atik orang justru bisa menjadi penentu perbandingannya.

AA-Briefcase, sebuah benchmark untuk pekerjaan pengetahuan (knowledge work), menunjukkan hasil yang berbanding terbalik. Skor terbaik Sol membutuhkan biaya $2,67 per tugas; sedangkan skor terbaik Sonnet 5.5 berbiaya $29,19, sekitar sebelas kali lipat lebih mahal, untuk skor yang lebih tinggi. Pengaturan Sonnet 5.5 yang paling mendekati biaya max Sol adalah level medium di harga $1,64, dengan perolehan skor 1461 berbanding 1483. Dua model yang sama menghasilkan kesimpulan yang berlawanan mengenai mana yang lebih hemat untuk hasil yang didapat.

Fitur caching mempersempit selisih tersebut sekaligus mengubah dinamikanya. Sonnet 5.5 membaca cached input dengan harga $0,10 per juta token, dengan cache write berdurasi 5 menit seharga $2,50 (harga Anthropic). GPT-6 memotong 90% biaya cached input read, yaitu $0,20 dari tarif dasar $2, sehingga cached read pada Sonnet 5.5 berbiaya separuh lebih murah. Perbedaannya terletak pada apa yang membatalkan (menginvalidasi) cache: OpenAI menyatakan bahwa mengubah reasoning effort atau ketersediaan tool tidak lagi menginvalidasi cache, sedangkan panduan prompting Sonnet 5.5 dari Anthropic menyatakan bahwa mengubah top-level effort antarpemanggilan akan membatalkan cache, dan menyarankan pengaturan beta untuk effort per-message. Agen yang mengubah level effort di tengah-tengah pengerjaan tugas akan melihat dampaknya pada tagihan.

Tak satu pun dari angka-angka ini mencerminkan biaya riil per perubahan yang Anda terima. Eksekusi yang murah tetapi membutuhkan dua kali pengulangan (rerun) dan proses review yang berbelit-belit justru menjadi yang paling mahal.

Cara menentukan pilihan pada codebase Anda sendiri

Jalankan Task yang sama di kedua Runtime dan hitung waktu yang dihabiskan seseorang untuk meninjau dan menerima hasilnya. Kriterianya diulas dalam panduan cara membandingkan agen coding pada codebase Anda sendiri; berikut adalah penyiapan untuk kedua model ini.

Sharkly tidak memilihkan model. Dokumentasi Agents menjelaskan secara gamblang: “Agent mengikuti model default milik Runtime. Agent tidak menjanjikan ataupun menampilkan nama model tertentu. Ubah model pada konfigurasi tool Runtime atau Computer, bukan pada Agent.” Jadi konfigurasi model dilakukan di sisi Computer:

• Claude Code pada claude-sonnet-5-5. Membutuhkan Claude Code v2.1.284 atau versi lebih baru. Model default pada Claude Code adalah Opus 5.5 untuk paket Pro, Max, Team, Enterprise, dan Anthropic API, sehingga Computer akan menjalankan Opus sampai ada yang mengubahnya, dan alias sonnet hanya merujuk ke Sonnet 5.5 pada Anthropic API. Sematkan ID lengkapnya dan konfirmasikan dengan perintah claude --model claude-sonnet-5-5 pada host tersebut. Panduan menjalankan agen Sonnet 5.5 di Sharkly memuat langkah lengkapnya.
• Codex pada gpt-6-sol. Atur model di konfigurasi Codex pada Computer tersebut; panduan menjalankan agen GPT-6 Sol di Sharkly memuat langkah-langkahnya.
• Working directory sementara pada kedua Agent. Setiap eksekusi mendapatkan direktori yang terisolasi, dan eksekusi berbasis repositori dapat menyiapkan worktree baru, sehingga kedua pengujian tidak pernah berbagi checkout yang sama.

Kemudian catat rencana uji coba ini sebelum salah satu eksekusi dimulai:

Task:    SH-312, one real Task, same description and starting commit for both runs
Run A:   Claude Code Agent, claude-sonnet-5-5, effort: medium (Claude Code default) or high
Run B:   Codex Agent, gpt-6-sol, effort: whatever Codex on that Computer is set to, written here
Accept:  the same acceptance test for both
Record:  accepted y/n, human review minutes, reruns, files touched outside scope,
         provider cost from your own Anthropic and OpenAI bills
Decide:  after several Tasks of each kind you actually assign, not one

Tugaskan Task kepada salah satu Agent dan jalankan Agent lainnya dengan me-mention-nya di kolom komentar; Sharkly memungkinkan mention langsung untuk memulai Agent yang bukan Assignee. Hasil dari kedua pengujian akan kembali ke Task yang sama, sehingga dua diff, dua pengujian (test run), dan berbagai pertanyaan akan terkumpul dalam satu linimasa alih-alih terpisah di dua riwayat scroll terminal. Panduan versi satu bug, lengkap dengan rubrik penilaiannya, ada pada artikel Claude Code vs Codex pada bug yang sama.

Beri bobot tertinggi pada durasi review. Panduan prompting Anthropic menyebutkan bahwa Sonnet 5.5 menambahkan pengujian, dokumentasi, dan file-file kecil pada setiap tingkat effort, melakukan check-in lebih awal pada tugas panjang di tingkat low dan medium, serta memulai putaran review tambahan atau sub-agen peninjau pada tingkat xhigh dan max. Apa pun yang dilakukan Codex pada Sol dalam situasi serupa, uji coba Anda akan memperlihatkannya. Semua itu berdampak langsung pada waktu review, dan tidak ada satu pun yang tampak dalam skor benchmark.

Mengapa memilih “keduanya” adalah jawaban yang masuk akal

Bukti yang dipublikasikan tidak menghasilkan pemenang mutlak bagi semua orang, dan uji coba Anda pun mungkin tidak. Hasil yang terbagi bukanlah kegagalan, melainkan sebuah temuan.

Pilihlah satu Runtime jika uji coba Anda tidak menunjukkan perbedaan yang signifikan setelah menghitung durasi review, atau jika tim kecil Anda lebih memilih mengelola satu langganan dan satu konfigurasi saja. Jika Anda hanya menggunakan Claude Code dan menyukai alur kerja terminal-first, Anda mungkin tidak memerlukan lapisan manajemen sama sekali. Pertahankan keduanya jika hasilnya berbeda tergantung jenis tugas, atau jika Anda ingin mengganti default bulan depan tanpa merombak alur kerja. “Bulan depan” bukanlah hal hipotetis: Opus 5.5, Sol, dan Luna dirilis pada hari yang sama, dan Sonnet 5.5 menyusul enam hari kemudian.

Menggunakan keduanya hanya akan berhasil jika Task—bukan Runtime—yang menjadi pusat catatan. Tidak ada model lain yang membaca blok thinking dari Sonnet 5.5, jadi saat sebuah Task berpindah dari Agent Claude Code ke Agent Codex, proses reasoning tersebut tertinggal dan hanya apa yang tertulis pada Task yang ikut terbawa. Keputusan, asumsi, dan pertanyaan terbuka harus dicantumkan pada deskripsi atau komentar. Panduan menjalankan Claude Code dan Codex secara bersamaan pada satu codebase membahas implementasi hariannya, dan Sonnet 5.5 atau Opus 5.5 membahas routing di sisi Claude.

Agen bertugas meriset, mengeksekusi, menguji, dan melaporkan. Manusialah yang menentukan arah, memberikan kewenangan, dan menerima hasilnya. Runtime bisa berganti setiap kuartal; konteks, progres, kendala, hasil, dan review manusia harus tetap terlihat di satu tempat mulai dari permintaan hingga rilis.

Versi minggu lalu dari pertanyaan ini, Opus 5.5 vs GPT-6 Sol, memiliki masalah bukti perbandingan yang serupa: artikel OpenAI membandingkan Sol dengan model Claude yang langsung tergeser beberapa jam kemudian. Tetapkan default Anda, ukur langsung pada kode Anda, dan pastikan Runtime tetap menjadi setelan yang fleksibel untuk diubah. Jika Anda ingin terus menggunakan beberapa agen coding alih-alih terikat pada satu ekosistem saja, itulah masalah yang dirancang untuk diselesaikan oleh Sharkly. Hubungkan satu Computer, buat satu Agent untuk setiap Runtime, dan berikan Task nyata yang sama kepada keduanya.