Claude Haiku 5.5 vs GPT-6 Luna : le comparatif

Anthropic a lancé Claude Haiku 5.5 le 7 octobre au tarif de 0,10 $ par million de tokens d'entrée et 0,50 $ par million de tokens de sortie, pour les prompts allant jusqu'à 100 000 tokens. De son côté, GPT-6 Luna affiche exactement 0,10 $ et 0,50 $ depuis le 22 septembre, avec des prix de cache identiques : 0,01 $ en lecture, 0,125 $ en écriture. Neuf jours après l'alignement de Sonnet 5.5 sur GPT-6 Sol à 2 $ et 10 $, l'entrée de gamme leur a emboîté le pas.

Cette parité tarifaire complique le choix au lieu de le simplifier, car c'est sur ce segment économique que se concentre le volume : le tri, les synthèses, les échafaudages de tests, soit précisément ces tâches qui, comme nous l'avions déjà souligné, relèvent d'un Runtime économique. Décidez au feeling et vous finirez par utiliser les deux de toute façon, l'un dans Claude Code et l'autre dans Codex. Dès lors, plus personne ne sait quel Agent s'occupe de quoi, quelle exécution est allée à son terme ou lequel a rédigé le compte-rendu de tri qui a mal aiguillé un bug mardi dernier.

En résumé

Claude Haiku 5.5 et GPT-6 Luna ne coûtent la même chose qu'en dessous de 100 000 tokens de prompt. Au-delà, Haiku 5.5 passe à 0,50 $/2,50 $, tandis que Luna conserve son tarif de base jusqu'à 272 000 tokens avant de grimper à 0,20 $/0,75 $ : c'est donc sur les longues sessions d'agents que les factures divergent. Le tableau de lancement publié par Anthropic — le seul tableau d'un fournisseur confrontant les deux modèles — place Haiku 5.5 en tête sur chaque ligne commune. Ses graphiques de coûts montrent néanmoins que Luna est plus économique par tentative à tous les niveaux d'effort sur le travail intellectuel, ainsi qu'à tous les niveaux sauf « medium » sur l'utilisation de l'ordinateur (où les deux modèles coûtent la même chose et où Haiku 5.5 obtient environ 16 points de plus). Il s'agit des données d'un seul fournisseur, sans résultat indépendant pour Haiku 5.5 à ce jour. Aiguillez vos requêtes selon la taille du prompt et vos propres mesures sur vos Tasks : conserver les deux Runtimes reste une décision parfaitement défendable.

Des tarifs identiques... jusqu'à ce que le prompt s'allonge

L'alignement tarifaire mis en avant ne vaut que pour une tranche précise de taille de prompt. Les deux fournisseurs appliquent une tarification différente pour les longs prompts, à des seuils et dans des proportions distincts :

La documentation tarifaire d'Anthropic l'indique clairement : un prompt de plus de 100 000 tokens est soumis à un tarif supérieur. De son côté, la page du modèle Luna chez OpenAI applique aux prompts dépassant 272 000 tokens d'entrée un tarif multiplié par 2 pour l'entrée et le cache, et par 1,5 pour la sortie, et ce sur l'ensemble de la requête. Le traitement par lots (batch) divise les deux par deux.

Cet aspect pèse bien plus lourd pour les agents que pour le chat, car une session d'agent renvoie l'intégralité de son contexte à chaque tour. Anthropic indique que 90 % des requêtes adressées à Haiku 4.5 ne dépassaient pas 100 000 tokens, mais une longue session de développement n'a rien d'une requête ordinaire. Par défaut, Claude Code compacte automatiquement les modèles dotés nativement d'un contexte de 1 M, Haiku 5.5 inclus, aux alentours de 967 000 tokens. Une longue exécution de Claude Code avec Haiku 5.5 peut ainsi passer la majorité de ses tours au-dessus des 100 000 tokens, soit à cinq fois le tarif affiché. Codex avec Luna dispose quant à lui d'une marge de 172 000 tokens supplémentaires avant d'atteindre sa majoration, laquelle s'avère en outre plus modérée.

De plus, le décompte des tokens ne se compare pas directement d'un fournisseur à l'autre. Anthropic précise qu'un même texte produit environ 30 % de tokens en plus sur Haiku 5.5 que sur Haiku 4.5. Sur Hacker News, un internaute a estimé que 100 000 tokens des versions récentes de Claude équivalaient grosso modo à 60 000 ou 65 000 tokens sur les modèles GPT récents. Bien qu'il s'agisse d'une estimation et non d'une mesure exacte, elle converge vers la même conclusion : un même dépôt saturera la tranche économique de Haiku 5.5 bien plus vite.

Ce que permet de comparer le tableau d'Anthropic

L'article de lancement de Haiku 5.5 contient six lignes incluant un score pour Luna. Les chiffres de Haiku 5.5 correspondent à l'effort maximal :

Haiku 5.5 arrive en tête sur chaque ligne. Deux réserves empêchent toutefois d'en tirer un verdict définitif : il s'agit du tableau fourni par Anthropic, et les graphiques de la page de lancement confrontent les scores au coût par tentative, ce qui offre un éclairage bien différent des seuls scores bruts :

Sur GDPval-AA, Luna est moins cher par tâche à chaque niveau d'effort. Sur OSWorld, il s'avère plus économique à tous les niveaux sauf en « medium », où les deux modèles reviennent à environ 13 centimes la tentative. Pour l'utilisation de l'ordinateur, l'écart de performance est suffisamment large pour lever tout doute : Haiku 5.5 en medium surpasse Luna en max pour un coût inférieur. Pour le travail intellectuel en revanche, l'écart se resserre nettement : Haiku 5.5 en high et Luna en max coûtent tous deux environ neuf centimes par tâche pour seulement 17 points Elo d'écart, tandis que le mode max de Haiku 5.5 coûte près de dix fois plus cher que celui de Luna.

Deux limites supplémentaires méritent d'être soulignées. Le score mis en avant pour OSWorld repose sur une attribution partielle des points ; la fiche système d'Anthropic établit le taux de réussite strict de Haiku 5.5 à 37,1 %, sans publier de chiffre équivalent pour Luna. L'impact que cela implique sur la file de revue fait l'objet de notre article sur les agents de navigation web. De plus, aucun des deux modèles n'est taillé pour dominer les benchmarks de développement : Anthropic rappelle elle-même que Sonnet 5.5 et Opus 5.5 restent de bien meilleures options pour le codage agentique complexe.

Le Runtime associé à chaque modèle

Le choix du modèle ne représente que la moitié de la décision. Chacun s'intègre généralement dans un Runtime différent, et ces environnements d'exécution ne réagissent pas de la même manière au sein d'un tableau de suivi.

Claude Code sur claude-haiku-5-5. Il nécessite Claude Code v2.1.293 ou une version ultérieure ; lancez-le avec claude --model claude-haiku-5-5 ou changez de modèle avec /model. L'alias haiku ne renvoie vers Haiku 5.5 que sur l'API d'Anthropic et correspond toujours à Haiku 4.5 sur Bedrock, Google Cloud, Microsoft Foundry et Claude Platform sur AWS ; veillez donc à spécifier l'identifiant complet. L'effort par défaut est réglé sur medium, et Claude Code ne permet pas de désactiver la réflexion sur Haiku 5.5. Les nouveaux crédits d'API mensuels des forfaits Max et Team ne couvrent pas Claude Code et ne permettent donc pas de financer ce Runtime.

Codex sur gpt-6-luna. Luna s'exécute dans Codex avec les forfaits Plus, Pro, Business, Enterprise et Edu. L'effort de raisonnement via l'API s'échelonne de none à max, avec medium par défaut ; les deux modèles démarrent donc en medium, à moins qu'on ne le modifie.

Une divergence de comportement mérite de figurer sur le tableau de suivi plutôt que dans une note de bas de page. Haiku 5.5 intègre des classifieurs de sécurité susceptibles de rejeter une requête, sans aucun mécanisme de repli côté serveur, et la fiche système d'Anthropic souligne qu'il a produit plus de refus injustifiés que tout autre modèle lors de leur audit comportemental automatisé. Or, un refus équivaut à une exécution qui s'achève sans aucun résultat. Cet incident doit remonter dans la Task sous forme d'échec visible, et non s'évanouir dans un terminal que personne ne regarde.

Comment les évaluer sur vos propres Tasks

Sharkly ne choisit pas les modèles à votre place. La documentation sur les Agents le précise : « L'Agent utilise le modèle par défaut du Runtime. Il ne promet ni n'affiche de nom de modèle spécifique. Pour changer de modèle, indiquez-le dans Custom arguments sur l'Agent ou le Runtime, par exemple model: nom-du-modèle. » Il n'existe pas de menu déroulant pour sélectionner un modèle sur l'Agent. La configuration requiert donc deux Agents, un par Runtime, chacun identifié selon son rôle :

Agent A:  Claude Code Runtime, Custom arguments  model: claude-haiku-5-5
Agent B:  Codex Runtime,       Custom arguments  model: gpt-6-luna
Tasks:    the same description and starting commit, one Task per Agent,
          drawn from jobs you actually hand the cheap tier
Accept:   one acceptance check, written before either run starts
Record:   accepted y/n, review minutes, reruns, refusals,
          whether the run crossed 100K (Haiku) or 272K (Luna) input tokens,
          provider cost from your own Anthropic and OpenAI bills

La consommation des modèles s'effectue via les abonnements ou les clés d'API configurés dans ces outils, de sorte que les factures restent directement gérées par les fournisseurs. La méthode détaillée, incluant l'argument des minutes de revue, est présentée dans notre comparatif entre Sonnet 5.5 et GPT-6 Sol ainsi que dans comment comparer les agents de développement sur votre propre base de code. La configuration propre à Haiku est détaillée dans l'exécution d'agents Claude Haiku 5.5 dans Sharkly.

La colonne supplémentaire indispensable pour ce duo est celle de la taille du prompt. Une exécution économique qui a dépassé les 100 000 tokens sur Haiku 5.5 n'a plus rien d'une tâche à dix centimes, et une exécution économique ayant nécessité deux relances n'a plus rien d'économique, comme l'explique notre article quand les modèles bon marché coûtent plus cher.

Pourquoi adopter les deux est une réponse légitime

Les données publiées ne désignent aucun grand gagnant, et la grille tarifaire conduit presque inévitablement à un arbitrage partagé.

Privilégiez Haiku 5.5 lorsque vos prompts restent sous les 100 000 tokens, lorsqu'il s'agit de tâches sur navigateur ou sur ordinateur (où son avance sur OSWorld est la plus nette), ou lorsque les tâches d'entrée de gamme tournent sous forme de sous-agent supervisé par un modèle Claude principal (notre article sur le choix entre sous-agent ou Agent autonome détaille la bonne répartition de ces charges). Optez pour Luna lorsque vos tâches intègrent régulièrement entre 100 000 et 272 000 tokens de contexte (par exemple pour de longs résumés de logs ou d'importants diffs), ou lorsque le prix le plus bas par tentative dicte votre choix. Si vous utilisez exclusivement Claude Code et que vos tâches économiques sont courtes, vous n'aurez peut-être pas du tout besoin d'un second Runtime économique.

Conserver les deux ne fonctionne toutefois que si la Task — et non le Runtime — constitue la référence centrale. Les agents effectuent les recherches, exécutent, testent et rendent compte. Les humains fixent le cap, accordent les autorisations et valident le résultat. Deux laboratoires ont aligné leurs prix d'entrée de gamme en l'espace de trois semaines, et l'un comme l'autre peut faire bouger les lignes demain ; le contexte, la progression, les points de blocage, les résultats et la revue humaine doivent rester visibles, de la demande initiale jusqu'au déploiement, quel que soit le Runtime qui l'emportera lors de la prochaine manche. Si vous souhaitez continuer à exploiter plusieurs agents de développement sans vous enfermer dans un seul écosystème, c'est précisément le problème autour duquel Sharkly a été conçu.