เปรียบเทียบ Claude Haiku 5.5 กับ GPT-6 Luna

Anthropic เปิดตัว Claude Haiku 5.5 เมื่อวันที่ 7 ตุลาคม ด้วยราคา $0.10 ต่อ 1 ล้าน input token และ $0.50 ต่อ 1 ล้าน output token สำหรับพรอมต์ที่มีขนาดไม่เกิน 100K token ส่วน GPT-6 Luna นั้นตั้งราคาไว้ที่ $0.10 และ $0.50 เท่ากันมาตั้งแต่วันที่ 22 กันยายน แถมราคาแคชก็ตรงกันพอดิบพอดี โดยอยู่ที่ $0.01 สำหรับการอ่าน และ $0.125 สำหรับการเขียน หลังจากที่ Sonnet 5.5 เพิ่งตั้งราคาชนกับ GPT-6 Sol ที่ $2 และ $10 ได้เพียง 9 วัน โมเดลระดับประหยัด (cheap tier) ก็เดินตามรอยเดียวกันเป๊ะ

การที่ราคาเท่ากันไม่ได้ช่วยให้เลือกง่ายขึ้นเลย กลับทำให้ตัดสินใจยากกว่าเดิม เพราะโมเดลกลุ่มประหยัดคือจุดที่มีปริมาณการใช้งานหนาแน่นที่สุด ไม่ว่าจะเป็นการคัดกรองงาน (triage), การสรุปเนื้อหา, การสร้างโครงร่างสำหรับทดสอบ (test scaffolding) ซึ่งเป็นงานที่เราเคยชี้ให้เห็นแล้วว่าเหมาะจะรันบน Runtime ราคาประหยัด หากคุณเลือกตามความรู้สึก สุดท้ายทั้งสองตัวก็อาจถูกนำมาใช้งานคู่กันอยู่ดี โดยตัวหนึ่งอยู่ใน Claude Code ส่วนอีกตัวอยู่ใน Codex และหลังจากนั้นก็จะไม่มีใครรู้เลยว่า Agent ตัวไหนกำลังรันอะไรอยู่ งานไหนรันเสร็จไปแล้ว หรือตัวไหนเป็นคนเขียนสรุป triage ที่ส่งบั๊กผิดทีมเมื่อวันอังคารที่ผ่านมา

สรุปใจความสำคัญ (TL;DR)

Claude Haiku 5.5 และ GPT-6 Luna มีราคาเท่ากันเฉพาะเมื่อพรอมต์มีขนาดไม่เกิน 100K token เท่านั้น หากเกินจากนั้น Haiku 5.5 จะขยับราคาขึ้นเป็น $0.50/$2.50 ในขณะที่ Luna ยังคงคิดราคาตามเดิมจนถึง 272K แล้วค่อยเพิ่มเป็น $0.20/$0.75 ดังนั้นเซสชันของ Agent ที่ทำงานต่อเนื่องยาวนานคือจุดที่ค่าใช้จ่ายจะเริ่มแตกต่างกันอย่างชัดเจน ในตารางเปิดตัวของ Anthropic ซึ่งเป็นตารางเปรียบเทียบเดียวจากผู้ให้บริการที่มีทั้งสองโมเดล พบว่า Haiku 5.5 ได้คะแนนสูงกว่าในทุกหมวดที่มีการเปรียบเทียบร่วมกัน ทว่าในกราฟต้นทุน Luna กลับมีราคาต่อครั้ง (attempt) ถูกกว่าในทุกระดับ effort สำหรับงานสาย knowledge work และถูกกว่าเกือบทุกระดับในงาน computer use ยกเว้นที่ระดับ medium ซึ่งมีราคาเท่ากันและ Haiku 5.5 ได้คะแนนสูงกว่าประมาณ 16 จุด อย่างไรก็ดี นี่เป็นข้อมูลจากตารางของผู้ให้บริการเพียงฝั่งเดียว และยังไม่มีผลการทดสอบอิสระสำหรับ Haiku 5.5 แนวทางที่ดีที่สุดคือการเลือกใช้ตามขนาดของพรอมต์และผลลัพธ์ที่คุณวัดได้จริงจาก Task ของคุณเอง ซึ่งการเก็บ Runtime ไว้ใช้งานทั้งสองตัวก็ถือเป็นทางเลือกที่สมเหตุสมผล

ราคาเท่ากันเป๊ะ... จนกว่าพรอมต์จะเริ่มยาว

ราคาเปิดตัวที่เท่ากันนั้นใช้ได้จริงกับขนาดพรอมต์ในช่วงหนึ่งเท่านั้น เพราะผู้ให้บริการทั้งสองเจ้าปรับราคาพรอมต์ที่มีขนาดยาวขึ้น โดยมีจุดตัดราคาและอัตราที่แตกต่างกัน ดังนี้:

เอกสารราคาของ Anthropic ระบุไว้อย่างชัดเจนว่า พรอมต์ที่เกิน 100,000 token จะต้องจ่ายในอัตราที่สูงขึ้น ส่วนหน้าโมเดล Luna ของ OpenAI คิดราคาพรอมต์ที่มี input token เกิน 272K เพิ่มขึ้นเป็น 2 เท่าสำหรับอัตรา input และ cache รวมถึง 1.5 เท่าสำหรับ output ตลอดทั้งคำขอ แต่หากใช้ Batch processing ราคาของทั้งคู่จะลดลงครึ่งหนึ่ง

เรื่องนี้ส่งผลต่อการใช้งานฝั่ง Agent มากกว่าการแช็ตทั่วไปอย่างเห็นได้ชัด เพราะในแต่ละเทิร์น เซสชันของ Agent จะต้องส่ง context ทั้งหมดซ้ำเข้าไปใหม่ Anthropic ระบุว่า 90% ของคำขอที่ส่งไปยัง Haiku 4.5 มีขนาดไม่เกิน 100K แต่การเขียนโค้ดต่อเนื่องยาวนานไม่ใช่การใช้งานทั่วไปตามปกตินั้น โดยค่าเริ่มต้น Claude Code จะบีบอัดบริบท (auto-compact) อัตโนมัติสำหรับโมเดลที่มี context 1M ในตัว ซึ่งรวมถึง Haiku 5.5 ด้วย ที่ประมาณ 967K token ดังนั้นการรัน Claude Code บน Haiku 5.5 เป็นเวลานาน อาจทำให้รอบการทำงานส่วนใหญ่เกิน 100K token และต้องจ่ายในอัตราที่สูงกว่าราคาโปรโมตถึง 5 เท่า ขณะที่ Codex บน Luna ยังมีพื้นที่รองรับเพิ่มอีก 172K token ก่อนจะถูกคิดค่าบริการส่วนเพิ่ม แถมอัตราส่วนเพิ่มยังต่ำกว่าอีกด้วย

นอกจากนี้ จำนวน token ของผู้ให้บริการแต่ละรายยังไม่สามารถเทียบกันตรง ๆ ได้อีกด้วย ทาง Anthropic กล่าวว่าข้อความเดียวกันเมื่อแปลงเป็น token บน Haiku 5.5 จะได้จำนวนเพิ่มขึ้นราว 30% เมื่อเทียบกับ Haiku 4.5 ยิ่งไปกว่านั้น ผู้แสดงความคิดเห็นรายหนึ่งบน Hacker News ยังประเมินไว้ว่า 100K token ของ Claude ยุคปัจจุบันจะเทียบเท่ากับ token ของ GPT ยุคปัจจุบันเพียงราว 60K ถึง 65K token เท่านั้น แม้ว่านี่จะเป็นเพียงการคาดเดาไม่ใช่ผลการวัดจริง แต่ก็ชี้ไปในทิศทางเดียวกันว่า สำหรับ codebase ชุดเดียวกัน ช่วงราคาประหยัดของ Haiku 5.5 จะถูกใช้เต็มเร็วกว่ามาก

ตารางของ Anthropic เผยให้เห็นอะไรบ้าง

ในโพสต์เปิดตัว Haiku 5.5 มี 6 แถวที่มีตัวเลขเปรียบเทียบกับ Luna โดยตัวเลขของ Haiku 5.5 จะอยู่ที่ระดับ max effort:

Haiku 5.5 มีคะแนนนำในทุกหมวด แต่มีข้อสังเกตสำคัญสองประการที่ไม่ควรรีบด่วนสรุป ข้อแรกคือตารางนี้จัดทำโดย Anthropic และข้อสองคือกราฟในหน้าเปิดตัวได้พล็อตคะแนนเทียบกับต้นทุนต่อการทดสอบหนึ่งครั้ง (cost per attempt) ซึ่งสะท้อนมุมมองที่ต่างออกไปจากการดูคะแนนเพียงอย่างเดียว:

ในชุดทดสอบ GDPval-AA โมเดล Luna มีค่าใช้จ่ายต่อหนึ่งงานถูกกว่าในทุกระดับ effort ส่วนใน OSWorld โมเดล Luna ก็ถูกกว่าในเกือบทุกระดับ ยกเว้นที่ระดับ medium ซึ่งทั้งคู่มีค่าใช้จ่ายเท่ากันอยู่ที่ประมาณ 13 เซนต์ต่อหนึ่งครั้ง สำหรับการสั่งการควบคุมคอมพิวเตอร์ (computer use) ช่องว่างของคะแนนนั้นห่างกันมากจนมองข้ามความต่างของราคาไปได้เลย เพราะ Haiku 5.5 ที่ระดับ medium สามารถเอาชนะ Luna ที่ระดับ max ได้ด้วยต้นทุนที่ต่ำกว่า แต่สำหรับงานด้านความรู้ (knowledge work) ช่องว่างกลับแคบลงมาก โดย Haiku 5.5 ที่ระดับ high และ Luna ที่ระดับ max มีค่าใช้จ่ายอยู่ที่ประมาณ 9 เซนต์ต่องานเหมือนกัน และได้คะแนน Elo ต่างกันเพียง 17 จุดเท่านั้น ขณะที่ Haiku 5.5 ที่ระดับ max มีค่าใช้จ่ายแพงกว่า Luna เกือบสิบเท่า

ยังมีข้อจำกัดอีกสองข้อ ข้อแรก คะแนนหลักของ OSWorld นั้นคิดแบบได้คะแนนบางส่วน (partial credit) โดย System Card ของ Anthropic ระบุว่าอัตราการผ่านแบบเข้มงวด (strict pass rate) ของ Haiku 5.5 อยู่ที่ 37.1% และไม่มีการเปิดเผยตัวเลขแบบเข้มงวดของ Luna ซึ่งผลกระทบที่เกิดขึ้นกับคิวการตรวจสอบงาน (review queue) นั้น สามารถอ่านต่อได้ในโพสต์เกี่ยวกับ browser-agent ของเรา ข้อสอง ทั้งสองโมเดลนี้ไม่ได้เป็นโมเดลแถวหน้าด้านการเขียนโค้ด แม้แต่ตัว Anthropic เองก็ยังยอมรับว่า Sonnet 5.5 และ Opus 5.5 ยังคงเป็นตัวเลือกที่เหมาะสมกว่าสำหรับงานเขียนโค้ดที่ซับซ้อนในรูปแบบ Agent

Runtime ของแต่ละโมเดล

ตัวโมเดลเป็นเพียงปัจจัยครึ่งหนึ่งในการตัดสินใจ เพราะโดยทั่วไปแต่ละโมเดลจะรันอยู่ภายใต้ Runtime ที่ต่างกัน และ Runtime เหล่านี้ก็มีพฤติกรรมการทำงานบนบอร์ดจัดการงานที่แตกต่างกันออกไป

Claude Code บน claude-haiku-5-5: ต้องใช้ Claude Code v2.1.293 ขึ้นไป โดยสั่งเริ่มทำงานด้วยคำสั่ง claude --model claude-haiku-5-5 หรือสลับโมเดลด้วยคำสั่ง /model ทั้งนี้ alias ที่ชื่อว่า haiku จะหมายถึง Haiku 5.5 เฉพาะบน Anthropic API เท่านั้น แต่บน Bedrock, Google Cloud, Microsoft Foundry และ Claude Platform on AWS ยังคงชี้ไปยัง Haiku 4.5 อยู่ ดังนั้นจึงควรระบุ model ID ตัวเต็มเสมอ ค่าเริ่มต้นของ effort คือ medium และ Claude Code จะไม่สามารถปิดโหมด thinking บน Haiku 5.5 ได้ นอกจากนี้ เครดิต API รายเดือนแบบใหม่สำหรับแพ็กเกจ Max และ Team ไม่ครอบคลุม Claude Code จึงไม่สามารถนำมาใช้จ่ายค่า Runtime นี้ได้

Codex บน gpt-6-luna: Luna สามารถใช้งานใน Codex ได้บนแพ็กเกจ Plus, Pro, Business, Enterprise และ Edu โดยระดับ reasoning effort บน API สามารถปรับได้ตั้งแต่ none ถึง max และมีค่าเริ่มต้นอยู่ที่ medium ส่งผลให้ทั้งสองโมเดลเริ่มต้นทำงานที่ระดับ medium เหมือนกัน เว้นแต่จะมีการปรับเปลี่ยน

ความแตกต่างด้านพฤติกรรมอีกประการหนึ่งที่ควรแสดงให้เห็นชัดเจนบนบอร์ดมากกว่าจะซ่อนไว้ในเชิงอรรถ คือ Haiku 5.5 มีการรันตัวคัดกรองความปลอดภัย (safety classifier) ที่อาจปฏิเสธคำขอได้โดยไม่มี server-side fallback และ System Card ของ Anthropic เองก็ระบุว่าโมเดลนี้ปฏิเสธคำขอเกินความจำเป็น (over-refused) สูงกว่าโมเดลอื่น ๆ ทั้งหมดในการตรวจสอบพฤติกรรมอัตโนมัติ ซึ่งการปฏิเสธคำขอนี้หมายถึงการรันที่สิ้นสุดลงโดยไม่ได้ผลลัพธ์ใด ๆ และควรแสดงสถานะกลับมายัง Task ให้เห็นอย่างชัดเจนว่าเป็นความล้มเหลว ไม่ใช่หายเงียบไปในเทอร์มินัลโดยที่ไม่มีใครสังเกตเห็น

วิธีเปรียบเทียบประสิทธิภาพบน Task จริงของคุณ

Sharkly ไม่ได้ทำหน้าที่เลือกโมเดลให้คุณ โดยในเอกสารคู่มือของ Agents ระบุไว้ว่า: “Agent จะอิงตามโมเดลเริ่มต้นของ Runtime และไม่มีการระบุหรือแสดงชื่อโมเดลที่เฉพาะเจาะจง หากต้องการเปลี่ยนโมเดล ให้ระบุใน Custom arguments ของ Agent หรือ Runtime เช่น กำหนด model: model-name” ตัวระบบไม่มีเมนูดรอปดาวน์ให้เลือกโมเดลบน Agent ดังนั้นรูปแบบการตั้งค่าจึงเป็นการสร้าง Agent ขึ้นมา 2 ตัว แยกตามแต่ละ Runtime และตั้งชื่อให้สอดคล้องกับหน้าที่การทำงาน:

Agent A:  Claude Code Runtime, Custom arguments  model: claude-haiku-5-5
Agent B:  Codex Runtime,       Custom arguments  model: gpt-6-luna
Tasks:    the same description and starting commit, one Task per Agent,
          drawn from jobs you actually hand the cheap tier
Accept:   one acceptance check, written before either run starts
Record:   accepted y/n, review minutes, reruns, refusals,
          whether the run crossed 100K (Haiku) or 272K (Luna) input tokens,
          provider cost from your own Anthropic and OpenAI bills

การใช้งานโมเดลจะคิดค่าบริการผ่านแพ็กเกจสมาชิกหรือ API key ที่กำหนดค่าไว้ในเครื่องมือเหล่านั้น บิลค่าใช้จ่ายจึงยังคงเรียกเก็บตรงจากผู้ให้บริการ สำหรับวิธีการทดสอบแบบละเอียดพร้อมการวิเคราะห์ระยะเวลาในการรีวิว (review-minutes) สามารถดูเพิ่มเติมได้ในบทความเปรียบเทียบ Sonnet 5.5 กับ GPT-6 Sol และวิธีเปรียบเทียบ coding agent บน codebase จริงของคุณ ส่วนการตั้งค่าเฉพาะสำหรับ Haiku สามารถดูได้ที่การรัน Agent ของ Claude Haiku 5.5 บน Sharkly

สิ่งที่ต้องบันทึกเพิ่มเติมเป็นพิเศษสำหรับโมเดลคู่นี้คือขนาดของพรอมต์ เพราะการรันโมเดลราคาประหยัดบน Haiku 5.5 ที่เกิน 100K token จะไม่ได้มีราคาแค่ 10 เซนต์อีกต่อไป และการรันราคาประหยัดที่ต้องสั่งรันซ้ำถึงสองรอบก็ไม่ถือว่าประหยัดเลยแม้แต่น้อย ดังที่บทความเรื่องเมื่อโมเดลราคาประหยัดกลับมีต้นทุนที่สูงกว่าเคยกล่าวไว้

ทำไมการ “เลือกใช้ทั้งคู่” จึงเป็นคำตอบที่สมเหตุสมผล

หลักฐานและผลการทดสอบที่เผยแพร่ออกมาไม่ได้ชี้ชัดว่ามีผู้ชนะเพียงหนึ่งเดียว และโครงสร้างราคาก็แทบจะบ่งบอกให้เห็นชัดเจนว่าควรแบ่งการใช้งานออกตามสถานการณ์

เลือกใช้ Haiku 5.5 เมื่อขนาดพรอมต์ไม่เกิน 100K หรือเมื่องานนั้นเกี่ยวกับการควบคุมเบราว์เซอร์หรือเดสก์ท็อป ซึ่งเป็นจุดที่ Haiku 5.5 ทำคะแนนบน OSWorld ทิ้งห่างได้มากที่สุด หรือเมื่อต้องการรันงานราคาประหยัดในฐานะ subagent ภายใต้โมเดลหลักตระกูล Claude (สามารถอ่านเพิ่มเติมเรื่องขอบเขตของงานได้ในบทความ subagent หรือแยกเป็น Agent ของตัวเอง) ในทางกลับกัน ควรเลือกใช้ Luna เมื่องานมี context ระดับ 100K ถึง 272K token เป็นประจำ เช่น การสรุป log ขนาดยาว หรือการเปรียบเทียบ diff ขนาดใหญ่ หรือเมื่อเกณฑ์ตัดสินหลักคือราคาต่อครั้งที่ต่ำที่สุด แต่ถ้าคุณใช้เพียง Claude Code และงานราคาประหยัดของคุณมีขนาดสั้น คุณอาจไม่จำเป็นต้องมี Runtime ราคาประหยัดตัวที่สองเลยก็ได้

การเลือกใช้ทั้งสองตัวจะทำงานได้อย่างมีประสิทธิภาพก็ต่อเมื่อคุณยึด Task เป็นหลักในการบันทึกข้อมูล ไม่ใช่ยึดที่ตัว Runtime เพราะ Agent มีหน้าที่ค้นคว้า ทำงาน ทดสอบ และรายงานผล ขณะที่มนุษย์มีหน้าที่กำหนดทิศทาง มอบอำนาจการตัดสินใจ และอนุมัติตรวจรับงาน สองแล็บชั้นนำเพิ่งตั้งราคาโมเดลประหยัดเท่ากันภายในเวลาห่างกันเพียงสามสัปดาห์ และฝ่ายใดฝ่ายหนึ่งอาจขยับตัวใหม่อีกเมื่อไหร่ก็ได้ ดังนั้น ไม่ว่า Runtime ตัวไหนจะชนะในรอบถัดไป ข้อมูลทั้งบริบท ความคืบหน้า ปัญหาที่ติดขัด ผลลัพธ์ และการตรวจสอบโดยมนุษย์ ก็ควรถูกแสดงให้เห็นอย่างโปร่งใสตั้งแต่ขั้นตอนการร้องขอไปจนถึงการปล่อยงาน และหากคุณต้องการใช้งาน coding agent หลายตัวร่วมกันแทนที่จะผูกขาดอยู่กับระบบนิเวศเพียงเจ้าเดียว นั่นคือโจทย์ที่ Sharkly ถูกออกแบบมาเพื่อตอบโจทย์โดยเฉพาะ