การเลือกระหว่าง GPT-6.1 Terra กับ GPT-6.1 Sol สรุปได้ด้วยข้อแลกเปลี่ยนเดียว นั่นคือ Terra มีค่าใช้จ่ายต่อโทเคนถูกกว่า Sol พอดีครึ่งหนึ่ง และตามข้อมูลของ OpenAI ยังทำงานเร็วกว่า 3 เท่าตัว ขณะที่ Sol ทำคะแนนเบนช์มาร์กสำหรับ coding agent จากผู้ทดสอบภายนอกได้ 54 คะแนนเทียบกับ 48 คะแนนของ Terra ทั้งนี้ OpenAI เปิดตัว Terra เมื่อวันที่ 26 ตุลาคมในชื่อ gpt-6.1-terra ซึ่งเป็นโมเดลระดับกลางตัวใหม่ที่อยู่ระหว่าง Sol และ GPT-6 Luna
ถ้าคุณรัน coding agent เพียงตัวเดียว คุณก็แค่เลือกโมเดลที่ไว้ใจแล้วลุยต่อได้เลย แต่ถ้าคุณรันเป็นสิบตัว ค่าเริ่มต้น (default) จะสำคัญกว่าข้อยกเว้น เพราะค่าเริ่มต้นคือสิ่งที่จะถูกคิดเงินในสเต็ปส่วนใหญ่ของ agent บทความนี้จะนำเสนอกฎการกำหนดเส้นทางงาน (routing rule) สำหรับ Crew ใน Sharkly โดยตั้ง Terra เป็นค่าเริ่มต้นสำหรับสมาชิก (members) และใช้ Sol สำหรับหัวหน้าทีม (leader) กับงานส่วนที่ยากและซับซ้อน (hard tail) พร้อมคำนวณต้นทุนต่อ 1,000 agent step สำหรับสัดส่วนการผสมผสานแต่ละแบบ
สรุปใจความสำคัญ
ตั้ง GPT-6.1 Terra เป็นโมเดลรันไทม์เริ่มต้นสำหรับสมาชิก Crew ที่ทำงานเขียนโค้ด งานเขียน และงานสั่งการคอมพิวเตอร์ (computer-use) ทั่วไป และเก็บ GPT-6.1 Sol ไว้สำหรับหัวหน้า Crew รวมถึง Task ที่ทำงานล้มเหลวบน Terra มาแล้วสองครั้ง จากโปรไฟล์การจำลองสเต็ปของเรา การใช้ Sol ล้วนมีต้นทุนอยู่ที่ 26.55 ดอลลาร์ต่อ 1,000 agent step, Terra ล้วนอยู่ที่ 13.28 ดอลลาร์ ส่วนการใช้สมาชิก Terra ภายใต้หัวหน้าทีม Sol จะอยู่ที่ 14.60 ดอลลาร์ ทั้งนี้ กฎแบบใช้ Terra ก่อนแล้วค่อยขยับไป Sol (Terra-first with Sol escalation) จะยังคงถูกกว่าการใช้ Sol ล้วน ตราบใดที่ Task ของคุณไม่ได้ถูกส่งต่อให้ Sol เกินครึ่งหนึ่ง
เปรียบเทียบ GPT-6.1 Terra vs GPT-6.1 Sol แบบสรุปย่อ
| GPT-6.1 Terra | GPT-6.1 Sol | |
|---|---|---|
| API id | gpt-6.1-terra |
gpt-6.1-sol |
| Input / cached / output per 1M tokens | $1 / $0.05 / $5 | $2 / $0.10 / $10 |
| Coding Agent Index (Artificial Analysis) | 48 | 54 |
| Speed (OpenAI) | over 3x faster on average | baseline |
| Lowest effort level | none |
low |
| OpenAI’s positioning | computer use, writing, visual understanding | the most complex coding |
ราคาในทุกรายการลดลงเหลือเพียงครึ่งเดียวพอดี นั่นทำให้การตัดสินใจในแง่ต้นทุนเป็นเรื่องง่าย และเปลี่ยนประเด็นคำถามที่แท้จริงไปอยู่ที่เรื่องคุณภาพ นั่นคือ คะแนนด้านการเขียนโค้ดที่ต่ำกว่าของ Terra จะทำให้ต้องรันงานซ้ำบ่อยแค่ไหน?
มีรายละเอียดราคาของ Terra อีกสองสามข้อที่มีผลต่อลูปการทำงานของ agent ที่ยาวนาน นั่นคือ Batch และ Flex คิดราคาเพียงครึ่งหนึ่งของราคาปกติ ส่วนโหมด Fast คิดราคาเป็นสองเท่า สำหรับ request ที่มี input token เกิน 272K จะคิดราคา input และแคชเพิ่มเป็น 2 เท่า และคิดราคา output เพิ่มเป็น 1.5 เท่าสำหรับทั้งคำขอนั้น สามารถดูตารางราคาแบบเต็มได้ที่ หน้าราคาของ OpenAI
โมเดลรันไทม์เริ่มต้นกำหนดอะไรบ้าง
โมเดลรันไทม์เริ่มต้น (default runtime model) คือโมเดลที่ Agent จะเลือกใช้เมื่อไม่มีการระบุโมเดลเฉพาะเจาะจงสำหรับการรันครั้งนั้น สำหรับใน Crew โมเดลนี้จะเป็นตัวกำหนดว่าสเต็ปส่วนใหญ่ของคุณจะมีต้นทุนเท่าใด, Task ในคิวจะต้องรอนานแค่ไหน และจะมีผลงานส่งมาให้รีวิววันละกี่ชิ้น
คำว่า "agent step" ในที่นี้หมายถึงการเรียกใช้โมเดลหนึ่งครั้งภายในลูปของ agent ซึ่งประกอบด้วย การอ่านบริบท (context), การคิดวิเคราะห์, และการเรียกใช้เครื่องมือ (tool call) หรือการแก้ไขโค้ด ทั้งนี้ Task เพียงงานเดียวอาจใช้เวลาหลายสิบสเต็ป นั่นคือเหตุผลว่าทำไมการคำนวณแบบคิดต่อสเต็ปจึงมีประโยชน์มากกว่าการคิดต่อ Task เวลาเปรียบเทียบรันไทม์ เพราะความยาวของแต่ละ Task แตกต่างกันอย่างมาก แต่รูปแบบของแต่ละสเต็ปนั้นแทบไม่ต่างกันเลย
ต้นทุนต่อ 1,000 agent step
ในการเปรียบเทียบสัดส่วนการผสมผสาน เราได้กำหนดสเต็ปจำลองขึ้นมาหนึ่งรูปแบบ ได้แก่ input 30K โทเคน ซึ่ง 85% ในนั้นดึงจาก prompt cache ได้ บวกกับ output อีก 1,500 โทเคนรวม reasoning ด้วย ลูปการทำงานของ agent ที่ยาวนานมักจะส่งบริบทเดิมของ repository ซ้ำไปในทุก ๆ สเต็ป ดังนั้นอัตราการแคชที่สูงจึงเป็นเรื่องปกติหลังจากเซสชันเริ่มทำงานไปแล้วสักพัก
เมื่อคำนวณตามราคาปกติผ่านการคิดเงินด้วย API key หนึ่งสเต็ปดังกล่าวจะมีต้นทุน 0.0133 ดอลลาร์บน Terra และ 0.0266 ดอลลาร์บน Sol เมื่อเทียบสเกลเป็น 1,000 สเต็ปจะได้ผลดังนี้:
| Crew mix | Share of steps on Sol | Cost per 1,000 steps |
|---|---|---|
| All Sol | 100% | $26.55 |
| Terra members, Sol leader | 10% | $14.60 |
| Terra members, Sol leader and hard tail | 25% | $16.59 |
| All Terra | 0% | $13.28 |
| All Terra at higher effort (3,000 output tokens) | 0% | $20.78 |
มีสองประเด็นที่เห็นได้ชัดเจน ข้อแรกคือ การเปลี่ยนหัวหน้าทีมไปใช้ Sol มีต้นทุนเพิ่มขึ้นเพียงประมาณ 1.30 ดอลลาร์ต่อ 1,000 สเต็ปเมื่อเทียบกับการใช้ Terra ล้วน เนื่องจากหัวหน้าทีมมีหน้าที่วางแผนและมอบหมายงาน จึงกินสัดส่วนสเต็ปเพียงเล็กน้อย ข้อสองคือ Terra ที่ตั้งค่า effort สูงขึ้นก็ยังคงมีราคาถูกกว่า Sol ที่ค่าเริ่มต้น โดยการเพิ่ม output token เป็นสองเท่าบน Terra นั้นเสียค่าใช้จ่ายน้อยกว่าการเปลี่ยนไปใช้โมเดลอื่น
ตัวเลขเหล่านี้ยังไม่รวมค่าธรรมเนียม cache-write หาก Computer ของคุณลงชื่อเข้าใช้ด้วยแพ็กเกจ ChatGPT แทนการใช้ API key ความประหยัดที่ได้จะไม่ใช่ตัวเงินตรง ๆ แต่จะออกมาในรูปของจำนวนรอบการรันที่ทำได้มากขึ้นก่อนที่จะชนขีดจำกัดของแพ็กเกจ โดย OpenAI ระบุว่า Terra "พร้อมใช้งานสำหรับผู้ใช้ Plus, Pro, Enterprise และ Edu ทุกคนใน ChatGPT Work และ Codex" ส่วนแพ็กเกจ Free และ Go จะไม่รวมโมเดลนี้
กฎการกำหนดเส้นทางงานสำหรับ Sharkly Crew
A Crew ใน Sharkly คือกลุ่มคนและ Agent ที่นำมาใช้งานซ้ำได้ โดยมี Agent หัวหน้าทีมคอยประสานงานหนึ่งตัว การทำงานจะเป็นแบบ leader-first คือหัวหน้าทีมจะอ่าน Task และคำสั่งของ Crew จากนั้นจะลงมือทำงานเองหรือ mention เรียก Agent สมาชิกเข้ามาจัดการส่วนที่เฉพาะเจาะจง โครงสร้างเช่นนี้จึงจับคู่เข้ากับรันไทม์ทั้งสองตัวได้อย่างลงตัว
- หัวหน้าทีมใช้ GPT-6.1 Sol หัวหน้าทีมต้องตีความเป้าหมายที่ยังคลุมเครือและตัดสินใจว่าใครควรลงมือทำเป็นลำดับถัดไป แผนงานที่ผิดพลาดจะพาสมาชิกทุกคนไปผิดทาง ตำแหน่งนี้จึงควรใช้โมเดลที่ฉลาดกว่า ซึ่งคู่มือสำหรับหัวหน้า Crew ของเราได้อธิบายไว้ว่าทำไมการอัปเกรดตำแหน่งหัวหน้าทีมจึงคุ้มค่าและใช้เงินเพิ่มเพียงนิดเดียว
- สมาชิกใช้ GPT-6.1 Terra ที่ระดับ
mediumงานเขียนโค้ดทั่วไป, การรีแฟกเตอร์ (refactor), การเขียนเทสต์, เอกสารประกอบ, รายละเอียด PR และ Task การสั่งการคอมพิวเตอร์ ควรเริ่มต้นที่นี่ - ส่งต่องาน (escalate) เมื่อล้มเหลวครั้งที่สอง เมื่อสมาชิกที่ใช้ Terra ทำ Task ล้มเหลวสองครั้ง ให้มนุษย์เป็นผู้มอบหมายงานใหม่ให้กับเวอร์ชันที่เป็น Sol อย่าปล่อยให้ Agent ตัดสินใจส่งต่องานเองตามการคาดเดา เพราะคุณต้องการให้การตัดสินใจนี้บันทึกไว้อย่างชัดเจนบน Task
- ติดตามการส่งต่องานตามประเภทของ Task หาก Task ประเภทใดประเภทหนึ่ง เช่น การย้ายระบบข้ามเซอร์วิส (cross-service migration) ต้องส่งต่อไป Sol ทุกครั้ง ให้กำหนดเส้นทางของ Task ประเภทนั้นไปยัง Sol ตั้งแต่แรก
- ลดระดับงานคัดแยก (triage) ไปที่ Luna การติดป้ายกำกับ (labeling) และการคัดกรองเบื้องต้นสามารถขยับลงไปอีกระดับหนึ่งได้ โดยคู่มือ GPT-6 Luna ได้อธิบายรายละเอียดเกี่ยวกับส่วนนี้ไว้แล้ว
นี่เป็นเพียงกฎเริ่มต้น ไม่ใช่ผลลัพธ์จากเบนช์มาร์กตายตัว ให้ลองนำไปใช้ดูสักหนึ่ง Sprint แล้วให้อัตราการส่งต่องาน (escalation rate) ในการใช้งานจริงของคุณเป็นตัวตัดสินว่าควรขีดเส้นแบ่งไว้ตรงไหน
เมื่อใดที่กลยุทธ์ Terra-first จะเริ่มไม่คุ้มค่า
การส่งต่องานมีต้นทุน เพราะความพยายามที่ล้มเหลวของ Terra คือเงินที่จ่ายไปก่อนที่ Sol จะเริ่มรัน ให้ลองประเมินราคาในกรณีที่แย่ที่สุด (worst case) ซึ่งความพยายามของ Terra ผลาญสเต็ปไปมากเท่ากับการรัน Sol เต็มรอบ หากการรัน Sol มีต้นทุนเท่ากับ S การลองทำด้วย Terra จะมีต้นทุน 0.5S และถ้ามีสัดส่วน f ของ Task ที่ต้องส่งต่อ ต้นทุนที่คาดการณ์ต่อหนึ่ง Task จะเท่ากับ 0.5S + (f × S)
สมการนี้จะเท่ากับการใช้ Sol ทั้งหมดก็ต่อเมื่อ f มีค่าถึง 0.5 ดังนั้นกลยุทธ์ Terra-first จะยังคงประหยัดกว่าจนกว่าครึ่งหนึ่งของ Task ทั้งหมดจะต้องถูกส่งต่อไป Sol การคำนวณเดียวกันนี้ยังครอบคลุมไปถึงการรันที่ยาวนานขึ้นด้วย โดย Terra จะยังคงถูกกว่าต่อหนึ่ง Task ตราบใดที่มันไม่ได้ใช้จำนวนสเต็ปมากกว่า Sol ถึงสองเท่าในการทำงานให้เสร็จ
จุดคุ้มทุนในแง่ของตัวเงินนั้นอยู่ไกลมาก ดังนั้นข้อจำกัดที่แท้จริงจึงมักจะเป็นเวลาของมนุษย์ เพราะทุกความพยายามที่ล้มเหลว ย่อมหมายถึง diff ที่อาจต้องมีคนเปิดดู, log ที่ต้องมีคนอ่าน, และการมอบหมายงานใหม่ที่ต้องมีคนลงมือทำ หากอัตราการส่งต่องานของ Task ประเภทใดเกิน 20% ให้เปลี่ยน Task ประเภทนั้นไปใช้ Sol ได้เลย แม้ว่าตัวเลขทางคณิตศาสตร์ของค่าโทเคนจะยังเข้าข้าง Terra ก็ตาม
ความเร็วก็เปลี่ยนสมการนี้เช่นกัน โมเดลที่ทำงานเสร็จเร็วกว่า 3 เท่าตัวจะช่วยคืนพื้นที่และทรัพยากรของ Computer ให้ว่างเร็วขึ้น ทำให้ Task ที่รออยู่ในคิวได้เริ่มเร็วขึ้น และงานต่าง ๆ รันเสร็จทันเวลาตามขีดจำกัด timeout ต่อ Task ได้มากขึ้น
วิธีตั้งค่ากฎนี้ใน Sharkly
Sharkly ไม่ได้ขายโทเคน การรันจะคิดเงินผ่านแพ็กเกจ Codex หรือ API key ที่เชื่อมต่อกับ Runtime บนแต่ละ Computer อยู่แล้ว ดังนั้นขั้นแรกให้ตรวจสอบว่า Terra ใช้งานได้ที่นั่น: Codex CLI เวอร์ชัน 0.159.0 หรือใหม่กว่า จากนั้นรัน codex -m gpt-6.1-terra ในเทอร์มินัล
ใน Sharkly เอกสารคู่มือของ Agents ระบุว่า Agent จะ "ใช้โมเดลตาม Runtime เป็นค่าเริ่มต้น" และแถว Model จะช่วยให้คุณเลือกโมเดลอื่นจากแคตตาล็อกที่ Runtime นั้นรายงานเข้ามาได้ นอกจากนี้คุณยังสามารถกำหนดโมเดลใน Custom arguments ของ Agent หรือ Runtime ได้เช่นกัน
สร้างกฎนี้ขึ้นมาจาก variant (เวอร์ชันย่อย) แทนที่จะใช้วิธีแก้ไขทับของเดิม นี่คือภาพร่างของการตั้งค่าทั้ง 3 แบบ:
Agent "Codex, routine" Custom arguments: --model gpt-6.1-terra effort: medium
Agent "Codex, hard tail" Custom arguments: --model gpt-6.1-sol effort: medium
Crew leader Custom arguments: --model gpt-6.1-sol
เอกสารคู่มือระบุว่า "การใช้โมเดลเริ่มต้นที่แตกต่างกัน" เป็นหนึ่งในเหตุผลสำหรับการสร้าง Agent variant เพราะวิธีนี้จะคงคำสั่ง (instructions) และ repository ดั้งเดิมไว้ และทำการ override เฉพาะโมเดลเท่านั้น การมี 2 variant จะช่วยให้บอร์ดดูเข้าใจง่าย เพราะทุก Task จะแสดงให้เห็นชัดเจนว่ารันผ่านเลนไหน ส่วนสำหรับการทดสอบเป็นรายครั้ง คุณสามารถเลือกโมเดลเฉพาะรอบนั้นได้ในตัวเลือก Assignee ซึ่งจะ override ค่าเริ่มต้นของ Agent สำหรับการรันรอบนั้นเท่านั้น
Sharkly จะเก็บทั้งบริบท ความคืบหน้า สิ่งที่ติดขัด ผลลัพธ์ และการรีวิวโดยมนุษย์ไว้บน Task เสมอไม่ว่าจะใช้โมเดลใดรันก็ตาม ซึ่งนี่คือสิ่งที่ทำให้เราสามารถวัดและนับอัตราการส่งต่องาน (escalation rate) ได้ตั้งแต่แรก
สิ่งที่ค่าเริ่มต้นราคาถูกไม่ได้เปลี่ยนไป
Terra ช่วยลดต้นทุนในการสร้างการเปลี่ยนแปลง (change) ของโค้ด แต่ไม่ได้ช่วยลดต้นทุนในการยอมรับและตรวจรับการเปลี่ยนแปลงนั้น การรันงานที่ราคาถูกลงครึ่งหนึ่งด้วยความเร็วที่เพิ่มขึ้น 3 เท่า อาจหมายถึงจะมี diff จำนวนมากขึ้นที่ต้องรอคนมารีวิวภายในวันศุกร์ ตรวจสอบคิวการรีวิวของคุณก่อนที่จะเพิ่มสมาชิกในทีม ซึ่งบทความเรื่อง การรีวิวโดยมนุษย์คือคอขวด ได้อธิบายประเด็นนี้ไว้แล้ว
นอกจากนี้ มันยังไม่ได้ช่วยแก้ปัญหาสำหรับงานที่ยากที่สุด ทาง OpenAI เองก็แนะนำให้ใช้ Sol หรือ GPT-6 Astra สำหรับงานเขียนโค้ดที่ซับซ้อนที่สุด และช่องว่าง 6 คะแนนบน Coding Agent Index ก็ชี้ไปในทิศทางเดียวกัน กฎที่กล่าวมาข้างต้นจึงถูกออกแบบมาเพื่อให้งานประเภทนั้นยังคงอยู่บน Sol ต่อไป
บทสรุป
กำหนดให้ Terra เป็นค่าเริ่มต้น และให้ Sol เป็นข้อยกเว้น จากโปรไฟล์จำลองสเต็ปของเรา วิธีนี้ช่วยลดค่าใช้จ่ายลงได้เกือบครึ่งหนึ่งเมื่อเทียบกับการใช้ Sol ล้วน โดยที่หัวหน้าทีมและงานยาก ๆ ยังคงทำงานอยู่บนโมเดลที่แข็งแกร่งกว่า ให้คอยจับตาดูอัตราการส่งต่องาน แทนที่จะดูเพียงแค่ราคาโทเคน เพื่อตัดสินใจว่าเมื่อใดควรย้าย Task ประเภทนั้น ๆ
ขั้นตอนถัดไปของคุณ: สร้าง variant ของ Codex Agent ที่ใช้ Terra ขึ้นมาหนึ่งตัว ใส่เข้าไปใน Crew ภายใต้หัวหน้าทีมที่ใช้ Sol แล้วลองรันสักหนึ่ง Sprint โดยปัจจุบัน Sharkly เปิดให้ใช้งานฟรีสำหรับองค์กรที่มีขนาดไม่เกิน 5 คน ตามรายละเอียดในหน้าราคา
คำถามที่พบบ่อย (FAQ)
GPT-6.1 Terra เขียนโค้ดได้ดีกว่า GPT-6.1 Sol หรือไม่?
ไม่ใช่ Sol ทำคะแนนบน Coding Agent Index ของ Artificial Analysis ได้ 54 คะแนน ขณะที่ Terra ทำได้ 48 คะแนน แต่ Terra ชนะในเรื่องของราคาและความเร็ว จึงทำให้เหมาะกับงานเขียนโค้ดทั่วไปมากกว่า Task ที่มีความยากสูง
GPT-6.1 Terra ถูกกว่า GPT-6.1 Sol มากแค่ไหน?
ถูกกว่าครึ่งหนึ่งพอดีในทุกรายการ: input ราคา 1 ดอลลาร์เทียบกับ 2 ดอลลาร์, แคชราคา 0.05 ดอลลาร์เทียบกับ 0.10 ดอลลาร์ และ output ราคา 5 ดอลลาร์เทียบกับ 10 ดอลลาร์ต่อ 1 ล้านโทเคน
หัวหน้า Crew ควรใช้ Terra หรือไม่?
ควรเริ่มต้นด้วย Sol เพราะหัวหน้าทีมกินสัดส่วนสเต็ปเพียงเล็กน้อย การอัปเกรดจึงมีต้นทุนเพิ่มเพียงนิดเดียว แต่หากวางแผนผิดพลาดจะทำให้สมาชิกทุกคนทำงานไปผิดทิศทาง
สามารถตั้งค่า effort เป็น none บน Sol ได้หรือไม่?
ไม่ได้ GPT-6.1 Sol ตัดตัวเลือก none ออกไป โดยระดับต่ำสุดคือ low ขณะที่ Terra นำตัวเลือก none กลับมาให้ใช้อีกครั้ง
GPT-6.1 Terra ใช้งานฟรีหรือไม่?
ไม่ฟรี โมเดลนี้ไม่มี API ระดับฟรี และแพ็กเกจ ChatGPT Free กับ Go ก็ไม่รวมโมเดลนี้ไว้ด้วย ทั้งนี้ บทความของเราเกี่ยวกับการรัน GPT-6.1 Sol โดยไม่ต้องใช้ API key ได้อธิบายความแตกต่างระหว่างการใช้งานผ่านแพ็กเกจกับการคิดเงินตามปริมาณโทเคนไว้แล้ว
จะสลับ Task ใด Task หนึ่งไปใช้ Sol โดยไม่ต้องแก้ไข Agent ได้อย่างไร?
ให้ใช้การเลือกโมเดลเฉพาะรอบนั้นในตัวเลือก Assignee ซึ่งจะเป็นการ override ค่าเริ่มต้นของ Agent สำหรับการรันรอบนั้นเท่านั้น
