Google의 Gemini 4 Argon 출시 안내 게시물에는 19개 항목으로 구성된 벤치마크 표가 포함되어 있으며, 확인해 보면 Argon이 13개 항목에서 단독 1위를, 1개 항목에서 공동 1위를 기록하고 있습니다. Argon이 뒤처진 5개 항목 역시 결코 우연이 아닙니다. GPT-6 Astra는 FrontierSWE v2, Terminal-Bench Science, OSWorld-2.0에서 우위를 차지했고, Claude Opus 5.5는 Terminal-bench 4.0과 PostTrainBench에서 앞섰습니다. 이는 Terminal-Bench 2개 항목, 에이전트 기반 코딩 1개 항목, ML 엔지니어링 1개 항목, 컴퓨터 유즈 2개 항목 중 하나로, 실제 코딩 크루가 실행 횟수의 상당 부분을 투입하는 핵심 작업들입니다. 게다가 이는 더 이상 가상의 논의가 아닙니다. 2026년 10월 13일부터 Argon은 유료 Gemini API에서 gemini-4-argon으로 정식 제공(GA)되고 있습니다.
결국 "어느 모델이 이겼는가?"에 대한 답은 항목에 따라 세 가지로 나뉘며, 여러 코딩 에이전트를 운영하는 팀에 이는 결코 사소한 문제가 아닙니다. 대시보드의 모든 에이전트가 동일한 런타임에서 실행된다면, 해당 팀은 특정 연구소의 강점뿐만 아니라 약점까지 고스란히 떠안게 되며 새 모델이 출시될 때마다 논쟁이 다시 불붙게 됩니다. 어떤 에이전트가 무엇을 맡고 있는지, 무엇이 완료되었는지, 무엇을 검토해야 하는지는 이번 주 벤치마크 표에서 누가 1위를 차지했는지에 따라 좌우되어서는 안 됩니다.
핵심 요약 (TL;DR)
자사에서 공개한 벤치마크 표에서조차 모든 항목을 석권한 프론티어 연구소는 없습니다. 새로운 모델 출시를 무조건 마이그레이션해야 하는 이유로 보지 말고 라우팅의 근거로 삼으세요. 둘 이상의 런타임을 연동해 두고, 라우팅 규칙(기본값, 작업을 다른 에이전트로 전달하는 조건, 검토 담당자)을 명문화하며, 실제 코드베이스의 세 가지 작업을 통해 테스트해야 합니다. Astra는 Codex를 통해 실행되고, Opus 5.5는 Claude Code를 통해, Gemini 모델은 유료 키가 있는 Gemini CLI를 통해 실행됩니다. Google은 Gemini CLI가 Argon을 지원하는지 밝히지 않았으므로, 실제 작업을 맡기기 전에 gemini-4-argon의 스모크 테스트를 먼저 진행하세요.
작업 유형별로 본 Google 벤치마크 결과
Google의 분류 기준에 따라 코딩 에이전트에 중요한 항목들을 정리하면 다음과 같습니다.
| 작업 유형 (Google 분류) | 항목 | Google 표 기준 1위 | 참고사항 |
|---|---|---|---|
| 에이전트 기반 코딩 | DeepSWE v1.1 | Argon 77.9% (Opus 5.5 74.2%, Astra 74.1%) | Argon 자체 측정 |
| 에이전트 기반 코딩 | FrontierSWE v2 | Astra 65.5% (Opus 5.5 62.3%, Argon 55.0%) | Proximal 리더보드 |
| 에이전트 기반 코딩 | Terminal-bench 4.0 | Opus 5.5 66.4% (Astra 58.2%, Argon 57.4%) | Argon 자체 측정 |
| 에이전트 기반 코딩 | Vibe Code Bench | Argon 91.9% (Opus 5.5 90.3%, Astra 89.6%) | 네 모델 간 격차가 2.3점에 불과함 |
| ML 엔지니어링 | PostTrainBench | Opus 5.5 49.3% (Argon 45.3%, Astra 44.3%) | Google이 모든 모델에 대해 자체 측정 |
| 과학 및 수학 | Terminal-Bench Science 0.1 | Astra 68.1% (Opus 5.5 63.3%, Argon 57.6%) | Argon은 검증기 타임아웃을 6배로 설정하여 실행 |
| 컴퓨터 유즈 | OSWorld-2.0, offline subset | Astra 72.6% (Argon 69.2%) | Opus 5.5 항목 없음 |
| 컴퓨터 유즈 | Agent’s Last Exam | Argon 39.5% (Opus 5.5 38.2%, Astra 34.2%) | Argon 자체 측정 |
| 롱 컨텍스트 | GraphWalks 256K to 1M | Argon 84.2% (Astra 71.8%, Opus 5.5 66.8%) | 모든 모델에 대해 자체 측정 |
에이전트 기반 코딩 카테고리만 보더라도 4개 항목에서 3개의 서로 다른 모델이 1위를 차지했습니다. Argon이 완승을 거둔 분야는 지식 작업, 롱 컨텍스트, 멀티모달 항목으로, 최종 결과물이 diff(코드 변경점)로 귀결되는 코딩 크루에게는 상대적으로 중요도가 떨어집니다.
다만 한 가지 감안해야 할 점은 이것이 Google이 작성한 표라는 사실입니다. Google은 여러 항목에서 Argon을 직접 실행했고, 경쟁 모델 수치는 대부분 자체 보고되었거나 공개 리더보드에서 가져온 것이며 평가 하네스(harness)도 서로 다릅니다. 평가 방법론 페이지에 각 셀의 출처가 기재되어 있습니다. 출시 이후 발표된 독립적인 평가 결과들 역시 제각각입니다. Scale AI의 Humanity's Sixth Sense에서는 Argon이 55.4%로 GPT-6 Astra의 53.6%를 제치고 1위를 차지한 반면, Cursor는 자체 CursorBench에서 Opus 5.5와 동등한 수준이라고 평가했으며, Artificial Analysis에서는 10월 15일 기준 등록된 216개 모델 변형 중 Argon(High)을 8위로 매겼습니다.
가격 측면에서도 승부가 명확히 갈리지 않습니다. Argon의 요금은 2026년 11월 30일까지 입력 토큰 100만 개당 2달러, 출력 토큰 100만 개당 10달러이며, 12월 1일부터는 각각 4달러와 20달러로 인상됩니다. 이 변경 후 요율은 Opus 5.5와 완전히 동일합니다. Astra의 공시 가격은 10달러와 50달러입니다.
모든 항목을 지배하는 연구소는 없으므로, 전체 환경을 한 연구소에만 맡겨선 안 됩니다
이러한 주장을 뒷받침하는 것은 우리의 의견이 아니라 바로 벤더들의 데이터입니다. Google이 자사 모델을 선보이기 위해 직접 작성한 표에서조차 5개 항목을 두 경쟁사에 내주었다면, 코딩 에이전트를 위한 단 하나의 절대적인 최고 모델은 존재하지 않는다는 뜻입니다. 특정 평가 하네스에서, 이번 분기에, 특정 유형의 작업에 가장 적합한 모델이 있을 뿐입니다.
이 점은 출시일을 맞이하는 방식 자체를 바꿔 놓습니다. 흔히 빠지기 쉬운 유혹은 전면적인 마이그레이션입니다. 기본 런타임을 변경하고, 설정을 다시 작성하며, 팀원들의 작업 습관을 다시 교육하는 식입니다. 하지만 훨씬 경제적인 접근법은 새 모델이 뛰어난 강점을 보이는 작업에 대한 또 하나의 후보로 삼고, 나머지 작업 환경은 그대로 유지하는 것입니다. 당사는 가장 뛰어난 코딩 에이전트보다 중요한 것은 작업을 관리하는 방식이라고 일관되게 주장해 왔으며, 세 모델이 각자 강점을 나눠 갖는 이 표야말로 그 주장을 숫자로 증명해 줍니다.
상황에 따른 실질적인 판단 기준은 다음과 같습니다.
- 대부분의 작업이 유사하고 한 사람이 모든 것을 검토한다면 단일 기본 런타임을 유지하세요. 보조 런타임을 추가한다는 것은 유지관리할 설정이 하나 더 늘어나고, 청구서가 추가되며, 장애 유형도 늘어난다는 뜻입니다.
- 작업이 셸 중심 작업, UI 검증, 대규모 코드베이스 분석 등으로 나뉜다면 2~3개의 런타임을 운영하세요. 벤치마크 표에서도 모델별 강점이 바로 이 지점에서 갈리기 때문입니다.
라우팅 규칙을 명문화하세요
엔지니어 한 명의 머릿속에만 있는 라우팅 규칙은 단순한 습관일 뿐이며, 그러한 습관은 신규 입사자가 오거나 새 모델이 출시되는 주간에는 유지되기 어렵습니다. 팀원 모두가 볼 수 있는 곳에 규칙을 명문화하세요.
Routing rule v1 (re-test after every frontier launch)
Default
The Agent on your current default Runtime, until your own
comparison says otherwise.
Send the Task to the Claude Code Agent (Opus 5.5 set in Claude Code) when
- most of the work happens in a terminal: builds, CI repair, setup [Terminal-bench 4.0]
- it is training or evaluation plumbing for a model pipeline [PostTrainBench]
Send the Task to the Codex Agent (GPT-6 Astra set in Codex) when
- the change has to be verified by driving a desktop or browser UI [OSWorld-2.0]
- it is scientific or data work done mostly in a terminal [Terminal-Bench Science]
Send the Task to the Gemini CLI Agent (gemini-4-argon) when
- it needs a very large codebase or log read in one pass [GraphWalks]
- note: the 1M window is shared by input, thinking and output, and
Gemini CLI support is unverified. Smoke-test before this line routes work.
Escalate
If a run fails its acceptance checks twice, reassign the Task to the next
Agent in this rule. The failed runs stay on the Task as evidence.
Review
An Agent on a different Runtime from the author reads the diff and the
evidence. A person accepts the result.
각 조건은 근거가 되는 벤치마크 항목과 쉽게 식별할 수 있는 작업 형태를 명시합니다. 특히 가장 중요한 것은 리뷰어 항목입니다. 자신이 작성하지 않은 diff를 검토하는 모델은 적은 비용으로 신뢰할 만한 교차 검증을 제공하며, 최종 승인 권한은 사람에게 유지됩니다.
규칙을 어디에 둘지는 누가 라우팅을 담당하느냐에 따라 달라집니다. 사람이 직접 담당자를 지정한다면 스페이스(Space)의 문서화된 규칙에 포함되어야 합니다. 크루 리더가 라우팅을 맡는다면 크루 지침에 명시해야 합니다. 어떤 방식이든 결과는 동일한 작업으로 반환되므로 비교 이력이 한곳에 보존됩니다. 작업 형태와 모델 역할 매칭에 대한 자세한 내용은 코딩 작업별 최적 모델 매칭 가이드를 참고하세요.
신뢰하기 전에 자체 코드베이스에서 규칙을 검증하세요
벤치마크 지표는 작업 유형을 후보 목록에 올려둘 뿐이며, 기본 모델을 결정하는 것은 여러분의 저장소입니다. 벤치마크 대신 자체 코드베이스에서 코딩 에이전트를 비교하는 방법에서 소개한 방식은 이 표와 매우 잘 맞아떨어집니다. 표에서 어떤 세 가지 작업을 선택해야 하는지 이미 명확히 제시해주고 있기 때문입니다.
- CI 빌드 실패 해결과 같이 터미널 작업 비중이 높은 작업 1개
- UI를 통해 변경 사항을 검증해야 하는 작업 1개
- 저장소의 상당 부분을 컨텍스트로 파악해야 하는 질문 1개
각 실행이 독립된 워크트리를 갖도록 임시 디렉터리 생성(Create temporary directory) 모드에서 에이전트마다 동일한 작업 설명과 인수 조건을 부여하세요. 그런 다음 에이전트의 자체 주장이 아니라 실제로 작업에 반환된 결과물을 기준으로 점수를 매기세요. diff, 수행된 검사 및 결과, 제기된 질문, 그리고 사람이 이를 승인하기까지 걸린 시간 등을 평가해야 합니다.
Gemini CLI에서 gemini-4-argon을 사용한 한 줄짜리 스모크 프롬프트 테스트를 통과하기만 하면 Argon도 바로 이 비교 테스트에 투입할 수 있습니다. 다른 설정을 변경하기 전에 동일한 세 가지 작업을 Argon에서 먼저 실행해 보세요. 기본 런타임 비교: Opus 5.5 vs GPT-6 Sol에서는 동일한 결정에 대해 완료된 작업당 비용 측면을 자세히 다룹니다.
2026년 10월 15일 기준 각 모델의 실행 환경
| 모델 | 런타임 | 컴퓨터에서 요구되는 사항 | 100만 토큰당 정가 (입력 / 출력) |
|---|---|---|---|
| GPT-6 Astra | Codex | Astra로 구성된 Codex 및 접근 권한이 있는 계정 또는 키 | $10 / $50 |
| Claude Opus 5.5 | Claude Code | Opus 5.5로 구성된 Claude Code 및 접근 권한이 있는 계정 또는 키 | $4 / $20 |
| Gemini 4 Argon | Gemini CLI (미검증) | 유료 Gemini API 키, 모델명 gemini-4-argon, 통과된 스모크 프롬프트 |
11월 30일까지 $2 / $10, 이후 $4 / $20 |
| 기타 Gemini 모델 | Gemini CLI | 유료 Gemini API 키, Gemini Enterprise Agent Platform 키, 또는 Code Assist Standard/Enterprise 라이선스 | 모델별 상이 |
Gemini 관련 항목에는 주의할 점이 있습니다. Google의 전환 안내 공지에 따르면, 2026년 6월 18일부터 Gemini CLI는 Google AI Pro, Ultra 또는 개인용 무료 Code Assist 계정을 더 이상 지원하지 않습니다. Pro와 Ultra 요금제는 Gemini 앱에서 Argon을 지원하지만, 구독 서비스는 API 키가 아니며 Argon에는 무료 API 티어가 제공되지 않습니다.
Sharkly는 특정 모델을 임의로 선택하지 않습니다. 에이전트 문서에서도 "에이전트는 런타임의 기본 모델을 따릅니다. 특정 모델명을 보장하거나 표시하지 않습니다"라고 명시하고 있습니다. 모델은 에이전트 또는 런타임의 커스텀 인수(Custom arguments)를 통해 설정하거나, 컴퓨터 내 도구 자체 구성에서 설정할 수 있습니다. 따라서 라우팅 규칙에 나오는 "Codex 에이전트"는 Astra를 사용하도록 구성된 Codex 런타임 기반의 에이전트를 의미합니다.
자세한 설정 방법은 Sharkly에서 GPT-6 Astra 활용하기, Sharkly에서 Claude Opus 5.5 활용하기, 그리고 Gemini CLI 설정 및 Argon 전환에 대해서는 코딩 에이전트를 위한 Gemini 4 Argon 가이드에서 확인할 수 있습니다.
표는 바뀌어도, 작업 체계는 흔들리지 않아야 합니다
다음 모델이 출시되면 이 표는 다시 그려질 것입니다. 하지만 모델을 둘러싼 제반 체계—즉 라우팅 규칙, 작업, 각 실행이 남기는 증거, 그리고 결과를 승인하는 사람—는 그대로 유지되어야 합니다. 에이전트는 조사하고, 실행하고, 테스트하며, 보고합니다. 사람은 방향을 설정하고, 권한을 부여하며, 최종 결과를 승인합니다.
단일 생태계에 종속되지 않고 여러 코딩 에이전트를 유연하게 활용하고자 한다면, Sharkly는 바로 그러한 요구를 해결하기 위해 설계되었습니다.
