Claude Fable 5.2: 자체 코드베이스에서 AI 에이전트 평가하는 방법

통제된 작업, 인수 테스트, 코드 리뷰 공수, 소요 시간, 승인된 변경 사항당 비용을 기준으로 실제 코드베이스에서 Claude Fable 5.2를 평가해 보세요.

Aiden Flux

Aiden Flux

16 11월 2026

Claude Fable 5.2: 자체 코드베이스에서 AI 에이전트 평가하는 방법

명확한 인수 기준(acceptance criteria), 동일한 환경, 그리고 이미 사용 중인 기준선(baseline)을 바탕으로 대표적인 저장소 작업에서 Claude Fable 5.2를 평가해 보세요. 승인된 변경 사항, 리뷰 소요 공수, 경과 시간, 총비용을 종합적으로 측정해야 합니다. 테스트를 반복 실행하고 실패 사례를 보존하며, 단일 벤치마크 점수가 아닌 작업 카테고리별로 도입 여부를 결정하세요.

Anthropic은 2026년 11월 9일에 Fable 5.2를 발표했습니다. 해당 발표에서는 코딩 및 추론 능력이 향상되었다고 설명합니다. 하지만 이는 벤더 자체의 평가와 경험에 기반한 주장에 불과합니다. 실제 여러분의 의존성, 컨벤션, 릴리스 요구사항 환경에서 모델이 어떻게 작동하는지까지 입증해 주지는 못합니다.

여러분의 평가는 더 구체적인 질문에 답할 수 있어야 합니다. 즉, 감당할 수 있는 리뷰 부담 내에서 모델에 어떤 작업을 맡길 수 있는가 하는 점입니다. 이미 여러 코딩 에이전트가 이러한 작업을 나누어 처리하고 있다면, Sharkly를 통해 작업과 리뷰 컨텍스트를 체계적으로 정리할 수 있습니다.

본 가이드는 실험 방식을 제안하는 글로, 실측된 비교 결과는 포함되어 있지 않습니다.

대표적인 작업 세트 구성하기

저장소 평가는 실제 개발 작업에서 도출한 요구사항을 바탕으로 코딩 워크플로를 통제된 환경에서 비교하는 과정입니다. 성공 여부의 단위는 테스트 통과와 코드 리뷰를 거쳐 최종 ‘승인된 변경 사항’입니다. 그럴듯한 패치, 테스트 명령어 통과, 또는 에이전트의 확신에 찬 완료 메시지만으로는 성공적인 승인이라 볼 수 없습니다.

최근 진행된 유지보수 작업에서 12개의 작업을 선정해 시작해 보세요. 이 숫자는 파일럿 규모로 제안하는 기준이며 통계적 보증을 의미하지는 않습니다. 백로그의 구성 비율과 유사하게 버그 수정, 소규모 기능 추가, 리팩터링, 조사(investigation) 작업을 골고루 포함하세요.

시작 커밋이 명확하고 기대 동작을 잘 이해하고 있는 리뷰어가 배정된 작업을 선택하세요. 정답이 뻔한 이슈만 고르는 것은 피해야 합니다. 올바른 대응을 위해 질문을 던져야 하거나 누락된 의존성을 설명해야 하는 작업을 적어도 하나 이상 포함하세요.

기존에 해결했던 이슈를 사용할 경우, 에이전트에게 제공하는 컨텍스트에서 기존 해결책을 제거하세요. 해당 수정 사항이 이미 외부에 공개된 적이 있는지 기록해 두어야 합니다. 모델이 학습 과정에서 이미 접했을 수 있기 때문입니다. 추후 검증 라운드를 위해 공개되지 않은 별도의 작업 세트도 따로 마련해 두세요.

실행 전에 반드시 인수 기준을 작성해야 합니다. 예를 들어 API 페이지네이션 버그 수정 작업이라면 빈 결과 처리, 페이지 경계, 유효하지 않은 커서, 기존 클라이언트와의 호환성 등을 구체적으로 명시하세요. 허용되는 변경 범위와 승인에 필요한 검증 항목도 함께 포함합니다.

카테고리 작업 예시 승인 근거
버그 수정 커서 경계 처리 오류 수정 회귀 테스트 및 기존 테스트 스위트 통과
소규모 추가 선택적 요청 필터링 기능 추가 계약 테스트(Contract tests) 통과 및 문서화된 기본값
리팩터링 중복된 유효성 검사 로직 분리 공개 동작(Public behavior) 유지 및 코드 리뷰 통과
조사 간헐적 타임아웃 원인 진단 재현 성공 및 근거를 갖춘 원인 설명

명확한 비교가 필요할 때는 작은 규모의 작업을 사용하세요. 에이전트 간의 조율 능력이 평가 대상에 포함되는 경우라면 더 큰 작업을 사용하고, 해당 실험은 별도로 점수를 매기세요.

에이전트 실행 전 조건 고정하기

통제된 평가: 동일한 입력, 격리된 시도, 테스트, 블라인드 리뷰, 승인 결과

저장소 커밋, 운영체제, 의존성 록파일(lockfile), 도구 버전, 모델 식별자, 설정을 기록해 두세요. 에이전트 하네스(harness) 역시 고정해야 합니다. 하네스는 모델 주변에서 도구, 컨텍스트, 실행 환경을 제공하는 소프트웨어를 뜻합니다.

Fable 5.2를 현재 워크플로와 비교해 보세요. 모델 자체를 비교하려면 지원되는 한 동일한 하네스를 사용해야 합니다. 워크플로 전체를 비교하는 경우라면 서로 다른 도구를 사용할 수 있지만, 그 결론에는 적용된 전체 구성 환경이 반드시 명시되어야 합니다.

권한, 네트워크 접근, 시작 컨텍스트, 제한 시간 등의 조건을 동일하게 유지하세요. 의존성 설치 시간이 경과 시간에 포함되는지 여부도 명확히 정의합니다. 특정 구성이 다른 실행에서 수정된 파일, 정답이 포함된 캐시, 대화 기록 등을 이어받지 않도록 격리해야 합니다.

각 시도마다 새로 체크아웃하거나 독립된 worktree를 사용하세요. 여러 작업 트리가 하나의 저장소를 공유하는 방식은 Git의 worktree 문서에 잘 설명되어 있습니다. 파일 격리가 데이터베이스, 포트, 외부 서비스까지 격리해 주지는 않으므로, 이러한 리소스에도 별도의 테스트 환경을 부여하세요.

명확한 개입 규칙을 마련해 두세요. 예를 들어 모든 구성에서 확인 가능한 정보만을 사용해 단 한 번의 명확화 질의응답만 허용하는 식입니다. 개입에 소요된 모든 시간은 기록해야 합니다. 리뷰어가 암묵적으로 코드를 수정해 버리면 실험에서 측정하려는 본래 취지가 왜곡됩니다.

동일 조건 쌍대 실행 및 실패 사례 보존

각 구성을 동일한 작업 세트에 대해 실행하세요. 일시적인 서비스 지연이 특정 모델에 유리하게 작용하지 않도록 실행 순서를 번갈아 배치합니다. 리소스가 허용된다면 결과를 확인하기 전에 미리 정해둔 횟수만큼 반복 실행하세요.

실무 파일럿에서는 작업당, 구성당 3회 정도의 시도가 적당할 수 있습니다. 이를 엔지니어링 관점의 출발점으로 삼으세요. 표본 크기가 작으면 드물게 발생하는 오류나 보편적인 우수성을 정밀하게 입증하기는 어렵습니다.

모든 시도에 대해 프롬프트, 구성, 타임스탬프, 트랜스크립트, 패치, 도구 출력, 최종 처리 결과를 빠짐없이 저장하세요. 타임아웃이나 중단된 실행도 결과로 기록해야 합니다. 이러한 실패를 제외하면 실제 배포할 워크플로보다 더 저렴하고 빠른 것처럼 왜곡될 수 있습니다.

테스트 픽스처와 자격 증명(credentials)은 프로덕션 환경과 철저히 분리하세요. 저장소의 기존 테스트 프로세스를 그대로 따릅니다. Python 저장소의 경우 pytest 문서에 픽스처와 테스트 실행에 대한 설명이 나와 있지만, 인수 기준이 요구사항을 충분히 포괄하는지까지 프레임워크가 판단해 주지는 못합니다.

속도보다 정확성을 먼저 검토하기

가능하다면 리뷰어가 어떤 모델의 작업인지 모르는 상태(블라인드)에서 패치를 검토하게 하세요. 요구사항 충족도, 회귀 위험, 유지보수성, 테스트 품질, 불필요한 변경 범위 등을 포함하는 일관된 루브릭(평가 기준표)을 적용합니다.

작업에 테스트가 요구된다면 테스트 통과는 필수적이지만, 테스트 자체가 잘못된 동작을 통과시키도록 작성되었을 수도 있습니다. 단언문(assertions)이 원래 요구사항에 부합하는지 확인하세요. 비활성화된 검사 항목, 느슨해진 오차 범위, 무시된 오류, 실패 경로를 우회하는 변경 등이 없는지 주의 깊게 살펴야 합니다.

평가 결과는 수정 없이 승인, 수정 후 승인, 반려의 세 가지 상태로 구분하세요. 수정에 소요된 시간(분 단위)과 수정의 성격을 기록합니다. 수정 후 승인된 변경 사항을 기본 승인율에 포함할지 여부는 사전에 결정해 두어야 합니다.

조사 작업의 경우 논리적 근거 사슬(evidence chain)을 평가하세요. 유용한 보고서는 관찰 결과를 명확히 식별하고, 가설을 분리하며, 재현 가능한 다음 단계를 제시합니다. 근거 없는 확신에 찬 진단에 높은 점수를 주어서는 안 됩니다.

승인된 변경당 비용 계산하기

승인된 변경당 비용은 모든 시도를 포함하며 실제 지출 비용과 리뷰 인건비를 분리하여 계산합니다

승인된 변경당 비용은 전체 평가 비용을 사전에 정의한 규칙에 따라 승인된 변경 건수로 나누어 계산합니다. 분자에는 실패한 시도의 비용도 모두 포함해야 합니다. 승인된 변경이 하나도 없다면 비용과 함께 승인 건수 0건으로 기록하세요. 이 경우 비율은 정의되지 않습니다.

다음 지표들을 함께 종합적으로 추적하세요:

  1. 작업 카테고리별 승인율
  2. 작업 시작부터 리뷰 준비 완료까지의 실제 소요 시간(Wall-clock time)
  3. 사람의 리뷰 및 수정 소요 시간(분)
  4. 모든 시도에 대한 모델 및 도구 사용 요금
  5. 유의미한 수준의 인프라 비용
  6. 관찰 기간 동안 발견된 회귀 결함

청구된 금액과 함께 토큰 사용량 및 기준 날짜가 명시된 단가 출처를 기록하세요. 캐시된 토큰, 재시도, 실행 도구 등에 따라 비용이 크게 달라질 수 있습니다. 단순히 출력 길이만으로 요금을 추정해서는 안 됩니다.

리뷰어의 시간에 금전적 단가를 매긴다면 이를 내부 가정치로 명시하세요. 독자가 비교 수치를 직접 다시 계산해 볼 수 있도록 실제 지출 비용과 인력 투입 시간을 분리하여 제시해야 합니다. 생성 비용이 저렴하더라도 엔지니어의 공수가 더 많이 들어갈 수 있습니다.

평가 근거를 작업 내역과 함께 보관하기

Sharkly는 코딩 에이전트와 관련된 업무 흐름을 관리합니다. 문서화된 워크플로를 통해 Task, Agent, Computer, 실행 컨텍스트, 사람의 리뷰를 유기적으로 연결해 줍니다. 최신 제품 용어와 설정 방법은 Sharkly 문서를 참조하세요.

이번 실험에서는 각 Task에 인수 기준을 기재하고 패치, 테스트 근거, 결과 등을 동일한 작업 레코드에 다시 기록하도록 구성합니다. 분석하기에 가장 편리하다면 평가 장부를 스프레드시트나 버전 관리되는 데이터 파일로 유지해도 좋습니다. 플랫폼이 실험 지표를 자동으로 계산해 줄 것이라고 전제해서는 안 됩니다.

범위가 한정된 테스트에는 단일 Agent를 사용하세요. 조율 능력 자체가 평가 대상에 포함될 때만 Crew를 도입해야 합니다. 도중에 팀 구조를 바꾸면 또 다른 변수가 추가되기 때문입니다.

에이전트는 작업을 실행하고 증거를 보고합니다. 반면 인수 기준 정의, 코드 변경 검토, 릴리스 승인은 사람이 담당합니다. 이러한 역할 분담은 코드가 모든 자동화 검사를 통과하더라도 여전히 유효하고 중요합니다.

카테고리별 도입 결정하기

결과를 확인하기 전에 도입 기준 규칙을 미리 정해 두세요. 먼저 허용 가능한 수준의 정확성을 요구하고, 그 기준을 충족하는 구성 간에 비용과 경과 시간을 비교해야 합니다. 보안에 민감하거나 테스트 커버리지가 낮은 카테고리는 초기 도입 범위에서 제외하세요.

백분율과 함께 실제 건수를 나란히 보고하세요. 3건 중 2건이 승인된 결과와 300건 중 200건이 승인된 결과는 완전히 다른 의미를 갖습니다. 단 하나의 종합 우승자를 성급히 선언하기보다는 불확실성과 실패 패턴을 객관적으로 서술하세요.

프롬프트, 하네스, 모델 버전, 저장소 구조에 유의미한 변화가 있을 때마다 평가를 다시 수행하세요. 추후 개선 사항에 대해 재현 가능한 기준선을 확보할 수 있도록 이전 구성을 잘 보존해 두어야 합니다.

Sharkly에서 대표적인 유지보수 작업 하나로 시작해 명확한 인수 기준을 부여하고, 산출된 근거를 현재 워크플로와 비교해 보세요. 성공과 실패의 원인을 모두 명확히 설명할 수 있게 되었을 때 비로소 범위를 확장하세요.

자주 묻는 질문 (FAQ)

공개 코딩 벤치마크가 이번 평가를 대신할 수 있나요?

후보 모델을 추리는 데는 도움이 될 수 있습니다. 하지만 여러분 저장소의 컨벤션, 의존성, 리뷰 기대 수준, 운영 환경의 제약 사항까지 반영해 주지는 못합니다.

모든 시도에 완전히 동일한 프롬프트를 사용해야 하나요?

동등한 작업 정보와 사전에 정의된 프롬프팅 정책을 사용해야 합니다. 차이점을 검토할 수 있도록 도구별 래퍼(wrapper)도 함께 기록하세요.

수정을 거친 패치도 성공으로 간주하나요?

규칙을 사전에 정해 두어야 합니다. 수정 후 승인된 건과 수정 없이 승인된 건을 분리하여 보고하고, 워크플로 비교 시 수정 소요 시간을 반드시 포함하세요.

타임아웃은 어떻게 점수를 매겨야 하나요?

정해진 시간 예산 내에서는 실패로 처리해야 합니다. 소요된 비용과 경과 시간은 결과 데이터에 그대로 반영하세요.

도입 범위를 언제 확장해야 할까요?

반복된 테스트를 거쳐 특정 작업 카테고리가 인수 규칙을 충족하고, 리뷰어들이 해당 카테고리의 반복적인 실패 패턴을 명확히 이해했을 때 확장하세요.

추가 자료

저장소 격리에 대해서는 Git 문서를, 통제된 테스트 환경 설정에 대해서는 pytest fixtures 가이드를, 에이전트 작업 및 휴먼 리뷰 관리에 대해서는 Sharkly를 참조하세요.

더 둘러보기

휴먼 인 더 루프 AI 에이전트: 브라우저 핸드오프가 제대로 해내는 것

휴먼 인 더 루프 AI 에이전트: 브라우저 핸드오프가 제대로 해내는 것

휴먼 인 더 루프 AI 에이전트에는 두 종류의 체크포인트가 필요합니다. 사람만 할 수 있는 단계와 사람이 판단해야 하는 단계입니다. Browse의 핸드오프가 제대로 짚은 점과 이를 작업 보드에 매핑하는 방법을 살펴봅니다.

19 11월 2026

Gemini 4 Neon Orchestrator: Hydrogen 서브에이전트와 함께 활용하기

Gemini 4 Neon Orchestrator: Hydrogen 서브에이전트와 함께 활용하기

Gemini 4 Neon 오케스트레이터를 Hydrogen 서브에이전트 위에서 실행하는 방법: 오케스트레이터가 작성하는 하위 작업 계약, 팬아웃 규모 산정, Carbon 대비 실행당 비용 계산, 그리고 실패 규칙.

19 11월 2026

에이전틱 SDLC를 완성하는 5가지 핵심 요소 (보드, 에이전트, 리뷰 게이트)

에이전틱 SDLC를 완성하는 5가지 핵심 요소 (보드, 에이전트, 리뷰 게이트)

애자일 방식의 에이전트 기반 SDLC가 실제로 작동하려면 무엇이 필요할까: 팀이 함께 사용하는 공유 보드, 작업을 할당할 수 있는 에이전트, 독립적인 리뷰어 에이전트, 되돌려 받을 수 있는 반려 경로, 그리고 최종 출시를 책임지는 사람. 이 루프를 단계별로 살펴본다.

18 11월 2026