Claude Code 성공을 예측하는 것은 코딩 유창성보다 도메인 지식인 이유
Claude Code로 성과를 내는지를 가르는 것은 소프트웨어 엔지니어링 배경이 있는지가 아니라, 풀고 있는 문제를 얼마나 잘 이해하느냐입니다. 이는 Anthropic이 2026년 6월 16일 발표한 연구 Agentic coding and persistent returns to expertise의 핵심 결론입니다. 이 연구는 2025년 10월부터 2026년 4월까지 234,751명이 진행한 398,198건의 대화형 세션을 분석했습니다(Anthropic, 2026-06). 이는 벤치마크가 아니라 세션 규모의 사용 연구이며, 기술 직군과 비기술 직군 사이의 격차는 대부분의 빌더가 예상하는 것보다 훨씬 작습니다.
빠른 답변: Anthropic이 Claude Code 세션 398,198건을 분석한 결과(2025년 10월~2026년 4월), 코드를 생성한 세션에서 소프트웨어 관련 직군은 약 34%의 검증된 성공률을 보였고, 그 외 사용자는 약 29%였습니다. 격차는 대략 5%포인트에 그쳤습니다. 결과를 좌우하는 것은 코딩 경력이 아니라 문제에 대한 도메인 전문성입니다.
이 데이터셋은 의도적으로 범위가 제한되어 있습니다. Claude Code CLI, Claude.ai, Claude Code 데스크톱 앱을 통한 대화형 에이전트 코딩을 다루며, Anthropic 내부 사용과 함께 프로그래밍 방식의 CLI 호출, 타사 IDE 통합, SDK 자동화처럼 사람이 대화에 개입하지 않는 헤드리스 작업은 제외했습니다(TheRouter, 2026). 따라서 이는 Claude Code의 전체 경제적 영향이 아니라, 사람이 세션 안에서 에이전트를 조종하는 장면을 보여줍니다. 코딩 실력이 어디선가 압도적으로 중요하다면 바로 이런 환경에서였을 것입니다.
하지만 그렇지 않았습니다. 코드를 생성한 세션에서 소프트웨어 및 수학 직군은 약 34%의 검증된 성공률을 보였고, 다른 직군은 약 29%였습니다. 격차는 약 5%포인트에 불과했습니다. 더 느슨한 부분 성공 지표에서는 격차가 거의 사라집니다. 소프트웨어 사용자는 약 89%, 그 외 사용자는 약 88%였습니다(Tech Times, 2026-06).
실무적으로 보면 경쟁 우위의 의미가 다시 정의됩니다. 정산 규칙을 정확히 설명하고 예외 사례를 잡아낼 수 있는 회계사는, 그 작업에서는 루프 안의 전문가입니다. 그리고 그 주제 지식은 프로덕션 코드를 몇 년 작성했는지보다 결과를 더 안정적으로 예측합니다. 이어지는 섹션에서는 Anthropic이 전문성을 어떻게 측정하는지, 전문가 세션이 프롬프트 하나당 왜 두 배가 넘는 작업을 끌어내는지, 실제로 격차가 커지는 지점은 어디인지 살펴봅니다.
5점 전문성 평가는 문제 영역별 초보자를 이렇게 다시 가릅니다
Anthropic의 전문성 평가는 사용자의 이력서가 아니라 눈앞의 문제를 얼마나 잘 다루는지를 보는 5점짜리 작업별 척도입니다. 중요한 점은 같은 사람도 대화가 바뀌면 전혀 다른 점수대에 놓일 수 있다는 것입니다 . 점수는 세션마다 추론되므로, 개발자는 익숙한 TypeScript를 리팩터링할 때는 전문가일 수 있지만, 한 시간 뒤 처음 접하는 도메인을 탐색할 때는 초보자로 분류될 수 있습니다. 전문성은 미리 선언되는 것이 아니라 대화 기록에서 읽어냅니다.
평가를 좌우하는 행동 신호는 세 가지입니다. 사용자가 작업을 얼마나 구체적으로 설정하는지, Claude의 출력에 어떤 검증을 적용하는지, 에이전트가 빗나갔을 때 누가 누구를 바로잡는지입니다 . 모호한 프롬프트 뒤에 비판 없이 결과를 받아들이면 낮은 전문성으로 읽힙니다. 반대로 범위가 촘촘한 요청, 결과에 대한 구체적 테스트, Claude의 실수를 사용자가 잡아내는 흐름은 높은 전문성으로 읽힙니다. 직함과 경력 연수는 계산에 들어가지 않습니다 .
이 설계 때문에 보고서에서 가장 직관에 어긋나는 재분류가 나옵니다. Rust를 처음 질문하는 시니어 엔지니어가 관용적 표현을 잘 모르고, 잘못된 borrow checker 우회책을 알아채지 못한다면 그 작업에서는 초보자로 평가됩니다 . 반면 정산 규칙을 정확히 제시하고 생성된 로직의 예외 사례를 잡아내는 회계사는 전문가로 평가됩니다. 대화 기록이 촘촘한 작업 설정, 실제 검증, 사람이 수정 방향을 이끄는 모습을 보여주기 때문입니다 .
채점 자체는 기계적으로 적용되며, 그래서 무엇을 볼 수 있는지에도 경계가 있습니다. Anthropic의 분류기 대부분은 Claude Sonnet 4.6을 temperature 0.2로 실행해 세션 기록을 읽었고, 전체 기록은 25,000자로 잘렸으며 개별 턴은 중간 부분이 5,000자 기준으로 잘렸습니다 . 매우 긴 세션에서는 이 절단 때문에 평가에 반영되지 못하는 맥락이 빠질 수 있으며, Anthropic도 이 한계를 직접 지적합니다. 전문성 라벨은 행동에서 나온 추론이지 측정된 자격증이 아닙니다.
Anthropic은 결론을 명확히 제시합니다.
"도메인 전문성, 즉 해결 중인 문제를 이해하는 능력은 공식적인 소프트웨어 엔지니어링 배경보다 에이전트 코딩의 성공을 더 안정적으로 예측한다." — Anthropic Economic Research, Agentic coding and persistent returns to expertise (source: Anthropic, 2026-06).
프롬프트당 Claude 작업 12회 vs 5회: 전문성에 따라 달라지는 출력 배율
전문성은 Claude가 하나의 지시에 대해 얼마나 많은 일을 수행하는지에서 가장 직접적으로 드러납니다. 전문가로 평가된 세션에서는 사용자 프롬프트 하나가 평균적으로 약 Claude 작업 12회와 약 3,200단어의 출력을 유도합니다. 반면 초보자로 평가된 세션에서는 같은 프롬프트가 약 작업 5회와 약 600단어에 그칩니다. 작업 수로는 2.4배, 단어 수로는 약 5배 차이입니다. 에이전트의 활용도는 모델뿐 아니라 조작하는 사람에 따라서도 커집니다.
기준선을 보면, 일반적인 인터랙티브 세션은 약 네 번의 사용자-Claude 턴으로 진행되며, 전체 세션 기준으로 프롬프트 하나당 평균 약 Claude 작업 10회와 약 2,400단어가 생성됩니다 (source: Anthropic, 2026-06). 여기서 "작업"은 파일 읽기, 코드 편집, 명령 실행처럼 에이전트가 수행하는 개별 단계를 뜻합니다. 따라서 작업 수는 Claude가 제어권을 돌려주기 전까지 얼마나 많이 실행했는지를 보여주는 대리 지표입니다.
분포에는 긴 꼬리가 있습니다. 대부분의 세션은 평균 근처에 모이지만, 약 2%의 세션은 프롬프트당 평균 작업 수가 100회를 넘고, 대략 270개 중 1개는 평균 200회를 넘으며, 약 2,300개 중 1개는 평균 500회를 넘습니다. 이런 세션은 사용자가 Claude에게 잘 정의된 문제를 맡기고 긴 작업 체인을 실행하게 두는 경우입니다. 에이전트형 위임의 상단 구간이라고 볼 수 있습니다.
| 지표(프롬프트당) | 초보자 평가 | 전문가 평가 | 차이 |
|---|---|---|---|
| Claude 작업 | ~5 | ~12 | 2.4x |
| Claude 출력 단어 수 | ~600 | ~3,200 | ~5x |
| 전체 세션 평균 | ~10회 작업 / ~2,400단어 | — | |
이 관계는 이분법이 아니라 단계적으로 나타납니다. 통제 변수를 적용한 뒤에도 Anthropic의 5점 전문성 척도에서 한 단계 올라갈 때마다 작업 수는 약 +9%, 출력은 +13% 증가했으며, 이 기울기는 p < 0.001 수준에서 유의했습니다 (source: Anthropic, 2026-06). TheRouter의 실무자 분석은 이러한 배율을 프로필별 토큰 예산과 모델 등급 라우팅의 근거로 해석합니다. 다만 이는 Anthropic의 권고가 아니라 후속 추론이므로 분석으로 보는 것이 적절합니다.
주목할 만한 메커니즘은 이렇습니다. 출력이 많아지는 것은 Claude가 단순히 장황해지기 때문이 아닙니다. 숙련된 사용자는 에이전트가 한 턴 안에서 더 많은 단계를 자신 있게 밟을 수 있도록 충분한 명세와 검증 구조를 제공합니다. 그래서 같은 모델이 어떤 사용자에게는 다섯 배의 일을 해내고, 다른 사용자에게는 그 일부만 수행하게 됩니다.
전문성 구간별 완료율: 세션이 문제에 부딪히면 격차는 더 뚜렷해집니다
이 추가 작업은 제대로 결실을 맺을 때만 의미가 있으며, Anthropic의 세션 데이터는 완료율이 전문성과 함께 꾸준히 올라가다가 세션이 잘못 흘러가기 시작하는 바로 그 지점에서 가장 크게 갈라진다는 점을 보여줍니다. 엄격한 검증 성공 기준으로 보면, 초보자로 평가된 세션의 성공률은 약 15%인 반면 중급 이상 구간은 28~33%였습니다 . 이 보고서는 실제 현장 결과를 직접 관찰할 수 없었기 때문에, 대화 기록 분류기와 통과한 테스트, 커밋, 풀 리퀘스트, 사용자의 명시적 긍정 같은 확실한 신호를 결합했으며, 명확한 목표가 없었던 약 7.7%의 세션은 성공 분석에서 제외했습니다 .
빠른 답변: 순조로운 세션이 끝까지 완료되는지에는 전문성이 큰 차이를 만들지 않지만, 복구 국면에서는 결정적입니다. 문제가 생긴 세션에서 검증 성공률은 초보자 4%, 전문가 15%였고, 포기율은 초보자 19%인 반면 그보다 높은 모든 구간은 5~7%였습니다. 도메인 지식이 에이전트를 실패에서 빠져나오게 합니다 .
어떤 기준선을 택하느냐에 따라 이야기는 달라집니다. 더 느슨한 부분 성공 기준에서는 초보자가 77%에 도달하고 중급 이상 구간은 91~92%에 머뭅니다. 완화된 기준은 거의 두 배에 가까운 격차를 14%포인트 차이로 압축합니다 . 다시 말해, 대부분의 사용자는 대부분의 경우 쓸 만한 무언가를 얻습니다. 전문성의 프리미엄은 에이전트가 결과물을 내놓는지 자체가 아니라, 그 결과가 검증 가능하게 올바른지에 집중됩니다.
| 측정 기준 | 초보자 | 중급+ / 전문가 |
|---|---|---|
| 검증 성공률(전체 세션) | 15% | 28~33% |
| 부분 성공률(전체 세션) | 77% | 91~92% |
| 검증 성공률(문제 발생 세션) | 4% | 15% |
| 포기율(문제 발생 세션) | 19% | 5~7% |
격차는 세션이 문제에 부딪힌 뒤 가장 가파르게 벌어집니다. 문제가 발생한 세션에서 검증 성공률은 초보자 4%에서 전문가 15%로 올라갔고, 포기율은 초보자 19%에서 다른 모든 구간의 5~7%로 낮아졌습니다 . 이 패턴은 조율 능력에 관한 보고서의 핵심 주장을 뒷받침하는 가장 강한 증거입니다.
"도메인 전문성은 사용자가 단순히 더 나은 첫 프롬프트를 쓰게 하는 것이 아니라, 에이전트를 문제 상황에서 빠져나오도록 조율하는 데 도움을 준다," — Anthropic, Agentic coding and persistent returns to expertise (source: Anthropic, 2026-06).
실무적으로 보면 이렇습니다. 좋은 시작 프롬프트는 문을 열어주지만, 결과를 가르는 지점은 복구입니다. 문제를 이해하는 운영자는 잘못된 방향 전환을 알아차리고, 빠진 제약 조건을 보충하며, 다시 방향을 잡습니다. 그럴듯하지만 틀린 결과를 받아들이거나 중간에 포기하지 않습니다. Crypto Briefing은 같은 데이터를 인간이 여전히 사고의 대부분을 담당한다는 의미로 해석했으며, 문제가 생긴 세션의 수치야말로 그 사고가 가장 잘 드러나는 지점입니다. 방법론상 한 가지 단서는 그대로 남습니다. 여기서 "성공"은 작업 완료를 뜻할 뿐 장기 유지보수성을 뜻하지 않습니다. Anthropic은 코드가 최종적으로 배포되었는지, 안전했는지, 품질이 높았는지를 직접 측정할 수 없기 때문입니다 .
측정된 모든 직군의 완료율은 기술 직군과 7%포인트 이내였습니다
전문성의 차이가 곧 직업적 계급 구조로 이어지는 것은 아닙니다. 데이터셋에서 가장 큰 10개 직업군을 보면, 검증된 성공률에서 모든 직군이 Computer and Mathematical 사용자와 약 7%포인트 이내에 들어왔습니다 . 특히 코드를 만들어내는 세션에서는 소프트웨어 관련 직군의 검증된 성공률이 약 34%였고, 그 외 사용자는 약 29%였습니다. 차이는 5%포인트였습니다. 더 느슨한 부분 성공 기준에서는 두 그룹이 각각 약 89%와 88%로 거의 구분되지 않았습니다 . 이것이 제목의 실증적 핵심입니다. 사용자가 눈앞의 과제를 얼마나 잘 이해하느냐를 감안하면, 직업명이 완료 가능성을 크게 바꾸지는 않습니다.
실제로 누가 Claude Code를 쓰고 있는지를 봐도 같은 결론이 강화됩니다. Anthropic은 세션의 약 70%에서 직업을 추론할 수 있었고, 나머지 30%는 신호가 부족해 직업별 분석에서 제외했습니다. 따라서 이 분포는 전체 표본이 아니라 직업을 추론할 수 있었던 다수의 사용자를 설명합니다 . 그 다수 안에서 세션 수 기준 상위 5개 직군은 순서대로 다음과 같습니다.
- Computer and Mathematical Occupations — 가장 큰 단일 그룹
- Business and Financial Operations
- Arts, Design, Entertainment, Sports, and Media
- Management
- Life, Physical, and Social Sciences
따라서 이 데이터에서 회계사, 애널리스트, 디자이너, 과학자는 예외적 사례가 아닙니다. Business and Financial Operations는 사용량 기준 2위로, 이 도구가 원래 겨냥했던 개발자 바로 뒤에 있습니다. 이 순서는 코딩 유창성이 아니라 해당 분야 지식이 에이전트형 코딩 성공의 핵심 제약이라는 보고서의 더 넓은 주장과도 맞닿아 있습니다 .
추세선은 개발자 우선의 사용자층에서 더 멀어지는 방향을 가리킵니다. 2025년 10월부터 2026년 4월까지 가장 빠르게 성장한 비소프트웨어 직군은 Management, Sales, Legal이었습니다 . 이들 직무는 어느 것도 코드 작성으로 정의되지 않지만, 세 직군 모두 인터랙티브 세션에서 차지하는 비중이 커지고 있습니다. 에이전트형 코딩이 엔지니어링 조직도를 벗어나, 사용자가 도메인 규칙을 제공하고 Claude가 구현을 맡는 인접 지식 업무로 확산되고 있다는 신호입니다.
이 숫자에는 한 가지 주의가 필요합니다. Anthropic은 명시적 확인 행동이 Management 직군이 검증된 성공률에서 소프트웨어 사용자보다 약간 높게 나온 이유를 일부 설명할 수 있다고 경고합니다. 사용자가 명확한 긍정 답변을 보내면, 실제 코드 품질과 무관하게 더 많은 완료가 "verified"로 기록될 수 있기 때문입니다 . 이 7%포인트 범위는 어떤 직업명이 가장 좋은 소프트웨어를 쓰는지에 대한 순위가 아니라, 직업이 완료 여부를 예측하는 힘이 약하다는 증거로 읽어야 합니다.
접근법은 누가 정하고 구현은 누가 맡는가: 70/80 분할
인터랙티브 Claude Code 세션에서는 사람이 전략을 맡고, 에이전트가 키 입력을 맡습니다. Anthropic의 세션 분석에 따르면 무엇을 만들지, 어떤 접근법을 택할지, 무엇을 완료로 볼지 같은 계획 결정의 약 70%는 사람이 내립니다. 반면 어떤 파일을 수정할지, 어떤 코드를 쓸지, 어떤 명령을 실행할지 같은 실행 결정의 약 80%는 Claude가 내립니다 . 역할 구분은 분명합니다. 판단은 사람에게 남고, 기계적 실행은 모델로 이동합니다.
이 분할은 실제 현장에서 "agentic"이 무엇을 뜻하는지 다시 보게 만듭니다. 에이전트가 목적지를 고르는 것이 아닙니다. 사용자가 이미 정했고 계속 수락 기준으로 감시하는 목적지를 향해 이동 거리를 대신 처리하는 것입니다. Crypto Briefing도 같은 숫자를 보고 핵심을 직설적으로 요약했습니다. 여전히 대부분의 사고는 사람이 하고 있다는 것입니다 . 이는 왜 도메인 전문성이 성공을 예측하는지와도 일치합니다. 조향은 운전대를 계속 잡고 있을 때에만 의미가 있습니다.
이 결정 분할은 Claude가 다시 확인하기 전까지 얼마나 오래 실행할 수 있게 되었는지도 설명합니다. Anthropic의 2026년 2월 자율성 분석에 따르면, 가장 오래 실행된 Claude Code 턴은 2025년 9월 말부터 2026년 1월 초 사이에 25분 미만에서 45분 초과로 거의 두 배 늘었습니다. 반면 중앙값 턴은 약 45초에 머물렀습니다 . 긴 꼬리는 더 길어졌지만, 전형적인 상호작용은 여전히 대화형에 가까웠습니다. 즉 에이전트는 더 긴 구간을 감독 없이 실행할 수 있지만, 그 구간의 앞뒤에는 과제를 설정하고 결과를 판단하는 사람이 있습니다.
얼마나 위임할지 결정하는 사람에게 중요한 구분은 이것입니다. 70/80 분할은 자율적 대체가 아니라 감독되는 위임을 말합니다. 사람은 여전히 목표와 "완료"의 기준을 정의하고, 앞서 문제가 생긴 세션 데이터가 보여줬듯 에이전트가 빗나갈 때 개입하는 주체입니다. Anthropic에서 Claude Code를 이끄는 Boris Cherny는 가까운 미래의 변화를 코딩이 타이핑에서 의도 명세로 이동하는 것으로 설명한 바 있습니다(video: Sequoia Capital). 이는 transcript에서 계획 결정의 70%를 사람이 가져가는 모습과 정확히 맞아떨어집니다. 실행은 확장되지만, 소유권은 이전되지 않습니다.
빌더 입장에서 실무적으로 읽으면, 워크플로에 Claude Code를 추가한다고 해서 무엇이 좋은 결과인지 결정하는 사람이 사라지는 것은 아닙니다. 사라지는 것은 그 결정과 작동하는 산출물 사이의 타이핑입니다. 병목은 구현 처리량에서 목표, 접근법, 수락 테스트의 품질로 이동합니다. 그리고 이 모든 것은 여전히 사람에게 남아 있습니다.
디버깅에서 운영으로: 10월부터 4월까지 세션 구성은 이렇게 바뀌었습니다
사람들이 Claude Code를 쓰는 방식은 7개월 동안 뚜렷하게 달라졌다. 디버깅과 수정은 10월 세션의 약 33%에서 4월에는 약 19%로 줄었고, 새 코드를 작성하기보다 시스템을 실행하고 설정하고 오케스트레이션하는 소프트웨어 운영은 약 14%에서 약 21%로 늘었다 . 같은 기간 작성과 데이터 분석을 합친 비중은 세션의 약 10%에서 약 20%로 대략 두 배가 됐다 . 무게중심은 기존 코드를 고치는 일에서 벗어나, 무언가를 실행하고 비코드 산출물을 만드는 쪽으로 이동했다.
기간 말의 작업 구성을 한 시점에서 보면 이 도구가 어디에 자리 잡았는지 드러난다. 세션의 약 56%는 코드를 생산하는 작업이었고, 대략 25%는 구축, 26%는 수정, 5%는 테스트 또는 오케스트레이션으로 나뉘었다. 또 다른 17%는 소프트웨어 운영, 14%는 계획 또는 탐색, 13%는 분석 또는 글쓰기였다 . 단일한 사고방식으로 도구 비용을 책정하려는 사람에게 이 분포는 중요하다. 세션의 약 5분의 2는 더 이상 애플리케이션 코드를 작성하거나 수정하는 일이 아니기 때문이다.
이 구성 변화는 디버깅 비중 하락과도 맞물린다. 수정 작업이 세션의 3분의 1에서 5분의 1 미만으로 떨어진 것은 앞서 본 전문성 구간의 흐름, 즉 복구 루프에 갇힌 세션은 줄고 시스템을 실행하고 확장하는 시간이 늘었다는 설명과 일치한다. 사용자층이 소프트웨어 직군 밖으로 넓어진 흐름과도 맞는다. 운영, 분석, 작성은 커리어 엔지니어가 아닌 도메인 전문가들이 처음 안착하기 쉬운 모드이기 때문이다.
Anthropic은 프리랜서 시장 게시물과 세션을 매칭한 거친 대리 지표를 사용해 이 추세에 대한 대략적인 경제적 해석도 덧붙였다. 이 추정에 따르면 평균 작업 가치는 10월부터 4월까지 약 27% 상승했고, 구축은 약 43%, 운영은 약 34%, 수정은 약 32% 올랐다 . Anthropic은 이를 단일 범주가 평균을 끌어올린 것이 아니라 거의 모든 작업 유형에서 대략 25%의 가치 성장이 나타난 것으로 요약한다 .
이 숫자에는 두 가지 주의가 필요하다. 가치 대리 지표는 세션을 프리랜서 게시물에 매핑하므로 실제 성과가 아니라 유사 작업의 시장 가격을 추적한다. 또한 Anthropic은 생성된 코드가 최종적으로 사용됐는지, 폐기됐는지, 유지보수됐는지를 관찰할 수 없다고 반복해서 밝힌다 . 방향성으로 읽으면, 7개월의 그림은 이 도구가 가치사슬 위쪽으로 이동하고 있음을 보여준다. 복구에 쓰는 시간은 줄고 운영과 생산은 늘었으며, 가장 빠르게 성장한 작업은 처음부터 가치가 높았던 작업이었다.
아키텍트와 창업자가 5배 산출 격차를 읽는 법
Claude Code 기반 제품을 만드는 사람에게 실무적 교훈은 코딩 유창성으로 사용자를 걸러내는 것이 아니라 도메인 지식을 포착해야 한다는 점이다. Anthropic의 세션 데이터에서 소프트웨어 관련 직군은 코드 생산 세션의 약 34%에서 검증된 성공에 도달했고, 그 외 사용자는 약 29%였다. 격차는 5%포인트다. 해자는 주제별 구체성, 즉 정산 규칙, 엣지 케이스, 완료의 기준에 있으므로, 그 맥락을 끌어내는 온보딩 흐름이 개발자 배경을 전제하는 흐름보다 더 잘 작동한다.
산출 배수는 규모가 커질수록 비용과 라우팅에 직접적인 영향을 준다. 전문가로 평가된 세션은 프롬프트당 약 12개의 Claude 액션과 약 3,200단어를 유발한 반면, 초보자는 약 5개 액션과 600단어에 그쳤다. 액션 격차는 2.4배, 산출 격차는 대략 5배다. 동시 세션이 많은 환경에서는 이 차이가 사용자당 토큰 예산을 완전히 다르게 만든다. 실무 분석(TheRouter)은 이 배수를 프로필별 예산과 모델 티어 라우팅의 근거로 읽지만, 이는 Anthropic의 지침이 아니라 2차 추론이므로 자체 텔레메트리로 검증할 가설로 다뤄야 한다.
- 맥락을 포착하되, 맥락으로 막지는 말 것: 상위 10개 직군은 모두 기술 직군과 7%포인트 이내의 차이로 작업을 완료했다.
- 롱테일에 예산을 배정할 것: 세션의 약 2%는 프롬프트당 평균 액션 수가 100개를 넘는다.
이 데이터를 바탕으로 내리는 모든 결정에는 두 가지 단서가 붙어야 한다. 첫째, "검증된 성공"은 작업 완료만 포착한다. Anthropic은 분류기와 함께 테스트 통과, 커밋, 풀 리퀘스트 같은 하드 신호를 결합했지만, 생성된 코드가 최종적으로 사용됐는지, 안전한지, 유지보수 가능한지는 관찰할 수 없다. 둘째, 일반화는 검증되지 않았다. 이 연구는 Claude Code만 측정했으므로 Codex나 Gemini 기반 에이전트로의 외삽은 뒷받침되지 않는다. 또한 METR은 자체 시간 지평 벤치마크가 여기서 보이는 복잡한 직무 수준의 작업 구성보다 소프트웨어 엔지니어링, ML, 사이버보안 쪽으로 기운다고 주의를 준다 .
구체적인 결론은 이렇다. 제품 계측은 직함이 아니라 전문성을 중심으로 설계해야 한다. 사용자에게서 도메인 규칙을 끌어내는 프롬프트를 노출하고, 프롬프트당 액션 분포를 예산 신호로 관찰하며, 완료 여부를 품질의 대리 지표로 믿기보다 자체 테스트와 리뷰로 검증해야 한다. 약 398,198개 세션으로 이뤄진 이 데이터셋은 누가 작업을 끝내는지를 설명한다. 누구의 코드가 배포되고 살아남는지는 여전히 직접 측정해야 할 마지막 구간이다.
자주 묻는 질문
Claude Code를 잘 쓰려면 코딩 경험이 정말 중요할까?
중요하긴 하지만, 생각만큼 결정적이지는 않습니다. 코드를 생성하는 세션에서 소프트웨어 관련 직군은 약 34%의 검증된 성공률을 보였고, 그 외 사용자는 약 29%였습니다. 차이는 대략 5%포인트에 불과합니다 . 데이터셋에서 가장 큰 10개 직군 모두 성공률이 소프트웨어·수학 사용자와 7%포인트 이내에 있었습니다 . 결과를 더 안정적으로 예측하는 것은 정식 소프트웨어 엔지니어링 경력 자체가 아니라, 해결하려는 특정 문제에 대한 도메인 전문성입니다.
Anthropic은 2026년 6월 분석에서 전문성을 어떻게 정의했나?
전문성은 다섯 단계의 과업별 척도로 평가되며, 세 가지 신호를 바탕으로 합니다. 사용자가 문제를 얼마나 구체적으로 설정하는지, 어떤 방식의 검증을 적용하는지, 세션 중 누가 누구를 교정하는지가 그 기준입니다 . 중요한 점은 이것이 직함에 묶이지 않는다는 것입니다. 같은 사람도 어떤 문제에서는 초보자일 수 있고 다른 문제에서는 전문가일 수 있으므로, 시니어 엔지니어가 Rust를 처음 묻는다면 그 과업에서는 초보자로 점수화됩니다 . 평가는 temperature 0.2로 설정된 Claude Sonnet 4.6 분류기가 부여했습니다 .
전문가로 평가된 프롬프트는 왜 Claude의 출력이 훨씬 많아질까?
구체적이고 잘 정의된 프롬프트는 Claude가 추가 설명을 기다리며 멈추기보다, 하위 작업을 스스로 계획하고 실행할 여지를 줍니다. 통제 변수를 적용한 뒤에도 전문성 척도가 한 단계 올라갈 때마다 액션은 약 +9%, 출력은 약 +13% 늘었고, 이는 p < 0.001 수준에서 유의했습니다 . 이 효과는 누적됩니다. 전문가 세션은 프롬프트당 평균 약 12개의 Claude 액션과 약 3,200단어를 기록한 반면, 초보자 세션은 약 5개 액션과 600단어 수준이었습니다. 액션은 2.4배, 출력은 대략 5배 차이입니다 .
이 데이터로 보면 Claude Code는 실제로 어디에 쓰이고 있나?
특정 시점의 분석에서는 세션의 약 56%가 코드 작성, 수정, 테스트 또는 오케스트레이션에 쓰였고, 17%는 소프트웨어 운영, 14%는 계획 또는 탐색, 13%는 분석 또는 글쓰기에 쓰였습니다 . 2025년 10월부터 2026년 4월까지 7개월 동안 구성도 바뀌었습니다. 디버깅과 수정은 세션의 33%에서 19%로 줄었고, 소프트웨어 운영은 14%에서 21%로 늘었으며, 작성과 데이터 분석은 약 10%에서 20%로 거의 두 배가 됐습니다 .
Anthropic이 실제 프로덕션 결과를 볼 수 없다면 ‘성공’ 측정은 얼마나 믿을 수 있나?
이 지표는 대화 기록 분류기와 명확한 신호를 함께 사용합니다. 테스트 통과, 커밋, 풀 리퀘스트, 사용자의 명시적 긍정이 포함되며, 뚜렷한 목표가 없는 약 7.7%의 세션은 제외됩니다 . Anthropic은 이 지표가 과업 완료만 포착할 뿐, 그 코드가 최종적으로 사용됐는지, 폐기됐는지, 안전한지, 유지보수 가능한지는 보여주지 않는다고 반복해서 주의시킵니다 . “성공”은 과업이 끝났다는 신호로 보고, 실제 배포 품질은 자체 테스트와 리뷰로 확인해야 합니다.
