초보와 숙련 AI 페어링을 가르는 5배 전문성 격차

Anthropic이 AI와 페어링해 본 개발자라면 직감적으로 느꼈을 질문에 숫자를 붙였다. 실제로 운전대를 잡는 쪽은 누구인가? 실제 세션 거의 40만 건에서 나온 답은 깔끔하게 갈린다. 방향은 사람이 잡고, 실행은 Claude가 한다.

방향 설정과 실행: 70/80의 분기

Claude Code를 대화형으로 사용할 때 사람은 무엇을 할지 정하고, 모델은 어떻게 할지 정한다. 자동 분류 기준으로 계획 결정의 약 70%는 사용자가, 실행 결정의 약 80%는 Claude가 맡은 것으로 나타났다 . 이것이 Anthropic의 Economic Index에 붙은 코딩 특화 동반 연구인 “Agentic coding and persistent returns to expertise”의 핵심 결과다. 이 연구는 2026년 6월 16일 발표됐다 . 전체 트래픽 감사가 아니라 사람들이 업무를 어떻게 위임하는지 보여주는 행동 스냅샷으로 읽어야 한다.

데이터셋은 2025년 10월부터 2026년 4월 사이 트래픽에서 무작위 표본으로 뽑은 398,198개의 대화형 세션이며, 사용자 234,751명에서 나왔다 . 각 세션은 원문 대화를 사람이 직접 보지 않는 방식으로 코딩됐고, 작업 모드는 구축, 수정, 테스트, 오케스트레이션, 운영, 이해, 계획, 분석, 커뮤니케이션의 9가지로 나뉘었다 .

이 분기를 해석할 때는 범위가 중요하다. 이 연구는 Anthropic 내부 사용, 인간 발화가 0회인 “헤드리스” 자동화 호출, 서드파티 IDE 통합, SDK 사용을 의도적으로 제외했다. 따라서 전체 Claude Code 사용량이 아니라 CLI, Claude.ai, 데스크톱 앱을 통한 대화형 작업을 포착한다 . 다시 말해 70/80 분기는 사람과 에이전트가 대화하는 상황을 설명한다. 설계상 사람의 발화 수가 0인 던져놓고 잊는 식의 파이프라인은 아니다.

이 프레이밍에는 분명히 짚고 갈 만한 주장이 담겨 있다. Anthropic의 연구팀 표현대로 “사람은 대체로 무엇을 할지 결정하고, Claude는 그것을 어떻게 할지 결정한다.” 이 글의 나머지는 그런 역할 분담이 실제로 무엇을 가져다주는지, 그리고 어떤 숫자는 의심해서 봐야 하는지 따져본다.

상호작용의 모양: 네 턴, 열 번의 작업, 2,400단어

전형적인 Claude Code 세션은 짧고 한쪽으로 치우쳐 있다. Anthropic의 2026년 6월 연구에 따르면 대화형 세션의 중앙값은 사람-에이전트 왕복 약 4턴이고, 사용자 프롬프트 하나가 평균적으로 Claude 작업 약 10회와 약 2,400단어의 출력을 유발한다 . 이것이 70/80 분기의 실제 형태다. 사람의 메시지는 몇 개 안 되지만, 각각이 빽빽한 에이전트 작업 묶음으로 풀린다.

평균은 긴 꼬리를 가린다. 세션의 약 2%는 프롬프트당 평균 작업 수가 100회를 넘고, 약 270개 중 1개는 200회를 넘으며, 약 2,300개 중 1개는 500회를 넘는다 . 이런 세션에서는 프롬프트 하나가 긴 자율 작업 체인을 촉발한다. 많은 사람이 “에이전트형” 코딩을 떠올릴 때 상상하는 행동이지만, 표준적인 패턴은 아니다.

사용자가 얼마나 많은 통제를 넘기느냐에 따라 작업량은 곧바로 달라진다. Claude가 실행뿐 아니라 계획까지 맡도록 허용되면 턴당 작업 수가 거의 두 배가 된다. 사용자가 실행 결정을 쥐고 있을 때 약 8회인 데 비해 약 16회다 . 작업 수를 부풀리는 것은 “어떻게 할지”를 위임하는 순간이다.

이 모든 수치에는 한 가지 단서가 붙는다. CLI, Claude.ai, 데스크톱 앱을 통한 대화형 사용만 설명한다는 점이다. 연구는 헤드리스 호출, 서드파티 IDE 통합, SDK 사용을 의도적으로 제외했다 . 따라서 API와 SDK를 통한 전체 Claude Code 트래픽은 대표되지 않으며, 실제로는 이 표본을 훨씬 넘어설 가능성이 크다.

디버깅은 줄고, 운영은 늘어난다: 사용 구성이 바뀌고 있다

Claude Code 사용은 코드 작성보다 넓고, 그 구성은 디버깅에서 점점 멀어지고 있다. 현재 스냅샷 기준으로 직접적인 코드 작업은 대화형 세션의 약 56%를 차지한다. 새 코드나 변경 코드 구축(25%), 깨진 코드 수정(26%), 테스트 또는 오케스트레이션(5%)이 여기에 포함된다. 반면 소프트웨어 운영(배포, 구성, 파이프라인 실행, 모니터링)은 17%, 시스템 계획 또는 이해는 14%, 분석이나 글쓰기/문서 작업은 13%를 차지한다 . 코딩이 가장 큰 비중을 차지하지만, 업무의 거의 절반은 다른 곳에 있다.

7개월 추세는 스냅샷보다 더 선명하다. 2025년 10월부터 2026년 4월까지의 기간 동안 수정 작업은 대화형 세션의 약 33%에서 19%로 떨어졌고, 소프트웨어 운영은 약 14%에서 21%로 올랐으며, 글쓰기와 데이터 분석은 약 10%에서 20%로 거의 두 배가 됐다 .

Anthropic은 이를 줄 단위 디버깅 보조에서 엔드투엔드 에이전트형 위임으로 이동하는 흐름으로 읽는다. 개발자가 한 줄이 아니라 전체 워크플로를 넘기고 있다는 뜻이다 . 가치 추정치도 같은 방향을 가리킨다. 전형적인 작업의 추정 경제 가치는 평균 약 27% 상승했고, 구축 작업은 ~43%, 운영은 ~34%, 수정은 ~32% 올랐다 . 다만 이 수치에도 단서가 있다. 관측된 매출이 아니라 Claude Haiku 4.5와 Opus 4.7을 사용해 모델이 추정한 값이라는 점이다 . 달러 단위의 실제 수익으로 보기보다는 위임되는 작업 단위가 커지고 있다는 신호로 읽는 편이 맞다.

비전공자도 프로그래머와 거의 비슷하다: 직업별 격차

Claude Code 세션의 성공을 가르는 것은 코딩 실력이 아니라 도메인 전문성입니다. 그리고 직업별 데이터가 이를 가장 강하게 보여줍니다. Anthropic은 프로젝트 파일, 어휘, 참조된 산출물 같은 transcript 신호를 바탕으로 세션의 약 70%에서 사용자의 직업을 추정합니다. 이때 분류기에는 코딩하는 사용자를 소프트웨어 개발자로 가정하지 말라는 지시가 명시적으로 들어갑니다 . 그렇게 분류해 보면, 프로그래머와 그 외 사용자 사이의 격차는 크지 않습니다.

코드를 만들어내는 세션에서 소프트웨어 관련 사용자는 약 34%의 확률로 검증된 성공에 도달했고, 비소프트웨어 직업군은 약 29%였습니다. 차이는 5%포인트입니다. 부분 성공은 사실상 동률입니다: 89% vs 88%. 추정된 상위 10개 직업군 전체를 보더라도, 모든 그룹의 검증된 성공률은 소프트웨어/수학 사용자와 약 7%포인트 이내에 들어옵니다 .

가장 큰 식별 가능 그룹은 컴퓨터 및 수학 직군이고, 그다음은 비즈니스 및 금융 운영, 예술/디자인/미디어, 관리직, 생명/물리/사회과학 분야입니다 . 회계사, 디자이너, 과학자, 매니저가 실제로 작동하는 코드를 작성한다는 이 분포 자체가 핵심입니다. Claude를 잘 이끄는 능력은 손으로 코드를 쓰는 능력보다 한 분야를 얼마나 잘 이해하는지에 더 가깝습니다.

직관과 어긋나는 결과도 하나 있습니다. 관리직은 검증된 성공률에서 소프트웨어 및 수학 사용자보다 약간 높게 나타납니다. 다만 Anthropic은 이를 실제 우위라기보다 측정상의 인공 효과일 수 있다고 봅니다 . 매니저들은 transcript 안에서 작업이 끝났다고 명시적으로 확인하는 경향이 더 강할 수 있고, 바로 그 신호를 분류기가 “검증된 성공”으로 읽기 때문입니다.

"The ability to steer Claude comes more from command of a domain than from the ability to write code, and a working grasp of a field captures most of the benefit while deep specialization adds only a little more." — Anthropic, Agentic coding and persistent returns to expertise (source: Anthropic Research)

초보자에서 숙련자까지: 전문성이 성과를 키우는 방식

한 도메인 안에서 전문성은 무언가가 만들어지느냐를 결정하기보다, 한 세션이 만들어내는 결과의 양과 완성도를 키웁니다. Anthropic은 transcript에 드러나는 신호, 즉 문제를 얼마나 정밀하게 잡는지, 검증을 얼마나 목표에 맞게 하는지, 수정의 품질, 도메인 추론을 바탕으로 각 세션을 초보자부터 전문가까지 평가합니다 . 초보자 등급 세션은 검증된 성공에 15%, 부분 성공에 77% 도달한 반면, 중급 이상 세션은 검증된 성공 28–33%, 부분 성공 91–92%에 도달했습니다 . 격차는 “무언가를 해냈는가”가 아니라 완전한 완료에 집중됩니다.

프롬프트당 산출량 차이는 더 큽니다. 전문가 세션은 Claude 액션을 약 12회, 출력 단어를 약 3,200개 끌어낸 반면, 초보자는 액션 약 5회와 단어 600개 수준이었습니다. 액션은 2.4배, 출력은 5배 차이입니다 . 증가도 매끄럽습니다. 전문성 단계가 하나 올라갈 때마다 액션은 약 9%, 출력은 약 13% 늘어납니다 .

전문성은 세션이 꼬였을 때도 드러납니다. 문제가 생긴 세션에서 검증된 복구에 성공하는 비율은 초보자의 약 4%에서 전문가의 약 15%로 올라갑니다. 또 초보자는 문제가 생긴 세션에서 코드를 전혀 쓰지 못하고 포기하는 비율이 19%인 반면, 다른 모든 단계는 5–7%였습니다 . 실무적으로 읽으면 이렇습니다. 거의 누구나 Claude를 밀어 부분 결과까지는 얻을 수 있습니다. 하지만 문제를 정밀하게 잡고, 올바른 기준으로 검증하며, 도메인 추론으로 수정하는 사용자가 그 흐름을 완전히 완료된 배포 품질의 작업으로 바꾸고, 실패할 뻔한 실행을 빈손으로 끝내지 않습니다.

생산성 배수를 방향성 지표로 읽어야 하는 이유

이 배수들은 유용한 신호이지 확정된 사실은 아닙니다. 이 연구의 모든 헤드라인 숫자는 Anthropic이 자체 인프라에서 자체 제품을 대상으로 조사한 결과이며, 자기 보고식 실제값이 아니라 분류기가 추론한 대리 지표를 사용했습니다. "전문성", "직업", "성공"은 모두 대화 기록에서 기계가 라벨링한 값입니다. 평가된 전문가가 실제 전문가였는지, "검증된 성공"이 실제 출시로 이어졌는지 확인한 인간 검토자는 없었습니다. 표본은 Anthropic이 통제하는 환경의 초기 수용자들이기 때문에 인센티브 편향과 선택 효과가 작용합니다. 따라서 5배 출력 격차와 27% 가치 상승은 방향성으로 받아들여야 합니다.

개인정보 보호 설계도 검증 문제를 더 복잡하게 만듭니다. Anthropic의 Clio 시스템은 대화 기록을 익명화하고 집계해 연구자가 개별 세션을 직접 보지 못하게 합니다 . 이는 사용자 개인정보 보호에는 좋지만, 분류기의 정확도를 점수 산정에 쓰인 원자료와 대조해 외부에서 감사할 수 없다는 뜻이기도 합니다. 방법론 자체는 사용된 장치를 솔직히 밝힙니다. 분류기 호출은 대체로 Claude Sonnet 4.6에서 temperature 0.2로 실행됐고, 대화 기록은 턴당 중간 부분 기준 5,000자, 전체 25,000자로 잘렸으며, 작업 가치 추정에는 Claude Haiku 4.5와 Opus 4.7이 사용됐습니다 .

가치 추정치는 가장 약한 연결고리입니다. Anthropic은 생성된 코드가 최종적으로 배포됐는지, 유지됐는지, 경제적으로 유용했는지 관찰할 수 없습니다. 약 27%의 작업 가치 상승은 측정된 개발자 또는 조직 성과가 아니라 모델 기반 대입값입니다 . 외부 증거는 이 수치를 직접적으로 더 복잡하게 만듭니다. 약 6,000개의 코딩 에이전트 세션, 63,000개의 사용자 프롬프트, 355,000개의 도구 호출로 구성된 공개 SWE-chat 데이터셋에서는 에이전트가 만든 코드 중 커밋까지 살아남는 비율이 약 44%에 그쳤고, 사용자는 턴의 약 44%에서 반박하거나 수정을 요구했습니다. 세션의 41%에서는 에이전트가 커밋된 코드의 거의 전부를 작성했고, 23%에서는 인간이 전부 작성했습니다 .

"가장 안전한 종합은 이렇다. Claude Code는 이미 소프트웨어 작업을 줄 단위 구현에서 작업 위임과 리뷰 쪽으로 옮기고 있지만, 증거가 가장 강한 범위는 Anthropic이 통제하는 환경의 초기 수용자들이며, 구체적인 배수는 확정치가 아니라 방향성 지표로 다뤄야 한다." — 연구 부록에서 도출한 종합 (source: arXiv, 2026-06)

이 숫자들은 좌표가 아니라 나침반 방향처럼 읽어야 합니다. 방향, 즉 위임은 늘고 리뷰가 병목이 된다는 흐름은 독립 데이터셋 전반에서 확인되지만, 정확한 크기는 그렇지 않습니다.

AI와 함께 코딩한다면 무엇이 달라지나

Claude Code와 페어링한다면 실무적으로 중요한 교훈은 원시적인 프로그래밍 유창성보다 자기 도메인에 대한 장악력이 더 중요하다는 점입니다. 소프트웨어 직군과 비소프트웨어 직군의 검증된 성공률 차이가 약 7%포인트 이내에 머물기 때문입니다 . 레버리지는 도메인 특화 요구사항을 정확히 말하는 데서 나옵니다. 문법 암기보다 프롬프트의 명확성과 표적 검증에 투자해야 합니다.

출력 격차도 이를 뒷받침합니다. 전문가 세션은 프롬프트 하나당 대략 12개의 액션과 3,200단어를 끌어내는 반면, 초보자는 약 5개의 액션과 600단어에 그칩니다. 이는 5배의 출력 배수입니다 . 숙련된 사용은 단지 더 자주 쓰는 것이 아니라 구조적으로 다릅니다. 더 날카로운 문제 설정과 더 촘촘한 피드백 루프가 누적되고, 문제 발생 후 검증된 복구율도 초보자의 약 4%에서 전문가의 15%로 올라갑니다 .

구성 변화는 도구 선택에 대한 신호입니다. 운영 소프트웨어 관련 세션은 약 14%에서 21%로 늘었고, 수정 작업은 33%에서 19%로 줄었습니다 . 따라서 AI 페어링 환경을 평가할 때 편집기 안의 텍스트 생성뿐 아니라 배포, 설정, 모니터링까지 지원하는지 봐야 합니다.

모든 배수는 방향성으로 다뤄야 합니다. 이 흐름은 398,198개의 인터랙티브 세션 전반에서 일관되게 나타났고 , 에이전트 코드 중 약 44%만 커밋에 도달했다는 외부 커밋 생존 데이터와도 일부 맞물립니다 . 하지만 실제 프로덕션 출시 성과와 대조해 검증된 것은 아닙니다. 결론은 분명합니다. 도메인 유창성을 키우고, 리뷰를 병목으로 보고, 편집기만이 아니라 파이프라인을 계측해야 합니다.

자주 묻는 질문

Anthropic의 Claude Code 연구는 정확히 무엇을 측정했나요?

Anthropic이 2026년 6월 16일 발표한 보고서 "Agentic coding and persistent returns to expertise"는 2025년 10월부터 2026년 4월까지의 트래픽에서 무작위로 표본 추출한 398,198건의 대화형 세션을 분석했으며, 이 세션은 234,751명의 사용자로부터 나왔습니다. 범위에는 CLI, Claude.ai, 데스크톱 앱이 포함됐고, 헤드리스 호출, 서드파티 IDE 통합, SDK 사용, Anthropic 내부 사용은 제외됐습니다. 자동 분류기가 전사본을 읽었으며 원문 콘텐츠를 본 사람 검토자는 없었습니다. 각 세션은 구축, 수정, 테스트, 오케스트레이션, 운영, 이해, 계획, 분석, 커뮤니케이션이라는 아홉 가지 작업 모드로 분류됐습니다 .

비프로그래머도 AI 페어링 성공률에서 프로그래머와 거의 비슷한 이유는 무엇인가요?

AI를 효과적으로 이끄는 능력은 코드를 작성하는 능력보다 특정 분야에 대한 이해에 더 크게 좌우되기 때문입니다. 코드를 생성하는 세션에서 소프트웨어 관련 사용자는 약 34%의 검증된 성공률을 기록했고, 비소프트웨어 직군은 29%였습니다. 두 집단 모두 최소 부분 성공에는 거의 같은 비율로 도달했습니다. 89% 대 88%였습니다. 추정된 상위 10개 직군을 보면 모든 집단의 검증된 성공률이 소프트웨어 사용자와 약 7%포인트 이내에 있었습니다. Anthropic의 해석은 이렇습니다. 한 분야를 실무적으로 이해하는 것만으로도 이점의 대부분을 얻을 수 있고, 깊은 전문성은 거기에 약간을 더할 뿐입니다 .

전문성은 프롬프트당 Claude Code 출력 품질을 얼마나 높이나요?

전문가 세션은 초보자 세션보다 프롬프트당 훨씬 더 많은 결과를 끌어냅니다. Anthropic에 따르면 전문가로 평가된 세션은 평균 약 Claude 작업 12회와 출력 단어 3,200개를 기록했습니다. 초보자는 약 작업 5회와 단어 600개였습니다. 작업 수로는 약 2.4배, 출력량으로는 5배 차이입니다. 전문성이 한 단계 높아질 때마다 작업은 약 9%, 출력은 약 13% 더 늘어납니다. 모든 수준에서 부분 성공률은 높게 유지되기 때문에, 이 격차는 아무것도 해내지 못하는지보다는 완전히 검증된 완료에 주로 나타납니다 .

Anthropic 보고서에서 주의해서 봐야 할 점은 무엇인가요?

이 연구에는 분명한 한계가 있습니다. Anthropic이 자사 제품을 연구한 것이므로 선택 편향과 인센티브 효과가 작용할 수 있고, "전문성", "직업", "성공"은 자기 보고된 사실이 아니라 분류기가 추정한 대리 지표입니다. Clio 개인정보 보호 시스템은 데이터를 익명화하고 집계하므로 연구자가 개별 세션을 직접 살펴보지 않습니다. 그만큼 실제 정답 검증에는 한계가 있습니다. Anthropic은 생성된 코드가 최종적으로 배포됐는지 또는 유지됐는지도 관찰할 수 없습니다. 외부 연구는 그림을 더 복잡하게 만듭니다. 공개 SWE-chat 데이터셋에서는 에이전트가 생성한 코드 중 약 44%만 커밋까지 살아남는 것으로 나타났습니다 . 구체적인 배수는 확정값이 아니라 방향성을 보여주는 수치로 보는 편이 좋습니다.

398,000개 세션 데이터셋이 Claude Code 사용 전체를 대표하나요?

아닙니다. 398,198개 세션 표본은 CLI, Claude.ai, 데스크톱 앱에서의 대화형 사용만 다룹니다. 사람이 한 번도 개입하지 않는 헤드리스 자동화 호출, 서드파티 IDE 통합, SDK 사용은 모두 의도적으로 제외됐습니다 . 따라서 Claude Code 전체 트래픽은 이 표본보다 훨씬 크며, 이 결과는 개발자가 도구를 사용하는 모든 방식 전체가 아니라 사람이 중간에 개입하는 대화형 세션을 설명합니다.