한 프로덕션 팀이 실제 트래픽에서 2주 동안 GPT-4o와 DeepSeek V4 Flash를 맞붙여 봤다. 청구액은 97.5% 줄었고, 품질 차이는 유의성 검정을 통과하지 못했다.
$487 → $12 카나리 결과 해설
이 마이그레이션은 실제 워크로드를 GPT-4o에서 옮긴 뒤 14일 동안 10% 카나리로 결과를 측정한 실무 사례 연구에 기록되어 있다. 여기서 GPT-4o는 기준선이다. 입력 토큰 100만 개당 $2.50, 출력 토큰 100만 개당 $10.00로 책정되어 있고, SWE-bench Verified 점수는 대략 33.2%이며, time-to-first-token은 약 380ms, 처리 속도는 약 92 tokens/sec 수준이다 . DeepSeek V4 Flash는 $0.14/$0.28로, 입력은 약 18배, 출력은 약 36배 저렴하다 .
그 기준선과 비교했을 때 보고된 결과는 월간 지출이 $487.32에서 $11.94로 줄어든 것이었다. 97.5% 감소다. 블라인드 1–5 품질 루브릭에서는 GPT-4o가 4.31, V4 Flash가 4.18을 기록했다. 차이는 0.13점이었고 유의성에는 도달하지 못했다(p=0.31) . V4 Flash는 측정된 모든 지연 시간 백분위에서도 더 빨랐다 .
| 지표 | GPT-4o | DeepSeek V4 Flash |
|---|---|---|
| 가격(입력/출력, 100만 토큰당) | $2.50 / $10.00 | $0.14 / $0.28 |
| 월간 청구액(이 워크로드) | $487.32 | $11.94 |
| 블라인드 품질(1–5 루브릭) | 4.31 | 4.18 |
| 지연 시간 p50 / p95 / p99 | 412 / 1,180 / 2,340ms | 385 / 980 / 1,760ms |
핵심은 더 싼 모델이 존재한다는 사실이 아니다. 이 트래픽에서는 더 싼 모델이 비용과 지연 시간에서 이겼고, 품질 차이는 통계적으로 구분할 수 없었다는 점이다. 사례 연구 작성자의 표현대로, 전환 후 청구액은 97.5% 줄었고 측정 가능한 사용자 만족도 변화는 없었다 . 아래 섹션에서는 이 경로를 따라가기 전에 무엇을 확인해야 하는지 다룬다.
마이그레이션 전 확인할 것: 오염 가능성과 스캐폴드 편차
벤더의 SWE-bench 수치를 믿기 전에, 리더보드 자체가 압박을 받고 있다는 점을 알아야 한다. SWE-bench Verified는 현재 오염 우려에 직면해 있다. 2026년 2월, 공개 저장소의 정답 데이터가 학습 데이터에 유출된 뒤 OpenAI가 한 결과를 철회한 것으로 알려졌다 . 이에 대한 대응으로 SWE-bench Pro가 나왔다. 이 벤치마크는 외워 둘 공개 답안이 없는, 활발히 유지보수되는 저장소에서 문제를 가져온다 .
더 큰 함정은 스캐폴드 격차다. Scale AI처럼 독립 평가자가 동일한 스캐폴딩으로 모델을 실행하면, 점수는 벤더가 보고한 수치보다 10–30점 낮게 나온다 . 차이는 순수한 모델 능력이 아니라, 각 벤더가 튜닝한 에이전트 하네스의 컨텍스트 검색과 도구 사용 품질에서 나온다. 따라서 모든 모델이 같은 스캐폴드에서 실행된 것이 아니라면, 헤드라인 SWE-bench 점수는 랩 간 비교 지표로 쓸 수 없다.
이 점이 중요한 이유는 최전선 모델들이 이제 촘촘히 몰려 있기 때문이다. SWE-bench Verified에서 GPT-5.5는 약 88.7%, Anthropic의 Opus 4.8은 약 88.6%, DeepSeek V4 Pro는 약 80.6%를 기록한다 . 이들 중 두 모델 사이의 1점 미만 헤드라인 격차는 동일한 스캐폴딩 없이는 실행 가능한 신호가 아니라 잡음이다.
실무적으로는 이렇게 접근하는 편이 낫다. 벤더의 SWE-bench 점수는 방향성 지표로만 보고, 후보를 대략 추린 다음, 실제 트래픽에서 자체 카나리 루브릭을 돌려라. $487→$12 사례 연구가 14일 동안 그렇게 했듯이 , 물량을 본격적으로 넘기기 전에 확인해야 한다.
DeepSeek V4 Flash로 10% 카나리 돌리기
카나리 마이그레이션은 실제 트래픽의 작은 일부를 후보 모델로 보내고, 품질과 지연 시간을 블라인드로 측정한 뒤, 데이터에 따라 출시하거나 중단하는 방식이다. $487→$12 사례 연구는 정확히 이 과정을 14일 동안 실행했다. completion 물량의 10%를 카나리로 보냈고, 월간 지출은 $487.32에서 $11.94로 줄었으며, 블라인드 품질은 1–5 루브릭에서 0.13점만 낮아졌다 . 아래는 그 과정을 바로 실행할 수 있는 형태로 정리한 것이다.
- 기준선 스냅샷. GPT-4o 지출을 호출 유형별로 나눠 1주일치 기록한다. completions, embeddings, vision으로 구분해 호출당 달러 기준값을 고정해야 한다. 이 작업이 없으면 나중에 절감액을 제대로 귀속할 수 없다. GPT-4o는 입력/출력 토큰 100만 개당 $2.50/$10.00를 청구하고, V4 Flash는 $0.14/$0.28이다 . 따라서 예상 차이는 출력 기준으로 대략 40배다.
- 10% 라우팅. completion 물량의 10%를 V4 Flash로 전달하는 요청 단위 플래그나 드롭인 LLM 프록시를 추가한다. 두 경로 모두 temperature, system prompt, max-tokens를 동일하게 유지해야 한다. 어떤 차이든 비교를 오염시킨다.
- 블라인드 품질 루브릭. 독립 평가자가 모델 라벨을 보지 못한 상태에서 200개 이상의 짝지어진 응답을 1–5 척도로 평가하게 한다. 사례 연구에서는 GPT-4o 4.31, V4 Flash 4.18이었고, p=0.31에서 사용자 만족도 차이는 유의하지 않았다 .
- 지연 시간 분포. p50/p95/p99를 따로 수집한다. 평균값은 인터랙티브 UX를 망가뜨리는 꼬리 구간의 동작을 숨긴다. V4 Flash는 GPT-4o의 412/1,180/2,340ms 대비 385/980/1,760ms를 기록했다 . 모든 백분위에서 더 빨랐다.
- 출시 또는 중단. 14일 뒤 품질 차이의 p-value가 0.05 이상이고 p99 지연 시간이 SLA 안에 머물면 100%로 확대한다. 그렇지 않으면 10%에 머문 채 실패한 구간을 조사한다.
미리 예상해야 할 보이지 않는 할증과 p99 비용 격차
표시 가격이 실제 청구 가격은 아닙니다. 추론 모드 모델은 숨겨진 "thinking" 토큰을 생성하며, 이 토큰은 출력 요율로 과금됩니다. 그 결과 실효 비용이 표시 가격의 3~10배까지 올라갈 수 있습니다 . DeepSeek V4 Flash의 100만 토큰당 $0.14/$0.28 가격을 전체 사용량에 그대로 적용해 계산하기 전에 , 해당 엔드포인트에서 thinking mode가 기본으로 켜져 있는지 확인해야 합니다. 카나리가 조용히 추론 모드로 돌았다면 실제 운영 청구액을 과소평가하게 됩니다.
프롬프트 캐싱은 비교 방향을 반대로 바꿉니다. Anthropic의 약 90% 캐시 할인은 Sonnet급 입력의 실효 단가를 100만 토큰당 약 $0.30까지 낮춥니다 . 공유 시스템 프롬프트나 호출 간 재사용되는 검색 컨텍스트처럼 반복도가 높은 프롬프트 패턴에서는 Claude Sonnet 5(정가 $2/$10)가 실효 입력 비용 기준으로 V4 Flash와도 경쟁력이 생길 수 있습니다. 따라서 정가표가 아니라 실제 캐시 적중률로 계산해야 합니다.
마지막으로, 가격은 상수가 아니라 계속 변하는 값으로 봐야 합니다. 실시간 제공사 가격 페이지는 집계 사이트 스냅샷보다 더 빠르게 바뀌며, 2026년에는 2025년 초 이후 평균 가격이 60~80% 하락했습니다 . 대량 사용 약정을 확정하기 전에는 반드시 제공사 자체 가격 페이지로 다시 확인하세요.
언제 상위 모델로 올리고, 어떤 대안을 볼 것인가
상위 모델로 올리는 기준은 리더보드 순위가 아니라, 자체 평가 기준에서 품질 차이가 실제로 측정되는지여야 합니다. 대부분의 워크로드에는 V4 Flash 티어로 충분합니다. 그 위의 단계는 특정 실패 유형을 위한 선택지입니다. 여러 단계에 걸쳐 저장소를 자율적으로 수정하는 어려운 에이전트형 코딩에서는 Flash가 흔들리기 시작하고, 이때 DeepSeek V4 Pro가 제 역할을 합니다. 가격은 100만 토큰당 $1.74/$3.48이고, SWE-bench Verified에서 대략 80.6%를 기록합니다. 출력 기준으로는 여전히 GPT-4o보다 저렴하면서, 도구 사용이 많은 작업에서는 체감 성능이 더 높습니다.
최전선 모델의 상한선은 분명하지만 적용 범위는 좁습니다. Opus 4.8(~88.6%)과 GPT-5.5(~88.7%)는 V4 Flash 가격의 약 10배입니다. 한 번의 오류 비용이 큰 저용량 핵심 경로에서만 정당화됩니다. 자체 호스팅이나 데이터 주권이 제약이라면 GLM-5.2(100만 토큰당 $1.40/$4.40)가 오픈 웨이트 선택지입니다. 일부 선별 실행에서는 SWE-bench Pro에서 GPT-5.5를 앞섰다고 보고되었습니다.
결론: 기본값은 기능 기반 라우팅입니다. 대량의 단순 호출에는 V4 Flash나 Gemini Flash-Lite, 코딩에는 V4 Pro, 자체 평가에서 격차가 확인되는 드문 작업에만 최전선 모델을 배치하세요. 측정하고, 라우팅하고, 대량 약정 전에는 매번 가격을 다시 확인해야 합니다.
자주 묻는 질문
DeepSeek V4 Flash는 SWE-bench Verified에서 정말 GPT-4o보다 나은가요?
집계 리더보드 기준으로는 그렇습니다. DeepSeek V4 Flash는 GPT-4o의 SWE-bench Verified 33.2% 점수보다 높게 벤치마크됩니다. 다만 이 차이는 조심해서 봐야 합니다. 각 연구소가 자체 에이전트 스캐폴딩을 튜닝하기 때문에, 벤더가 보고한 수치는 독립적인 동일 하네스 실행 결과와 10~30포인트까지 벌어질 수 있습니다. 운영에서 더 강한 신호는 마이그레이션 카나리 자체입니다. 블라인드 1~5 품질 평가에서 0.13점 하락(4.31 대 4.18)에 그쳤고, 사용자 만족도 차이는 통계적으로 유의하지 않았습니다(p=0.31). 어떤 리더보드 한 줄보다도, 자신의 트래픽으로 직접 평가한 결과가 더 낫습니다.
중간 규모 워크로드에서 현실적인 월 절감액은 어느 정도인가요?
인용된 사례 연구에서는 운영 청구액이 월 $487.32에서 $11.94로 줄어 14일 카나리에서 97.5% 절감되었고, 사용자 만족도에는 통계적으로 유의한 변화가 없었습니다. 실제 수치는 출력 대비 입력 비율에 따라 달라집니다. 출력 토큰의 배율이 가장 크기 때문입니다. V4 Flash는 100만 토큰당 $0.14/$0.28인 반면 GPT-4o는 $2.50/$10.00으로, 출력 기준 약 36배 저렴합니다. 생성이나 긴 완성처럼 출력이 많은 워크로드가 가장 크게 절감되고, 입력 중심 검색 워크로드는 절감 폭이 작습니다.
벤더별 SWE-bench 점수를 왜 그대로 비교하면 안 되나요?
각 벤더가 최적화된 컨텍스트 검색과 도구 사용 설정을 갖춘 튜닝된 에이전트 하네스에 모델을 통과시키며, 이 하네스들이 표준화되어 있지 않기 때문입니다. 동일한 스캐폴딩에서 독립적으로 실행하면 모델 점수는 벤더 보고 수치보다 10~30포인트 낮게 나옵니다. 이 차이의 대부분은 순수 모델 역량보다 하네스 품질에서 옵니다. 리더보드의 두 행 사이 5포인트 미만 차이는 실제 성능 차이라기보다 스캐폴드 노이즈일 가능성이 큽니다. 대량 사용을 확정하기 전에는 동일 하네스 수치나 SWE-bench Pro 결과를 비교하세요.
thinking 또는 reasoning 토큰이 실제 API 비용을 높이나요?
그렇습니다. 추론 모드에서는 모델이 숨겨진 "thinking" 토큰을 생성하고, 사용자가 보지 못하더라도 이 토큰은 출력 토큰 요율로 청구됩니다. 긴 추론 체인에서는 실효 비용이 표시 단가보다 3~10배까지 부풀 수 있습니다. 비용을 벤치마크하기 전에 모델의 thinking mode가 기본으로 켜져 있는지 확인하고, 실제 요청의 대표 샘플을 측정하세요. 청구된 출력의 절반이 보이지 않는 추론이라면 토큰당 표시 가격만으로는 거의 알 수 없습니다.
언제 V4 Flash를 넘어 더 비싼 모델로 올려야 하나요?
블라인드 품질 차이가 통계적으로 유의해질 때(p<0.05), 또는 작업이 대량의 단순 호출이 아니라 어려운 에이전트형 다단계 코딩일 때 올리면 됩니다. 어려운 코딩에서는 DeepSeek V4 Pro($1.74/$3.48)가 SWE-bench Verified에서 약 80.6%를 기록합니다. 가장 어려운 추론에서는 Anthropic Opus 4.8(~88.6%)이나 GPT-5.5(~88.7%)가 프리미엄을 지불할 가치가 있습니다. 원칙은 모든 호출에 한 모델을 쓰는 것이 아니라 기능 기반 라우팅입니다. 단순한 대량 작업에는 저렴한 티어, 코딩에는 중간 티어, 자체 평가에서 측정 가능한 격차가 확인되는 드문 작업에만 최전선 모델을 남겨두세요.
이 글이 도움이 되셨다면, 새 글이 올라올 때마다 이메일로 받아보세요.