NVIDIA의 build.nvidia.com에서는 수십 개의 호스팅 모델을 열 수 있는 nvapi- 키 하나를 제공합니다. 온라인에서 자주 보이는 메시지는 “API 키에 돈 내지 말라”는 식입니다. 하지만 대부분의 튜토리얼이 빠뜨리는 함정이 있습니다. 처리량 예산은 각 모델이 아니라 키에 묶여 있으므로, 여러 모델을 섞어 쓰면 예상보다 훨씬 빨리 같은 한도를 소진합니다.
NVIDIA의 약 40 RPM이 모델을 섞을 때 더 빨리 소진되는 이유
NVIDIA NIM 무료 엔드포인트에서 널리 언급되는 분당 약 40회 요청 제한은 모델별이 아니라 nvapi- 키, 즉 계정 단위로 적용됩니다. 예를 들어 같은 키로 Llama와 Mistral을 동시에 호출하면 하나의 스로틀 풀을 공유하므로, 두 모델을 쓰는 에이전트는 단일 모델 워크로드보다 대략 두 배 빠르게 429에 도달합니다 . 이는 2026년 7월 기준 커뮤니티에서 관찰된 내용이지, 공개된 SLA는 아닙니다.
빠른 답변: NVIDIA NIM 무료 티어는 nvapi- 키 하나당 대략 40 RPM으로 제한되며, 호출하는 모든 모델이 이 한도를 공유합니다. 모델별 한도가 아닙니다. NVIDIA는 무료 티어에 대해 안정적인 모델별 RPM/TPM/RPD 표를 공개하지 않으므로, 약 40 RPM은 커뮤니티 기준선으로 보고 본인 콘솔에서 직접 검증해야 합니다.
NVIDIA는 고정된 수치를 공개하지 않습니다. 공식적으로 기록된 유일한 직원 답변은 개발자 포럼의 2026년 4월 16일 게시글로, 팀이 “포럼에서 직접 rate-limit increases를 승인할 수 없다”고 설명하며, 체험판 한도는 “모델, 사용 사례, 현재 전체 트래픽 규모에 따라 달라진다”고 말합니다 . 무료 티어에 대해 안정적인 모델별 RPM/TPM/RPD 표는 없습니다. 일반적인 무료 또는 저비용 접근 지점 세 가지를 투명성 기준으로 비교하면 다음과 같습니다.
| 플랫폼 | 무료 티어 한도 방식 | 문서화 여부 |
|---|---|---|
| NVIDIA NIM | 약 40 RPM, 계정 전체, 모델 간 공유 | 아니요 — 문서화되지 않았고 커뮤니티 관찰 기반 |
| OpenAI Free | 모델별 RPM/RPD/TPM/TPD | 예 — 콘솔과 응답 헤더 |
| Together AI serverless | 조직별, 모델별 동적 한도; 고정 보장 없음 | 부분적 — 접근 자체에 최소 $5 잔액 필요 |
OpenAI는 모델별 RPM, RPD, TPM, TPD를 제공하며 콘솔과 응답 헤더에서 확인할 수 있습니다 . Together AI의 서버리스 한도는 실시간 용량에 따라 조직별, 모델별로 유동적으로 바뀌며, 고정 보장은 없고 플랫폼 접근 자체에 최소 $5 잔액이 필요합니다 . NVIDIA의 장점은 보장된 처리량이 아니라 키 하나로 넓은 모델 범위를 쓸 수 있다는 점입니다.
2분 온보딩: build.nvidia.com 가입과 base_url 변경
키를 받는 데는 약 2분이면 됩니다. build.nvidia.com에서 계정을 만드세요. 전화번호 인증은 필요하지만 신용카드는 필요하지 않습니다 . 그런 다음 API Keys 페이지를 열어 nvapi- 문자열 하나를 생성합니다. 이 단일 키로 무료 엔드포인트 모델 전체를 호출할 수 있습니다. 2026년 7월 기준 77개 모델입니다 . 통합 키 구조이므로 공급자별 자격 증명을 따로 관리할 필요가 없습니다.
모든 텍스트 엔드포인트가 기본 URL https://integrate.api.nvidia.com/v1에서 OpenAI 호환 방식으로 동작하기 때문에 , 기존 OpenAI SDK 코드는 두 가지만 바꾸면 됩니다. base_url을 NVIDIA로 지정하고 NVIDIA_API_KEY를 설정하세요. 다른 재작성은 필요 없습니다.
from openai import OpenAI
client = OpenAI(
base_url="https://integrate.api.nvidia.com/v1",
api_key=os.environ["NVIDIA_API_KEY"],
)
resp = client.chat.completions.create(
model="meta/llama-3.3-70b-instruct",
messages=[{"role": "user", "content": "Hello"}],
)
print(resp.choices[0].message.content)사람들이 자주 걸리는 주의점이 하나 있습니다. 일부 모델 패밀리는 해당 모델 페이지를 방문해 “Try API”를 한 번 클릭하기 전까지 403을 반환합니다 . 이 패밀리별 등록은 계정 생성 시 자동으로 처리되지 않으므로, 특정 식별자가 키를 거부하면 해당 카탈로그 페이지를 열어 등록한 뒤 다시 시도하세요. 나중에 자체 호스팅 NIM을 바라보게 할 때도 같은 교체 방식이면 됩니다. 코드 변경은 필요 없습니다 .
실제 RPM 여유폭을 직접 측정하는 법
분당 약 40회 요청 한도는 모델별로 따로 주어지는 것이 아니라 계정 전체에 적용되고 모든 모델 호출이 함께 공유하므로 , 믿을 수 있는 숫자는 자신의 nvapi- 키로 직접 측정한 값뿐입니다. NVIDIA는 무료 티어에 대해 안정적인 모델별 RPM/TPM 표를 공개하지 않으며, 공식적으로 확인 가능한 직원 발언(포럼, 2026년 4월 16일)에서도 평가판 한도는 "dependent on model, use-case and the amount of current overall traffic"라고 설명합니다 . 콘솔에서 확인되기 전까지는 커뮤니티에 올라온 숫자를 관례적 추정치 정도로만 보세요.
- 공유 풀인지 확인합니다. 같은 키로 서로 다른 무료 엔드포인트 모델 두 개에 짧은 간격으로 요청을 보냅니다. 둘 다 독립 카운터가 아니라 하나의 카운터에서 429를 반환하기 시작한다면, 계정 전체 공유 방식임을 직접 확인한 것입니다.
- Retry-After를 수집합니다. NVIDIA는 429 응답에서
Retry-After헤더를 따릅니다 . 이 값을 파싱하고, 반환된 값을 기준으로 지수 백오프를 적용하며, 5분 동안 관측된 모든 대기 시간을 기록하세요. - 자신의 숫자를 계산합니다. 시도마다 모델 식별자, 타임스탬프, HTTP 상태를 기록한 뒤, 성공한 호출 수를 경과 시간(분)으로 나눕니다. 이렇게 얻은 실측 RPM이 널리 반복되는 약 40회 기준보다 더 신뢰할 만합니다.
import time, requests
def observe(model, key):
r = requests.post(
"https://integrate.api.nvidia.com/v1/chat/completions",
headers={"Authorization": f"Bearer {key}"},
json={"model": model, "messages": [{"role": "user", "content": "ping"}]},
)
print(model, time.strftime("%H:%M:%S"), r.status_code,
r.headers.get("Retry-After"))
return r.status_code같은 과정에서 함께 확인할 만한 기능상 주의점도 있습니다. openai/gpt-oss-120b 페이지에는 reasoning이 지원되지 않는다고 표시되어 있지만, 샘플 코드는 reasoning_content 필드를 확인합니다 . 문서화된 기능 플래그를 기준으로 로직을 설계하기 전에, 자신의 출력에서 실제 응답 형태를 확인하세요. 메타데이터와 반환 페이로드가 항상 일치하지는 않습니다.
RPM 한도에 닿기 전에 먼저 걸리는 함정들
무료 카탈로그에서 발생하는 여러 실패는 rate limit와 무관합니다. 가용성 변경과 법적 조건에서 비롯되는 경우가 많습니다. 가장 분명한 예로 moonshotai/kimi-k2-thinking은 무료 엔드포인트에서 파트너 전용 엔드포인트로 이동했으며, 2026년 7월 기준으로 확인됩니다 . 지난주에 동작하던 하드코딩된 모델 문자열도 NVIDIA가 모델을 재분류하면 예고 없이 오류를 반환할 수 있습니다. 모델 이름은 코드가 아니라 설정에 고정하고, 모든 호출에서 정확한 모델 문자열을 기록해 조용한 지원 중단이 사용자 불만이 아니라 자체 텔레메트리에서 먼저 드러나게 하세요.
NVIDIA UI의 "Prototype" 라벨은 마케팅 문구가 아니라 법적 신호입니다. Technology Access 약관은 가용성, 보안, 무오류 작동에 대한 보증을 부인하며, 사전 통지 없이 기술을 변경, 폐기하거나 느리게 만들 권리를 보유합니다 . 무료 경로에는 uptime 약속이 없습니다. 의존해야 하는 인프라가 아니라 평가용 인프라로 다루세요.
같은 약관은 무료 티어에서 민감 데이터를 금지합니다. 별도의 Product Agreement가 사용을 포괄하지 않는 한 PHI, PCI, 기밀 정보, 통제 대상 데이터, 개인 데이터는 허용되지 않습니다 . 규제 대상 데이터는 거버넌스가 적용된 배포 경로로 보내야 합니다.
마지막으로, 숫자를 기준으로 설계하기 전에 반드시 확인하세요. 공식 모델 페이지에는 2026년 7월 기준 무료 엔드포인트가 77개로 표시되었고, 바이럴 튜토리얼에서 반복되는 "80+"가 아니었습니다 . NVIDIA의 포럼 안내도 불확실성을 강조합니다. 팀은 "cannot approve rate-limit increases directly from the forum"이며, 평가판 한도는 "dependent on model, use-case and the amount of current overall traffic"라고 설명합니다 . 어떤 숫자든 설계 가정이 되기 전에 자신의 콘솔에서 확인하세요.
프로토타입 이후: 무료 카탈로그를 벗어나야 할 때
NVIDIA의 무료 카탈로그는 머무를 곳이 아니라 빠져나갈 경로를 염두에 두고 설계되어 있습니다. 모델 페이지는 호스팅 영역에 "Prototype" 라벨을 붙이고 "Ready to scale? Choose your deployment path"라는 문구로 파트너 엔드포인트나 NVIDIA AI Enterprise 라이선스 기반 셀프 호스팅 NIM으로 유도합니다 . 무료 키는 평가 도구로 보세요. 커뮤니티 기준선인 약 40 RPM을 넘는 일관된 처리량이나 SLA가 제품에 중요하다면, 첫날부터 유료, 파트너, 셀프 호스팅 경로 예산을 잡아야 합니다 .
여기서 프로토타이핑할 때 얻는 이점은 이식성입니다. 무료 호스팅 엔드포인트와 셀프 호스팅 NIM은 모두 https://integrate.api.nvidia.com/v1에서 동일한 OpenAI 호환 인터페이스를 제공하므로, 졸업할 때 필요한 것은 재작성이라기보다 base_url 교체에 가깝습니다 . 지금부터 다음 세 가지 습관으로 그 이식성을 확보하세요:
nvapi-문자열은 서버 측에만 둡니다. 브라우저나 모바일 클라이언트에 절대 포함하지 마세요.- 얇은 인터페이스 뒤에 provider를 추상화합니다. 모델 문자열과 엔드포인트가 코드가 아니라 설정이 되게 하세요.
- 지속적인 429 급증에 대비해 fallback을 계획합니다. 한도는 공개되지 않고 예고 없이 바뀌므로, 다른 카탈로그 모델, 파트너 엔드포인트, 직접 provider 중 하나를 준비해 두세요 .
핵심은 이렇습니다. build.nvidia.com은 모델 비교, 코딩 에이전트 연결, 긴 컨텍스트나 멀티모달 아이디어 검증에 무료로 활용하세요. 그리고 안정성이 단순한 편의가 아니라 판매하는 기능이 되는 순간 바로 이전하세요.
자주 묻는 질문
NVIDIA의 무료 티어 약 40 RPM 제한은 공식 문서에 있나요?
아니요. 분당 약 40건이라는 수치는 커뮤니티에서 관찰된 것이며, 공개된 SLA가 아닙니다. NVIDIA 직원이 공개적으로 밝힌 유일한 기록(개발자 포럼, 2026년 4월)에 따르면, 체험판 제한은 모델, 사용 사례, 현재 전체 트래픽에 따라 달라지며 포럼에서는 증액을 승인할 수 없습니다. NVIDIA는 무료 티어에 대해 안정적인 RPM/TPM/RPD 표를 공개하지 않으므로 , 특정 수치를 기준으로 설계하기 전에 본인 콘솔에서 직접 확인해야 합니다.
build.nvidia.com의 각 모델은 별도 RPM 할당량을 받나요?
아니요. 제한은 계정 전체에 적용됩니다. 하나의 nvapi- 키로 OpenAI 호환 단일 인터페이스를 통해 카탈로그의 모든 모델을 호출하며, 어떤 모델을 호출하든 같은 스로틀 풀에서 차감됩니다 build.nvidia.com 기준. 모델 계열을 섞어 쓰면(예: Llama, Qwen, Nemotron을 함께 사용) 한 모델만 사용할 때보다 공유 예산이 더 빨리 소진되며, 초과 시 Retry-After를 따르는 429 응답이 반환됩니다.
2026년에 NVIDIA 무료 티어는 OpenAI 및 Together AI와 어떻게 다른가요?
OpenAI가 가장 투명합니다. 모델별 RPM, RPD, TPM, TPD를 공개하고, 조직/프로젝트 단위로 적용되며 콘솔과 응답 헤더에서 확인할 수 있습니다 요율 제한 문서 기준. NVIDIA는 무료 티어에 대해 공식 수치를 공개하지 않습니다 NIM 문서 기준. Together AI에는 진정한 무료 티어가 없습니다. 최소 5달러 크레딧이 필요하며, 서버리스 제한은 조직과 모델별로 동적으로 적용됩니다 요율 제한 문서 기준. NVIDIA의 강점은 보장된 처리량이 아니라, 하나의 키로 넓은 모델 범위를 사용할 수 있다는 점입니다.
NVIDIA 무료 티어에서 요율 제한 증액을 요청할 수 있나요?
NVIDIA 개발자 포럼에 글을 올릴 수는 있지만, 직원들은 그곳에서 직접 증액을 승인할 수 없으며 체험판 제한은 모델, 사용 사례, 실시간 트래픽에 따라 달라진다고 밝혔습니다 포럼, 2026년 4월. 40 RPM 제한을 200 RPM으로 올려 달라는 커뮤니티 요청은 있지만, 안정적으로 승인된다고 보기는 어렵습니다. 무료 티어는 프로토타이핑용 용량으로 보고, 안정적인 처리량이 필요하다면 유료 파트너 또는 셀프 호스팅 경로를 계획해야 합니다.
NVIDIA 무료 엔드포인트에서 셀프 호스팅 NIM으로 옮기기는 어렵나요?
두 환경 모두 같은 OpenAI 호환 /v1/chat/completions 인터페이스를 제공하므로 이전 부담은 낮습니다. 호스팅 체험판 엔드포인트에서 셀프 호스팅 또는 파트너 NIM 배포로 옮기는 작업은 코드 재작성이라기보다 base_url 변경에 가깝습니다 NVIDIA NIM 문서 기준. 이 이식성, 즉 무료로 프로토타입을 만든 뒤 같은 코드를 NVIDIA AI Enterprise 라이선스 기반 프로덕션 인프라로 다시 지정할 수 있다는 점이 통합 키 설계의 핵심 아키텍처 가치입니다.
이 글이 도움이 되셨다면, 새 글이 올라올 때마다 이메일로 받아보세요.
