Benchmarks InferenceMAX i el domini de NVIDIA Blackwell

La conversa sobre rendiment d'inferència a IA s'ha accelerat, i amb raó: InferenceMAX v1 ha posat ordre amb dades verificables i actualitzades que miren més enllà de la velocitat bruta per avaluar l'economia real. En aquest context, la plataforma Blackwell de NVIDIA no només ha marcat el ritme, ho ha arrasat amb resultats d'eficiència i cost per token sense precedents.

En poques paraules, parlem d'un canvi d'era: de quant corre a quant rendeix per euro i per watt en producció . La combinació de maquinari Blackwell (B200 i GB200 NVL72), interconnexió NVLink de cinquena generació, precisió baixa NVFP4 i optimitzacions contínues de programari (TensorRT-LLM, Dynamo, SGLang, vLLM) eleva el llistó en tokens/s, cost per milió de tokens.

Què és InferenceMAX v1 i per què importa

La major queixa de la indústria era que els benchmarks tradicionals caduquen ràpid i sovint afavoreixen configuracions irreals . InferenceMAX v1 trenca amb això: és un benchmark open source, automatitzat i amb execucions nocturnes sota llicència Apache 2.0 que reavalua frameworks i models populars diàriament per capturar el progrés real del programari.

Per a cada combinació de model i maquinari, el sistema realitza escombrats de mides de paral·lelisme tensorial i concurrència , i presenta corbes de rendiment que equilibren throughput i latència. A més, es publiquen resultats de CI diàriament i es proven múltiples frameworks (SGLang, TensorRT-LLM i vLLM), cosa que permet veure com les optimitzacions recents mouen la frontera de Pareto en temps gairebé real.

A nivell metodològic, els tests cobreixen single-node i multi-node amb Expert Parallelism (EP) , i inclouen longituds de seqüència d'entrada/sortida variables (80%-100% de combinacions ISL/OSL) per imitar càrregues reals de raonament, processament documental, resum i xat . El resultat és una radiografia contínua de latència, throughput, mides de lot i ràtios d'entrada/sortida que representa l'economia operativa real, no només la teoria.

Blackwell lidera: rendiment, eficiència i economia a escala

Les dades publicades deixen poc espai al dubte: NVIDIA Blackwell Barre InferenceMAX v1 en rendiment d'inferència i eficiència en tota la gamma de càrregues. Davant la generació Hopper (HGX H200), el salt a B200 i GB200 NVL72 suposa millores d'ordre de magnitud en compute-per-watt i ample de banda de memòria , a més d' una caiguda dràstica del cost per milió de tokens.

Concretant, el sistema GB200 NVL72 aconsegueix un ROI de 15x : una inversió de 5 milions de dòlars pot generar 75 milions en ingressos per tokens . Aquesta dada no és un truc comptable: respon a la combinació de NVFP4 per a precisió baixa nativa, NVLink i NVLink Switch de cinquena generació i la maduresa de TensorRT-LLM i NVIDIA Dynamo a la pila de programari.

La història es repeteix amb el cost de token. A gpt-oss, les optimitzacions de B200 han reduït el cost a dos centaus per milió de tokens , un 5x menys en només dos mesos. Aquesta tendència, recolzada per millores de programari en curs, canvia completament la viabilitat econòmica de nous casos dús.

Metodologia que captura la realitat de producció

InferenceMAX v1 no només mesura tokens per segon. Mapea throughput davant de latència sobre una frontera de Pareto que ajuda a decidir en quin punt compensa operar, segons SLA d'interactivitat i objectius de TCO. El més rellevant és com Blackwell manté avantatges en tot el rang , no en un únic cantó òptim.

Per donar representativitat, les proves inclouen concurrències de 4 a 64 (i escenaris més enllà d'aquests límits en anàlisis complementàries), diverses configuracions d'EP i DEP i models de referència a la comunitat, des de gpt-oss 120B a Flama 3.3 70B o DeepSeek-R1. Tot amb repositori obert i receptes reproduïbles perquè qualsevol validi resultats.

Rendiment pur: tokens/s per GPU i interactivitat

Blackwell B200 marca el ritme amb xifres que fa un any semblaven ciència-ficció. Amb la pila més recent de NVIDIA TensorRT-LLM , es reporten 60.000 tokens per segon per GPU i fins a 1.000 tokens per segon per usuari en gpt-oss, mantenint una interactivitat que no sacrifica l'experiència.

En models densos com Flama 3.3 70B , que activen tots els paràmetres en inferència, Blackwell aconsegueix a InferenceMAX v1 10.000 tokens/s per GPU a 50 TPS/usuari , més de 4x davant H200. Aquesta millora es recolza en NVFP4, cinquena generació de Tensor Cores i l'amplada de banda de NVLink bidireccional a 1.800 GB/s , evitant colls d'ampolla entre GPU.

L'eficiència també es mesura en tokens per watt i cost per milió de tokens . Per a fàbriques de IA amb límits de potència, Blackwell lliura 10x més throughput per megawatt respecte a la generació anterior. A més, ha reduït el cost per milió de tokens 15x , obrint la porta a desplegaments massius molt més rendibles.

Programari que millora cada setmana: de 6K a 30K tokens/s per GPU

Més enllà del maquinari, la velocitat és el fossat defensiu . Després del llançament de gpt-oss-120b el 5 d'agost, B200 a InferenceMAX v1 ja rendia bé amb TensorRT-LLM, però les optimitzacions successives han duplicat i després multiplicat els números inicials. A uns 100 TPS/usuari, el throughput per GPU gairebé es va duplicar en poc temps respecte al dia de llançament.

Amb la versió de TensorRT-LLM de 9 d'octubre van arribar les assignacions de paral·lelisme EP i DEP , i el rendiment a 100 TPS/usuari va pujar fins a 5x enfront de la versió inicial , passant de ~6K a ~30K tokens/s per GPU. Part d'aquest salt s'aconsegueix amb concurrències més altes que les que InferenceMAX testeja de sèrie (4-64), cosa que demostra quant encara queda per esprémer en configuracions avançades.

El cop mestre ha estat habilitar descodificació especulativa per a gpt-oss-120b amb el model gpt-oss-120b-Eagle3-v2 . Amb EAGLE, el throughput per GPU a 100 TPS/usuari es triplica respecte als resultats publicats, passant de 10K a 30K tokens/s . I el millor: el cost per milió de tokens a 100 TPS/usuari ha baixat de 0,11$ a 0,02$ en dos mesos. Fins i tot a 400 TPS/usuari, es manté al voltant de 0,12$ , fent viables escenaris multiagent i raonament complex.

Economia real: ROI 15x i TCO mínim amb GB200 NVL72

Al model de raonament DeepSeek-R1 , les corbes d'InferenceMAX v1 mostren que GB200 NVL72 redueix el cost per milió de tokens de forma contundent davant H200 a tots els nivells d'interactivitat. A ~75 TPS/usuari, H200 se situa en 1,56$ , mentre que GB200 NVL72 cau a poc més de 0,10$ , una retallada de 15x . A més, la corba de cost de GB200 roman plana per més temps , permetent servir per sobre de 100 TPS/usuari sense penalitzar la butxaca.

Per a desplegaments massius, això es tradueix que les “fàbriques d'IA” poden atendre més usuaris amb millors SLA sense disparar OPEX ni cedir throughput. Sumat a la dada que una inversió de 5 milions pot generar 75 milions en ingressos per tokens , el missatge és clar: la inferència és on la IA torna valor cada dia i Blackwell treu avantatge pel seu enfocament full-stack.

Arquitectura que habilita el salt: NVFP4, NVLink 5 i NVLink Switch

L'hegemonia de Blackwell no surt del no-res. El stack es basa en codesisseny extrem hardware-software : precisió NVFP4 per a eficiència sense perdre exactitud, cinquena generació de NVIDIA NVLink i un NVLink Switch que permet tractar 72 GPUs com una macro-GPU , habilitant concurrència altíssima amb paral·lelisme tensorial, d'expert.

Aquest enfocament se suma a un cadenciat anual de maquinari ia millores contínues de programari que, per si soles, han més que duplicat el rendiment de Blackwell des del seu llançament . La integració amb TensorRT-LLM, NVIDIA Dynamo, SGLang i vLLM completa el quadre, recolzat per un ecosistema gegantí de milions de GPUs, desenvolupadors CUDA i centenars de projectes open source.

MoE a plena potència: disaggregated serving amb GB200, Dynamo i TensorRT-LLM

Les proves verificades demostren que la combinació de GB200 NVL72, Dynamo i TensorRT-LLM dispara el throughput de models MoE com DeepSeek-R1 sota SLAs molt diferents, deixant enrere sistemes basats en Hopper. El disseny scale-up del NVL72 interconnecta 72 GPU amb NVLink en un domini únic, amb fins a 130 TB/s d'amplada de banda entre GPU, clau per a rutar tokens d'experts sense colls d'ampolla d'interconnexió tradicional.

El serving desagregat en Dynamo separa prefill i decode en nodes diferents, optimitzant cada fase amb repartiments de GPU i EP diferents . Així, la fase de decode, més limitada per memòria, pot explotar MP ample per als experts sense frenar la fase de prefill, que és més intensiva en còmput.

Per evitar que hi hagi GPUs ocioses en desplegaments amplis d'EP, TensorRT-LLM vigila la càrrega d'experts , distribueix els més usats i els pot replicar per equilibrar. Resultat: utilització alta i estable , amb guanys nets en throughput efectiu.

Col·laboració oberta: SGLang, vLLM i FlashInfer

Més enllà de Dynamo i TensorRT-LLM, NVIDIA ha desenvolupat kernels i optimitzacions per Blackwell juntament amb SGLang i vLLM, lliurades a través de FlashInfer . Parlem de millores en kernels per a Prefill i Decode d'Atenció, Comunicació, GEMM, MNNVL, MLA i MoE , a més d'optimitzacions de runtime.

A SGLang s'han incorporat capacitats de Multi-Token Prediction (MTP) i desagregació per a DeepSeek-R1. A vLLM han arribat planificadors asíncrons amb solapament per reduir overhead del host, fusions automàtiques de graf i millores de rendiment i funcionalitat per a gpt-oss, Flama 3.3 i arquitectures generals . Tot suma perquè Blackwell espremi la seva eficiència en els marcs open source més usats.

Comparatives i detalls tècnics addicionals de l'ecosistema

En anàlisis tècniques, l'arquitectura Blackwell es posiciona com un avenç notable per a inferències amb baixa latència i alt throughput . Es destaca l' execució mixta FP8/FP4 en nuclis tensorials de cinquena generació, juntament amb NVLink 5 amb fins a 1,8 TB/s per GPU per a comunicació entre múltiples unitats sense estrangulaments.

En nodes DGX B200 amb NVSwitch, se citen configuracions de fins a vuit GPUs amb memòria HBM3e unificada que frega 1,44 TB agregats, i pipelins d'inferència que reflecteixen l'ús real : prefill inicial i descodificació autoregressiva posterior. La suite mesura tokens/s, latència per sol·licitud i eficiència a FLOPS , amb optimitzacions a nivell de kernel i motors especialitzats de TensorRT-LLM.

Davant H100 (Hopper), Blackwell arriba a 4x el throughput a Flama 2/3 70B en un node similar, atribuïble a més nuclis tensorials i millores d' ample de banda de memòria (fins a 5 TB/s per GPU en algunes anàlisis) . També s'esmenta una escalabilitat lineal en clústers de centenars de GPU, mantenint eficiències altes en ús de HBM3e i evitant paginacions costoses a memòria host.

En eficiència energètica, es reporten millores de fins a 2,5x davant H100 , amb consums que, en escenaris de càrrega alta, ronden 700W a 1.000W per GPU segons configuració, i pics de rendiment FP4 que superen clarament la generació anterior a FLOPS per watt . Eines com DCGM i telemetria amb Prometheus/Grafana faciliten una observabilitat de primer nivell.

Economia operativa, sostenibilitat i compliment

El focus d'InferenceMAX v1 en mètriques com tokens per megawatt i cost per milió de tokens no és postureig: condiciona decisions de capex i opex . Blackwell aconsegueix 10x més throughput per MW que la generació prèvia i ha baixat 15x el cost per milió de tokens , amb implicacions directes en l'expansió de serveis i en sostenibilitat.

Es descriuen pràctiques orientades a energies renovables en sistemes DGX i referències reguladores com EU AI Act, GDPR o NIST SP 800-53 . A més, Blackwell incorpora Confidential Computing amb enclavaments segurs i xifrat de memòria per protegir dades en sectors altament regulats com a banca o salut.

Casos d'ús: seguretat, IT i fins i tot blockchain

La combinació d' alt rendiment i interactivitat permet passar de pilots a sistemes de seguretat en temps real , des d'anàlisi de logs a detecció d'anomalies en xarxes a escala de petabytes amb latències subsegon . A IT, els hyperscalers integren Blackwell en ofertes per a workloads híbrids amb emmagatzematge distribuït i xarxes 5G , recolzant-se a RoCE per a latència mínima a l'edge, i empreses com ByteDance reforcen la seva aposta per xips de NVIDIA.

Fins i tot a blockchain, es plantegen oracles d'IA descentralitzats i acceleració de proves ZK a xarxes com Ethereum o Solana gràcies al paral·lelisme tensorial. Operativament, es reporten reduccions de fins a 40% en TCO d'inferència per major densitat per rack i refrigeració líquida avançada, mantenint temperatures per sota de 85 ° C en càrrega sostinguda.

Bones pràctiques i desafiaments de migració

No tot és catifa vermella: migrar des de Hopper requereix recompilar kernels CUDA i pot destapar bugs a pipelines legacy. Les guies de bones pràctiques de NVIDIA per a inferència amb LLM recomanen profiling amb Nsight Systems , detectar colls en atenció i descodificació i aplicar tècniques de sharding amb Megatron-LM per equilibrar càrregues entre GPUs.

En seguretat, convé activar secure boot i proteccions en temps d'execució a TensorRT per evitar injecció de codi . En desplegaments descentralitzats, la latència es conté amb sidechains i offload de còmput a GPUs dedicades, preservant integritat amb proves criptogràfiques.

Comunitat, recursos i transparència

InferenceMAX v1 és un esforç comunitari. S'agraeix a AMD (MI355X i CDNA3) per maquinari per al projecte ia NVIDIA per accés a GB200 NVL72 (via OCI) i B200 . També als equips d' inferència i Dynamo , ia proveïdors de còmput com Crusoe, CoreWeave, Nebius, TensorWave, Oracle i TogetherAI per impulsar l'open source amb recursos reals.

La plataforma publica un dashboard en viu a inferencemax.ai amb resultats actualitzats i posa a disposició contenidors i configuracions per reproduir benchmarks. Atesa la velocitat a què evoluciona el programari d'IA, les proves nocturnes són la forma honesta de mostrar on és el rendiment avui, no fa mesos.

Veus de la indústria i oportunitats professionals

Responsables d'infraestructura i científics reconeixen que la distància entre bec teòric i throughput real la marquen el programari de sistemes , les estratègies distribuïdes i els kernels de baix nivell . Per això valoren benchmarks oberts i reproduïbles que mostrin com rendeixen les optimitzacions en diferents maquinaris i que il·luminin tokens/s, cost per dòlar i tokens per megawatt amb transparència.

A més, el projecte busca talent per a un equip de projectes especials . Entre les responsabilitats, destaquen:

• Dissenyar i executar benchmarks a gran escala en múltiples proveïdors (AMD, NVIDIA, TPU, Trainium, etc.).
• Construir pipelins CI/CD reproduïbles per automatitzar les execucions.
• assegurar fiabilitat i escalabilitat dels sistemes compartits amb socis de la indústria.

Col·laboracions amb models oberts i ecosistema

NVIDIA manté col·laboracions obertes amb la comunitat i amb equips com OpenAI (gpt-oss 120B), Meta (Crida 3 70B) i DeepSeek AI ( DeepSeek R1 ) , a més de contribucions amb FlashInfer, SGLang i vLLM . Això garanteix que els darrers models estiguin optimitzats per a la major infraestructura d'inferència del món i que les millores de kernel i runtime s'integrin a escala.

Per a les empreses, el marc Think SMART de NVIDIA ajuda a navegar el salt de pilots a fàbriques de IA , afinant decisions de plataforma, cost per token , SLAs de latència i utilització segons càrregues canviants. En un món que passa de respostes one-shot a raonaments multietapa i ús d'eines , aquesta guia esdevé estratègica.

Nota pràctica: alguns continguts compartits en xarxes com X poden requerir JavaScript habilitat per visualitzar-se; en cas contrari es mostrarà lajuda i polítiques del lloc. És un detall menor, però útil si voleu seguir el pols dels anuncis en temps real.

Qui es pregunti si val la pena mirar-se detalladament les receptes d'InferenceMAX v1, que sàpiga que estan obertes perquè qualsevol repliqui el lideratge de Blackwell en escenaris d'inferència molt diferents. És exactament el tipus de transparència que accelera el progrés a tota la comunitat.

Després de revisar les dades, les millores de programari i les col·laboracions obertes, queda una idea força nítida: la inferència és el lloc on la IA converteix rendiment en negoci cada dia . Amb corbes de cost planes a alts nivells d'interactivitat, tokens/s per GPU que escalen amb elegància i un ecosistema que no para d'optimitzar kernels i runtimes, Blackwell es consolida com a plataforma de referència per als que volen construir fàbriques d'IA eficients, ràpides i rendibles.