Tot sobre TorchTPU de Google i el seu impacte a PyTorch

Si et mous al món de la intel·ligència artificial, sabràs que durant molt de temps hi va haver una mena de mur invisible que separava l'ecosistema de PyTorch del maquinari de Google. Fins no fa res, voler aprofitar la potència de les TPU implicava trastocar tot el teu codi o passar-te a JAX, cosa que a cap equip de desenvolupament li fa gràcia quan ja té els seus models funcionant. Doncs bé, TorchTPU ha arribat per tirar a baix aquest mur , permetent que els desenvolupadors despleguin els seus projectes de PyTorch a les unitats de processament tensorial de Google sense haver de reescriure ni una sola línia de la lògica principal.

Aquest llançament no és una simple actualització, sinó un canvi de paradigma codesenvolupat al costat de l'equip de PyTorch de Meta. Bàsicament, estem davant d'un backend nadiu que substitueix l'antic PyTorch/XLA , eliminant la necessitat de gravar grafs mandrosos i permetent que les TPU se sentin, per fi, com un ciutadà de primera classe al costat de les GPU de NVIDIA. Es tracta d'una jugada mestra per democratitzar l'accés a un maquinari especialitzat que, si es fa servir bé, pot reduir costos i disparar l'eficiència en l'entrenament i la inferència de models massius.

Què és exactament TorchTPU i com funciona?

En essència, TorchTPU és una pila de programari de codi obert que permet que PyTorch es comuniqui directament amb el silici de les TPU de Google. El més potent és la seva filosofia Eager First , que significa que el codi s'executa de forma immediata, tal com estem acostumats a PyTorch, facilitant enormement la depuració i el testeig interactiu. Per aconseguir això, s'ha integrat mitjançant la interfície PrivateUse1, cosa que permet manejar tensors de PyTorch estàndard sense dependre d'un runtime de JAX.

Perquè el flux de treball sigui fluid, TorchTPU ofereix tres maneres d'execució anticipada:

• Mode Strict: És l'opció per defecte; llança les operacions de forma asíncrona seguint la semàntica imperativa de PyTorch.
• Mode Debug: Ideal per quan les coses fallen, ja que executa tot de forma síncrona i comprova els límits dels tensors per caçar errors de memòria o NaNs.
• Mode DeferAndFuse: Aquí és on comença la màgia, ja que fusiona seqüències d'operacions per minimitzar el trànsit de memòria HBM, aconseguint millores de rendiment que poden anar des del 50% fins a més del 100% respecte al mode estricte.

Quan el desenvolupador necessita el màxim rendiment per a producció, entra en joc torch.compile amb el backend de TPU . Aquest procés captura el graf de computació mitjançant TorchDynamo i el tradueix a StableHLO i després a XLA, generant binaris optimitzats que es guarden en una memòria cau compartida per evitar recompilacions molestes.

Un ecosistema robust per a entrenament i inferència

Google no ha llançat l'eina sola, sinó que l'ha envoltat d'un arsenal d'integracions que la fan viable a entorns reals. Per als que treballen amb models de pesos oberts, l'aliança amb Hugging Face és clau; ara només cal posar device_map="tpu" a Transformers v5 perquè el model voli en maquinari de Google. A més, s'han creat canalitzacions de CI/CD que tasten la suite de Transformers cada nit per assegurar que tot funcioni com la seda.

A l'apartat de la inferència, destaquen dos motors fonamentals: vLLM-TorchTPU i SGLang-TorchTPU . Aquests backends permeten executar models com Gemma 4, Qwen o DeepSeek aprofitant kernels de Palles personalitzats. Suporta tècniques avançades com la descodificació especulativa i la quantització en FP8 o MXFP4 , permetent que la generació de tokens sigui increïblement ràpida sense sacrificar la precisió.

Per a l'orquestració al núvol, apareix llm-d , un projecte de la CNCF que actua com el cervell que reparteix les peticions a Kubernetes. La seva capacitat d' encaminament conscient de la memòria cau de prefixos és una joia, ja que envia cada sol·licitud a la rèplica que ja té el context carregat, evitant càlculs redundants i optimitzant l'ús de la memòria.

Escalat massiu i eines d'avantguarda

Quan parlem d'entrenar models gegants, l'eficiència és l'única cosa que importa. TorchTitan on TPU és la plataforma de referència per a això, integrant SimpleFSDP i optimitzacions a nivell de graf. S'ha validat que pot escalar de forma gairebé lineal fins a 8.192 xips TPU Ironwood , aconseguint una utilització de FLOPS del model de fins al 52% en arquitectures com Qwen 3 8B.

Per als que necessiten gestionar fluxos de treball complexos, la integració amb Ray és fonamental . Ray s'encarrega de la provisió de slices de TPU, la topologia i la recuperació automàtica davant de fallades, permetent que el preprocessament de dades i l'entrenament passin en un únic flux coordinat. D'altra banda, TorchRec optimitza els sistemes de recomanació delegant les cerques de taules d'embeddings disperses als SparseCores de la TPU, mentre que els TensorCores s'encarreguen de la matemàtica densa.

Fins i tot han pensat en els desenvolupadors que no són experts en maquinari TPU mitjançant la TPU Agent Suite . Aquests agents d'IA ajuden a automatitzar la incorporació de models, diagnosticar colls d'ampolla analitzant traces de XLA i escriure nuclis de Pallas optimitzats, actuant com a pont de coneixement tècnic.

L'impacte a la indústria i la batalla del silici

Històricament, NVIDIA ha dominat el sector gràcies a CUDA, creant un ecosistema on el programari i el maquinari estaven encadenats. TorchTPU intenta trencar aquest monopoli en eliminar la fricció de migració . Si el cost de canviar de proveïdor ja no és qüestió de mesos d'enginyeria, sinó simplement d'una factura mensual, les empreses tenen un incentiu real per diversificar el maquinari.

Tot i que Meta segueix utilitzant GPU, el fet que ja executi càrregues de producció mitjançant SGLang-TorchTPU demostra que la tecnologia és madura. La competència ara se centra en el cost per milió de tokens . Amb l'arribada de la setena generació de TPU (Ironwood), Google cerca oferir una eficiència energètica i un rendiment que obliguin els gegants de la IA a mirar més enllà de les GPU tradicionals.

Aquesta arquitectura nova permet que l'entrenament i el desplegament de models l'escala de milers de milions de paràmetres sigui més accessible. En integrar capacitats de memòria desagregada i transferència optimitzada via TPU Sync , s'ha aconseguit que la generació de dades sintètiques i la inferència multimodal arribin a xifres rècord de tokens per segon, posicionant TorchTPU com l'alternativa més seriosa i viable per als que busquen escapar de la dependència absoluta d'un sol proveïdor de xips.