El próximo cuello de botella de billones de dólares en la IA no son los algoritmos, es la energía y la refrigeración

Durante los últimos dos años, la conversación pública en torno a la inteligencia artificial se ha centrado en una sola métrica: el recuento de parámetros. Modelos más grandes, mejores puntos de referencia, otro salto en el razonamiento. Pero detrás de los anuncios de lanzamiento, se está desarrollando una carrera armamentista diferente, una que no se libra en código sino en hormigón, cobre y torres de refrigeración. the-17-articles-that-will-define-2025s-tech-narrative

El problema es sencillo. La computación necesaria para entrenar modelos de frontera se ha duplicado aproximadamente cada seis meses desde 2018, mientras que las ganancias de eficiencia en la densidad de transistores y el rendimiento de los chips se han ralentizado hasta casi detenerse. La Ley de Moore, la observación de que el número de transistores en un chip se duplica aproximadamente cada dos años, se ha desacelerado efectivamente. El resultado es un hambre sin precedentes de energía, espacio y gestión térmica que la industria de centros de datos nunca fue diseñada para satisfacer. nvidia-nemo-automodel-delivers-37x-faster-moe-fine-tuning-via-expert-parallelism-and-deepep

Una tormenta perfecta de demanda y física

Entrenar un solo modelo de lenguaje grande como GPT-4 o Gemini Ultra puede consumir decenas de megavatios durante semanas seguidas, un consumo de energía equivalente al de un pequeño pueblo. Cada consulta atendida por un modelo implementado agrega un costo energético no trivial que, multiplicado por miles de millones de solicitudes diarias, convierte la inferencia en una partida significativa en los balances de cualquier empresa que opere a escala.

El cuello de botella no se limita solo a la generación de energía. Los centros de datos fueron construidos tradicionalmente para ejecutar cargas de trabajo que podían programarse, pausarse y ponerse en cola, no las cargas térmicas implacables y de alta densidad que producen los aceleradores de IA modernos. Una GPU Nvidia H100, por ejemplo, puede consumir hasta 700 vatios bajo carga, y los racks llenos de docenas de estos chips generan densidades de calor que abruman los sistemas de refrigeración por aire convencionales.

La refrigeración líquida, una vez una solución de nicho para laboratorios de supercomputación, ha pasado de ser exótica a esencial. Varios grandes proveedores de coubicación, incluidos Equinix y Digital Realty, han comenzado a reacondicionar instalaciones con tecnologías de refrigeración directa al chip e inmersión. El cambio es costoso y lento, pero ya está remodelando dónde y cómo los clientes más grandes de la nube eligen construir.

La respuesta de los hiperescaladores y la oportunidad para las startups

Los hiperescaladores, Amazon Web Services, Microsoft Azure y Google Cloud, cada uno opera su propio manual, pero la dirección es la misma: construir más grande, construir de manera diferente y construir más cerca de la energía disponible. Amazon ha anunciado planes para gastar más de 150 mil millones de dólares en infraestructura de centros de datos durante la próxima década. Microsoft se ha comprometido a duplicar su capacidad global de centros de datos aproximadamente cada dos años, con un énfasis particular en ubicaciones en Irlanda, Suecia y otras regiones donde la energía renovable es abundante. inside-meta-ai-the-lab-betting-billions-on-open-source-intelligence

Sin embargo, los hiperescaladores por sí solos no pueden cerrar la brecha de infraestructura a la velocidad que exige el mercado. Una nueva cohorte de startups apuesta a que el próximo mercado de billones de dólares no reside en construir modelos más grandes, sino en reinventar el sustrato físico sobre el que se ejecuta la IA. Empresas como Crusoe Energy, que despliega centros de datos modulares en pozos de gas abandonados para capturar gas natural que de otro modo se quemaría como fuente de energía, están pioneras en la computación "detrás del medidor". Otras como CoreWeave comenzaron como una operación de minería de criptomonedas y giraron para convertirse en uno de los mayores proveedores de computación en la nube acelerada por GPU, alquilando hardware de Nvidia a una escala que rivaliza con los hiperescaladores. y-combinators-new-ai-stack-gives-students-25000-in-free-credits

La cuestión de la refrigeración

La refrigeración representa aproximadamente entre el 30 y el 40 por ciento del presupuesto operativo de un centro de datos hoy en día. A medida que aumentan las cargas térmicas, se espera que esa cifra suba, a menos que nuevos enfoques cambien la ecuación. La refrigeración por inmersión, que sumerge servidores en un fluido dieléctrico no conductor, puede eliminar los ventiladores y reducir drásticamente la energía gastada en la disipación de calor. Varios proveedores, incluidos Submer y LiquidStack, ahora venden sistemas de inmersión prefabricados que reducen el consumo de energía de refrigeración hasta en un 90 por ciento en comparación con la refrigeración por aire tradicional.

Pero la transición conlleva un costo de capital. Una instalación reacondicionada para refrigeración por inmersión requiere un nuevo diseño de piso, sistemas de manejo de fluidos y procedimientos de mantenimiento que divergen de décadas de práctica operativa. Los operadores enfrentan una elección: absorber el gasto inicial y prepararse para el futuro, o arriesgarse a quedarse con activos que no pueden soportar la próxima generación de aceleradores.

Dimensiones geopolíticas

La carrera de infraestructura es inseparable de la geopolítica. Los controles de exportación sobre semiconductores avanzados, particularmente las GPU H100 de Nvidia y los próximos chips B100, han obligado a algunos países y regiones a acelerar sus propias iniciativas nacionales de chips y centros de datos. La Unión Europea, a través de su Ley de Chips y la Empresa Común EuroHPC, está subvencionando la construcción de supercomputadoras optimizadas para IA que puedan servir a los estados miembros sin depender de las cadenas de suministro de EE. UU. China, mientras tanto, continúa invirtiendo fuertemente en el diseño de chips nacionales y la construcción de centros de datos a pesar de las restricciones de exportación. anthropic-launches-claude-founder-house-in-paris-to-unite-europes-ai-startup-ecosystem

El resultado es un mapa de infraestructura global fragmentado donde la energía y la física, no solo la demanda del mercado, están decidiendo dónde residirá la capacidad informática de la próxima década.

En resumen

Los avances más celebrados de la industria de la IA, desde GPT-4 hasta Claude 3 y Gemini, se basan en una base de planta física que está siendo llevada al límite. Las empresas que resuelvan el rompecabezas de la infraestructura, ya sea a través de nuevas tecnologías de refrigeración, fuentes de energía alternativas o diseños de chips más eficientes, tendrán una ventaja que va más allá de cualquier lanzamiento de modelo individual. La carrera por la próxima frontera de la IA se está construyendo no solo en el laboratorio, sino en el centro de datos, un vatio a la vez. openais-gpt-56-launch-rewrites-the-economics-of-frontier-ai