El salto entre GPUs acaba de encontrar un muro. Una integración lo derribó.

Cualquiera que haya intentado entrenar un modelo de IA en una GPU en un proveedor de nube diferente al de los datos conoce el proceso: o copiar el conjunto de datos en el bucket de cada proveedor, o pagar tarifas de salida, alrededor de $0.09/GB en AWS, cada vez que se extraen datos a través del límite. Los costos se acumulan rápidamente cuando los modelos base tienen decenas de gigabytes y los conjuntos de datos llegan a terabytes. El próximo cuello de botella de billones de dólares en…

Una nueva integración entre Hugging Face y SkyPilot aborda ese punto de dolor directamente. Hugging Face Storage, anteriormente un servicio independiente, ahora es un backend de primera clase en SkyPilot, el programador de trabajos multinube de código abierto. El resultado: cualquier repositorio, modelo, conjunto de datos o bucket de Hugging Face se puede montar en una tarea de SkyPilot usando una única URL hf://, y la lectura desde ese montaje no genera cargos de salida sin importar en qué nube se ejecute la GPU.

Cómo funciona la integración

El mecanismo es simple. Una tarea de SkyPilot declara un bloque file_mounts con una fuente como hf://Qwen/Qwen3.5-4B y un tipo de almacenamiento hf. SkyPilot utiliza el backend FUSE hf-mount de Hugging Face para presentar ese repositorio como una ruta del sistema de archivos local dentro del contenedor. El montaje puede ser de solo lectura para modelos y conjuntos de datos, o de lectura y escritura para Hugging Face Buckets utilizados como almacenes de puntos de control. Alibaba's Qwen construye un modelo para cada trabajo de…

La autenticación utiliza la variable de entorno HF_TOKEN que la mayoría de los equipos ya tienen configurada. Ese mismo token funciona independientemente de que el trabajo termine en AWS, GCP, Azure, Nebius, Lambda o un clúster de Kubernetes. Sin claves de bucket por nube que gestionar.

Las lecturas diferidas mantienen ocupadas a las GPUs

Un detalle crítico de rendimiento: el montaje FUSE utiliza recuperación diferida. Cuando un proceso llama a read() en un archivo, hf-mount extrae solo los bytes realmente solicitados, no todo el archivo. Un trabajo de entrenamiento puede comenzar a procesar datos casi de inmediato, con los primeros fragmentos transmitiéndose mientras los fragmentos posteriores aún se están recuperando. En pruebas comparativas con un ajuste fino del modelo Qwen 3.5-4B, el modelo estuvo listo para entrenar en aproximadamente 30 segundos con un rendimiento máximo de hasta 500 MB/s.

El enfoque diferido da sus mejores frutos en la primera época, cuando la caché local en disco está vacía. Para épocas posteriores, hf-mount mantiene una caché local, por lo que las lecturas repetidas permanecen locales. Este comportamiento de caché es el mismo si los usuarios especifican MOUNT o MOUNT_CACHED, una elección de diseño deliberada que difiere de algunos backends de almacenamiento de objetos en la nube.

Eliminando el problema de la gravedad de los datos

La implicación más profunda es organizativa. La capacidad de GPU hoy en día rara vez proviene de un solo proveedor. Los equipos reservan bloques en hiperescaladores, clústeres en neoclouds como Lambda Labs o Nebius, y a veces racks locales. SkyPilot fue diseñado para programar en estos grupos heterogéneos. Pero el almacenamiento de objetos ha sido el ancla: los datos viven en el bucket regional de un proveedor, y ejecutar un trabajo en otro lugar significa mover una copia o pagar la salida. La trampa sutil que espera a los agentes de IA en producción

Hugging Face Storage a $12-$18/TB/mes frente a aproximadamente $23/TB para AWS S3 más salida cambia la economía. El bucket se vuelve agnóstico a la nube en la práctica, no solo en teoría. Los equipos pueden dejar que SkyPilot elija el clúster de GPU más barato o más disponible sin tener en cuenta la ubicación de los datos en la decisión.

Deduplicación basada en Xet como palanca de rendimiento oculta

El backend de almacenamiento utiliza Xet, que divide los archivos en fragmentos definidos por contenido de aproximadamente 64 KB y almacena cada fragmento único una sola vez. Esto tiene beneficios concretos para cargas de trabajo intensivas en puntos de control. Los puntos de control incrementales del entrenamiento de adaptadores o ajustes finos de capas congeladas solo suben los fragmentos que cambiaron. En las pruebas de Hugging Face, agregar 10,000 filas a una tabla Parquet de 100,000 filas transfirió alrededor de 10 MB en lugar de los ~106 MB completos.

Las re-subidas de blobs idénticos son casi instantáneas. Un punto de control de 8.43 GB ya en el bucket tomó alrededor de 8 segundos para verificar frente a 24 segundos para la primera subida, porque solo era necesario enviar los hashes de los fragmentos. Las copias del lado del servidor entre repositorios y buckets también ocurren por referencia en lugar de duplicación de bytes. El secreto de 12.000 líneas detrás de la velocidad de…

Qué significa esto para la pila multinube

La integración se desarrolla conjuntamente y es completamente de código abierto. Nikhil Jha contribuyó con el soporte inicial de store: hf; el equipo de Hugging Face incorporó las correcciones de hf-mount FUSE necesarias para contenedores sin privilegios, una restricción común en Kubernetes; y el equipo de SkyPilot lo conectó al backend de almacenamiento. NVIDIA NeMo AutoModel acelera el ajuste fino de MoE…

Para los equipos que ya usan Hugging Face Hub y SkyPilot, el cambio es mínimo. Para los equipos que usan solo uno de los dos, esta integración reduce la barrera para adoptar el otro. La mayor restricción de adopción es el requisito de montaje: hf-mount necesita una imagen base con glibc 2.34+ y /dev/fuse disponible. La mayoría de los contenedores Linux modernos lo admiten, pero algunas imágenes mínimas pueden no hacerlo.

La demanda de GPU continúa superando la oferta de cualquier proveedor individual. La capacidad de tratar el cómputo como un recurso fungible, sin que el almacenamiento lo arrastre de vuelta a un solo proveedor, puede resultar esencial. Esta integración no soluciona todos los dolores de cabeza de la multinube, pero elimina uno de los más persistentes.