DSpark demuestra por qué la inferencia rápida de IA es un problema de planificación, no un truco de modelo

La decodificación especulativa se ha convertido en una herramienta estándar para acelerar la inferencia de modelos de lenguaje grandes. Pero un nuevo artículo de DeepSeek sugiere que el enfoque conlleva un costo oculto. Cuando muchos usuarios comparten un solo clúster de GPU, la capacidad del lote gastada en verificar tokens que probablemente sean rechazados erosiona el rendimiento precisamente cuando la interactividad es más importante. DSpark, detallado en un preprint en arXiv, hace que la longitud de verificación sea una cantidad determinada dinámicamente por solicitud, en lugar de un hiperparámetro fijo. El DSpark de DeepSeek acaba de solucionar las dos cosas…

La idea central no es una nueva arquitectura de modelo, sino un replanteamiento a nivel de sistemas de cómo la decodificación especulativa interactúa con el procesamiento por lotes. La desacoplamiento especulativo tradicional funciona bien para una secuencia única: un modelo borrador económico propone tokens y el modelo objetivo los verifica en paralelo. Sin embargo, cuando múltiples secuencias compiten por la misma GPU, verificar un bloque largo de tokens para un usuario puede desplazar los espacios que los tokens ya aceptados de otro usuario podrían haber ocupado. El resultado es un límite de rendimiento que ninguna astucia del redactor puede romper. Su modelo de IA dice que puede leer 1 millón de tokens.…

Los arquitectos de DSpark, cuyas afiliaciones listan a DeepSeek, una organización que construye infraestructura de servicio de IA a gran escala, observaron que la probabilidad de aceptación cae bruscamente después de los primeros tokens de un bloque borrador, particularmente cuando el borrador carece de modelado de dependencia entre tokens. Los borradores paralelos que generan todos los tokens propuestos simultáneamente sufren de lo que el artículo llama decaimiento de sufijo: las posiciones posteriores de tokens tienen más probabilidades de ser rechazadas porque no fueron condicionadas por las anteriores, potencialmente corregidas.

Para contrarrestar esto, DSpark combina una columna vertebral paralela con un módulo secuencial ligero. El componente secuencial agrega una pequeña cantidad de latencia por token pero reintroduce la dependencia intrabloque, elevando la longitud esperada de aceptación sin anular la ventaja de velocidad de la ruta paralela. En evaluaciones comparativas fuera de línea en dominios de noticias, código y matemáticas, el método superó sustancialmente tanto a los borradores autorregresivos como a los borradores puramente paralelos en el número promedio de tokens aceptados antes de un rechazo.

La contribución más importante es el mecanismo de verificación programada por confianza. El sistema estima, para cada solicitud, la probabilidad de que un prefijo dado del borrador sobreviva a la verificación, un valor que el artículo denomina probabilidad de supervivencia del prefijo, y trunca el bloque de verificación una vez que esa probabilidad cae por debajo de un umbral calibrado según el perfil de rendimiento del motor actual. El resultado es que las solicitudes con continuaciones fáciles de predecir aún disfrutan de especulaciones largas, mientras que las solicitudes con tokens impredecibles no desperdician espacios de lote en rechazos casi seguros. Tu agente de IA aprobó la prueba por accidente. Ahora…

La evaluación empírica se ejecutó dentro del sistema de servicio DeepSeek-V4 bajo tráfico de usuario en vivo, un entorno que expone el método a patrones de contención del mundo real. En comparación con la línea base de producción, que utiliza un enfoque de predicción de tokens uniforme, DSpark aceleró las velocidades de generación por usuario en un 60 a 85 por ciento a niveles de rendimiento igualados. El artículo también informa que DSpark permitió niveles de rendimiento previamente inalcanzables bajo restricciones estrictas de interactividad, desplazando efectivamente la frontera de Pareto del sistema de servicio. olmo-eval de Ai2 brinda a los desarrolladores de LLM un…

El problema que resuelve DSpark empeora a medida que las implementaciones de GPU multiinquilino se vuelven más comunes. Los proveedores de la nube y los laboratorios de IA atienden a miles de usuarios concurrentes desde infraestructura compartida, y cualquier optimización que mejore la latencia por token a expensas de la utilización del lote puede resultar contraproducente. El enfoque de DSpark es uno de varios artículos recientes que tratan la aceleración de la inferencia como un problema de planificación y asignación de recursos, en lugar de uno puramente algorítmico. El horizonte de verificación: por qué verificar agentes…

El método requiere instrumentación para estimar las probabilidades de supervivencia del prefijo y un paso de calibración para mapear esas probabilidades a longitudes de verificación óptimas para una GPU determinada. El artículo no proporciona una solución completamente general, sino una arquitectura que puede integrarse en las pilas de servicio existentes. Los autores sugieren que la técnica es complementaria a otras optimizaciones como el almacenamiento en caché de prefijos y la cuantificación, y que sus beneficios crecen con el volumen de solicitudes.

La contribución de DSpark es tanto una historia de advertencia como una técnica. Expone la ineficiencia oculta que aparece cuando la decodificación especulativa se encuentra con alta concurrencia, y muestra que resolverla requiere no un mejor redactor, sino un despachador más inteligente. Los agentes de IA no pueden completar una migración de…