JPEG con calidad 92: la aburrida elección de ingeniería de datos que hizo funcionar el modelo de 7B de Photoroom

Photoroom, la startup de edición de fotos impulsada por IA, publicó la cuarta entrega de su serie técnica de blogs sobre el desarrollo del modelo PRX, ofreciendo una mirada profunda y sin adornos sobre cómo ensamblaron los datos de entrenamiento para su modelo de difusión de 7B de código abierto. La publicación, PRX Part 4: Our Data Strategy, es una clase magistral de ingeniería pragmática, donde los autores justifican sistemáticamente cada decisión frente a las restricciones de escala, cómputo y tiempo. the-specialization-revolution-how-smaller-models-are-redefining-ais-future

La filosofía: amplitud antes que belleza

El principio rector para el preentrenamiento de PRX es deliberado y algo controvertido: evitar el filtrado excesivo por estética. Photoroom argumenta que un corpus amplio y representativo enseña al modelo más sobre la estructura del mundo visual que uno más pequeño y bonito, incluso si muchas imágenes individuales son instantáneas comunes o ligeramente comprimidas. "Filtrar demasiado por estética en esta etapa realmente perjudicaría, estrechando la distribución y costándole al modelo conceptos y variedad compositiva que no puede recuperar después", escribe el equipo. El ajuste fino y el alineamiento de preferencias, aplicados en conjuntos pequeños y rigurosamente seleccionados, se reservan para hacer que las generaciones se vean pulidas. why-metas-muse-spark-signals-a-strategic-pivot-in-generative-media

Formatos de datos: Lance para construir, MDS para transmitir

El pipeline se apoya en dos formatos de datos complementarios. Lance, un formato columnar con predicado pushdown barato y búsqueda vectorial, se usa para construir y explorar el conjunto de datos. Mosaic Data Shards (MDS), de la biblioteca Mosaic Streaming, se usa para el entrenamiento distribuido. El equipo encontró que MDS era de bajo mantenimiento y eficaz para el entrenamiento distribuido, pero rígido para la ingeniería de características, de ahí el enfoque de dos niveles. Una advertencia práctica: "No fragmentes demasiado tus tablas Lance", señalan, relatando cómo fragmentos excesivamente pequeños (100k filas cada uno) hacían que las consultas fueran lentas hasta que se ejecutó la compactación. alibaba-cloud-emr-serverless-spark-now-processes-multimodal-data-via-sql-no-python-needed

JPEG con calidad 92: los números justifican la elección

Una afirmación técnica notable es que almacenar imágenes de entrenamiento como JPEG con calidad 92 es esencialmente imperceptible en comparación con PNG sin pérdida, incluso después de múltiples ciclos de recodificación. A lo largo de ciclos repetidos tanto en imágenes de alta resolución (1, 2 megapíxeles) como de menor resolución (0.25, 0.5 MP), la primera recodificación con calidad 92 logró un PSNR de 48.7 dB y 45.1 dB respectivamente, con puntuaciones LPIPS de 0.004 y 0.005. Incluso después de 10 ciclos, la degradación se mantuvo dentro del rango imperceptible (PSNR 45.4 y 42.2 dB). El equipo también entrenó dos modelos PRX idénticos en las mismas imágenes, uno almacenado como PNG y otro como JPEG, y encontró que las generaciones eran "prácticamente indistinguibles". Solo aproximadamente una de cada diez generaciones de cualquiera de ellos mostraba alguna estructura de cuantización detectable, y las diferencias eran pequeñas. La conclusión: el almacenamiento JPEG de alta calidad no agrega nada medible sobre lo que las fuentes ya portan, mientras que PNG sería de 3 a 10 veces más grande sin ganancia perceptiva. chrome-experiments-with-cross-origin-storage-api-to-eliminate-duplicate-ai-model-downloads

Re-etiquetado de todo: velocidad sobre métricas

Photoroom re-etiquetó cada imagen en el corpus usando un modelo de lenguaje y visión, en lugar de depender de subtítulos de fuente inconsistentes. Preseleccionaron tres candidatos: Qwen2.5-VL-7B-Captioner-Relaxed, Qwen3-VL-8B y Qwen3.5-9B. En los puntos de referencia, Qwen3.5-9B fue el mejor en las tres métricas (FID 10.51, CMMD 0.278, DINO-MMD 0.162), con Qwen3-VL-8B muy cerca en FID (10.98) y DINO-MMD (0.182). Sin embargo, el equipo eligió Qwen3-VL-8B porque era el más rápido (20 imágenes por segundo por GPU H200) y tenía soporte estable de vLLM listo para versión. Qwen3.5-9B, a pesar de producir excelentes subtítulos, funcionaba a solo unas 6.5 imágenes por segundo y requería compilaciones inestables de dependencias nocturnas en ese momento. La publicación confiesa que el captioner "Relaxed" de Qwen2.5-VL realmente alcanza las mismas 20 img/s una vez que se corrigió un error, pero eso salió a la luz solo después. alibabas-qwen-readies-its-next-leap-a-35b-agent-world-model-and-the-quiet-expansion-of-the-qwen3-family

Filtrado y deduplicación: ligero y reversible

El equipo construyó un pase de clasificación ligero usando Qwen3-8B en modo solo texto, que lee cada subtítulo para etiquetar muestras como "visual", "texto" o "nsfw". Clasificar a partir del subtítulo en lugar de los píxeles es barato, alrededor de 200 subtítulos por segundo por GPU, y reutiliza el trabajo ya realizado. Para la deduplicación, usaron un hash perceptual estándar basado en DCT. Solo se eliminan los duplicados exactos a nivel de píxeles (distancia Hamming cero). Se conservan tomas genuinamente diferentes del mismo sujeto. En lugar de reescribir el corpus, todas las muestras filtradas y duplicadas se manejan mediante listas de omisión por shard, un mecanismo flexible que también acomoda las exclusiones de usuarios sin reescribir el conjunto de datos. La única advertencia: una vez que la fracción omitida supera aproximadamente el 10%, vale la pena reescribir el conjunto de datos. microsofts-bet-on-small-models-for-agentic-ai-is-about-orchestration-not-knowledge

Implicaciones externas

La estrategia de datos de Photoroom no es el trabajo de un laboratorio gigante. Es un enfoque medido e iterativo de una startup que publicó como código abierto un modelo de texto a imagen de 7B bajo Apache 2.0. Las decisiones, JPEG sobre PNG, captioner más rápido sobre mejores métricas, listas de omisión sobre reescrituras, se tratan de intercambiar perfección por velocidad. La publicación es una rara mirada a la verdadera y poco glamorosa ingeniería de datos que sustenta los modelos de difusión modernos. La serie promete publicaciones futuras sobre ajuste fino y alineamiento de preferencias, donde el intercambio pasará de amplitud a calidad. the-math-says-general-ai-is-a-myth-biology-markets-and-machine-learning-all-agree