JPEG à qualité 92 : le choix banal d'ingénierie de données qui a fait fonctionner le modèle 7B de Photoroom

Photoroom, la startup de retouche photo basée sur l'IA, a publié le quatrième volet de sa série de blogs sur le développement du modèle PRX, offrant un regard approfondi et sans fard sur la manière dont ils ont assemblé les données d'entraînement pour leur modèle de diffusion 7B open-source. L'article, PRX Part 4: Our Data Strategy, est une masterclass en ingénierie pragmatique, où les auteurs justifient systématiquement chaque décision face aux contraintes d'échelle, de calcul et de temps. the-specialization-revolution-how-smaller-models-are-redefining-ais-future

La philosophie : l'ampleur avant la beauté

Le principe directeur du pré-entraînement de PRX est délibéré et quelque peu provocateur : éviter le sur-filtrage esthétique. Photoroom soutient qu'un corpus large et représentatif enseigne au modèle davantage sur la structure du monde visuel qu'un corpus plus petit et plus joli, même si de nombreuses images individuelles sont des instantanés ordinaires ou légèrement compressés. « Sur-filtrer pour l'esthétique à ce stade nuirait en réalité, rétrécissant la distribution et privant le modèle de concepts et de variété compositionnelle qu'il ne pourra pas récupérer plus tard », écrit l'équipe. Le réglage fin et l'alignement des préférences, appliqués sur de petits ensembles soigneusement sélectionnés, sont réservés pour rendre les générations plus polies. why-metas-muse-spark-signals-a-strategic-pivot-in-generative-media

Formats de données : Lance pour la construction, MDS pour le streaming

Le pipeline s'appuie sur deux formats de données complémentaires. Lance, un format colonnaire avec prédicats pushdown peu coûteux et recherche vectorielle, est utilisé pour construire et explorer l'ensemble de données. Mosaic Data Shards (MDS), de la bibliothèque Mosaic Streaming, est utilisé pour l'entraînement distribué. L'équipe a constaté que MDS était peu contraignant et performant pour l'entraînement distribué, mais rigide pour l'ingénierie des caractéristiques, d'où l'approche à deux niveaux. Un avertissement pratique : « Ne fragmentez pas trop vos tables Lance », notent-ils, racontant comment des fragments trop petits (100 000 lignes chacun) ont rendu les requêtes lentes jusqu'à ce que la compaction soit effectuée. alibaba-cloud-emr-serverless-spark-now-processes-multimodal-data-via-sql-no-python-needed

JPEG à qualité 92 : les chiffres justifient le choix

Une affirmation technique notable est que le stockage d'images d'entraînement en JPEG à qualité 92 est essentiellement imperceptible par rapport au PNG sans perte, même après plusieurs cycles de ré-encodage. Sur des cycles répétés, tant pour des images haute résolution (1, 2 mégapixels) que pour des résolutions inférieures (0,25, 0,5 MP), le premier ré-encodage à qualité 92 a atteint un PSNR de 48,7 dB et 45,1 dB respectivement, avec des scores LPIPS de 0,004 et 0,005. Même après 10 cycles, la dégradation est restée dans la plage imperceptible (PSNR 45,4 et 42,2 dB). L'équipe a également entraîné deux modèles PRX identiques sur les mêmes images, l'un stocké en PNG, l'autre en JPEG, et a constaté que les générations étaient « pratiquement indiscernables ». Seulement environ une génération sur dix de chaque modèle présentait une structure de quantification détectable, et les différences étaient minimes. La conclusion : le stockage JPEG de haute qualité n'ajoute rien de mesurable à ce que les sources apportent déjà, tandis que le PNG serait 3 à 10 fois plus volumineux sans gain perceptuel. chrome-experiments-with-cross-origin-storage-api-to-eliminate-duplicate-ai-model-downloads

Re-légender tout : la rapidité avant les métriques

Photoroom a re-légendé chaque image du corpus à l'aide d'un modèle vision-langage, plutôt que de se fier à des légendes sources incohérentes. Ils ont présélectionné trois candidats : Qwen2.5-VL-7B-Captioner-Relaxed, Qwen3-VL-8B et Qwen3.5-9B. Lors des benchmarks, Qwen3.5-9B était le meilleur sur les trois métriques (FID 10,51, CMMD 0,278, DINO-MMD 0,162), avec Qwen3-VL-8B juste derrière pour la FID (10,98) et la DINO-MMD (0,182). Cependant, l'équipe a choisi Qwen3-VL-8B car il était le plus rapide (20 images par seconde par GPU H200) et disposait d'un support vLLM stable et prêt pour la production. Qwen3.5-9B, bien qu'il produise d'excellentes légendes, tournait à seulement environ 6,5 images par seconde et nécessitait des dépendances nocturnes instables au moment de la décision. L'article avoue que le système de légende « Relaxed » Qwen2.5-VL atteint en réalité les mêmes 20 images par seconde une fois un bug corrigé, mais cela n'a été découvert que plus tard. alibabas-qwen-readies-its-next-leap-a-35b-agent-world-model-and-the-quiet-expansion-of-the-qwen3-family

Filtrage et déduplication : légers et réversibles

L'équipe a construit un passage de classification léger utilisant Qwen3-8B en mode texte uniquement, qui lit chaque légende pour étiqueter les échantillons comme « visuel », « texte » ou « nsfw ». Classifier à partir de la légende plutôt que des pixels est peu coûteux, environ 200 légendes par seconde par GPU, et réutilise un travail déjà effectué. Pour la déduplication, ils ont utilisé un hachage perceptuel standard basé sur la DCT. Seuls les doublons exacts au niveau des pixels (distance de Hamming nulle) sont supprimés. Les prises de vue véritablement différentes du même sujet sont conservées. Au lieu de réécrire le corpus, tous les échantillons filtrés et en double sont gérés via des listes de saut par fragment, un mécanisme flexible qui prend également en charge les désinscriptions des utilisateurs sans réécrire l'ensemble de données. Le seul avertissement : une fois que la fraction sautée dépasse environ 10 %, il devient intéressant de réécrire l'ensemble de données. microsofts-bet-on-small-models-for-agentic-ai-is-about-orchestration-not-knowledge

Implications pour les autres

La stratégie de données de Photoroom n'est pas celle d'un grand laboratoire. C'est une approche mesurée et itérative d'une startup qui a ouvert un modèle texte-image 7B sous licence Apache 2.0. Les décisions, JPEG plutôt que PNG, le système de légende le plus rapide plutôt que les meilleures métriques, les listes de saut plutôt que les réécritures, visent toutes à échanger la perfection contre la vélocité. L'article offre un rare aperçu de la véritable ingénierie des données, sans glamour, qui sous-tend les modèles de diffusion modernes. La série promet de futurs articles sur le réglage fin et l'alignement des préférences, où le compromis passera de l'ampleur à la qualité. the-math-says-general-ai-is-a-myth-biology-markets-and-machine-learning-all-agree