Le Spark Serverless EMR d'Alibaba Cloud traite désormais images et vidéos en SQL pur, sans Python nécessaire

Alibaba Cloud a ajouté la prise en charge multimodale à sa fonction AI d'E-MapReduce (EMR) Serverless Spark. Les images, trames vidéo et blobs binaires fonctionnent désormais directement dans les requêtes SQL. La mise à jour est arrivée avec la version esr-4.7.0, basée sur Spark 3.5.2. Les ingénieurs de données peuvent cesser de transférer des données entre les notebooks Python et les points de terminaison de service ML. L'inférence de vision s'exécute comme une fonction SQL standard aux côtés du travail ETL existant.

Trois façons d'alimenter les images en SQL

La fonction AI expose deux capacités principales : ai_query gère la compréhension et la classification d'images ; ai_embedding_multimodal génère des embeddings vectoriels à partir de données visuelles. Les deux prennent en charge trois modes d'entrée :

• Champ DLF Blob : stocker les données image binaires directement dans une colonne de table et les passer à la fonction.
• Chemin URI : référencer les fichiers image stockés dans OSS, OSS-HDFS ou d'autres systèmes de fichiers compatibles Hadoop. La fonction lit le fichier en interne.
• read_files + binary : lire par lots des images depuis un répertoire sans créer de table au préalable, en utilisant le paramètre suffix pour le filtrage par type de fichier.

Cela résout un problème courant pour les équipes qui entreposent déjà des chemins d'image dans des tables structurées mais doivent exécuter une inférence sans réécrire leurs pipelines.

Cas de conduite autonome : de l'annotation manuelle à l'ETL SQL

Alibaba Cloud a démontré la capacité avec un scénario de prétraitement de données de conduite autonome. L'analyse traditionnelle de dashcam repose sur des équipes d'annotation manuelle. C'est coûteux, lent et sujet aux erreurs sur les véhicules rares ou les structures routières complexes.

En utilisant ai_query avec Qwen 3.6-plus, l'équipe a construit un pipeline ETL standard. Il lit les images brutes depuis OSS, applique une invite décrivant cinq catégories visuelles (rond-point, voiture de police, camionnette, camion-grue, aucun des précédents) et produit des résultats JSON structurés, le tout dans une seule instruction SQL.

La tâche a été accomplie en quelques secondes sur cinq images test haute résolution, identifiant correctement les véhicules et les caractéristiques routières. Les cas limites ont fonctionné : lorsqu'on lui a donné une image ne correspondant à aucune catégorie définie, le système a renvoyé un tableau vide au lieu d'halluciner une étiquette.

Modèles et chemins d'intégration

EMR Serverless Spark est livré avec plusieurs modèles intégrés appelables sans inscription : Qwen 3.6-plus, Qwen 3.5-plus, Qwen-plus, text-embedding-v4 et tongyi-embedding-vision-plus. Pour le travail en entreprise, la plateforme prend en charge l'intégration avec PAI-EAS pour les modèles déployés de manière sécurisée dans un VPC et Alibaba Cloud Model Studio pour les tests rapides de preuve de concept.

L'architecture prend également en charge les LLM externes, notamment DeepSeek, KIMI, GLM et MiniMax via un mécanisme unifié d'enregistrement de service de modèle.

Embeddings vectoriels pour la récupération multimodale

La fonction ai_embedding_multimodal convertit les images en embeddings vectoriels qui peuvent être écrits directement dans Milvus ou d'autres bases de données vectorielles. Cela permet la recherche texte-image multimodale et la récupération multimodale.

Alibaba Cloud positionne cette mise à jour comme un catalyseur pour la boucle fermée de données de conduite autonome, des séquences brutes de caméra aux étiquettes structurées, embeddings et ensembles de données prêts pour l'entraînement, le tout au sein d'un seul pipeline Serverless Spark.