El Spark Serverless EMR de Alibaba Cloud ahora procesa imágenes y video en SQL puro, sin necesidad de Python

Alibaba Cloud agregó soporte multimodal a su función AI de E-MapReduce (EMR) Serverless Spark. Las imágenes, fotogramas de video y blobs binarios ahora funcionan directamente dentro de consultas SQL. La actualización llegó con la versión esr-4.7.0, basada en Spark 3.5.2. Los ingenieros de datos pueden dejar de mover datos entre cuadernos de Python y endpoints de inferencia de ML. La inferencia de visión se ejecuta como una función SQL estándar junto con el trabajo ETL existente.

Tres formas de alimentar imágenes en SQL

La función AI expone dos capacidades principales: ai_query maneja comprensión y clasificación de imágenes; ai_embedding_multimodal genera embeddings vectoriales a partir de datos visuales. Ambas admiten tres modos de entrada:

• Campo DLF Blob: almacena datos binarios de imagen directamente en una columna de tabla y pásalos a la función.
• Ruta URI: referencia archivos de imagen almacenados en OSS, OSS-HDFS u otros sistemas de archivos compatibles con Hadoop. La función lee el archivo internamente.
• read_files + binary: lee imágenes por lotes desde un directorio sin crear previamente una tabla, usando el parámetro suffix para filtrar por tipo de archivo.

Esto resuelve un problema común para equipos que ya almacenan rutas de imágenes en tablas estructuradas pero necesitan ejecutar inferencia sin reescribir sus pipelines. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Caso de conducción autónoma: de anotación manual a ETL en SQL

Alibaba Cloud demostró la capacidad con un escenario de preprocesamiento de datos de conducción autónoma. El análisis tradicional de dashcam depende de equipos de anotación manual. Es costoso, lento y propenso a errores en vehículos raros o estructuras viales complejas.

Usando ai_query con Qwen 3.6-plus, el equipo construyó un pipeline ETL estándar. Lee imágenes sin procesar de OSS, aplica un prompt que describe cinco categorías visuales (rotonda, auto de policía, camioneta pickup, camión grúa/elevador, ninguna de las anteriores) y genera resultados JSON estructurados, todo en una sola declaración SQL. how-alibaba-cloud-pushed-its-way-into-20-gartner-quadrants-and-what-it-means-for-the-ai-cloud-race

La tarea se completó en segundos en cinco imágenes de prueba de alta resolución, identificando correctamente vehículos y características de la carretera. Los casos extremos funcionaron: cuando se le dio una imagen que no coincidía con ninguna categoría definida, el sistema devolvió un arreglo vacío en lugar de alucinar una etiqueta.

Modelos y rutas de integración

EMR Serverless Spark incluye varios modelos integrados invocables sin registro: Qwen 3.6-plus, Qwen 3.5-plus, Qwen-plus, text-embedding-v4 y tongyi-embedding-vision-plus. Para trabajo empresarial, la plataforma admite integración con PAI-EAS para modelos seguros desplegados en VPC y Alibaba Cloud Model Studio para pruebas rápidas de prueba de concepto. how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

La arquitectura también admite LLMs externos, incluidos DeepSeek, KIMI, GLM y MiniMax, a través de un mecanismo unificado de registro de servicios modelo.

Embeddings vectoriales para recuperación multimodal

La función ai_embedding_multimodal convierte imágenes en embeddings vectoriales que se pueden escribir directamente en Milvus u otras bases de datos vectoriales. Esto permite la búsqueda multimodal texto-imagen y la recuperación multimodal. microsofts-new-platform-gives-scientists-a-governed-factory-for-ai-agents

Alibaba Cloud posiciona esta actualización como un habilitador para el ciclo cerrado de datos de conducción autónoma, desde imágenes de dashcam sin procesar hasta etiquetas estructuradas, embeddings y conjuntos de datos listos para entrenamiento, todo dentro de un único pipeline Serverless Spark.