阿里云EMR Serverless Spark现支持用纯SQL处理图像与视频，无需Python

阿里云为其E-MapReduce（EMR）Serverless Spark AI功能增加了多模态支持。图像、视频帧和二进制大对象现在可直接在SQL查询中使用。该更新随基于Spark 3.5.2的esr-4.7.0版本发布。数据工程师无需再在Python notebook和机器学习推理端点之间来回搬运数据。视觉推理作为标准SQL函数与现有ETL工作一同运行。

三种将图像输入SQL的方式

AI功能提供了两大核心能力：ai_query处理图像理解与分类；ai_embedding_multimodal从视觉数据生成向量嵌入。两者均支持三种输入模式：

• DLF Blob字段：将二进制图像数据直接存储在表列中并传递给函数。
• URI路径：引用存储在OSS、OSS-HDFS或其他Hadoop兼容文件系统中的图像文件。函数在内部读取文件。
• read_files + binary：批量从目录中读取图像，无需预先创建表，使用后缀参数进行文件类型过滤。

这解决了那些已在结构化表中存储图像路径、但需要在无需重写流水线的情况下运行推理的团队的常见痛点。 the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

自动驾驶案例：从人工标注到SQL ETL

阿里云通过一个自动驾驶数据预处理场景展示了该能力。传统的行车记录仪分析依赖人工标注团队，成本高、速度慢，且对稀有车辆或复杂道路结构容易出错。

使用ai_query配合Qwen 3.6-plus，团队构建了一个标准ETL流水线。它从OSS读取原始图像，应用描述五种视觉类别（环岛、警车、皮卡、吊车/叉车、以上皆非）的提示词，并输出结构化的JSON结果, , 这一切都在一条SQL语句中完成。 how-alibaba-cloud-pushed-its-way-into-20-gartner-quadrants-and-what-it-means-for-the-ai-cloud-race

任务在数秒内完成，处理了五张高分辨率测试图像，准确识别出车辆与道路特征。边缘情况也表现良好：当给出不匹配任何定义类别的图像时，系统返回空数组而非虚构标签。

模型与集成路径

EMR Serverless Spark内置了数个可直接调用的模型，无需注册：Qwen 3.6-plus、Qwen 3.5-plus、Qwen-plus、text-embedding-v4和tongyi-embedding-vision-plus。对于企业级工作，该平台支持与PAI-EAS集成，以使用安全的VPC部署模型，以及阿里云百炼进行快速概念验证测试。 how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

该架构还通过统一的模型服务注册机制支持外部大语言模型，包括DeepSeek、KIMI、GLM和MiniMax。

用于多模态检索的向量嵌入

ai_embedding_multimodal函数将图像转换为向量嵌入，可直接写入Milvus或其他向量数据库。这实现了跨模态的文本-图像搜索和多模态检索。 microsofts-new-platform-gives-scientists-a-governed-factory-for-ai-agents

阿里云将此次更新定位为自动驾驶数据闭环的推动者, , 从原始摄像头画面到结构化标签、嵌入和训练就绪的数据集，全部在单个Serverless Spark流水线中完成。