菜单在图片里,要求在文字里
多模态AI就是能同时处理多种信息形式的人工智能:文字、图片、声音可以一起输入,它把几路信息结合起来回答你的问题。
小林拍下一张菜单,问:"帮我找出标价不超过 30 元的面食。"系统需要从照片中辨认菜名、价格和对应位置,再把"面食""30 元以内"这些文字条件结合起来,才能给出答案。如果价格一栏反光,看不清的是 28 还是 38,图片里没有的细节,回答里只能标为不确定;直接猜成 28 元,会把识别不确定性藏起来。
照片与文字,各提供一部分信息
- 01菜单照片
菜名、价格及它们的对应位置
- 02文字问题
面食,价格不超过30元
- 03结合后的回答
按条件筛选,并标出无法确认的项目
图中的答案依赖两路输入;反光或模糊处仍可能无法识别。
不只是把不同文件装进一个上传框
文字、图像、声音可以提供互补线索:看路口照片时,画面说明位置关系,用户的问题说明想找什么;处理视频时,还可能结合声音与画面随时间的变化。
但一个产品能接收 PDF,还要看它怎么处理:有的流程只抽取文字,有的会分析页面图像。是否处理了图片、音频或布局,要看实际输入能力和应用如何传递材料。
看懂几种输入,与生成几种输出不同
某个模型能读图并用文字回答,未必能生成图片;能处理声音,也未必支持视频。看懂几种输入和生成几种输出,是两项分开的能力。多模态(跨信息形式)和生成式AI(产生内容)可以交叉,但说的是两件事。