时间:2023-07-27|浏览:168
ImageBind是一种以视觉为核心的AI模型,可以理解和转换6种不同模态之间的数据。Meta展示了一些案例,比如听到狗叫可以画出一只狗,并给出深度图和文字描述;输入鸟的图像加海浪的声音可以得到鸟在海边的图像。
与之前只支持一个或两个模态且难以互动和检索的多模态AI模型相比,ImageBind具有突破性意义。它是第一个能够同时处理6种感官数据的AI模型,也是第一个在没有明确监督的情况下学习一个单一嵌入空间的AI模型。
ImageBind的核心方法是将所有模态的数据放入一个统一的联合嵌入空间,无需通过不同模态组合进行训练。利用近期的大型视觉语言模型,将视觉和其他模态扩展到新的联合嵌入空间。
对于那些原始数据中没有直接联系的模态,如语音和热量,ImageBind表现出了涌现能力,可以自动将它们联系起来。
有行业观察者将ImageBind与元宇宙联系在一起,为设计和体验身临其境的虚拟世界打开了大门。Meta的研究团队表示,未来还将加入触觉、语音、嗅觉和大脑功能磁共振信号,进一步探索多模态大模型的可能性。
同时,Meta表示ImageBind可以利用DINOv2的强大视觉功能进一步提高能力。DINOv2是Meta开源的计算机视觉预训练模型,与Meta的元宇宙愿景密不可分。Meta的CEO扎克伯格强调,DINOv2可以为元宇宙的建设提供强大支持,提升用户在元宇宙中的沉浸体验。
尽管ImageBind目前还只是研究项目,没有直接的消费者用户或实际应用,但随着模型的完善,AI应用场景将进一步扩展,元宇宙建设也将更加先进。
例如,当ImageBind融入虚拟现实设备时,使用者可以获得更沉浸式的体验,不仅可以感受游戏场景的温度,还能感知物理层面上的运动。
据国盛证券分析师刘高畅预测,随着多模态的发展,AI的泛化能力将提高,通用视觉、机械臂、物流搬运机器人、行业服务机器人和智能家居等将进入人们的生活。未来5-10年内,复杂多模态方案结合的大模型有望具备与世界交互的能力,在通用机器人和虚拟现实等领域得到应用。
来源:科创板日报 作者:科创板日报