深圳市人工智能产业协会 - 【产业资讯】腾讯视频将上线“无障碍剧场”，视障人士可免费观看600余部经典影视作品

当前的位置:

详情

LLM已经可以理解文本和图片了，也能够根据它们的历史知识回答各种问题，但它们或许对周围世界当前发生的事情一无所知。

现在LLMs也开始逐步学习理解3D物理空间，通过增强LLMs的「看到」世界的能力，人们可以开发新的应用，在更多场景去获取LLMs的帮助。

AI Agent，比如机器人或是智能眼镜，它们可以通过感知和理解环境来回答一些开放性问题，比如「我把钥匙放哪里了？」

这样的AI Agent需要利用视觉等感知模式来理解其周围环境，并能够用清晰的日常语言有效地与人交流。

这类似于构建一个「世界模型」，即AI Agent可以对外部世界产生它自己的内部理解方法，并能够让人类通过语言查询。

这是一个长期的愿景和一个有挑战的领域，也是实现人工通用智能的重要一步。

Meta的新研究OpenEQA（Embodied Question Answering）框架，即开放词汇体验问答框架，为我们探索这个领域提供了新的可能。

EQA是什么？

EQA（Embodied Question Answering）是一种工具，用于检查AI Agent是否真正理解周围世界发生的事情。

毕竟，当我们想要确定一个人对概念的理解程度时，我们会问他们问题，并根据他们的答案形成评估。我们也可以对实体AI Agent做同样的事情。

比如下图的一些问题实例：

[物体识别]

问：椅子上的红色物体是什么？

答：一个背包

[属性识别]

问：在所有的椅子中，这把椅子的独特颜色是什么？

答：绿色

[空间理解]

问：这个房间可以容纳10个人吗？

答：可以

[物体状态识别]

问：塑料水瓶是开着的吗？

答：不是

[功能推理]

问：我可以用铅笔在什么东西上写？

答：纸

[世界知识]

问：最近有学生在这里吗？

答：有

[物体定位]

问：我的未喝完的星巴克饮料在哪里？

答：在靠前的白板旁边的桌子上

除此之外，EQA也更加有直接的应用。