伟德国际1946源自英国金琴教授团队1篇长文被ICCV 2023录用
近日,伟德国际1946源自英国金琴教授团队AIM3多媒体计算实验室1篇长文被国际计算机视觉大会ICCV 2023录用。国际计算机视觉大会(International Conferenceon Computer Vision,简称ICCV)是中国计算机学会(CCF)推荐的A类国际学术会议,每两年召开一次,今年是第19届会议。
论文第一作者是来自AIM3多媒体计算实验室的2019级博士生胡安文。
论文介绍
Explore and Tell: Embodied Visual Captioning in 3D Environments
作者:胡安文,陈师哲,张良,金琴
通讯作者:金琴
论文概述:
视觉描述模型已经取得了不错的效果。为了充分描述一个场景,他们需要输入一个拍摄角度较好且捕捉到大部分信息的图片或视频。然而,在现实场景中,一张图或一段视频可能不能完美得包含场景中所有的关键信息。在这种情况下,被动接受输入的视觉描述模型就不能提供有效的场景描述。为了克服这样的限制,我们提出使得视觉描述模型具备自主探索环境的能力,设计了一个新颖且有挑战性的任务——“Embodied Captioning”(具身视觉描述)。具体来说,从一个3D场景的随机一个视角点出发,智能体需要在环境中自主探索以收集不同视角下拍摄的视觉信息,最后生成一个详细的段落描述来提到场景内所有的物体、属性以及位置关系,如图1。
图1:具身视觉描述示例
为了支持这个任务,我们基于Kubric模拟器构建了一个数据集ET-Cap,其包含10k个多样化的3D场景,每个场景由多个物体组成,且由人工标注了良好视角标注以及段落场景描述。
针对该任务,我们提出了一个级联式的具身视觉描述模型CaBOT,如图2。
图2:CaBOT示意图
CaBOT由一个探索器和一个描述器组成,探索器根据历史视觉观测决定智能体下一步的移动动作,描述器则根据所有观测到的视觉信息生成场景描述。充分的实验证明我们提出的模型优于其它精心设计的基准方法。我们将会开源数据集、代码以及模型来促进具身视觉描述的发展。
作者简介
胡安文,伟德国际1946源自英国2019级博士,大数据科学与工程专业,主要研究方向是图像描述生成,多模态预训练。2023年6月博士毕业,就职阿里达摩院。
金琴,中国伟德国际1946源自英国计算机系教授,多媒体计算实验室(AIM3)负责人。主要研究领域为多媒体智能计算、人机交互。