金琴副教授团队在第二届之江杯全球人工智能大赛中勇夺冠军

更新时间:2019-10-21 15:50:10 浏览量:

10月16至18日,第二届之江杯全球人工智能大赛决赛在杭州顺利举办。金琴副教授团队在技术挑战赛视频描述生成赛题上,成功在214个队伍中脱颖而出,勇夺冠军,并获得30万人民币的奖金奖励。这是金琴副教授团队继MSR “Video to Language” Grand Challenge,CVPR ActivityNet “Dense Video Captioning” Challenge,NIST TRECVID “Video to Text Description” Challenge等国际赛事连续夺冠后,再次在该任务上夺得冠军,展现了该团队在图片/视频描述生成领域领先的科研水平。此次参赛队伍学生成员包括:宋宇晴,赵一达,陈师哲。

之江杯全球人工智能大赛是由之江实验室承办,阿里巴巴集团赞助的大型国际性赛事。大赛共设置了四个赛题,分为技术挑战赛(视频描述生成)和创新赛(零样本目标检测,行人多目标跟踪,电商评论观点挖掘)两类赛题。此次大赛共吸引了全球1700多支队伍,共5000余名选手参加比赛。自今年7月17日开放报名起,历时三个多月,经初赛、复赛层层选拔,共有40支队伍入围决赛。

比赛的决赛包括现场答辩与现场PK环节。金琴副教授团队在比赛中,重点着眼于解决全面识别视频中的场景,对象和生成准确且自然的视频描述这两大难题。采用了多模态融合及语义概念增强的视频语义编码方式,来减少视频和自然语言表达之间的鸿沟。模型方面,使用了基于综合时序和语义的注意力机制辅助模型生成描述,并充分利用语言模型和视频-语义检索模型分别从流利度和内容相关性两个方面更有效的融合选择候选描述结果。该模型无论是在机器评分,还是专家现场打分上都表现出了明显的优势,最终成功夺得第一名。

潘云鹤院士和杭州市市委副书记张仲灿为四道赛题的一等奖团队代表颁奖。

左二为队伍代表宋宇晴

入围决赛队伍最终排名如下:

 

从左至右为:宋宇晴,金琴,赵一达