2019年,南京大学的一个团队发布了COIN数据集,这是一份收集了近12万段教学视频的数据集,专门用来考验AI能不能看懂"人在做什么"。
七年后的今天,再看这个赛道会发现一件挺有意思的事:能看懂视频的AI越来越强,但让同一个AI回答不同类型的问题,反而成了一个没解决好的难题。
你可能会问,这有什么难的?视频语言模型不是早就能回答"这个人在干什么"了吗?问题在于,教学视频里藏着的任务远不止"识别当前动作"这一种。同一段切土豆的视频,你可以问"现在在做什么"(识别),可以问"接下来会做什么"(预测),可以问"整个视频在完成什么任务"(目标识别),还可以问"请列出接下来三个步骤"(流程预测)。这些问题看起来都是"看视频回答
盛达优配提示：文章来自网络，不代表本站观点。
