【中国科学报】视频大数据时代的“火眼金睛”
2017-04-17 中国科学报 沈春蕾 陈昭
【字体：大 中 小】
语音播报
我们身处一个大数据的时代，视频数据的爆炸性增长是这个时代的重要特征之一。“如何让计算机看懂视频的内容，实现对海量视频数据的检索和分析是有效管理和利用视频大数据的关键。”中国科学院自动化研究所研究员王金桥告诉《中国科学报》记者。
多年来，王金桥所在的模式识别国家重点实验室图像与视频分析组，聚焦上述核心技术目标，在视频内容检索、目标检测与跟踪这两大主要任务上突破诸多重要技术壁垒，积累了丰富的核心算法，展开了一系列有特色的应用。
技术不应止步于实验室
在视频检索方面，图像与视频分析组基于多模态的语义描述，提出了跨模态四元组度量学习方法。王金桥解释道：“该方法可充分融合多类别和多部件等信息，形成了以目标、场景、概念、事件为主体的端到端多粒度结构化语义描述框架，以实现对视频内容的认知理解。”
在目标跟踪方面，图像与视频分析组提出多部件结构上下文学习的跟踪算法，克服了目标局部遮挡和变形造成的目标漂移问题；提出深度特征蒸馏的目标跟踪方法，在不损失跟踪性能前提下将跟踪速度提高了5倍以上。
依靠上述在理论、方法上的创新和经验积累，图像与视频分析组在第一届、第二届智慧城市视频分析技术挑战赛，欧洲图形国际会议多视角目标检索竞赛，美国TRECVID视频实例检索比赛等国内外多项赛事中屡获优异成绩，展现了在视频分析这一领域的超强实力。
据王金桥介绍，在2016上海BOT视觉大数据识别竞赛中，由团队成员组成的ITdog队一路过关斩将，从400支代表队中脱颖而出，最终获得计算机视觉竞赛的第一名和最佳算法奖。王金桥表示：“我们的竞争对手中不乏来自清华、北大、上海交大、哈工大，以及百度、阿里、360等著名高校和行业巨头企业的队伍。”
在复赛任务“货架精细目标检测和识别”中，他们采用了尺度自适应反卷积稠密检测网络，并融合多任务四元组的精细排序模型，在236种货架商品中精细区分出87种薯片、88种方便面和64种洗发水。决赛任务是由12种动物、5种场景和5种物品组成“智能视觉问答”，他们用同样算法在比赛中展现出良好的性能，最后成绩比第二名高出一百多分。
“先进的技术不应该止步于实验室。”王金桥说，“我们始终关注着企业和市场的实际需求，努力将研究成果应用到实际生产生活之中。”目前，团队高效目标检测与跟踪的多项研究成果已经作为视频分析、检索及其相关智能信息服务的核心技术，通过各种方式落地转化，特别是针对人、车、物等不同类别的目标形成了不同的产品，已经走进人们的生活。
不只识人 慧眼识车
2016年7月，图像与视频分析组与联想大数据研究部共同发布了针对零售行业视频分析的解决方案——V-Perceptor。王金桥介绍道，该解决方案能够利用门店里摄像头拍下的视频数据实时分析客流、进店率、顾客在店内的运动路线等信息。
V-Perceptor主要能实现三个方面的功能：一是店内区域热度图分析，分析店内区域人流热度、顾客的统计分析（比如顾客年龄，性别等），从而帮助商家知晓店内人流的分布情况。二是店内顾客的运动轨迹分析，据此对店内布局、商品摆放给出合理性的建议。三是回头客识别，为回头客提供精细化个性化服务，进而改善服务体验，提升店面联系客户、运营客户的能力。
王金桥透露，目前V-Perceptor已经在北京世纪金源联想零售3C店试点使用，并计划在100家店面进行部署测试。
如今，各种用途的监控摄像头已经遍布街头巷尾，然而由摄像头产生的海量监控视频数据结构化利用率极低。据统计，80%以上的案件需要从监控视频中获取线索，公安部门工作量巨大，海量视频的智能检索十分迫切。
在此背景下，针对车辆识别的需求，图像与视频分析组与华为、武汉大千公司等合作开发了“车型大数据精准分析检索平台”，实现车型、车款、车颜色、车属性的精确识别。目前这一产品已经在河南、湖北、贵州、广东等地的公安侦查、交管部门应用。
基于四元组深度排序学习的车型大数据分析检索算法能够精准识别包括车型、车款、颜色的4000类车头信息、1500类车尾信息，以及包括驾乘人员、人脸、年检标、遮阳板、纸巾盒、转金桶、摆件、安全带、打电话、行李架、天窗在内的11种车属性信息。王金桥指出：“这些信息形成了每一辆车唯一的‘车纹’，从而实现在海量的监控视频中快速检索并跟踪目标车辆。”
此外，在公安侦查方面，该平台能够快速查找嫌疑车辆在全城市的行驶轨迹，实施布控、跟踪和抓捕；如果获得嫌疑车数据，可以在可疑车辆数据库里实时进行搜索分析。“即便车辆经过换牌照、重新喷漆等改装，也逃不过该系统的‘火眼金睛’。”王金桥补充道。
智能辨物 无缝关联
各种智能家居产品已经走进人们的日常生活，如果在冰箱中安装摄像头，从它拍下的视频中能够获得什么信息呢？
为此，图像与视频分析组将基于尺度敏感的多特征学习的目标检测算法用在视频中食品的检索、跟踪和分析上，能识别100多种食品，识别精度达到90%以上。王金桥称：“目前该技术已在某公司冰箱产品中投入使用，消费者马上就能在市面上买到这款智能冰箱了。”
这款智能冰箱不仅有眼睛“看得见”，还有大脑能分析思考。通过冰箱内部安装的摄像头，冰箱可对视频内食品信息进行识别、跟踪，就能获知用户消耗的食品类别和数量。这些数据实时上传后台的健康大数据平台，还能为用户提出个性化的健康饮食建议。
“在我们观看的电视节目和网络上视频内容中，天天都能看到大量的广告内容。商家希望广告投放更加精准，同时观众们又不希望广告内容影响观看效果。”王金桥说，“面对这样的需求，视频检索与分析技术就有它的用武之地了。”
据悉，图像与视频分析组与影谱公司合作，建立了基于视频的广告关联营销平台，即通过多通道协同提升的级联目标检测方法实现视频中感兴趣的目标和商品的精确检测，并提取视频中目标所在关键帧的指纹和目标本身的视觉特征，结合影谱的在线渲染技术，实现商品的无缝植入和替换技术，达到“虚实结合”“无中生有”的广告投放。
此外，通过商品的视觉相似性计算建立与购物网站的商品关联，观众能够方便快速购买节目中感兴趣的同款商品。2016年6月，双方联合发布“易寻”产品，已经在多个合作视频网站上线和卫视电视节目中应用。
（原载于《中国科学报》 2017-04-17 第6版 院所)
我们身处一个大数据的时代，视频数据的爆炸性增长是这个时代的重要特征之一。“如何让计算机看懂视频的内容，实现对海量视频数据的检索和分析是有效管理和利用视频大数据的关键。”中国科学院自动化研究所研究员王金桥告诉《中国科学报》记者。
多年来，王金桥所在的模式识别国家重点实验室图像与视频分析组，聚焦上述核心技术目标，在视频内容检索、目标检测与跟踪这两大主要任务上突破诸多重要技术壁垒，积累了丰富的核心算法，展开了一系列有特色的应用。
技术不应止步于实验室
在视频检索方面，图像与视频分析组基于多模态的语义描述，提出了跨模态四元组度量学习方法。王金桥解释道：“该方法可充分融合多类别和多部件等信息，形成了以目标、场景、概念、事件为主体的端到端多粒度结构化语义描述框架，以实现对视频内容的认知理解。”
在目标跟踪方面，图像与视频分析组提出多部件结构上下文学习的跟踪算法，克服了目标局部遮挡和变形造成的目标漂移问题；提出深度特征蒸馏的目标跟踪方法，在不损失跟踪性能前提下将跟踪速度提高了5倍以上。
依靠上述在理论、方法上的创新和经验积累，图像与视频分析组在第一届、第二届智慧城市视频分析技术挑战赛，欧洲图形国际会议多视角目标检索竞赛，美国TRECVID视频实例检索比赛等国内外多项赛事中屡获优异成绩，展现了在视频分析这一领域的超强实力。
据王金桥介绍，在2016上海BOT视觉大数据识别竞赛中，由团队成员组成的ITdog队一路过关斩将，从400支代表队中脱颖而出，最终获得计算机视觉竞赛的第一名和最佳算法奖。王金桥表示：“我们的竞争对手中不乏来自清华、北大、上海交大、哈工大，以及百度、阿里、360等著名高校和行业巨头企业的队伍。”
在复赛任务“货架精细目标检测和识别”中，他们采用了尺度自适应反卷积稠密检测网络，并融合多任务四元组的精细排序模型，在236种货架商品中精细区分出87种薯片、88种方便面和64种洗发水。决赛任务是由12种动物、5种场景和5种物品组成“智能视觉问答”，他们用同样算法在比赛中展现出良好的性能，最后成绩比第二名高出一百多分。
“先进的技术不应该止步于实验室。”王金桥说，“我们始终关注着企业和市场的实际需求，努力将研究成果应用到实际生产生活之中。”目前，团队高效目标检测与跟踪的多项研究成果已经作为视频分析、检索及其相关智能信息服务的核心技术，通过各种方式落地转化，特别是针对人、车、物等不同类别的目标形成了不同的产品，已经走进人们的生活。
不只识人 慧眼识车
2016年7月，图像与视频分析组与联想大数据研究部共同发布了针对零售行业视频分析的解决方案——V-Perceptor。王金桥介绍道，该解决方案能够利用门店里摄像头拍下的视频数据实时分析客流、进店率、顾客在店内的运动路线等信息。
V-Perceptor主要能实现三个方面的功能：一是店内区域热度图分析，分析店内区域人流热度、顾客的统计分析（比如顾客年龄，性别等），从而帮助商家知晓店内人流的分布情况。二是店内顾客的运动轨迹分析，据此对店内布局、商品摆放给出合理性的建议。三是回头客识别，为回头客提供精细化个性化服务，进而改善服务体验，提升店面联系客户、运营客户的能力。
王金桥透露，目前V-Perceptor已经在北京世纪金源联想零售3C店试点使用，并计划在100家店面进行部署测试。
如今，各种用途的监控摄像头已经遍布街头巷尾，然而由摄像头产生的海量监控视频数据结构化利用率极低。据统计，80%以上的案件需要从监控视频中获取线索，公安部门工作量巨大，海量视频的智能检索十分迫切。
在此背景下，针对车辆识别的需求，图像与视频分析组与华为、武汉大千公司等合作开发了“车型大数据精准分析检索平台”，实现车型、车款、车颜色、车属性的精确识别。目前这一产品已经在河南、湖北、贵州、广东等地的公安侦查、交管部门应用。
基于四元组深度排序学习的车型大数据分析检索算法能够精准识别包括车型、车款、颜色的4000类车头信息、1500类车尾信息，以及包括驾乘人员、人脸、年检标、遮阳板、纸巾盒、转金桶、摆件、安全带、打电话、行李架、天窗在内的11种车属性信息。王金桥指出：“这些信息形成了每一辆车唯一的‘车纹’，从而实现在海量的监控视频中快速检索并跟踪目标车辆。”
此外，在公安侦查方面，该平台能够快速查找嫌疑车辆在全城市的行驶轨迹，实施布控、跟踪和抓捕；如果获得嫌疑车数据，可以在可疑车辆数据库里实时进行搜索分析。“即便车辆经过换牌照、重新喷漆等改装，也逃不过该系统的‘火眼金睛’。”王金桥补充道。
智能辨物 无缝关联
各种智能家居产品已经走进人们的日常生活，如果在冰箱中安装摄像头，从它拍下的视频中能够获得什么信息呢？
为此，图像与视频分析组将基于尺度敏感的多特征学习的目标检测算法用在视频中食品的检索、跟踪和分析上，能识别100多种食品，识别精度达到90%以上。王金桥称：“目前该技术已在某公司冰箱产品中投入使用，消费者马上就能在市面上买到这款智能冰箱了。”
这款智能冰箱不仅有眼睛“看得见”，还有大脑能分析思考。通过冰箱内部安装的摄像头，冰箱可对视频内食品信息进行识别、跟踪，就能获知用户消耗的食品类别和数量。这些数据实时上传后台的健康大数据平台，还能为用户提出个性化的健康饮食建议。
“在我们观看的电视节目和网络上视频内容中，天天都能看到大量的广告内容。商家希望广告投放更加精准，同时观众们又不希望广告内容影响观看效果。”王金桥说，“面对这样的需求，视频检索与分析技术就有它的用武之地了。”
据悉，图像与视频分析组与影谱公司合作，建立了基于视频的广告关联营销平台，即通过多通道协同提升的级联目标检测方法实现视频中感兴趣的目标和商品的精确检测，并提取视频中目标所在关键帧的指纹和目标本身的视觉特征，结合影谱的在线渲染技术，实现商品的无缝植入和替换技术，达到“虚实结合”“无中生有”的广告投放。
此外，通过商品的视觉相似性计算建立与购物网站的商品关联，观众能够方便快速购买节目中感兴趣的同款商品。2016年6月，双方联合发布“易寻”产品，已经在多个合作视频网站上线和卫视电视节目中应用。
（原载于《中国科学报》 2017-04-17 第6版 院所)
更多分享
责任编辑：侯茜
扫一扫在手机打开当前页
