Categories
程式開發

OPPO研究院成立智能感知与交互研究部,首次公开展示研发成果


一年一度的全球计算机视觉顶级会议CVPR(Conference on Computer Vision and Pattern Recognition国际计算机视觉与模式识别会议)落下帷幕,该会议是由IEEE(国际计算机视觉与模式识别会议)举办的计算机视觉和模式识别领域的顶尖会议。每年汇聚全球顶尖的相关专家、学者和研究者,共同关注和探讨计算机视觉技术的发展方向与趋势。

InfoQ了解到,在CVPR 2020的一系列学术竞赛中,OPPO共获得两项第一、两项第三,获奖技术成果包括:将模糊的照片智能处理清晰的超分技术,凭照片定位拍摄方位技术以及通过录像识别人类行为技术。

据悉,此次OPPO参加CVPR 2020的多项获奖成果均来自今年年初新成立的智能感知与交互研究部门。今年3月,前小鹏首席科学家郭彦东加入OPPO并担任OPPO智能感知首席科学家,领导快速组建并完善专业科研团队。目前,智能感知与交互研究部已初具规模,并引进了许多顶尖科技公司与科研院校人才。

郭彦东表示:“非常高兴能在今年的CVPR竞赛中取得优秀成绩,这是OPPO研究院智能感知与交互研究部成立以来首次公开展示研发成果,分别对应环境感知、以人为本的计算、以及数字生成三个核心研究方向,充分反映了OPPO在人工智能领域的深厚积淀与实力。”

在本次大会上,OPPO获得第一名的技术成果为:将模糊图片“算”清晰的“极端超级分辨率感知”技术;此外,通过照片计算拍照方位的”手持设备视觉定位”技术则获得第三名和分项第一;通过读取录像智能识别其中人类行为的“长视频行为识别”技术同时获得第三名。

超分技术成果,凭空将模糊图片算清晰

“极端超分辨率感知”( Perceptual Extreme Super-Resolution)是CVPR难度最高的赛项之一,要求从模糊的低分辨率图片中,获得细节更清晰、更接近真实情况的高清图像。

针对这项挑战,OPPO提出了独创的神经网络架构RFB-ESRGAN,通过更智能的方式提取原图特征,用分布式算法提高计算效率,以更多元的采样与计算模型配合,通过计算把模糊的图片清晰放大了16倍,从全球280多个顶尖参赛团队中脱颖而出,获得第一名。

OPPO研究院成立智能感知与交互研究部,首次公开展示研发成果 1

OPPO极端超分辨率感知处理效果,最左侧图片红框内为原图,最右侧为最终结果

这项技术将在未来为诸多应用场景提供帮助,例如将用户手机拍摄到的模糊影像处理成细节丰富的高清效果,修复图像受到损坏的老照片、老电影,或者对卫星、航天图像进行细节分析等工作。

OPPO研究院成立智能感知与交互研究部,首次公开展示研发成果 2

人工智能程序对图片从多维度进行分析

视觉定位和长视频行为识别

在“手持设备视觉定位”挑战(Visual localization for handheld devices challenge)中,OPPO获得了面向室外场景的数据集(Aachen Day-Night)第一名,与面向室内场景的数据集(InLoc)第三名。

“视觉定位”是通过搜集和分析图像中的海量信息,对自身拍摄方位作出精确判断。OPPO团队自主设计的全新分析流程,可以智能分析图像信息的分类标签及图像深浅信息,大量排除错误结果,从而显著提升分析准确程度。这一技术对未来的AR眼镜,智能机器人,精准导航等应用都能起到重要作用。例如,当智能机器人助手安装了摄像头之后,就可以利用视觉定位技术对拍摄到的图像作运算分析,获得准确定位,从而精准的移动。

此外,OPPO在“长视频行为识别”(Activity detection in extended videos)赛项中获得了第三名。

“视频行为识别”是指在某段视频中分析并判断人或物体对象的行为动作。OPPO的智能程序可高效识别并重组每一帧画面中的人物,辨别复杂动态视频中的人类行为。在一段数十人出镜的长视频中,它准确识别了视频中每个人走动或是聊天等的数十种动作。这项技术在未来能广泛应用在人机交互、运动分析等领域,例如未来的手机产品便可以自动识别正在运动的拍摄对象,并自动调节快门对焦。

OPPO研究院成立智能感知与交互研究部,首次公开展示研发成果 3

视频行为识别结果

除OPPO研究院智能感知与交互研究部之外,OPPO美国研究所也在CVPR上有所收获,取得了“真实世界超分辨率图像处理技术”(Real-World Super-Resolution Challenge:Track 1: Image Processing artifacts)第六名的成绩。

OPPO美研所时空实验室主管孟子博在CVPR做了暗光影像技术演讲“穿透黑暗:从图像到视频”(Looking into the dark: from image to video),AI计算机视觉高级技术总监全书学做了“从零开始构建可在智能手机和AR眼镜上运行的统一SLAM系统”演讲(Building a unified SLAM system running on both smartphone and AR glass from scratch)。