4月初,扎克伯格在F8开发者大会上继VR之后再亮相AR 计划,Facebook 计划通过相机视图环境来构建AR新平台。无独有偶,去年底美国科技博客网站AppleInsider爆料,苹果公司欲将AR技术融入手机照相应用;业内对AR技术的关注一时间甚至超越VR,尤其是以Facebook、Instagram等等以相机为载体的社交互动平台,更把AR视为完善用户体验的新利器,AR也因此成为视觉化社交新战场,科技互联网大佬都蠢蠢欲动。
这两天,一款基于奇葩说的AR场景“全民奇葩说”互动玩法备受关注。这次新潮的AR社交玩法由国内图片社交软件in APP基于场景渲染和实时动态抠图技术,并围绕用户的互动体验最终得以场景呈现,用新的AR社交玩法,使得用户的社交互动体验得以提升。信不久的将来以相机为载体的各大社交平台,AR将成为抢夺社交制高点的新战场。
图像技术新革命:AR相机全球爆红
自移动互联网兴起,视觉化社交媒体逐渐替代传统的文字社交成为主流,十余年来全球互联网网民们经历了从写博客、更新轻博客和写轻微博,缩短成发推特,最后变成更新 Instagram 和 Snapchat,这种以图像为主的社交方式渐成主流,将互联网带入了视觉化社交时代。
(in APP AR图片示例)
in APP早在去年年底就尝试在AR相机上做技术研发和探索,结合线下上百家商业中心在春节期间推出的“AR刷脸抢红包”活动在当时引起很大的反响。此次,in APP将这种AR玩法进行了升级,推出了AR超时空相机,用户可在手机端实现个人AR图像、AR短视频的制作。有别于二维图像、视频的形式,AR超时空相机渲染的3D效果带来全新的视觉体验,也因此,这种玩法一上线就抓足了眼球。
(Facebook AR图片示例)
in APP算是国内尝试AR社交玩法比较早的社交平台,相比之下,Facebook这样的社交巨头加入要算晚了。F8开发者大会上扎克伯格推出了Camera Effects Platform(相机特效平台)AR平台,及两款AR 工具AR Studio和Frame Studio,有了Facebook等大佬们的加速推动,可以预见,未来AR社交的竞争或将在不久进入白热化阶段。我们从上文in APP与Facebook两款产品的AR图片可以看出来,3D效果的图像满足用户对图像表现的进一步需求,好玩并且极具大片感觉成为网民新的喜好,这给原本以图片为主战场的社交APP提供了新思路。
今年3月份,in APP进行了重大框架式产品革新,加入了短视频功能, 结合AR社交的新玩法,成为in APP未来拉新、盘活平台社交活跃度的新武器。经过多年的普及短视频早已成为网民重要的视觉化社交新方式,而AR短视频带来的全新3D视频体验,将引领移动互联网短视频社交的新风潮,而in APP也借此进入新的领域。
什么是图像语义分割?短视频进入AR时代
提到AR视觉化,就不得不提图像语义分割技术。包括Facebook、in APP和其他入局者,所发力的AR无不基于此,在F8开发者大会上,扎克伯格演示了内容丰富、完美彩排的关于AR平台的功能,呈现了虚拟世界和现实世界结合的新方式。相比于需要强大硬件支撑的VR技术,在移动端实现AR效果的AR相机更容易落地,预测未来将被视觉化社交平台广泛使用。
(图像语义分割AR成像示例)
扎克伯格认为,AR这一可以将虚拟图像叠加到日常生活环境上的特性,这一虚拟与现实的融合能够让我们更好的分享、沟通和体验世界。而提到AR就不得不提图像语义分割技术,图像语义分割已是现代图像理解的基石技术,就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。在我们熟知的自动驾驶系统(具体为街景识别与理解)、无人机应用(着陆点判断)以及穿戴式设备应用中已被广泛应用。
in APP推出的AR超时空相机基于深度卷积神经网络的图像语义分割技术,AR超时空相机简单来说,是通过移动端实施人像分割技术,实现了像素级别的图片识别。In APP在AR场景探索时也遇到了难题,如何在弱计算能力的手机上给用户呈现了完美的AR场景沉浸感体验,in APP通过软件算法替代传统硬件模式,在计算实力有限的手机端实现图像动态分割,才把AR到应用层面的门槛拉低。
以往AR相机大多实现的是AR图片,因为图像语义分割对硬件要求极高,in APP完成在移动设备(Android/iOS)实时处理摄像头图像,在极其有限的计算资源下要达到效果,由硬件思维转变在软件上突破,使得AR短视频成为现实。相比二维图像AR照片/短视频对用户的吸引力度更大,未来图像/短视频或全民进入AR时代。