7月27日,第二届国际智能娱乐硬件展览会(eSmart)在上海新国际博览中心举行。作为中国首个以智能娱乐硬件为主题的大型展会,eSmart由ChinaJoy主办方及中国VR\AR娱乐产业联盟联合主办。国内VR摄像机领军企业——观界科技IDEALOEYE CEO刘天成发表演讲。
近年来,智能硬件产品得到越来越多消费者的青睐,众多优秀的智能硬件公司和泛娱乐内容提供商也不断涌现,智能娱乐市场正以全新的速度和热度发展起来。近两年,虚拟现实(VR)技术兴起,以VR头显、VR摄像机为代表的一系列VR硬件逐渐崭露头角。
随着VR行业的不断发展,如何制作优质VR内容成为了人们着重思考的方向。“当VR观看端的设备已经足够多的时候,采集端变成了重中之重。”观界科技CEO刘天成就《虚拟现实影视作品的拍摄与逻辑》发表了主题演讲。
据悉,观界科技IDEALOEYE是一家专注于智能计算机视觉、全景视觉技术研发的云端服务解决方案提供商,拥有全球领先的光流缝合算法和图像增强技术,在VR直播时可实现实时高质量缝合,技术实力雄厚,拥有多项专利技术壁垒,目前已推出IDEALOEYE C4及IDEALOEYE P21等全景相机产品,并且在娱乐、体育赛事等直播领域已有广泛应用案例。
VR影视作品≠360°视频?
什么是虚拟现实影视作品?刘天成认为,VR影视作品应该是极端逼近现实、可以给我们带来现实体验的作品。“可能与现实环境不一样,但是却能带来极其真实的感触,可以互动、交互的。”
刘天成表示,VR影视作品不一定要有360°属性,美国做VR体育赛事直播采用的就是180°,因为回头看观众席意义不大,面前的赛场就足以提供逼近现实的环境。
VR拍摄需要注意什么?
一是安全距离。拍摄的安全距离是指在安全距离之内拍摄物体和人,会引起拼接算法失效,无法正常拼接。一般来讲,不同的摄像机有不同的处理方式,安全距离也不相同,刘天成表示,1.5米是比较宽泛的结论,如果进一步优化,能达到大概75厘米左右。
二是拍摄景深。为了让虚拟现实影视作品更逼近于真实,画面需要立体3D。1-10米间 3D景深效果非常好的。刘天成表示,衡量VR摄像机好不好的标准就在于3D呈现效果,“拍摄、缝合都有可能作假,但3D效果不会骗人。”据悉,观界科技旗下的专业级摄像机IDEALOEYE P21用了21个摄像头,分四层排布,密度和复杂度都很大,主要就是为了体现全覆盖的、360°的3D。
三是POV(Point-of-View)。刘天成认为,VR影视作品不一定要第一人称视角,在某些类型的影视作品中(如剧情片、悬疑片),用主观视角的代入感很强,但在展示宏大场面时,可以考虑上帝视角拍摄。
四是航拍与天空修补。刘天成表示,VR航拍有较大的市场需求,但对硬件要求非常高。首先,硬件不能太重,否则无人机带不动。其次,需要十分稳定地拍摄画面。此外,要能做到天空修补,即将无人机上方的摄像头画面与下方的VR摄像画面进行智能修补。还要考虑收音、续航等问题。
据悉,观界科技最新推出了一款机身紧凑小巧、便于携带的全景摄像机IDEALOEYE C4,由4目传感器组成,可进行4K 2D直/录播,支持3D全景声音效,而且高强度机身仅重0.99kg,可轻松搭载无人机航拍,电池可拆卸,兼具高画质和高移动性。据悉,C4预计将于今年9月量产上市。
如何解决传统VR拍摄痛点?
刘天成在演讲中点出了生产成本高、周期长、无法同步启动拍摄、3D景深的缺失、拼接质量不好、培训成本太高等VR影视内容制作目前存在的痛点。
工欲善其事,必先利其器。针对这些痛点,观界科技自主研发,提供了一系列的解决方案。比如,通过硬件帧同步技术从根源上解决多传感器之间无法同步拍摄的行业痛点,让多目传感器完美协同,从而解决拼接过程中尤其是运动目标的拼接准确性问题,实现拼接目标不错位不重影。
刘天成表示,观界科技拥有全球领先的光流缝合算法和图像增强技术,拼接效率为1:10,即完成一分钟的4K视频源的高质量拼接仅需不到10分钟,并支持VR直播级实时拼接,即连即拼,即拼即播,为VR内容拍摄/直播提供了十分便捷高质的解决方案。
据介绍,这些算法技术均已应用在产品中。IDEALOEYE P21是目前世上仅有几款能同时拍摄全3D景深画面并支持机内拼接、直播推流的VR摄像机,录播画质为8K,直播画质为4K,曾参与2017春晚、武汉网球公开赛、湖北两会、京东双十一明星直播秀、谭维维演唱会等重大活动的录制,颇受好评。IDEALOEYE C4为4K直/录播全景摄像机,可拍摄4K 2D直/录播画面。
观界科技还推出了一款针对全景视频拼接加速设计的拼接盒子。这款硬件内置了光流缝合算法,能够极大地降低全景图像拼接的效率。同时,这套硬件也并非IDEALOEYE专用,未来包括诺基亚 OZO、Jaunt等在内的市场主流全景相机都可以适配这款拼接盒子,完成高效高质的拼接效果。
VR拍摄未来如何发展?
谈到VR影视制作未来发展方向,刘天成在演讲中分享了两个技术着力点。
一是自由度。拍摄六自由度全景视频,可让观看者在 3D 空间中上下左右前后地移动。“只能定点观看的话,体验感会打折,在虚拟世界中能够漫步、交互会更有趣一些。”
二是多视角下的实时动态三维重建。刘天成表示,如果使用多个可深度测距的摄像机对重建对象360°无死角地进行深度信息采集,重建速度达到每秒30帧以上,那么这个动态重建可以无限比真地还原。“动态重建还可让重建的对象动起来,这对将来的全息制作会是一个非常大的福音。”