西顾视频推出可拍6DoF视频的光流相机,我们与CTO聊了聊

2018-03-26 14:03:33 来源:网络

原标题:西顾视频推出可拍6DoF视频的光流相机,我们与CTO聊了聊

最近光场相机领域动态频频,在前几天谷歌发布多个光场视频后,国内一家公司也拿出了他们的光流相机和支持6DoF的光场视频。

这家公司是杭州西顾视频科技有限公司(FXG-Video),成立于2017年5月,从事深度沉浸式内容与技术研发制作,有软硬件技术和解决方案,提供产品拍摄到内容后期制作与播放一体化流程服务。目前其已有3D VR和2D VR摄影机产品。

为了解其支持6DoF的3DVR摄影机,雷锋网特意与其CTO李文松进行了深入访谈。

上图这台设备是其产品ET-2 3DVR摄影机,被称为"光流VR摄影机"。据介绍,这个相机的功能有:

·         支持超近距离(≤30CM)拍摄和完美拼接

·         可以捕获360度视频深度信息并提供六自由度(6DoF)追踪能力

·         八目间隔式摄像头阵列,单目 240度千万级像素镜头

·         光流技术,可以在重播时实现,改变位置、景深、子弹时间等特效

·         16K 3DVR电影级画质

·         全电子同步,一键开关机,一键拍摄

·         实时监看(VIVE/CV1)和直播

·         无线遥控

这个相机是一个圆柱型,上面是镜头,下面是主机。

由于现场条件不允许,雷锋网编辑没有直接体验到西顾的6DoF视频,从头显内录屏的视频看来,用户可以在其用相机拍摄的视频内移动,这个移动的范围有7-10cm。

(西顾6Dof视频体验Demo)

虽然没有体验到6DoF视频,但是雷锋网编辑体验了西顾高清3DVR视频。在数十个3DVR视频中,雷锋网体验了其中的大部分内容:远程生日宴会、舞者、China Joy现场等。从体验来看,这些视频很清晰,色彩饱和,3D效果好,沉浸感不错。据称,西顾采用了自己研发播放器以及八面体投影格式来提高分辨率。

超近距离拍摄,缩短安全距离

令人印象深刻的是这些视频里,体验者与内容之间的距离可以靠的很近,不会发生内容的畸变和拼接错误,也就是他们强调的超近距离拍摄效果(≤30CM)。在远程生日宴会这个视频中,雷锋网编辑体验到了这种拍摄距离带来的好处。

在戴上头显后,我出现在了美国的一个住宅中,环顾四周,有食物还有交谈的人群,这显然是一个小型私人派对现场。然后一个男人拿着鸡尾酒向我走近,对我说生日快乐,然后他旁边的人也开始靠过来,他一一介绍这些人给我认识,这些人也七嘴八舌对我说着生日祝福。我脑子里知道这是虚拟场景,但是可以真切地感受到现场氛围。我低下头,能看到桌子上的事物,每个人在我身边摩肩接踵。这些人最近的时候离我似乎只有一步路的距离,也就是平时亲密朋友交流时最短的距离,近处只有几十厘米甚至十几厘米。

超近的安全距离是西顾ET-2 3DVR摄影机的一大特色,从技术实现来说,这有什么价值呢?

我们都知道,全景相机采用多镜头(大于等于2)采集,再将采集到的画面通过算法进行拼接。而相机镜头之间光学节点不是重合的,这个距离被称为相机“节点距离”,距离越大,拍摄到的画面越容易产生畸变和拼接错误:远处物体会出现"重影"、近处的画面会产生缺失。

2D全景相机的节点问题解决比较简单,就是让镜头结构尽量紧凑,比如理光的双目折返式棱镜专利,李文松在几年前也研发了交错式背靠背镜头,用来解决2D相机距离的问题。

八目间隔式摄像头阵列,光流插值算法

但3DVR和6DoF相机的节点问题比2D要复杂许多,目前市面上的全景相机、光学相机都采用了不同的相机阵列。有Lytro Immerge这样像一堵墙的超大相机阵列方案、也有像谷歌展示的放在旋转台上的16个相机阵列。不同的相机阵列会产生截然不同的拍摄效果。

(Lytro Immerge)

李文松介绍到,要理解西顾的八目间隔式摄像头阵列,需要理解一个概念,他称之为:视节比。也就是相机的立体视差距离和镜头节点距离的比例。因为全景相机是要模拟人的双眼成像,所以都会采用多个相机的模式,两个相机的距离被称为视点差。人的双眼是有瞳距的,视点差的最好距离是6-8cm,不能过小也不能过大。整体来说,相机的视差要接近人眼瞳距,同时镜头节点距离要尽可能小。

(西顾ET-2 3DVR摄影机)

他谈到几代3D VR相机在"视节比"上的发展,"第一代的3DVR相机把多组产生双目视差的左右镜头成对放置,然后将左右镜头各自拼接起来,这个时候相机的节点距离很大,且一定大于视差,所以视节比小于1。第二代的3D全景相机的一个镜头可以同时当作左右眼,然后再将不同相机的左右眼区域拼接起来,这时视点和节点是一样大的,例如谷歌JUMP、FB的Surround 360。李文松将西顾的光流VR相机采用的方法称之为第三代,他采用了间隔式的镜头拼接方法,可以选取间隔1-3个相机拍摄出的图像进行拼接,这样相机之间的节距可以非常紧凑,视差距离变大很多。视节比远远大于1,目前市面上仅有三星的Beyond相机视节比大于1约为1.2,而这台ET-2相机的视节比为 2.4。"

采用八个相机阵列和间隔式拼接法后,李文松解释到,他可以拼接出4-5个完整的全景画面,每个画面分辨率都达8K,而目前其他3DVR相机只能拼接出2个完整的全景画面,也就是说光流相机获得了更多的信息。为了解释这种间隔式拼接算法,李文松向雷锋网编辑演示了一个图形化小工具,在输入相机数量、镜头度数后可以计算出能得到多少个全景画面。

除此之外,拍摄过程中还用到了光流算法。李文松解释到,在相机拍摄之后,基于上述4-5个完整物理全景视图,可以用软件虚拟插值出上百个镜头视角(依赖计算速度),还原空间内全部光线。他们然后采用专门的MVS和Parallex插值算法获得比普通双目立体算法更为完整精确的多层6DoF深度信息。这样实现的6DoF视频可以完成传统光流相机所有功能(6DoF运动、重新对焦、自定义光圈), 但在存储格式远远小于Lytro和谷歌等那种基于物理多镜头矩阵的数据格式,只比普通3DVR视频增加2倍不到的数据带宽。西顾视频现在已经基于这种6DoF视频数据格式研发出了专用6DoF视频播放器,并在不远的未来可以实现6DoF VR视频直播。

(西顾VR8视频格式介绍)

6DoF视频的机遇与挑战

自2015年来,全景视频就是影视技术发展的一个重要趋势,其可以为VR提供沉浸式内容。全景视频的发展经历了三个阶段:2D全景、3D VR全景、6DoF全景。西顾视频目前主要专注于后两个阶段。

李文松谈到, 2017年多个支持6DoF的VR一体机发布并将在2018年上市,包括HTC Vive Focus、Pico Neo一体机等,而目前,6DoF的视频内容十分缺乏。电脑CG的方式相对昂贵,视频拍摄的方式可以让6DoF内容生产更快更便宜。目前6DoF视频技术现状,大致有由内向外(Lytro、谷歌、FB的方案)和由外向内(Intel的方案)这两类方案,西顾方案属于前者即由内向外,这种6DoF技术方案部署和拍摄容易,未来可以产生普通消费者生产内容(UGC)模式,而有外向内技术的6DoF技术必须搭建专用影棚,只能由专业团队制作(PGC),但移动自由度和精度更好,尤其适合拍摄人物角色。

当然,6Dof视频刚刚起步,未来也还有很多挑战。例如6Dof视频内可移动范围需要进一步扩大,用像谷歌、西顾这样的从里到外的拍摄方法产生的6Dof视频,目前可移动范围都有限。如果可移动范围足够大,视频内的运动不仅可以提升沉浸感,还可以在实际拍摄的场景里设计交互,发展为虚拟与真实融合的游戏。

,西顾视频推出可拍6Do相声小品大全 F视频的光流相机,我们与CTO聊了聊

相关:

友达光电收购软件供应商ComQi内容管理软件供应商ComQi已被台湾省数字标牌显示器供应商友达光电(AUO)收购。新闻稿称,友达2017年销售额达115亿美元,主要来自于液晶显示器业务。 通过此次收购,ComQi可以提供全面的数字标牌硬件、软件及专业服务。友达则提供了多款产品,包括1.1至85英寸的液晶显示及4K产品。 ComQi集团总裁Stuart Armstrong在发布会上表示:“显示器是数字标牌项目的关键元素。此次二者的合作,使得客户可以直接使用高品质的屏幕技术..

宋智孝首曝心仪对象 澄清与金钟国绯闻韩综《Running Man》因创新的节目内容,受到许多观众喜爱,尽管2016年底爆出换血风波,但现在的8位主持人,和已退出节目的姜Gary,人气仍相当高。其中,曾与姜Gary组成“周一情侣”的宋智孝,自从男方退出节目后,又被众人把她和金钟国凑成对。对此,她近日就在节目中要大家别再闹,并曝光了心仪对象。 宋智孝和金钟国分别是《Running Man》中的“王牌”和“能力者”,自从姜Gary退出节目后,两人便被凑成“Love line”..

茅子俊白衣帅气亮相活动 粉丝大呼“期待下一站”  日前,人气演员茅子俊受某品牌接连邀请出席活动。当天,他以一身剪裁得体的白色双排扣西服清新亮相,内搭个性抽绳低领衬衫,简洁大方当中又注重细节,搭配凸显非凡质感的同时也彰显了茅子俊的时尚好品位。此外,活动结束后茅子俊还现身当地某商场专柜,大方为在场粉丝及观众签名,几次活动当中的暖心互动和惊喜造型引来粉丝纷纷表示期待下一站的活动。

张术平、傅明先、齐家滨拟任烟台、济宁、日照书记原标题:山东省省管干部任前公示2018-03-26 18:55齐鲁网齐鲁网3月26日讯 为进一步加强干部选拔任用工作的监督,根据《党政领导干部选拔任用工作条例》等有关规定,经省委常委会会议研究,现对张术平等5名同志进行任前公示。张术平,男,汉族,1964年1月生,省委党校研究生学历,中共党员。现任临沂市委副书记、市长,拟任烟台市委书记。傅明先,男,汉族,1964年11月生,在职研究生学历,中共党员。现任济宁市委副书记、市长,..

他若真的在乎你,不会这样跟你聊天原标题:他若真的在乎你,不会这样跟你聊天 他若真的在乎你,不会这样跟你聊天 文|宿雨 出处|遇见宿雨(ID:meetsuyu) 深夜,一个女孩给我发来她跟一个男生的聊天记录截图。 语音里,她带着哭腔跟我说,这是她和他认识的第一百天。 我以为他们是一对情侣,可她告诉我,他们的关系,胜似情侣,却不是情侣。 他们是通过一款游戏认识的,系统将他们分配到一个队伍里。 他带着她..

基层官员网上抄袭十九大体会,被党内严重警告处分原标题:网上抄袭十九大学习体会,威海两基层干部被党内严重警告处分上观新闻3月26日消息,近日,山东省威海市纪委通报了3起形式主义、官僚主义的典型案例。其中一起案例中,两名基层干部在撰写十九大精神学习心得体会时,有抄袭问题,受到党内严重警告。通报中说, 2017年11月,夏庄镇党委委员、副镇长郑鲁东和党委委员、纪委书记王照宇在学习贯彻十九大精神过程中,没有按照要求结合实际撰写学习体会,而是从网络下载文章修改..

金泰熙产后复出美炸天!女明星辣妈队又加一分原标题:美人计|金泰熙产后复出美炸天!女明星辣妈队又加一分糯糯圆圆的小团子的诞生无疑是一件幸福炸天的事情,但这背后往往藏着着母亲的巨大的付出。说到怀孕,第一想起的一定是对身材变形的恐惧。然而,这些仙女们和我们住在一个星球上吗?为什么她们当了妈还是一样又美又萌?有没有天理了。金泰熙国民女神金泰熙最近产后复出了,两张自拍迅速抢占微博热搜榜和朋友圈。想当年入门韩剧《天国的阶梯》里的恶毒女二让多少人惊艳..

业内扒皮,如何避免网购淘到假货?大家好,我是刀刀。最近刀刀推荐了很多护肤、护发、美妆的团购 ,尽量帮进化论的小伙伴儿省钱省力的买到好货。但总还有一些刀刀没来得及下手的好货,得小伙伴们自己网购,也包括海淘啦。所以, 总 有小 伙伴在后台留言询问,怎么能躲过假货这个坑 。这个事情,刀刀以前也有整理过,虽然过了很久,但是今天翻出来,仍然觉得当时的很多辨别套路是好用的。还是原话:可能会因为个人经验局限,加上入行时间不算长,也没有在电商..

张大大,杨幂和baby的大众男闺蜜原标题:张大大,杨幂和baby的大众男闺蜜网络太发达了就是这点不好,明星出门玩一趟,只要被一个人偶遇,很快就全网都知道了,地址照片和同行的人都会被扒得干干净净。今天一天,因为偶遇上热搜的就有周杰伦余文乐、奶茶刘强东,还有杨幂和张大大……这届网友真的很会偶遇。余文乐是带着周杰伦复刻《头文字D》去了,而娱乐圈的大忙人杨幂,最近去日本拍杂志,顺便和张大大一起游玩一下,就被网友偶遇了。杨幂穿个翠绿翠绿的卫衣..

这几年持续在用的11瓶香水,职场妹子上班必备款关于香水和买香水的事情,可能能絮叨上几万字。犹记得自己拥有的第一瓶香水是一瓶雅顿的绿茶,现在不知道还有多少人知道这款香水,非常清新的味道,留香时间极短;第二瓶香水是也还是当学生的时候,参加活动意外获赠一瓶当年的新出的兰蔻奇迹,对当时的我来说是绝对的奢侈品,那个年代能拥有一瓶兰蔻奇迹简直就是奇迹一样,拿回去整个宿舍都在热情的试喷,瞬间整个宿舍楼道都充满了奇迹的味道,那会没有用惯香水(也不大会用),..