XR市场预冷,Vision Pro能否成为行业新的救命稻草?

2023-07-08 00:49:33 来源:网络

撰文 | 马文佩

编辑 | 王叶琳

“苹果XR头盔会成为整个行业的标杆,XR设备走进每家每户,就像是手机一样普及”。

在六月份举行的一场元宇宙主题论坛上,肖伟发现苹果发布的头戴显示器Vision Pro成为了行业讨论的焦点。

作为一家元宇宙基础设施提供商的技术负责人,他非常理解市场对于这台苹果耗费七年研发的头戴显示设备的热情:从上半年元宇宙“退烧”开始,不少大厂都战略放弃了元宇宙,创业企业处境更加艰难。

“如果不是政府的大力支持,我们肯定坚持不到现在,Vision Pro现在就是一根新的救命稻草。”

作为一款价格高达3500美元的XR设备,Vision Pro显然并不是一款消费级产品,但它的出现给了整个XR行业一针强心剂。作为2021到2022年互联网行业最热门的概念,“元宇宙”也在两年间经历了从资本热捧、大厂入局到回归理性的生命周期。

图片

和元宇宙紧密相关的XR设备,出货量在2021年增长了超过90%,突破一千万台,达到了1095万台。随着元宇宙概念降温,2022年全球XR设备出货量降低到了960万台。

除了元宇宙概念退潮外,体验不佳、价格高昂、缺乏内容是XR设备市场难以维持增长趋势的主要原因。镜片、处理器、电池、传感器……XR设备设计的每个环节都直接关系到最终的用户体验,试图设计一款能够兼顾舒适和效果的XR设备需要在每个环节都投入大量的资源,这注定是一场少数厂商的游戏。

作为行业龙头的苹果,经过七年打磨的XR产品获得相关行业、用户的高度关注是理所当然的,但XR厂商都并非在期待苹果的技术方案——用什么样的方式绕过用户体验、性能和成本的“不可能三角”。

减不掉的重量

佩戴的舒适程度是XR设备的第一道门槛。

“虽然厂商都在努力让头盔戴起来更舒服,但用久了还是会感觉太重,”VR设备制造从业者张力告诉《银杏科技》银。

目前市面上主流的VR头盔重量都不超过600克,Oculus Quest重571克,HTC Vive重468 克,Pico4重586克,堪堪脱离了沉重的范畴,但依然会让用户感觉“压脸”,因此不得不设计多条绑带将头盔“绑”在用户头上,降低不适感。

图片

短期,处理器、传感器、光学原件和外壳等核心部件让减重并不容易,尤其是光学部件。

目前主流的VR光学方案是Pancake,利用多组特殊的镜片将图像多次折射最终进入人眼,可以大幅降低光学部件的重量和体积。

以PICO 4上的Pancake光学方案为例,与应用菲涅尔透镜的前代产品相比,前端主体重量降低了26.2%,厚度减少了38.8%。张力表示,相较于不到20元一片的菲涅尔透镜和不到10元一片的非球面透镜,Pancake方案更精巧也更昂贵,单个光学模组的价格达到了近200元。

“近年以盛波光电为代表的Pancake部件提供商在资本市场上获得了大量关注,实现量产后的Pancake方案才便宜到能够用在中低端VR显示器上,”张力说,“比Pancake更好的方案最近几年不会出现,还停留在实验室里,光学原件体积和重量基本已经压缩到最小了。”

在难以继续缩小的光学部件之外,用于计算、散热、供能的部分占据了一台VR显示器的大部分空间。

尤其是对于采用精巧昂贵的Pancake方案的头盔来说,由于将图像在透镜间进行了多次反射,图像的亮度损失极高,制造商就只能选用更大功率的显示器,这让目前市面上的VR头盔续航成为了一个严重的问题。

Oculus Quest2电池容量4500mAh,续航约两小时,Pico 4电池容量6000mAh,续航约三小时,HTC VIVE Focus 3电池容量5300mAh,续航约两小时。在长时间使用的过程中,用户往往需要将头盔与电源连接起来。

为了让拥有两颗芯片的Vision Pro显示器更轻,苹果将电源从头盔中单独取出成为一个用线材连接的独立部件。为了保证显示效果和续航,更强的计算能力会要求更多的散热空间和更大的电池,这会让头盔变得太重。

图片

把电池拆出来,这个“返璞归真”、对于率先将手机一体化的苹果来说可以称得上是“违背祖宗”的设计纯属无奈之举,但却不失是一种可接受的解决方案。

Oculus 联合创始人帕尔默・拉基在接受采访时曾表示:“需要明确的一点是,电池外置是推进头显的正确方式,我在 Oculus 时就一直倡导这样做,但无奈的是我在后续的权力争夺中败阵”。

除去光学部件、电源之外,计算芯片、散热结构、外壳等部分组成了一台XR设备的其他的部分。如何平衡这些重量和体积,让用户戴得舒适是XR设备厂商的重点关注的问题,也是厂商核心竞争力的体现。

去不掉的成本

摆在XR厂商面前的第二个问题是成本,这里不仅仅是XR设备的生产成本,还包含了XR设备的使用成本。

VR设备需要有什么样的显示效果?2016年,AMD公布的一份文件中通过计算人眼视野范围和显示器像素密度得出的结论是,最理想的VR显示效果要达到单眼144Hz以上的刷新率和16K的分辨率。

图片

图:AMD VR技术方案

放在目前的科技水平下,这个标准还是难以企及,但常见的4K、120帧的图像质量已经足够能够让用户获得较好的VR体验了。

万物数创CTO黄一告诉《银杏科技》,本地渲染的内容越少就需要更高的带宽进行传输,带宽需求越低就需要越高的渲染能力。

但如前文所述,在保证佩戴舒适度的情况下,厂商很难将性能更加优秀的芯片塞进显示器里。芯片制造行业如果不发生技术飞跃,显示器的计算性能很难突破当前的极限。

将渲染放在云端是可行的吗?可行,但高成本很难支持大规模应用。

黄一认为,将渲染放在云端的问题在于成本过高。他算了一笔账,目前的网络背景下,高清内容的传输是可以实现的。以Vision Pro的显示效果来计算,Vision Pro分辨率可以达到单眼4k,刷新率为90帧每秒,可以实现较为优秀的显示效果,在正常使用的时候可以达到视网膜屏的显示水平。

4k、2d、60帧视频的带宽要求是10MB/s,即80Mbps。目前内容分发网络(CDN)的流量费用为1Gb约0.8-1.2元,一分钟数据传输量约4.8Gb,即每分钟传输成本约4.5元。用户观看一部90分钟长的电影,仅产生的分发流量费用就超过400元。

换句话说,相比大多数仅需要5Mbps带宽的1080P视频,VR视频的播放成本提高了16倍,这对于VR内容提供商来说是极高的负担,尤其是对于为VR设备提供内容配套的厂商来说负担更重。

一个典型的商业案例是VR直播。作为Pico VR的内容配套,抖音在2022年4月就上线了VR直播功能,用户可以使用Pico系列设备观看最高8K的3DVR直播内容。如果将8K、3D、60帧的直播流全部通过网络传输,至少需要640Mbps带宽,成本则攀升到了1080P直播的128倍。

图片

目前通过Pico观看抖音VR直播是不需要额外付费的,意味着这部分成本全部都由字节跳动承担——作为推广VR设备的成本。

如果抖音希望通过类似爱奇艺的付费会员制度来盈利,将30元/月作为标准,要保持同样的利润率,会员每个月需要付3840元来观看VR视频。

当然,厂商并不会将视频流全部通过互联网传输,VR一体机的计算芯片能够极大的降低带宽的使用量,这里就涉及到XR设备制造的最后一个门槛:性能。

提不高的性能

计算性能的提高必然伴随着体积和重量的提高。在保证舒适性的情况下,能塞进XR设备的计算芯片选择其实相当有限。因此,摆在XR厂商面前的核心问题是,如何利用尽量少的带宽和有限的计算能力,尽可能的为用户带来更好的显示效果?

主流的解决方案主要是通过算法降低渲染成本,节省性能和带宽。

一个较为成熟的方案是利用深度学习技术将低分辨率、低帧数的图像转化为高分辨率、高帧数的图像。

按照前文的计算,4k、2d、60帧视频的带宽需求约为80Mbps,将帧数降低为30帧,带宽的需求就能降低一半。在使用VR显示器时,低帧数难免会带来拖拽和卡顿感,因此需要用到“插帧”技术将30帧视频扩充到60帧,即在每两帧之间插入一帧由本地生成的图像,以提高帧数和显示效果。

这种技术并不新鲜,在多个不同的领域都有应用,而在VR平台上最典型的是针对Quest 系列显示器推出的应用AppSW 和ASW,它们允许头盔中显示的VR应用以实际显示刷新率的一半进行渲染。

图片

类似的,深度学习还能使机器通过渲染一部分像素来推算出整个图像。典型的代表是英伟达DLSS ,即Deep Learning Super Sampling(深度学习超级采样)技术,该技术已经沿革到第三代,也针对VR应用推出了相应的版本,在理想状态下可以仅渲染11%的像素来还原整个图像。

另一个方案是注视点渲染Eye Tracked Foveated Rendering(ETFR)。注视点渲染指的是通过眼球追踪来识别用户在VR中的注视点,从而动态调节VR屏幕的清晰度。

正在针对该技术进行攻关的哈尔滨工业大学教授范晓鹏告诉《银杏科技》,用户在使用XR设备时并不会经常大范围的转动视线,视觉焦点会比较稳定地盯住一个方向。

“所以我们就是利用这一点,把观察者正面看到的这些图像渲染的好一些,压缩比低一些,让它看起来清晰一些,其他的部分质量可以差一些。当使用者转头的时候,因为人眼有一些延迟,利用这个延迟调整高质量渲染的位置,就可以减少数据的传输量。”

按照2021年NVIDIA与眼动追踪技术服务商Tobii公布的实验数据,注视点渲染技术可将显示效果最高提升57%。

但需要注意的是,该技术基于眼动追踪功能,这需要在头盔中塞入更多的传感器和电池,同时设备的价格也会水涨船高。不支持该功能的Pico4官方售价为2800元,安装了眼动追踪和面部捕捉传感器的Pico4 Pro售价则来到了3800元。

定义下一个风口

综合这些技术,性能不足的VR设备的使用成本终于来到了勉强可接受的程度,但距离成熟的确还有不小的距离。

被业界寄予厚望的苹果Vision Pro在舒适度、性能和成本的三角中,苹果选择了舒适度和性能。

高达3500美元的售价让苹果能够从容地选择最好的设计方案打造一个标杆产品——这个过于昂贵的方案对于大多数XR厂商来说,最大价值在于教育市场,让更多投资和人才进入XR领域,吸引更多XR内容创作者,完善XR上下游产业链生态。

市场上并不缺乏一个顶级XR设备生产商,缺乏的是一个像苹果一样能够定义下一个十年最好的科技产品的企业。

从技术的角度来看,更好的消费级的XR产品大概还离我们很远,但Vision Pro的出现无疑让它来得更快了一些。

,XR市场预冷,Visio西秦 n Pro能否成为行业新的救命稻草?

相关:

因GPS天线接线不当 丰田汽车(中国)召回1817台进口雷克萨斯IT之家 7 月 7 日消息,国家市场监管总局显示,丰田汽车(中国)投资有限公司根据《缺陷汽车产品召回管理条例》和《缺陷汽车产品召回管理条例实施办法》的要求,向国家市场监督管理总局备案了召回计划。决定自即日起,召回 2023 年 3 月 1 日至 2023 年 4 月 28 日期间生产的部分进口雷克萨斯 NX 260、NX 350h、NX 400h + 汽车,共计 1817 台。本次召回范围内车辆全球定位系统(GPS)天线线路端子接线不..

丰田汽车正考虑每周7天24小时不间断生产电池IT之家 7 月 7 日消息,据日本《读卖新闻》消息,丰田公司当前正考虑令其在日本的两家工厂每天 24 小时、每周 7 天不间断运行,包括周末,用于生产电动汽车专用电池。以往,丰田工厂通常在工作日和节假日的午夜到黎明时分暂停运营,鉴于市场对电动汽车的需求不断增长,使工厂不间断工作将成为一项前所未有的举措。丰田方面认为,电池是电动汽车的核心部件,持续的运营对于确保电池的质量至关重要。当前丰田公司在电动汽..

16家车企约定不打价格战,特斯拉、比亚迪、蔚小理都参与了上半年车市轰轰烈烈的价格战,要画上句号了。最新消息,包括特斯拉、比亚迪、蔚小理、吉利、长城、一汽、广汽等16家国内车企签署承诺书,承诺维护汽车行业市场秩序,公平竞争。承诺书内容也进一步证明,这16家车企不会再打价格战。这也意味着,从今以后各车企的比拼主要还是围绕着车的质量、体验和智能化配置,不会再围绕价格下功夫。从某种意义上来说,这也算回归车企造车本质。16家车企共同签署承诺书这项承诺书是在最近第13届..

“天眼妹”亮相华为开发者大会:全球首个商查大模型凤凰网科技讯 7月7日下午消息,华为开发者大会2023(Cloud)在东莞盛大召开。天眼查携手华为云共同发布的首款商查大模型天眼妹:据介绍,“天眼妹”可实现让用户通过自然语言对话方式进行商业查询。具体来讲,其具备以下三大功能:一是数据可信。天眼查以公开数据为基础,确保信息来源可信。“天眼妹”基于天眼查多年来累积的海量公开商业数据,实时动态更新所形成的天眼查商业知识库,确保所有商查数据及时、准确、可信。二是算..

WPS AI正式定名 这两类用户均可申请凤凰网科技讯 7月6日消息,金山办公携旗下基于大语言模型的智能办公助手WPS AI亮相2023世界人工智能大会,WPS AI官网(ai.wps.cn)同步上线,并开启招募智能办公体验官的通道,WPS Office个人用户和WPS 365企业用户均可申请。WPS AI接入了金山办公多个办公产品组件,原有的轻文档、轻表格、表单接入WPS AI后实现产品升级,更名为WPS智能文档、WPS智能表格、WPS智能表单。另外,金山办公将WPS AI定位为大语言模型的应用方..

AI大模型开发会被卡脖子吗? 华为盘古3.0发布会现场回应凤凰网科技讯 7月7日消息,2023华为云开发者今日召开。华为常务董事、华为云CEO 张平安发表主题为《AI重塑千行百业》的开场演讲。华为华为盘古3.0大模型正式发布。张平安在演讲中表示,由于众所周知的原因,华为大模型不能依赖于别人,必须靠自己打造AI根技术。在算力底座、AI开源框架、AI云方面华为都进行了部署。张平安表示,华为云2000P Flops单集群的昇腾AI云服务在乌兰察布和贵安同时上线。昇腾AI云服务可以提供更长稳的..

买不到GPU训练大模型?华为的解决方案来了凤凰网科技讯 7月7日消息,2023华为云开发者今日召开。华为常务董事、华为云CEO 张平安发表主题为《AI重塑千行百业》的开场演讲。张平安在演讲中宣布华为昇腾AI云服务正式推出。昇腾AI云服务提供2000P FLOPS的算力,支持主流AI框架和90%以上的算子,训练效率领先业界主流GPU的1.1倍,在算力稳定性方面,千卡训练一个月以上不中断。张平安在演讲中举例,美团30天将30多个应用数据迁移昇腾AI云,对其中算子进行优化,使得算力效能提升30%。

每秒200亿亿次浮点运算能力 华为云推出昇腾AI云服务凤凰网科技讯 7月7日,华为云2000P Flops单集群的昇腾AI云服务在乌兰察布和贵安同时上线。昇腾AI云服务可以提供更长稳的AI算力服务,千卡训练30天长稳率达到90%,断点恢复时长不超过10分钟。昇腾云服务除了支持华为的AI框架Mindspore外,还支持Pytorch,Tensorflow等主流AI框架,框架中的90%算子,都可以通过华为的迁移工具从GPU平滑迁移到昇腾。

华为云盘古3.0大模型正式发布凤凰网科技讯 7月7日消息,2023华为云开发者今日召开。华为常务董事、华为云CEO 张平安发表主题为《AI重塑千行百业》的开场演讲。张平安在演讲中宣布华为盘古大模型3.0正式发布。张平安称,盘古大模型3.0是一个面向行业的大模型系列,包括“5+N+X”三层架构L0基础大模型、L1行业大模型、L2场景模型三层架构,将重塑千行百业。L0层包括自然语言、视觉、多模态、预测、科学计算五个基础大模型,提供满足行业场景中的多种技能需求..

华为张平安:盘古大模型不会写诗 只会做事凤凰网科技讯 7月7日消息,2023华为云开发者今日召开。华为常务董事、华为云CEO 张平安发表主题为《AI重塑千行百业》的开场演讲。张平安表示,上半年中国发布了80多个大模型产品,他们有的能写诗,有的能作画。而华为的盘古大模型不会写诗,只会做事。张平安透露,华为2021年就拥有了大模型产品,除了支持中文,还支持阿拉伯语。华为盘古大模型希望深入到各行业,让AI赋能各个领域目前盘古大模型已应用在金融、矿山、气象等领..