索尼《捉鬼敢死队》AR头显采用了什么光学显示技术

  • 时间:
  • 浏览:6

科技快报

(映维网 2019年10月15日)早前索尼为趋于稳定日本东京的银座索尼公园带来了一款基于《捉鬼敢死队》的线下AR体验,并在同一天发布了一段1分钟宣传视频。日前,AR硬件/软件企业Rave的首席科学家卡尔·古塔格(Karl Guttag)撰文分析了索尼的AR头显设备,下面是映维网的具体下发:科技快报

上周各大论坛都不 好奇索尼在其AR头显中采用了何种技术。我(Karl Guttag)未能从海报或视频中发现足够的线索。我的突破来自于阿德里安·斯坦纳德(Adrian Stannard),他表示本人曾在SID 2019大会就看这款设备。阿德里安曾担任AR头显厂商Daqri的研发总监和首席光学工程师。科技快报

时要注意的是,为了尽快发布本文,我没有将其交给时不时帮助我审阅校对的罗恩·帕德赞斯基(Ron Padzensky)。如有错漏,我提前道歉。科技快报

1. 识别技术科技快报

阿德里安什么都在演示现在开始后只就看一眼索尼头显,并认为它看起来像是Lumus光学引擎,否则 他就看了每段反射镜/半透半反射镜的条纹。从图片来看,它看起来我我觉得与Lumus的OE Vision 10400p光学引擎十分相像,请参考AWE 2019的Lenovo原型。科技快报

尽管看起来十分接近,但根据我手上的较低分辨率图像,索尼光学元件的边缘要比Lumus引擎更加方正。同样奇怪的是,索尼视频显示朋友采用的是LCD快门(下文详述)。时要快门表明显示屏亮度缺陷。但我知道Lumus引擎的亮度达到数千尼特,是目前最亮的光学引擎之一。科技快报

在阿德里安的指引下,我参考了趋于稳定2019 SID Display Week Digest of Papers的索尼论文(时要付费),并发现了一篇“Latency Compensation for Optical See-Through Head-Mounted with Scanned Display(包含扫描显示器的光学透视头戴设备的透射补偿)” 。正如论文标题所示,它主要讨论了AR头显的运动预测和预先补偿。朋友采用的显示器是索尼的12400×768像素隔行扫描Micro-OLED。科技快报

除一张头显图片外几乎没有关于光学元件的线索,但图片的分辨率足够高,能不可不都都可以 清楚显示出光学组合器,而这与视频中的头显非常匹配。科技快报

2. 光学技术科技快报

在左边,我放大了索尼的组合器,并对比了Lumus光学元件的图片。否则 你就看,不仅什么都边缘行态不同,它们一起是非常不同的技术。科技快报

首先,Sony光学元件阻隔了大每段光线,而Lumus光学元件几乎是透明。什么都,你几乎无法在Lumus波导中就看“条纹”。从这些角度看没有判断,但索尼的光学元件似乎要比Lumus厚3至4倍。科技快报

对于Lumus波导,全内反射使得光线在波导内进行多次反射。后面 提到的条纹名为光瞳扩展器,否则 它们起到增加光瞳/视窗的作用。在Lumus行态中,光线最终穿过后面 的条纹并到达下方条纹。否则 条纹遮挡的光线了与索尼光学系统一样多,则几乎没有光线不不可不都都可以 到达下方的条纹。科技快报

索尼选则了与Lumus不同的机制。它们能不可不都都可以 仿效Lumus,Hololens,Magic Leap,Digilens和Waveoptics等采用小量全内反射的波导。索尼的设计否则 最多是在正面采用一两个 全内反射,更像是自由形式光学元件。尽管索尼设计中的每个条纹都像Lumus一样可作为光瞳扩展器,但每个条纹时要采取第一条径直路径。为了提供更直的路径,玻璃时要更厚。否则 ,较厚玻璃和条纹将能够提高光通量。科技快报

3. 亮度现象科技快报

索尼头显中的Micro-OLED类型输出4000尼特。即使是非常明亮(且昂贵)的OLED都能不可不都都可以 不可不都都可以 40000尼特。与4000尼特的智能手机或400尼特的电脑显示屏相比,4000尼特至40000尼特听起来像是十分明亮。但对于透明显示器,AR组合器光学元件通常能不可不都都可以 不可不都都可以 将能不可不都都可以 10%的尼特传送到眼睛。科技快报

对于DLP和LCOS投影仪,否则 它们能不可不都都可以 角度准直LED光线,其光输出能不可不都都可以 远远超过400万尼特。高尼特是DLP和LCOS与波导结合的通常因为,但你从未见过OLED与波导光学一起搭配。Hololens 2所采用的激光扫描光束不不可不都都可以 在任何完后 发出数百万尼特(否则 光束停止扫描并等待于这些,其足以烧穿视网膜)。科技快报

除这些损耗外,波导的尼特输出相当于 受输入区域的面积所影响。朋友儿不探讨简化的数学计算和细节介绍,简单来说,对于Lumus曾经 的1.8毫米薄波导,Lumus几乎能不可不都都可以 比典型的衍射波导好10倍。什么都,否则 朋友将4000尼特的Micro-OLED作为输入,则输出的亮度将大大低于10尼特。除夜间之外,这对这些用例而言都过暗。这什么都为那先 你看能不可不都都可以 Mico-LED显示器与常见波导配对,以及索尼采用不同行态的因为。科技快报

4. 索尼LCD快门科技快报

即使用上了光学组合器,尼特损失都否则 会大于10比1。否则 ,否则 从相当于 4000尼特的Micro-OLED现在开始,眼睛都否则 只就看相当于 400尼特或更少。这些光损耗正是nReal等公司在使用Micro-OLED时选则了更为简单的Birdbath行态的因为。科技快报

在视频相当于 24秒的位置,朋友启动了看似LCD快门的组件以阻挡大多数现实世界光线。我截取了快门启动前后的图片。科技快报

什么都除了组合器元件阻挡了大每段光线之外,为了支持室外用例,朋友增加了一两个 LCD快门来进一步阻挡周遭光线。科技快报

5. 帧缓冲后的延迟补偿和光学校正:是不是 能不可不都都可以 使用ARM的Mali-D77显示出理 单元呢?科技快报

索尼论文主要介绍了通过预先补偿以应对“动显(motion to photon)延迟”。我几乎是事后才想到这张帮助我选则组合器行态的头显图片。朋友使用的Micro-OLED显示器使现象变得更加简化,否则 其采用了120Hz隔行扫描视频。否则 不进行任何校正,除了这些延迟现象之外,当总出 运动时它们会在所有边缘造成类似梳子的伪影。科技快报

论文指出,其硬件搭载了“将反向位移应用于帧缓冲器的渲染图像的畸变器)”,参见下图。另外,畸变器能不可不都都可以 执行校正透镜失真的操作。这里的关键是,在将帧图像发送到显示器完后 朋友对帧缓冲区中的渲染图像进行了重要的出理 。在帧缓冲区完后 执行的出理 称为“后端”出理 。科技快报

基本思想是减少“动显(motion to photon)延迟”。为了做到这这些,朋友在渲染完成后和接近于就看像素前对任何用户运动进行校正。另外,否则 渲染的图像在帧缓冲区完后 趋于稳定更改,什么都任何透镜失真校正都时要在这些变换完后 进行,否则 也时要在帧缓冲区完后 进行。科技快报

值得一提的是,在SID 2019大会,ARM发布了朋友的Mali-D77“显示出理 单元”。ARM在新闻发布会中谈到了一系列相同的“动显(motion to photon)”现象。巧合的是,索尼设计采用了基于ARM的内核及GPU和显示控制组件。在撰写本文时,我尚无法确认索尼的AR头显是不是 有搭载Mali-D77。科技快报