CN105027563A - 多显示器设备上的低等待时间图像显示 - Google Patents

多显示器设备上的低等待时间图像显示 Download PDF

Info

Publication number
CN105027563A
CN105027563A CN201380062595.7A CN201380062595A CN105027563A CN 105027563 A CN105027563 A CN 105027563A CN 201380062595 A CN201380062595 A CN 201380062595A CN 105027563 A CN105027563 A CN 105027563A
Authority
CN
China
Prior art keywords
image
display
eye
eye image
show
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380062595.7A
Other languages
English (en)
Inventor
D·罗恩
R·G·弗莱克
C·S·贝尔
K·乌
J·梅比
T·奥斯本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105027563A publication Critical patent/CN105027563A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking

Abstract

公开了涉及用低等待时间将图像显示在多显示器设备上的各实施例。例如,公开的一个实施例在包括第一显示器和第二显示器的显示设备上提供一种方法,该方法包括接收、处理第一图像以及经由第一显示器显示第一图像而不经由第二显示器来显示该第一图像。该方法进一步包括接收第二图像、显示第一图像的同时处理第二图像,以及经由第二显示器显示第二图像而不经由第一显示器显示第二图像。

Description

多显示器设备上的低等待时间图像显示
背景
诸如头戴式显示(HMD)设备之类的显示设备可被配置成通过将虚拟图像显示在可透过该显示器来查看的现实世界背景上来提供经扩增的现实体验。当透视显示设备的用户在使用环境中改变位置和/或方向时,该设备可被配置成检测用户的移动并据此来更新所显示的图像。
概述
公开了涉及以低等待时间将图像显示在多显示器设备上的各实施例。例如,公开的一个实施例在包括第一显示器和第二显示器的显示设备上提供一种方法,该方法包括接收、处理第一图像并经由所述第一显示器显示所述第一图像而不经由所述第二显示器显示所述第一图像。该方法进一步包括接收第二图像,显示所述第一图像的同时处理所述第二图像,以及经由所述第二显示器显示所述第二图像而不经由所述第一显示器显示所述第二图像。
提供本概述以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。此外,所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1A和1B示出被配置成经由多个显示器来显示图像的透视显示设备的一实施例,并且还示出该透视显示设备所显示的图像的示例。
图2示出内容产生器和内容消费器之间的图像数据流的示意图。
图3示出了描绘用于经由多个显示器来显示低等待时间图像的方法的实施例的流程图。
图4示出了解说经由多个显示器来显示低等待时间图像的方法的实施例的时序图。
图5示出包括多个显示器的显示设备的一实施例的框图。
图6示出了计算系统的一实施例的框图。
详细描述
如上所述,当透视显示设备的用户在使用环境内移动时,该设备可响应于该移动而更新所显示的图像。例如,一些图像可被配置成相对于现实世界背景(“锁定世界的图像”)是静止的。随着用户相对于锁定世界的图像移动,该图像可以以不同的方向、不同的光纹理、不同的大小等被重新渲染在显示器上的不同位置处,就好像现实世界的视野在显示器后面改变一样。
透视显示设备可响应于从该透视显示设备上的运动传感器接收到的传感器输入而更新所显示的图像。例如,如以下更详细描述的,透视显示设备可包括获得可透过该显示器查看的背景环境的图像数据的面向外的图像传感器和/或检测移动的惯性运动传感器。用户的移动可从由这样的传感器获得的数据中检测,并且检测到的移动可用于更新所显示的图像。
一些透视显示设备(诸如一些头戴式显示设备)可利用分开的左眼显示器和右眼显示器来显示左眼图像和右眼图像例如以使得能够显示立体图像。因此,在这样的设备中,左眼图像和右眼图像两者都可响应于用户移动而被更新。
随着用户移动,所显示的图像被更新的速率对照用户对背景场景的视野的改变速率(例如,用户转他或她的头的速率)可影响用户体验。例如,对于锁定世界的图像,如果对该图像的重新渲染具有不理想的等待时间量(即,使用户的移动滞后太大的程度),则当响应于运动而将该图像重新定位在显示器上时,用户可感觉该图像是“抖动的”。此外,在锁定世界或锁定显示器的图像是现实世界对象的上下文并被显示在现实世界对象邻近(例如,作为现实世界对象的覆盖图)的情况下,该对象和图像的上下文链接可因等待时间而被减少。
图1A-1B示出了HMD设备100的用户102所查看到的锁定世界的图像的示例。当用户102凝视着唱片店形式的现实世界背景对象104时,促销广告形式的因商店而异的虚拟对象106被显示在该商店前面。当虚拟对象106被上下文地链接到现实世界背景对象104时,虚拟对象106在位置上被锁定到该现实世界背景对象104,以使得当用户在该物理环境周围移动时,从用户的角度来看,该广告保持在该商店前面。
为了维持虚拟对象106的锁定世界的视图,HMD设备100可被配置成检测现实世界背景对象104相对于用户的相对位置,并更新虚拟对象106的显示,以使得它呈现为相对于现实对象是静止的。然而,如果在经更新的图像的产生和显示之间存在不理想的等待时间量,则虚拟对象106可随着用户移动而抖动和/或移动,并因此可呈现为未被稳固地锁定到现实世界背景对象101。
为了避免这样的等待时间问题,透视显示设备可被配置成以足够快的速率来更新这些图像。图像产生和图像显示之间的等待时间依赖于诸如进程数和执行来准备和显示这些图像的每进程计算之类的因素以及可用于执行这样的处理的计算资源。
对于多显示器设备(诸如,具有分开的左眼显示器和右眼显示器的HMD设备)而言,一种可能的减少经更新的位置敏感图像的生成和显示之间的时间的方法可以是将充足的计算资源合并到该设备中以便用可接受的滞后量来更新同时显示的左眼和右眼图像。然而,显示设备的恒定功率消耗特征可随着该设备上提供的计算资源量而缩放。
因此,本文中公开了涉及在期望低等待时间的多显示器显示设备上高效地更新图像的各实施例。简言之,所公开的各实施例以时间顺序方式分开地渲染左眼图像和右眼图像,并随后以足够快的刷新速率显示左眼图像和右眼图像,以避免图像的不合需要的抖动。与对左眼图像和右眼图像的同时显示相反,对左眼图像和右眼图像的时间顺序显示可允许每一处理步骤中要执行的计算量被减少几乎一半。这可允许用将图像同时显示在两个眼睛的情况将花费的时间的几乎一半来将图像最初显示在用户的眼睛之一。因此,这可允许减少等待时间,而不增加系统的计算资源。尽管在本文中是在HMD设备的上下文中描述的,但将理解,所公开的实施例可与其中期望低等待时间的任何其他合适的多显示器系统联用,包括各显示在Z方向上偏移(例如如用户所查看到的距离,从而使得一个显示器可在另一透视显示器后面并透过该另一透视显示器来查看)。
如上所述,等待时间是用于响应于检测到的运动而更新图像的处理步骤的数目的函数。处理步骤的数目对于一些设备而言可能是显著的。由此,减少每一处理步骤所使用的时间量可提供等待时间方面的显著减少。图2示出了用于图1A-1B的HMD设备的图像处理流水线200的示例实施例,并示出了可在显示图像之前执行的多个处理步骤的示例。图像处理流水线200在内容产生器202(诸如产生供显示的虚拟图像的应用)处开始。内容产生器202可驻留在HMD设备上或者可驻留在远程,例如驻留在与HMD设备通信的另一设备上,诸如移动电话、平板计算机、膝上型计算机、网络可访问的服务器或其他合适的计算系统。在内容产生器驻留在远程的情况下,等待时间可引起由网络连接所引入的附加滞后所造成的更大问题。
内容产生器202将内容图像数据提供给图形处理器204,图形处理器204还从运动跟踪模块206接收运动数据。运动跟踪模块206可从任何合适的输入确定运动数据,包括但不限于从一个或多个相机208(例如,深度相机和/或二维图像相机)接收的环境图像数据和/或来自惯性运动检测器单元(IMU)210的惯性运动数据。运动数据被图形处理器204用来确定如何呈现来自内容产生器202的图像。
来自图形处理器的经处理的图像被提供给显示控制器212,并随后被提供给一个或多个被示为显示面板214的图像产生元件。如上所述,透视显示系统包括分开的左眼显示器和右眼显示器。因此,透视显示系统可包括针对左眼显示器和右眼显示器的分开的图像产生元件。可使用任何合适数目的图像产生元件。例如,在一些实施例中,左眼显示器和右眼显示器中的每一个可被配置成显示色序图像。在这样的实施例中,每一显示器可包括单个图像产生元件和用于每一图像色彩的光源。在其他实施例中,每一显示器可被配置成显示RGB图像(即,一起而非按时间顺序显示全部色彩)。在这样的实施例中,每一显示器可包括对于每一色彩的分开的图像产生元件。
可以使用任何合适的图像产生元件。示例包括但不限于LCOS(硅基液晶)微显示面板和/或其他合适的显示面板。在本文的讨论中,术语“图像”可用于描述在所描述的处理流水线中的任何步骤处的图像数据以及由该设备显示的终端图像。
如图2所示,来自内容产生器的图像在被显示之前在每一硬件位置处经历多个处理步骤。例如,在图形处理器204处,图像可经历渲染、重新投影(例如,基于观察到的运动对预测处理的校正)、各种变换、色彩处理、压缩、加密、和与传输和物理层网络通信有关的处理以及其他可能的处理。同样,在显示控制器212处,图像可经历解密、解压缩、色彩拆分(例如,分开红色、绿色和蓝色数据)、缓冲、压缩、格式化和物理/传输层通信处理。一旦这些图像到达显示面板,这些图像会经历解压缩、加载(例如,数模转换、写入像素阵列)并随后为照明。
如上所述,这些处理中的每一个所利用的计算资源根据正被处理的数据量。因此,对左眼图像和右眼图像的时间顺序显示可允许每图像将仅对完整双显示器数据集中的一半数据执行这些步骤中的每一个。这可允许针对单个图像的计算与将可能针对两个同时显示的图像的计算相比被执行地快速的多。这样的时间节省进而可有助于减少感知到的用户运动和所显示的图像对该运动的反应之间的等待时间。
作为更具体的示例,多显示器HMD设备可被配置成以60Hz或更大的速率来更新同时显示的左眼图像和右眼图像,使得抖动不被用户感知到。被适配成显示时间顺序左眼图像和右眼图像后,该设备可显示左眼图像和右眼图像以使得每一眼睛以60Hz速率看见按时间定序的图像,但偏移60Hz周期的一半以使得一个图像被显示为在该60Hz周期的开始处开始,而另一图像被显示为在该60Hz周期的稍后时间开始。如果以这种方式操作,则第一经更新图像可以以同时显示左眼图像和右眼图像将花费的时间的一半(例如,在整个第一60Hz周期的1/2路线处)被显示给用户。这可有助于减少不合需要的等待时间量的风险,而无需添加将增加费用和/或功率消耗的附加计算资源(例如,片上存储器)。将注意,与这样的显示设备相关联的等待时间可处在人类可察觉的等待时间的边界上。由此,即使等待时间方面的较小减少也可为用户体验提供相对大的益处。
图3示出了描绘用于将低等待时间图像显示在多显示器设备上的方法300的实施例的流程图。方法300包括在302,在图形处理器或其他合适的处理设备处接收第一图像,其中第一图像针对多显示器设备的第一显示器。例如,在一些实施例中,第一图像可包括如304处所显示的HMD设备的左眼图像。方法300接着包括在306,渲染并处理第一图像以供显示。在一些实施例中,这可包括基于经由来自一个或多个图像传感器和/或运动传感器的输入确定的视觉方向数据(例如,运动数据和/或图像数据)来处理第一图像。将理解,这样的处理可包括在多个不同的硬件位置处执行的许多个体处理步骤。
在渲染并处理了第一图像后,方法300包括在308经由第一显示器而不经由第二显示器显示第一图像。如上所述,在HMD中,这可包括如310处所指示的经由左眼显示器而不经由右眼显示器来显示左眼图像。在其他实施例中,第一图像可通过任何其他合适类型的显示器来显示。
左眼图像可经由左眼显示器按任何合适的方式来显示。例如,在一些实施例中,如312处所指示的可将该图像发送至左眼显示器而不发送至右眼显示器,并且如314处所指示的可向两个显示器提供光。在其他实施例中,可将左眼图像发送给左眼显示器和右眼显示器,并且可向左眼显示器而不向右眼显示器提供光。
在一些实施例中,如316处所指示的可将第一图像显示成色彩场序图像,以使得为该图像按顺序显示分开的红色、绿色和蓝色色彩场图像。以下参考图4更详细描述了对左眼图像和右眼图像的彩色场序、时间顺序显示的示例。在又一些实施例中,如318处所指示的可将第一图像显示成RGB图像,以使得一起显示该左眼图像的红色、绿色和蓝色色彩场。
此外,在一些实例中,诸如在场景具有多个分开的覆盖图元素的情况下,可按时间顺序方式在第二覆盖图元素之前处理并显示第一覆盖图元素,如320处所指示的。这可有助于进一步减少明显的滞后,因为与整个第一图像被一起渲染和显示的情况相比,第一图像的至少一部分可更快速地到达显示器。
继续,方法300接着包括对第二图像(诸如,右眼图像)执行类似的处理,以使得在显示第一图像的同时处理第二图像,并且随后在经由第一显示器显示第一图像后将第二图像显示在第二显示器上。因此,方法300包括在322在图形处理器或其他合适的处理设备处接收第二图像,并在326处处理第二图像以供显示。如以上针对第一图像所提到的,这样的处理可基于经由来自一个或多个图像传感器和/或运动传感器的输入确定的视觉方向数据(例如,运动数据和/或图像数据)来执行。
方法300进一步包括在328,经由第二显示器而不经由第一显示器来显示第二图像。在HMD设备中,这可涉及在330处经由右眼显示器而不经由左眼显示器来显示该图像。右眼图像可经由右眼显示器按任何合适的方式来显示。例如,在一些实施例中,如332处所指示的可将右眼图像发送至左眼显示器而不发送至右眼显示器,并且如334处所指示的可向左眼显示器和右眼显示器提供光。在其他实施例中,可将右眼图像发送至右眼显示器并发送至左眼显示器,而可向右眼显示器而不向左眼显示器提供光。
如以上针对第一图像所讨论的,如336处所指示的可将第二图像显示成色彩场序图像,以使得为第二图像按顺序显示分开的红色、绿色和蓝色图像。在其他实施例中,如338处所指示的可将第二图像显示成RGB图像,以使得一起显示该左眼图像的红色、绿色和蓝色分量。同样,如上所述,可显示该第二图像,以使得按时间顺序方式显示第一图像的第一覆盖图元素和第二覆盖图元素。通过这种方式,可以以低等待时间显示与所确定的用户的呈现视觉方向对齐的扩增现实图像。
图4示出了解说用于按时间顺序、色彩场序方式显示左眼图像和右眼图像的示例实施例的时序图400。左眼图像产生元件的时序图由图4中的“L”时间条示出,并且右眼图像产生元件的时序图由“R”时间条示出。每一条的交叉影线表示在(例如用于更新先前显示的图像的)那个时间加载到图像生成元素中的更新图像,并且文本表示在那个时间应用的照明。例如,R(左)框中的交叉影线指示左眼图像的红色色彩图像被加载在显示面板中并用红光来照明。交叉影线的缺失指示先前加载的图像保持被写入该面板的情况,或者该面板没有以其他方式被更新的情况。
在图4的实施例中,将新左眼图像的红色、绿色和蓝色色彩场图像顺序地加载到左眼图像产生元件中,以更新先前显示的图像。顺序地用红光、绿光和蓝光来照明这些色彩场图像,以使得显示每一色彩场达16.67ms帧的1/6。在该时间期间,顺序地显示右眼图像的先前加载的红色、绿色和蓝色场,如那些框中交叉影线的缺失所表示的。
接着,对于16.67ms帧的第二半,通过以下来以色彩顺序方式类似地显示右眼图像:将右眼图像的红色、绿色和蓝色色彩场顺序地发送至右眼图像产生元件,并用合适的色彩光序列来照明右眼图像产生元件和左眼图像产生元件,以使得显示新的右眼图像和先前加载的左眼图像。将理解,图4的时序图是出于示例的目的而被呈现的,且不旨在以任何方式进行限制。
如上所述,以上描述的方法可经由任何合适的透视显示设备来执行,包括但不限于图1的头戴式透视显示设备100。图5示出了透视显示设备100的示例配置的框图。
透视显示设备100包括具有左眼显示器504和右眼显示器506的透视显示系统502。左眼显示器504包括一个或多个左眼图像产生元件508。例如,在左眼显示器504被配置成显示时间顺序、色彩顺序图像的情况下,该左眼显示器504可包括单个图像产生元件,例如单个LCOS面板或其他微显示器面板。同样,在左眼显示器504被配置成显示RGB图像的情况下,左眼显示器可包括针对每一色彩的微显示器。此外,左眼显示器504还可包括一个或多个光源510,该一个或多个光源510被配置成在图像产生元件不是发射型的情况下照明该图像产生元件508。右眼显示器506还包括一个或多个右眼图像产生元件512并可包括一个或多个光源514。
透视显示设备100还可包括一个或多个面向外的图像传感器516,该一个或多个面向外的图像传感器516被配置成获得被用户查看的背景场景的图像。来自图像传感器的图像可被用于检测用户移动,并且还可被用于检测在透视显示设备100的背景场景中的对象。面向外的图像传感器516可以包括一个或多个深度传感器(包括但不限于立体深度成像布置)和/或一个或多个二维图像传感器。还可经由如上所述的一个或多个惯性运动传感器(即一个或多个惯性运动传感器518)来检测运动。透视显示设备100还可包括一个或多个话筒520,该一个或多个话筒520被配置成检测声音,诸如来自用户的语音命令。
继续,透视显示设备100可进一步包括被配置成检测用户每只眼睛的凝视方向的凝视检测子系统522。凝视检测子系统522可被配置成以任何合适方式确定用户眼睛的凝视方向。例如,在所描绘的实施例中,凝视检测子系统522包括一个或多个闪烁源524(诸如红外线光源)以及一个或多个面向内的图像传感器526,该一个或多个闪烁源524被配置成使得红外光的闪烁(“Purkinje图像”)从用户的每个眼睛的角膜反射,该一个或多个面向内的图像传感器526被配置成捕捉用户的一个或多个眼睛的图像。如从经由图像传感器526收集的图像数据确定的闪烁和瞳孔的图像可用于确定每一眼睛的光轴。将理解,凝视检测子系统522可以具有任意适当数量和布置的光源和图像传感器。
透视显示设备100可进一步包括附加传感器。例如,透视显示设备100可包括允许确定透视显示设备100的位置的全球定位(GPS)子系统528。
透视显示设备100进一步包括计算设备530,该计算设备530具有逻辑子系统532、存储子系统536和通信子系统538。逻辑子系统532可包括图形处理单元534,该图形处理单元534被配置成处理图像以供左眼显示器504和右眼显示器506按时间顺序的方式显示,如以上所讨论的。存储子系统536可包括存储在其上的指令,这些指令可被逻辑子系统532执行来控制左眼显示器504和右眼显示器506对图像的显示以及其他任务。通信子系统538可被配置成通过有线和/或无线链接与其他计算设备通信。例如,通信子系统538可允许透视显示设备从位于该透视显示设备远程的内容产生器处获得图像数据,如以上所提到的。此外,以下参考图6描述关于用于逻辑子系统532、存储子系统536、通信子系统538和其他以上提到的组件的示例硬件的信息。
将理解,所描绘的透视显示设备100是出于示例的目的被提供的,并且因此不意味着进行限制。因此,将理解,头戴式设备可包括除所示出的那些以外的附加和/或替代的传感器、相机、话筒、输入设备、输出设备等,而不偏离本公开的范围。此外,头戴式显示设备的物理配置及其各种传感器和子组件可以采取各种不同形式,而不偏离本公开的范围。
此外,将理解,被配置成经由多个显示器来显示低等待时间图像的计算系统可采取除头戴式显示设备以外的任何合适形式,并可包括大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如,智能电话)、其他可穿戴计算机等。还将理解,以上所述的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图6示意性地示出了可以执行上述方法和过程之中的一个或多个的计算系统600的非限制性实施例。计算系统600以简化的形式示出,并且如上所述可表示任何合适的设备和/或设备组合,包括但不限于HMD设备100的计算设备530。
计算系统600包括逻辑子系统602和存储子系统604。计算系统600可任选地包括显示子系统606、输入设备子系统608、通信子系统610和/或在图6中未示出的其他组件。计算系统600还可以任选地包括一个或多个用户输入设备或与其对接,诸如举例来说键盘、鼠标、游戏控制器、相机(深度的和/或二维的)、话筒和/或触摸屏。这些用户输入设备可以形成输入设备子系统608的一部分或者可以与输入设备子系统608对接。
逻辑子系统602包括被配置为执行指令的一个或多个物理设备。例如,逻辑子系统可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。可以实现这样的指令为执行任务、实现数据类型、变换一个或多个组件的状态、或以其它方式达到所需的结果。
逻辑子系统602可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地,逻辑子系统602可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统602的处理器可以是单核或多核的,而其上执行的程序可以被配置为进行串行、并行或分布式处理。逻辑子系统602可以任选地包括分布在两个或更多设备之间的独立组件,这些独立组件可以位于远程和/或被配置用于进行协调处理。逻辑子系统的各方面可以由云计算配置中配置的可远程访问的联网计算设备来虚拟化和执行。
存储子系统604包括一个或多个物理、非瞬时设备,该一个或多个物理、非瞬时设备被配置为保持逻辑子系统可执行来实现此处所述的方法和过程的数据和/或指令。在实现此类方法和过程时,存储子系统604的状态可以被变换——例如,以保持不同的数据。
存储子系统604可以包括可移动介质和/或内置设备。存储子系统604可包括光学存储设备(例如,CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如,RAM、EPROM、EEPROM等)和/或磁性存储设备(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统604可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。在某些实施例中,可将逻辑子系统602和存储子系统604集成到一个或多个单一设备中,诸如应用程序专用的集成电路(ASIC)或片上系统。
将领会,存储子系统604包括一个或多个物理、非瞬时设备。然而,在一些实施例中,在此描述的指令的各方面可以按暂态方式通过不由物理设备在有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外,与本公开有关的数据和/或其他形式的信息可以通过纯信号来传播。
术语“程序”可用于描述被实现来执行特定功能的计算系统600的一方面。在某些情况下,可以经由执行存储子系统604所保持的指令的逻辑子系统602来实例化程序。将理解,可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的程序。同样,可以由不同的应用、服务、代码块、对象、例程、API、函数等实例化同一程序。术语“程序”可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
显示子系统606可用于呈现由存储子系统604所保持的数据的可视表示。由于此处所描述的方法和过程改变了由存储子系统保持的数据,并由此变换了存储子系统的状态,因此同样可以转变显示子系统606的状态以视觉地表示底层数据的改变。显示子系统606可以包括使用实际上任何类型的技术的一个或多个显示设备。可以将此类显示设备与逻辑子系统602和/或存储子系统604一起组合在共享封装中,或者此类显示设备可以是外围触摸显示设备。
通信子系统610可以被配置成将计算系统600与一个或多个其它计算设备可通信地耦合。通信子系统610可包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例,通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中,该通信子系统可允许计算系统600经由网络(比如因特网)向其他设备发送消息和/或从其他设备接收消息。
应该理解,此处所述的配置和/或方法在本质上示例性的,且这些具体实施例或示例不是局限性的,因为众多变体是可能。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此,所示出和/或描述的各个动作可以按所示出和/或描述的顺序、按其他顺序、并行执行或者被忽略。同样,可以改变上述过程的次序。
本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效方案的所有新颖和非显而易见的组合和子组合。

Claims (10)

1.一种在包括第一显示器和第二显示器的显示设备中显示图像的方法,所述方法包括:
接收第一图像;
处理所述第一图像;
经由所述第一显示器显示所述第一图像,而不经由所述第二显示器显示所述第一图像;
接收第二图像;
显示所述第一图像的同时处理所述第二图像;以及
经由所述第二显示器显示所述第二图像而不经由所述第一显示器显示所述第二图像,以使得所述第二图像的显示在时间上偏离所述第一图像的显示。
2.如权利要求1所述的方法,其特征在于,经由所述第一显示器显示所述第一图像包括以色彩场序方式显示所述第一图像,以及经由所述第二显示器显示所述第二图像包括以色彩场序方式显示所述第二图像。
3.如权利要求1所述的方法,其特征在于,经由所述第一显示器显示所述第一图像包括将所述第一图像显示成RGB图像,并且其中经由所述第二显示器显示所述第二图像包括将所述第二图像显示成RGB图像。
4.如权利要求1所述的方法,其特征在于,经由所述第一显示器显示所述第一图像而不经由所述第二显示器显示所述第一图像包括将所述图像发送至第一图像处理元件而不发送至第二产生元件,同时照明所述第一图像产生元件以及所述第二图像产生元件。
5.如权利要求1所述的方法,其特征在于,所述显示设备包括头戴式显示器,其中所述第一图像产生元件是左眼图像产生元件,并且其中所述第二图像产生元件是右眼图像产生元件。
6.如权利要求5所述的方法,其特征在于,所述左眼图像和所述右眼图像包括扩增现实透视显示器的覆盖图。
7.如权利要求1所述的方法,其特征在于,还包括经由传感器数据确定视觉方向,并且其中处理所述第一图像和处理所述第二图像包括基于所确定的视觉方向渲染所述第一图像和所述第二图像。
8.如权利要求1所述的方法,其特征在于,经由所述第一显示器显示所述第一图像而不经由所述第二显示器显示所述第一图像包括将所述第一图像提供至第一图像处理元件并提供至第二图像产生元件,并向所述第一图像产生元件提供光而不向所述第二图像产生元件提供光。
9.如权利要求1所述的方法,其特征在于,所述第一图像被显示成在16ms帧的开始处开始,并且所述第二图像被显示成在所述16ms帧内的稍后时间处开始。
10.一种透视头戴式显示设备,包括:
图形处理器;
包括左眼图像产生元件的左眼显示器;
包括右眼图像产生元件的右眼显示器;以及
存储子系统,所述存储子系统包括存储在其上的能够执行以下的指令:
经由所述图形处理器来处理左眼图像;
经由所述左眼显示器显示所述左眼图像而不经由所述右眼显示器显示所述左眼图像;
在显示所述左眼图像的同时,经由所述图形处理器处理右眼图像;以及
经由所述右眼显示器显示所述右眼图像而不经由所述左眼显示器显示所述右眼图像,以使得所述右眼图像的显示在时间上偏离所述左眼图像的显示。
CN201380062595.7A 2012-11-30 2013-11-30 多显示器设备上的低等待时间图像显示 Pending CN105027563A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/691,255 2012-11-30
US13/691,255 US20140152676A1 (en) 2012-11-30 2012-11-30 Low latency image display on multi-display device
PCT/US2013/072523 WO2014085788A1 (en) 2012-11-30 2013-11-30 Low latency image display on multi-display device

Publications (1)

Publication Number Publication Date
CN105027563A true CN105027563A (zh) 2015-11-04

Family

ID=49817281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380062595.7A Pending CN105027563A (zh) 2012-11-30 2013-11-30 多显示器设备上的低等待时间图像显示

Country Status (6)

Country Link
US (1) US20140152676A1 (zh)
EP (1) EP2926555A1 (zh)
JP (1) JP2016509245A (zh)
KR (1) KR20150091474A (zh)
CN (1) CN105027563A (zh)
WO (1) WO2014085788A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140262A (zh) * 2015-12-22 2018-06-08 谷歌有限责任公司 调整虚拟现实内容的视频渲染速率和立体图像的处理
CN110402462A (zh) * 2017-03-15 2019-11-01 微软技术许可有限责任公司 无用户感知情况下的低延时断裂
CN110521203A (zh) * 2017-04-25 2019-11-29 Ati科技无限责任公司 多头戴式显示器虚拟现实配置中的显示调步
WO2020200067A1 (zh) * 2019-03-29 2020-10-08 华为技术有限公司 头戴式显示器的图像显示方法及设备

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
CN103780741B (zh) * 2012-10-18 2018-03-13 腾讯科技(深圳)有限公司 提示网速的方法和移动设备
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US20150309534A1 (en) 2014-04-25 2015-10-29 Osterhout Group, Inc. Ear horn assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
KR20170025656A (ko) * 2015-08-31 2017-03-08 엘지전자 주식회사 가상 현실 기기 및 그의 렌더링 방법
US10504417B2 (en) 2015-12-31 2019-12-10 Omnivision Technologies, Inc. Low latency display system and method
KR102417177B1 (ko) 2016-02-18 2022-07-05 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
EP3420413A1 (en) * 2016-02-22 2019-01-02 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
KR20180067767A (ko) 2016-12-12 2018-06-21 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10607572B2 (en) * 2018-05-01 2020-03-31 Qualcomm Incorporated Frequency synchronization and phase correction

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010005185A1 (en) * 1999-12-27 2001-06-28 Takeshi Endo Image display apparatus
US20030080964A1 (en) * 2001-10-30 2003-05-01 Prache Olivier F. Three dimensional display emulation method and system
US20040239685A1 (en) * 2001-12-20 2004-12-02 Olympus Corporation Image display device
US20070188522A1 (en) * 2006-02-15 2007-08-16 Canon Kabushiki Kaisha Mixed reality display system
CN102413267A (zh) * 2010-09-15 2012-04-11 微软公司 改进的扫描传感器阵列
CN102413339A (zh) * 2010-09-20 2012-04-11 思科技术公司 立体图像中的对象跟踪和强调
US20120140038A1 (en) * 2010-12-01 2012-06-07 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06315125A (ja) * 1993-04-28 1994-11-08 Olympus Optical Co Ltd 映像表示装置
JPH06314330A (ja) * 1993-04-30 1994-11-08 Casio Comput Co Ltd データ処理装置
JPH11153987A (ja) * 1997-11-19 1999-06-08 Olympus Optical Co Ltd グラフィック表示装置
JPH11317963A (ja) * 1998-05-07 1999-11-16 Fuji Film Microdevices Co Ltd 画像撮影装置、画像再生装置、および画像撮影再生装置
US6314248B1 (en) * 1998-04-21 2001-11-06 Fuji Photo Film, Co., Ltd. Image photography apparatus, image reproducing apparatus, image photography and reproducing apparatus, stereographic projector, jig for image stereoscopic vision, and printer
JP2000199886A (ja) * 1998-10-30 2000-07-18 Semiconductor Energy Lab Co Ltd フィ―ルドシ―ケンシャル液晶表示装置およびその駆動方法ならびにヘッドマウントディスプレイ
JP2000221953A (ja) * 1999-01-29 2000-08-11 Sony Corp 映像表示装置、映像処理方法及びこれらを応用した映像表示システム
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
JP2004007315A (ja) * 2002-06-03 2004-01-08 Victor Co Of Japan Ltd ヘッドマウントディスプレイ装置
TWI348671B (en) * 2006-08-16 2011-09-11 Au Optronics Corp A circuit for driving an lcd panel and a method thereof
US7595933B2 (en) * 2006-10-13 2009-09-29 Apple Inc. Head mounted display system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010005185A1 (en) * 1999-12-27 2001-06-28 Takeshi Endo Image display apparatus
US20030080964A1 (en) * 2001-10-30 2003-05-01 Prache Olivier F. Three dimensional display emulation method and system
US20040239685A1 (en) * 2001-12-20 2004-12-02 Olympus Corporation Image display device
US20070188522A1 (en) * 2006-02-15 2007-08-16 Canon Kabushiki Kaisha Mixed reality display system
CN102413267A (zh) * 2010-09-15 2012-04-11 微软公司 改进的扫描传感器阵列
CN102413339A (zh) * 2010-09-20 2012-04-11 思科技术公司 立体图像中的对象跟踪和强调
US20120140038A1 (en) * 2010-12-01 2012-06-07 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140262A (zh) * 2015-12-22 2018-06-08 谷歌有限责任公司 调整虚拟现实内容的视频渲染速率和立体图像的处理
CN108140262B (zh) * 2015-12-22 2022-03-29 谷歌有限责任公司 调整虚拟现实内容的视频渲染速率和立体图像的处理
CN110402462A (zh) * 2017-03-15 2019-11-01 微软技术许可有限责任公司 无用户感知情况下的低延时断裂
CN110521203A (zh) * 2017-04-25 2019-11-29 Ati科技无限责任公司 多头戴式显示器虚拟现实配置中的显示调步
CN110521203B (zh) * 2017-04-25 2022-03-11 Ati科技无限责任公司 多头戴式显示器虚拟现实配置中的显示调步
US11474354B2 (en) 2017-04-25 2022-10-18 Ati Technologies Ulc Display pacing in multi-head mounted display virtual reality configurations
WO2020200067A1 (zh) * 2019-03-29 2020-10-08 华为技术有限公司 头戴式显示器的图像显示方法及设备
US11899212B2 (en) 2019-03-29 2024-02-13 Huawei Technologies Co., Ltd. Image display method and device for head mounted display

Also Published As

Publication number Publication date
EP2926555A1 (en) 2015-10-07
KR20150091474A (ko) 2015-08-11
US20140152676A1 (en) 2014-06-05
JP2016509245A (ja) 2016-03-24
WO2014085788A1 (en) 2014-06-05

Similar Documents

Publication Publication Date Title
CN105027563A (zh) 多显示器设备上的低等待时间图像显示
US10016679B2 (en) Multiple frame distributed rendering of interactive content
US11568606B2 (en) Method and device for compositing an image
US11303875B2 (en) Split rendering between a head-mounted display (HMD) and a host computer
US9424767B2 (en) Local rendering of text in image
JP2018139102A (ja) 没入型コンテンツ内の関心地点を決定する方法及び装置
CN105359082A (zh) 用户接口导航
US20200097068A1 (en) Method and apparatus for providing immersive reality content
CN111066081B (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
US10769679B2 (en) System and method for interactive units within virtual reality environments
EP3236423A1 (en) Method and device for compositing an image
US11451721B2 (en) Interactive augmented reality (AR) based video creation from existing video
US11095956B2 (en) Method and system for delivering an interactive video
US11748918B1 (en) Synthesized camera arrays for rendering novel viewpoints
KR20210125403A (ko) 손실 없는 데이터 감소를 통해 통신 부하를 감소하기 위한 방법, 장치 및 저장 매체
US11962743B2 (en) 3D display system and 3D display method
US11961184B2 (en) System and method for scene reconstruction with plane and surface reconstruction
US20210354035A1 (en) Interaction in a multi-user environment
US20180365268A1 (en) Data structure, system and method for interactive media
WO2021044441A1 (en) Interactive augmented reality (ar) based video creation from existing video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151104