CN105324738A - 在头戴式显示器中切换操作模式 - Google Patents

在头戴式显示器中切换操作模式 Download PDF

Info

Publication number
CN105324738A
CN105324738A CN201480035753.4A CN201480035753A CN105324738A CN 105324738 A CN105324738 A CN 105324738A CN 201480035753 A CN201480035753 A CN 201480035753A CN 105324738 A CN105324738 A CN 105324738A
Authority
CN
China
Prior art keywords
hmd
user
display
real world
district
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480035753.4A
Other languages
English (en)
Other versions
CN105324738B (zh
Inventor
S.奥斯曼
X.毛
J.R.斯塔福德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN105324738A publication Critical patent/CN105324738A/zh
Application granted granted Critical
Publication of CN105324738B publication Critical patent/CN105324738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows

Abstract

本发明提出用于管理头戴式装置(HMD)上的图像的显示的方法、系统和计算机程序。一种方法包括用于追踪穿戴所述HMD的用户的注视的操作，其中所述HMD显示虚拟世界的场景。此外，所述方法包括用于检测用户的注视固定在预定区域达预定时间量的操作。响应于检测，所述方法使HMD中的显示器的区淡出，同时维持虚拟世界的场景在所述区外的显示器的区域中。此外，所述方法包括用于使真实世界的视野在所述区中淡入就好像在用户浏览所述区时HMD对用户透明的操作。所述真实世界的所述视野的所述淡入包括维持所述虚拟世界的所述场景在所述区外。

Description

在头戴式显示器中切换操作模式
背景
1.技术领域
本发明实施方案涉及用于改进头戴式装置(HMD)的可用性的方法，且更特定来说，涉及用于在HMD的显示器上显现图像的方法、系统和计算机程序。
2.相关技术描述
通常，HMD是穿戴在用户头部上的便携式装置，使得位于与眼睛相隔短距离的显示器提供用户交互图像。一些HMD提供混合的真实生活和虚拟生活环境，其中用户能够看见由计算装置创建的图像以及一些真实生活图像。其它HMD提供阻止用户看见外部世界的沉浸式体验，同时在HMD显示器上提供虚拟世界。
然而，虽然用户通过HMD中的显示器观看真实世界或虚拟世界，但仍可能存在问题，因为HMD的计算能力可能不适于刷新显示器上的图像。这可对HMD用户造成运动病或运动眩晕。这种症状在用户被打断(例如，接到电话)和用户想要快速离开HMD环境时特别严重。
需要一种如果事件要求快速用户关注那么允许用户快速联系真实世界的HMD。
在这种内容背景下出现实施方案。
发明内容
提出用于管理头戴式装置(HMD)上的图像的显示的方法、装置、系统和计算机程序。应明白，本发明实施方案可按众多方式实施，诸如方法、设备、系统、装置或计算机可读介质上的计算机程序。下文描述若干实施方案。
在一个实施方案中，一种方法包括用于追踪穿戴HMD的用户的注视的操作，其中HMD显示虚拟世界的场景。此外，所述方法包括用于检测用户的注视固定在预定区域达预定时间量的操作。响应于检测，所述方法使HMD中的显示器的区淡出，同时维持虚拟世界的场景在所述区外的显示器的区域中。此外，所述方法包括用于使真实世界的视野在所述区中淡入就好像在用户浏览所述区时HMD对用户透明的操作。真实世界视野的淡入包括维持虚拟世界场景在所述区外。
在另一实施方案中，一种用于管理头戴式装置(HMD)上的图像的显示的方法包括用于检测用来使用户适应HMD的命令的操作。此外，所述方法包括用于在显示器上呈现真实世界视野就好像HMD透明的操作和用于以增强现实模式将虚拟元素添加到真实世界视野的操作。又，所述方法包括用于使真实世界视野从显示器淡出同时维持虚拟元素在显示器上的操作和用于使虚拟世界视野在虚拟元素周围淡入的操作。
在又一实施方案中，一种嵌入非暂时性计算机可读存储介质中、在被一个或多个处理器执行时用于管理头戴式装置(HMD)上的图像的显示的计算机程序包括用于追踪穿戴显示虚拟世界场景的HMD的用户的注视的程序指令。所述计算机程序还包括用于追踪穿戴显示虚拟世界场景的HMD的用户的注视的程序指令和用于检测用户注视固定在预定区域达预定时间量的程序指令。此外，所述计算机程序包括用于响应于检测，使HMD的显示器的区淡出同时维持虚拟世界场景在所述区外的显示器的区域中的程序指令。此外，所述计算机程序包括用于使真实世界视野在所述区中淡入就好像在用户浏览所述区时HMD对用户透明的程序指令，所述淡入包括维持虚拟世界场景在所述区外。
在又一实施方案中，一种用于管理头戴式装置(HMD)上的图像的显示的方法包括用于在用户注视投射在HMD的显示器上时追踪注视的操作。此外，所述方法包括用于在追踪到注视时识别注视的轨迹的操作。比较识别的轨迹与用户签名，所述签名包括注视的签名轨迹。此外，所述方法包括用于在识别的轨迹对应于签名轨迹时支持对HMD上的资源的访问的操作。
其它方面将从结合附图所作的下文详细描述而变得明显。
附图简述
参考结合附图所作的下文描述，可最佳地理解实施方案。
图1说明根据一个实施方案的与多个装置(包括头戴式装置(HMD))进行交互的用户。
图2说明根据一个实施方案的经由图像分析对HMD进行的追踪。
图3示出根据一个实施方案的具有用于追踪用户注视的内置相机的HMD。
图4示出具有用于视觉追踪的照射点的HMD的实施方案。
图5说明根据一个实施方案的使用注视对密码的键入。
图6A说明根据一个实施方案的用于在用户已开始使用HMD时进行检测的方法。
图6B说明根据一个实施方案的注视签名的键入。
图7A说明根据一个实施方案的从真实生活视野到虚拟世界视野的显示转变。
图7B说明根据一个实施方案的从真实生活视野到增强现实视野到虚拟世界视野的转变。
图8说明可以用来实施本发明的实施方案的装置的架构。
图9A-9B说明根据若干实施方案的用于从HMD环境转出的输入。
图10说明根据一个实施方案的具有虚拟世界视野和真实生活视野的混合显示。
图11说明根据一个实施方案的经由注视键入的退出命令的检测。
图12说明根据一个实施方案的HMD视野的不同沉浸阶段。
图13A是根据一个实施方案的用于使用户适应HMD的流程图。
图13B是根据一个实施方案的用于使用户不适应HMD的流程图。
图13C是根据一个实施方案的用于管理HMD上的图像的显示的流程图。
图14说明可以用来实施本发明的实施方案的硬件和用户接口。
图15是根据本发明的各种实施方案的游戏系统的方框图。
具体实施方式
下述实施方案描述用于管理头戴式装置(HMD)上的图像的显示的方法、设备、系统和计算机程序。将明白，本发明实施方案可以在没有这些特定详情中的一些或所有的情况下实行。在其它实例中，熟知过程操作未作详细描述以免使本发明实施方案不必要地变模糊。
图1说明根据一个实施方案的与多个装置(包括头戴式装置(HMD))进行交互的用户。用户114穿戴HMD102，所述HMD102包括在用户眼睛附近显现图像的显示器110。在一个实施方案中，图像显现成3D。
在一个实施方案中，计算装置106执行在HMD102上显示的游戏。因此，计算装置106与HMD102协作以显示用于玩游戏的图像。游戏操作的处理可以在计算装置106上、在HMD102上或在计算装置106和HMD102两者中完成。
在图1的实施方案中，HMD102与计算装置106进行无线通信(例如，WiFi、蓝牙等)。在其它实施方案中(未示出)，HMD102可以直接连接到计算装置106，或经由网络(例如，互联网)与计算装置106进行通信。例如，计算装置106可以是在网络上提供游戏服务的服务器。在一些实施方案中，HMD是自主玩游戏装置且在HMD上直接执行游戏，而无需外部装置来运行游戏。
在一个实施方案中，相机(或多个相机)耦接到计算装置106。如果计算装置106是网络上的服务器，那么相机104可以是经由网络(例如，经由互联网)将图像发送到所述计算装置的联网相机。相机104可以是以下项中的一个或多个：普通图像相机、立体相机(即，具有从游戏区域捕捉图像的两个或两个以上透镜)、红外相机、深度相机、3D相机等。
相机104拍摄的图像可以被处理来追踪HMD102的位置和移动。此外，图像还可以用来追踪用户或用户特征(例如，用户头部、用户嘴巴、用户手部、用户躯干等)、控制器(例如，单手控制器116或双手控制器118)或游戏区域中的任何其它元件的位置和运动。
在一个实施方案中，用户可以经由语音辨识提供命令，所述语音辨识可以通过计算装置106经由透过一个或多个麦克风120进行的声音捕捉来执行，或可以通过HMD102(在一个实施方案中，其还包括一个或多个麦克风)来执行。在另一实施方案中，用户114还可以经由通过计算装置106分析和辨识的姿势键入输入。
在一个实施方案中，计算装置106还连接到显示器108，其可以执行一些游戏操作。例如，显示器108可以在用户戴上HMD102之前将指令提供给用户。在另一实施方案中，显示器108提供在HMD上显示的相同或相似显示，因此其他附近玩家可以察觉用户114对在HMD102上显示的游戏所玩的进度。
在一个实施方案中，用户握持一个或多个控制器116。计算装置106追踪控制器的位置和移动，且关于控制器运动的操作或使用控制器键入的输入可以用作游戏输入。例如，控制器可以表示剑柄，且剑显示在游戏场景中。随着用户移动控制器，剑在虚拟世界中与控制器同步地移动。这样，玩家能够执行格斗游戏操作，其中剑为武器。
在一个实施方案中，计算装置106计算HMD102与游戏控制器116之间的相对位置。接着，游戏使用相对位置以与HMD102同步地移动游戏对象。
计算装置还可以追踪第二控制器116，所述第二控制器116还可以链接到在HMD的显示器上显现的游戏对象。例如，第二控制器可以是盾，且用户能够在虚拟世界中使用剑和盾作战。在其它实施方案中，控制器可以在游戏中用于其它目的，诸如武器(例如，枪、步枪或任何类型的射击武器、斧、激光枪、转向装置–摩托车的转向盘或手柄–手电筒、锤、盾等)。
在另一实施方案中，用户还可以与可以按与单手控制器相似方式使用的双手控制器进行交互。例如，双手控制器可以用作转向盘。
在另一实施方案中，使用控制器(诸如通过按压控制器上的按钮)键入的输入可以用来在游戏中执行命令。例如，用户可以使用控制器上的按钮以移动游戏中的头像，开火，抓住对象等。
应注意，图1中所示的实施方案是示例性的。其它实施方案可以利用不同装置，不同数量的装置，在不同装置之间具有更多或更少互动，使用其它通信方式(例如，超声波)，促成穿戴各自HMD的两个用户玩相同游戏的多玩家游戏等。因此，图1中所示的实施方案不应被解释为排他性或限制性，但相反应被解释为示例性或说明性。
图2说明根据一个实施方案的经由图像分析对HMD进行的追踪。在一个实施方案中，HMD208包括协助HMD的视觉追踪的元件。例如，HMD可以包括红外灯210、发光二极管(LED)214和具有容易经由图像分析辨识的特殊形状的对象。例如，一个或多个球形对象212可以添加到HMD以便于追踪。此外，还可以使用LED光、红外光或任何其它类型的照射照射球形对象202。
此外，HMD208还可以包括特殊视觉标记器(未示出)，诸如回射区域、具有特定颜色的区域(例如，蓝色矩形等)或标记(例如，HMD表面上的三条平行线)等。
在一些实施方案中，HMD在HMD后方包括灯或标记器(即，HMD中触及后脑勺的部分)。这样，如果用户转身且背对相机，那么仍可能通过检测HMD后方的灯或标记器而在视觉上追踪HMD的位置。
可以使用不同类型的相机执行HMD的视觉追踪。在一个实施方案中，使用立体相机202追踪HMD，所述立体相机202是包括两个或两个以上透镜的相机。比较来自不同透镜的图像以便对HMD中的特征执行三角测量分析以协助HMD的定位以及HMD的作用领域内的深度(例如，从HMD到拍摄HMD图像的相机的距离)的计算。
在另一实施方案中，红外相机204分析红外光(例如，红外灯210)。红外光对人眼不可见，但红外光对红外相机可见。这样，HMD可以包括不有损HMD外观的红外灯。此外，在一些环境中(例如，弱光或亮光)，追踪红外光可以比追踪其它类型的光更容易。
在又一实施方案中，普通相机(在本文中也称为单色相机，因为相机仅具有一个透镜)用来追踪HMD中的光或特征。为了使用普通相机确定HMD的作用领域内的深度，分析HMD上的特征中的一些的大小以便检测深度。特征越小，HMD与相机相隔的距离越远。此外，追踪还可以结合其它类型的追踪，诸如惰性运动追踪、航位推算、计算装置中的HMD之间的超声波通信等。
应注意，图2中所示的实施方案是示例性的。其它实施方案可以在作用领域中利用不同仅一种类型的相机、若干相机等。因此，图2中所示的实施方案不应被解释为排他性或限制性，但相反应被解释为示例性或说明性。
图3示出根据一个实施方案的具有用于追踪用户注视的内置相机302、304的HMD。在一个实施方案中，HMD具有用来在用户观看HMD208中的显示306时追踪用户注视的一个或多个相机(例如，302、304)。在一个实施方案中，两个相机302、304追踪用户视线，每个相机追踪不同眼睛。在另一实施方案中，位于HMD中心附近的单个相机拍摄两只眼睛的图像，且分析图像以确定注视。
应注意，图3的实施方案包括位于眼睛前方的相机，但相机还可以位于HMD的不同部分。通过使用镜和滤光片，可能定位相机以在多个位置中进行注视追踪。例如，在一个实施方案中，相机可以位于显示器后方，其使光以一个方向穿过(例如，从眼睛到相机)。在另一实施方案中，相机可以位于一侧且指向在HMD中心中且使相机的视景朝向眼睛重新定向的镜。
图4示出具有用于视觉追踪的照射点的HMD的实施方案。图4示出具有多个特征的HMD，所述特征促进追踪HMD的作用领域内的运动。HMD402包括位于HMD前方、侧方和后方的红外灯404。
HMD前方的四个红外灯位于HMD的相同正面。在图4的实施方案中，顶部的红外灯之间的距离小于底部处的红外灯之间的距离。这样，由前方的红外灯形成的梯形图案促进HMD的追踪。例如，如果用户将其头部倾向一侧，那么由前方的红外灯形成的梯形将倾斜达与用户头部相同的角度。
此外，每侧上的三个红外灯也协助追踪。侧红外灯中的两个定位为在HMD的前方与侧方之间成某个角度。因此，在相机位于HMD前方或HMD侧时，相机可以看见这两个红外灯。HMD侧的另一红外灯指向头部侧，或换句话来说，红外灯与位于HMD前方的红外灯成约90°。最后，HMD后方的红外灯允许在用户背向相机时追踪HMD。
在用户转头时，红外灯将形成不同图案且基于相机视角，将察觉到红外灯具有不同亮度级。红外灯的这些距离、大小和亮度级协助计算装置追踪HMD的位置。
此外，HMD包括三个LED灯406。存在位于HMD前方、具有形成两个交叉平面的覆盖面的两个LED灯406。所述平面中的一个在HMD侧，且另一平面与HMD前方成某个角度(例如，45°)。与红外灯追踪相似，计算装置分析由相机捕捉的LED灯的形状和强度。这样，计算装置能够确定HMD的位置。再者，位于HMD后方的LED灯允许相机在用户背向相机时检测HMD。
此外，HMD402包括用来打开或关掉HMD的开关408。应注意，图4中所示的实施方案是示例性的。其它实施方案可以利用不同仅一种类型的灯、一种以上类型的灯、不同灯部署、不同数量的灯等。因此，图4中所示的实施方案不应被解释为排他性或限制性，但相反应被解释为示例性或说明性。
图5说明根据一个实施方案的使用注视对密码的键入。在一个实施方案中，用户可具备用来跟随她在头戴式显示器上的注视特定图形的信息或指令。如果用户跟随正确图形，那么用户创建可以用作输入的注视图案。注视输入可以用于多个目的，诸如验证用户、进入游戏、识别用户、执行游戏对象的选择等。
在一个实施方案中，注视检测用来键入密码、名称、id、命令等。在一个实施方案中，虚拟键盘(具有标准键盘的所有字母、数字和符号或其子集)呈现在显示器上。用户通过使她的注视停留在所要字符上来选择每个字符504。一旦用户停留在字母上达预定时间量(例如，1秒、2秒等)，那么假设用户已选择所述字母。
例如在键入密码时，用户可以按顺序选择密码的字母中的每个，且在键入所有字母时，用户选择回车键或用信号通知密码准备好被处理的某个其它命令。如本文中所使用，经由注视键入的密码也称为“gazeword”、“passgaze”、“passlook”或“gazepass”。还可以在提及注视签名的键入时使用这些术语，如下文参考图6更详细所述。.
在图5的示例性实施方案中，用户通过按顺序选择字母F、A、D和E键入密码“FADE”。此后，用户选择回车键506以指示系统可以处理键入的密码。在一个实施方案中，在用户选择每个字母时，指示器使用户知道字母已被键入。指示符可以是以下项中的一个或多个：改变字母颜色，使字母闪光，发出声音(例如，哔哔声)，增大字母大小等。在另一实施方案中(未示出)，在用户键入字母中的每个时，形成的字显示在显示器的另一区域上。
在一个实施方案中(未示出)，在显示器中提供供用户用信号通知从一个字母到下一字母的转变的特殊区域。这样，用户将经由注视键入字母或数字，接着将注视移动到特殊区域以输入选择，且接着继续所述过程以选择额外字母或数字。在另一实施方案中，退格键被提供来允许用户校正错误。
应注意，图5中所示的实施方案是示例性的。其它实施方案可以利用不同类型的虚拟键盘(包括更多字母和数字)，使用特殊字符，使用几何图形以用于选择几何图形的部分等。因此，图5中所示的实施方案不应被解释为排他性或限制性，但相反应被解释为示例性或说明性。
图6A说明根据一个实施方案的用于在用户已开始使用HMD时进行检测的方法。有时，如果HMD已进行操作，那么HMD可以显示复杂图形，诸如3-D图形。如果用户戴上HMD而无需经历适应过程，那么用户可能会眩晕或头晕。例如，玩游戏的用户脱下HMD并将HMD传递给另一玩家。如果HMD未检测到转变，那么第二玩家可能会感到头晕。
在一个实施方案中，HMD追踪用户注视。在用户脱下HMD时，HMD检测到注视不再存在并关掉显示器或将显示器变成安全模式。在用户或另一用户戴上HMD时，HMD检测到新用户(例如，通过检测新用户的眼睛)并开始用来验证用户准备好开始的过程。
在一个实施方案中，对象(例如，符号、字、球等)显示在屏幕上且用户被请求使她的注视跟随对象。在用户通过显示器跟随对象轨迹时，HMD能够验证注视如何跟随对象。这样，HMD证实人类正观看显示器。因此，如果检查被验证，那么HMD开始适应过程以开始显示更复杂图形。
在一个实施方案中，使用注视跟随对象无须非常准确，因为仅需要对屏幕上的对象进行一定程度的跟随。
在另一实施方案中，检查可以用来检测可能在使用HMD方面遇到困难的用户。如果用户无法实质上跟随屏幕上的对象，那么用户可能在进行调整以转换图形(其可能需要良好眼睛位置与将视力聚焦于不同深度的能力)方面遇到困难。
图6B说明根据一个实施方案的注视签名的键入。在一个实施方案中，监控用户注视的轨迹以便使用注视生成输入。例如，轨迹可以用来通过注视跟随预定图案来键入密码。在多个用户被配置用于HMD中时，注视图案可以用来识别哪个用户穿戴HMD。
在一些实施方案中，注视图案还可以用作密码，其中用户可以键入注视签名以访问系统。系统提供用来键入新用户的注视图案的选项。
在图6B的示例性实施方案中，注视签名由三条线组成：从显示器的左上方延伸到右下方的第一线、从显示器的右下角延伸到中心的第二水平线和从显示器的底部延伸到显示器的顶部的垂直线。在一个实施方案中，如果用户键入这个注视图案，那么用户将被识别且被允许访问系统。
在一些实施方案中，图案显示在屏幕上且用户被请求跟随图案。在图6B的实例中，三条线将绘制在屏幕上且用户将被请求追踪所述三条线。这个操作可以用于校准目的，或用来证实用户能够跟随HMD显示器上的图案。校准可以用来校准显示器或校准注视追踪系统或两者。
在一个实施方案中，一种用于管理头戴式装置(HMD)上的图像的显示的方法包括用于在注视投射在HMD显示器上时追踪用户注视的操作。此外，所述方法包括用于在追踪到注视时识别注视的轨迹的操作。比较识别的轨迹与用户签名，所述签名包括注视的签名轨迹。此外，所述方法包括用于在识别的轨迹对应于签名轨迹时支持对HMD上的资源的访问的操作。
图7A说明根据一个实施方案的从真实生活视野到虚拟世界视野的显示转变。一些实施方案提供自动转入和转出由头戴式显示器提供的场景。
如先前所论述，有时人们在使用HMD时会头晕。原因之一在于眼睛需要一些时间以将正常真实生活观景调整为观察HMD上的显示器所要的观景机制。为了解决这个问题，利用适应过程以在进入显示器上的虚拟场景时调适用户观景。这个过程在本文中称为用户适应。
相似地，如果用户脱下HMD而没有适应过程，那么用户可能遭受眩晕或头晕。存在用来使用户不适应以便从虚拟世界视野变为真实世界视野的相反过程。用来使用户脱离使用HMD的相对过程在本文中称为用户不适应。下文关于适应过程参考图13A-13B提供更多详情。
在一个实施方案中，转变成虚拟世界开始于观看真实世界702(例如，透视视野)，接着朝向虚拟世界逐渐转变，其中真实世界和虚拟世界叠加704。为了完成这个转变，虚拟世界逐渐淡入且叠加在真实世界视野上。结果704得到具有真实世界元素和虚拟世界元素的视野。
接着，真实世界视野逐渐淡出以仅留下虚拟世界的视野706。用来虚拟世界淡入且使真实世界淡出的操作的持续时间可以持续达1秒或2秒到15秒或更多，这取决于用户对变化的反应。可以通过追踪用户注视确定用户反应。
真实世界视野也称为透视视野。针对透视HMD存在可分组成光学驱动或相机驱动的技术的各种方法。例如，安装在头戴式显示器上且指向HMD前方的相机可显示用户实际上所在诸如用户卧室中的场景的图像。接着，在显示器上显示由这个前置相机拍摄的图像以给用户留下浏览HMD就好像HMD透明的印象。
光学驱动技术利用镜和透视玻璃以引导用户观看显示器或显示器周围以进入真实世界。例如，这些光学驱动方法可以包括衍射光学术、全息光学术、偏振光学术和反射光学术。
为了使用户不适应，将过程颠倒。最初，用户沉浸于虚拟世界显示中。在系统检测到用户想要离开或需要离开时，开始用来使用户不适应的过程。在一个实施方案中，真实世界视野开始淡入且叠加在虚拟世界视野上。接着，虚拟视野逐渐淡出，同时保持玩家环境的透视视野。此时，玩家能够脱下HMD而没有生理症状。
在一些实施方案中，虚拟世界视野可能并非完全准确，就好像玩家浏览HMD的某处。可以向用户呈现某个其它图像而非真实世界视野，只要按使用户眼睛适应用户环境的方式完成呈现的图像。例如，呈现的图像可以包括房间的图像，使得用户眼睛必须聚焦于几英尺与几码之间的距离。一旦调整用户视力，那么用户可脱下HMD而没有生理症状，因为用户视力已适应相似环境。
此外，在一个实施方案中，在转出虚拟世界时，游戏对象停止移动，且虚拟世界显示冻结。接着，所述显示开始转变以显示真实世界，如通过相机从HMD向外观看所见。
图7B说明根据一个实施方案的从真实生活到增强现实到虚拟世界的转变。增强现实(AR)是通过计算机生成的感官输入(诸如声音、视频或图形)增强其元素的物理、真实世界环境的实时、直接或间接视野。增强现实是关于所谓介导现实的一般概念，其中由计算机修改现实视野(甚至可能减弱而非增强)。相比之下，虚拟现实用模拟世界取代真实世界。关于环境的人工信息和其对象可覆加在真实世界上。
一些HMD允许计算机生成图像(CGI)叠加在真实世界视野上以创建增强现实或混合现实。组合真实世界视野与CGI可通过透过部分反射镜投射CGI和直接观看真实世界来完成。这种方法常称为光学透视。组合真实世界视野与CGI还可通过接受来自相机的视频和电混合视频与CGI来电子地完成。这种方法常称为视频透视。
在一个实施方案中，HMD包括捕捉用户前方的世界的前置相机(背对用户面部)。接着，可在显示器上再生由相机捕捉的视频或图像以创建透视视野。为了将虚拟对象放置在真实场景上，HMD需要知道如何识别在真实世界中且可将虚拟对象放置在其中的地点。例如，虚拟人物可放置在桌子或某个其它平坦表面上。当然，在其它实施方案中，虚拟对象可放置成在房间中浮动，且所有HMD仅需在与HMD相隔一定距离之处呈现虚拟对象，其中真实世界对象不位于其中。
在一个实施方案中，HMD使用视频图像以确定房间中的对象的位置。相机可以是用来参考游戏对象确定距离的立体相机或深度相机。一旦HMD确定平坦表面，那么虚拟对象可以放置在所述表面上。
在另一实施方案中，由耦接到计算装置(诸如与HMD进行通信的游戏控制台)的相机计算真实世界对象的位置。计算装置还追踪HMD位置，因此计算装置可以计算房间中的对象参考HMD的相对位置。计算装置将这个信息传输到HMD以便提供关于真实世界环境和对象位置的信息。
在一个实施方案中，为了使用户适应以进入虚拟世界，提供中间增强现实视野。最初，向用户呈现透视视野720。此后，将游戏对象728(例如，人物，但可以使用任何其它虚拟对象)放置在增强现实视野中。例如，游戏对象728可以放置在桌子上，或挂在墙上，或在TV屏幕中，或在游戏控制台上等。
接着，真实世界视野逐渐淡出，从而导致仅具有游戏对象728的虚拟视野724。此后，其它游戏对象逐渐淡入到视野中直到显现整个虚拟世界为止。
在一个实施方案中，虚拟世界以循环方式从游戏对象728扩展直到整个显示器充满虚拟场景为止。在另一实施方案中，虚拟对象一次性添加到虚拟场景，直到已添加所有虚拟对象为止。
在一些实施方案中，虚拟场景被冻结(即，虚拟对象不在运动中)，直到整个虚拟场景被填满且玩家完全适应为止。
应注意，图7A-7B中所示的实施方案是示例性的。其它实施方案可以利用不同转变、不同虚拟对象、不同操作顺序等。因此，图7A-7B中所示的实施方案不应被解释为排他性或限制性，但相反应被解释为示例性或说明性。
图8说明可以用来实施本发明的实施方案的装置的架构。头戴式显示器是计算装置且包括通常存在于计算装置上的模块，诸如处理器804、存储器816(RAM、ROM等)、一个或多个电池806或其它电源、和永久存储装置848(诸如硬盘)。
通信模块允许HMD与其它便携式装置、其它计算机、其它HMD、服务器等交换信息。通信模块包括通用串行总线(USB)连接器846、通信链路852(诸如以太网)、超声波通信856、蓝牙858和WiFi854。
用户接口包括输入模块和输出模块。输入模块包括输入按钮和传感器810、麦克风832、触敏屏幕(未示出，其可以用来配置或初始化HMD)、前置相机840、后置相机842、注视追踪相机844。其它输入/输出装置(诸如键盘或鼠标)还可以经由通信链路(诸如USB或蓝牙)连接到便携式装置。
输出模块包括用于在用户眼睛前方显现图像的显示器814。一些实施方案可以包括一个显示器且其它实施方案可以包括两个显示器，每只眼睛一个。其它输出模块包括发光二极管(LED)834(其还可以用于HMD的视觉追踪)、震动触觉反馈850、扬声器830和对将传递到扬声器或耳机的声音执行声音定位的声音定位模块812。其它输出装置(诸如耳机)还可经由通信模块连接到HMD。
可以被包括来促进运动追踪的元件包括LED834、一个或多个视觉辨识对象836和红外灯838。
来自不同装置的信息可被位置模块828用来计算HMD位置。这些模块包括磁强计818、加速计820、陀螺仪822、全球定位系统(GPS)模块824和罗盘826。此外，位置模块可分析使用相机和麦克风捕捉的声音或图像数据以计算位置。又，位置模块可执行测试以确定便携式装置的位置或其它附近装置的位置，诸如WiFiping测试或超声波测试。
虚拟现实生成器808使用由位置模块计算的位置创建虚拟或增强现实，如先前所述。虚拟现实生成器808可以与其它计算装置(例如，游戏控制台、互联网服务器等)协作以生成屏幕图像。远程装置可以发送用于在屏幕上创建游戏对象的屏幕更新或指令。
应明白，图8中所示的实施方案是便携式装置的示例性实施方式。其它实施方案可以利用不同模块、模块子集，或对不同模块指派相关任务。因此，图8中所示的实施方案不应被解释为排他性或限制性，但相反应被解释为示例性或说明性。
图9A-9B示出根据若干实施方案的用于从HMD环境转出的不同类型的输入。用来使用户不适应的过程可以通过用户动作开始，或通过某种其它环境事件触发。例如，如果系统检测到用户可能遇到困难，那么将开始不适应过程。
在一个实施方案中，通过由耦接到拍摄用户图像(例如，图1的环境)的相机的计算装置捕捉的用户姿势开始退出过程。在图9A的示例性实施方案中，用户进行循环运动，其中手部合拢且拇指伸展以指示用户希望退出，但可以使用任何其它预定义姿势。
在另一实施方案中，用户闭上眼睛达预定时间量以用信号发送退出命令。例如，如果用户闭上眼睛达三秒以上，那么可以开始退出过程，但可以利用在1秒到10秒的范围中的其它时段。检测用户闭上眼睛是通过分析在HMD内使用追踪用户注视的相机拍摄的图像完成(参见例如图3的实施方案)。
在其它实施方案中，用户说出预定命令以开始退出过程。例如，在图9B的示例性实施方案中，用户说出句子“暂停游戏”以便退出。在一个实施方案中，由与HMD进行通信的计算装置检测语音，且在另一实施方案中，由HMD自身检测语音，其经由HMD中的麦克风捕捉语音。
在一些实施方案中，可以在系统检测到用户遇到困难时开始退出过程。生物传感器可以用来确定用户的不适感。在一个实施方案中，将在系统确定用户注视不稳定达一段时间且用户注视与关于玩游戏的活动不一致时开始退出序列。
在另一实施方案中，追踪用户移动和更特定来说用户头部移动(由追踪HMD运动的计算装置追踪所述移动)。如果用户头部移动变得不稳定且与关于用户注视或关于游戏活动的运动不一致，那么系统将确定用户遇到生理障碍且开始退出过程。
在一个实施方案中，用户注视的分析结合用户头部运动的分析以确定可以指示问题的行为。’如果问题行为已被确定，那么将对于安全不适应开始退出过程。
图10说明根据一个实施方案的具有虚拟世界视野和真实生活视野的混合显示。有时，HMD用户被真实生活中的事件打断。例如，用户可能接到电话，另一人员可能与用户谈话等。在这些情况下，用户需要与真实世界进行快速交互，且可能不便于执行用来使用户不适应的过程。事实上，如果足够紧急，那么用户将趋向于脱下HMD，从而避免用来使用户不适应的过程。这可导致用户身体不适。
在一个实施方案中，为了提供对真实世界的快速访问，对用户提供进入真实世界以使得用户能够在真实世界中进行交互而无须脱下HMD的窗口。例如，如果用户俯视达两秒或两秒以上，那么HMD将打开窗口以进入真实世界。
在图10的示例性实施方案中，屏幕的下半部分(或某个其它部分)显示透视视野154，而显示器的上半部分152保留虚拟场景。这样，用户能够接听电话，或检查电话中的呼叫者ID。
在其它实施方案中，进入真实世界的“窗口”可以位于显示器中心(例如，矩形)，在显示器一侧，在显示器角落等
在一个实施方案中，在处于混合视野模式达预定时间量之后，HMD将开始不适应过程。例如，用户可以通话且可能的是，在通话一分钟之后，用户希望脱掉HMD。然而，因为用户忙于通话，所以她可能不会花时间键入用来开始不适应的命令。
在其它实施方案中，HMD与其它计算装置进行通信，且混合视野可以通过来自远程计算装置的消息开始。例如，HMD可以经由蓝牙与电话进行通信，且在用户接到电话时，HMD在显示器上显示呼叫者ID且开始混合视野模式。这允许用户快速决定用户是否希望接听电话。
图11说明根据一个实施方案的经由注视键入的退出命令的检测。在一些实施方案中，可检测用来开始退出过程的注视姿势。例如，用户可能俯视达一段时间(如上文参考图10所述)，或用户可能观看显示器上、显示器周围的特定目标，以指示退出意愿。
例如，可旨在检测退出命令的注视区域可以包括圆形目标262和264或更大区域，诸如显示器顶部或上方的区域256、显示器左边的区域254、显示器右边的区域258、显示器下方的区域260等。在一些实施方案中，这些区域中的两个或两个以上可以用作注视目标。
在其它实施方案中，用户可以通过在显示器上对注视执行特定轨迹来指示退出命令。例如，用户可以使用她的注视追踪先前参考图6B所述的相同轨迹。
图12说明根据一个实施方案的HMD视野的不同沉浸阶段。当用户在玩游戏时被打断时，重要的是，在用户恢复游戏活动时，游戏返回到用户所玩的相同地点，而不会妨碍用户的游戏进度。例如，用户讨厌仅因为有人给她打电话而在游戏中丢命。
在一个实施方案中，系统检测到退出命令且开始不适应过程，如先前所论述。系统(例如，HMD、游戏控制台或两者)保存游戏状态以使得用户能够返回到游戏。在一个实施方案中，游戏保留游戏活动历史且在玩家返回时，在对应于用户开始退出过程之前的短时间的点恢复玩游戏。例如，用户可能被真实生活事件打断，且其可能需要用户花几秒来键入退出命令。这个延迟可以对用户的游戏进度造成一定丢失。为了避免对游戏不满，游戏返回到可安全地假设用户仍完全参与玩游戏的点。在一些实施方案中，使用界定为恢复时间与键入退出命令时的时间之间的差的区间。恢复时间是在玩家返回到游戏时恢复游戏的时间。
图12说明玩家如何进入和退出游戏的实例。出于描述目的，沉浸水平定义为用户对HMD的适应程度。全沉浸水平意指用户已适应HMD，且低沉浸水平意指用户未通过适应过程以致无法开始使用HMD。
最初，在t0，用户戴上HMD并开始适应。片刻后，在t1，用户已适应并开始玩游戏。不久，在t3，游戏检测到用户需要不适应，因为用户已键入命令，或因为系统已检测到潜在问题。
在结束不适应过程之后，在t4，用户能够脱下HMD。随后，在t5，用户再次戴上HMD且请求再次适应。在t6，用户已适应且游戏恢复。
在一个实施方案中，游戏恢复到与游戏在用户开始不适应的时间t3的状态完全相同的状态。在其它实施方案中，游戏将恢复对应于退出过程开始时的时间之前的时间(诸如在t2)的游戏状态。
图13A是根据一个实施方案的用于使用户适应HMD的流程图。虽然循序地呈现和描述图13A-13C的流程图中的各种操作，但所述领域的一般技术人员将明白，可以按不同顺序执行，组合或省略，或并行执行所述操作中的一些或所有。
在操作1302中，系统验证用户穿戴HMD和观看显示器。例如，上文中参考图6A所述的实施方案可以用来验证用户。
所述方法从操作1302进入操作1304，其中在HMD的显示器上显示真实世界的图像。真实世界的图像是呈现在HMD上的透视图像，就好像在用户观看真实世界时HMD是透明的。
在操作1306中，虚拟对象淡入且叠加在真实世界的图像上。在一个实施方案中，虚拟对象以增强现实模式加以呈现。在另一实施方案中，虚拟对象仅叠加在真实世界的现存图像上而无需增强现实。
所述方法从操作1306进入操作1308，其中真实世界视野逐渐淡出同时在操作1306中添加的虚拟对象保持在显示器上。因此，在操作1308结束时，显示器将仅显示虚拟对象。
所述方法从操作1308进入操作1310，其中虚拟世界在已出现在显示器上的虚拟对象周围逐渐淡入。在操作1310结束时，用户被视为已适应且可以开始HMD操作。
图13B是根据一个实施方案的用于使用户不适应HMD的流程图。在操作1320中，系统检测用来退出显示在HMD上的虚拟世界的请求。如上文所论述，退出可以由用户动作造成可以是由系统检测到的条件的结果。
所述方法从操作1320进入操作1322，其中虚拟世界逐渐淡出，但保留在显示器上的一个或多个虚拟对象除外。所述方法从操作1322进入操作1324，其中真实世界图像(例如，透视视野)逐渐淡入同时维持在操作1322中察觉的一个或多个虚拟对象。一个或多个虚拟对象以增强现实模式加以显示且叠加在真实世界视野上。
所述方法从操作1324进入操作1326，其中一个或多个虚拟对象淡出。因此，在操作1326结束时，仅透视视野呈现在显示器上。此时，用户已不适应且可以脱下HMD。
图13C是根据一个实施方案的用于管理HMD上的图像的显示的流程图。在操作1352中，追踪穿戴HMD的用户的注视。HMD显示虚拟世界的场景。
所述方法从操作1352进入操作1354，其中系统执行用来检测用户注视固定在预定区域达预定时间量的操作(参见例如上文中参考图11所述的实施方案)。
所述方法从操作1354进入操作1356，以响应于操作1354中的检测，使HMD的显示器的区淡出，同时维持虚拟世界场景在所述区外的显示器的区域。在一些实施方案中，显示器的区仅覆盖显示器的部分且不包括整个显示器。
所述方法从操作1356进入操作1358，以使真实世界视野在所述区中淡入，就好像在用户浏览所述区时HMD对用户是透明的(即，以透视视野模式)。虽然使真实世界淡入，但虚拟世界场景维持在所述区外。这样，对用户提供进入真实世界以能够与真实世界进行快速交互的窗口。
图14说明可以用来实施本发明的实施方案的硬件和用户接口。图14示意性地说明3娱乐装置的整体系统架构。系统单元1400具备可连接到提供系统单元1400的各种外围装置。系统单元1400包括：单元处理器1428；动态随机存取存储器(XDRAM)单元1426；具有专用视频随机存取存储器(VRAM)单元1432的现实合成器图形单元1430；和I/O桥1434。系统单元1400还包括用于从磁盘1440a读取和从可通过I/O桥1434访问的可移动插入式硬盘驱动器(HDD)1436读取的光盘光盘阅读器1440。任选地，系统单元1400还包括用于读取紧凑式闪存卡、Memory存储卡等且可相似地通过I/O桥1434访问的存储卡阅读器1438。
I/O桥1434还连接到六个通用串行总线(USB)2.0端口1424；千兆以太网端口1422；IEEE802.11b/g无线网络(Wi-Fi)端口1420；和能够支持多达七个蓝牙连接的无线链路端口1418。
在操作中，I/O桥1434处置所有无线、USB和以太网数据，包括来自一个或多个游戏控制器1402-1403和HMD1417的数据。例如，在用户玩游戏时，I/O桥1434经由蓝牙链路从游戏控制器1402-1403接收数据并将数据引导到单元处理器1428，以因此更新游戏的当前状态。
除游戏控制器1402-1403和HMD1417外，无线、USB和以太网端口还对其它外围装置提供连接，诸如：远程控制器1404；键盘1406；鼠标1408；便携式娱乐装置1410，诸如Sony娱乐装置；视频相机，诸如眼睛相机1412；耳机1414；和麦克风1415。因此，在原理上，这些外围装置可无线连接到系统单元1400；例如便携式娱乐装置1410可以经由Wi-Fi特设连接进行通信，而耳机1414可以经由蓝牙链路进行通信。
这些接口的提供意指PlayStation3装置还可能与其它外围装置兼容，诸如数字视频录像机(DVR)、机顶盒、数码相机、便携式媒体播放器、网络语音(IP)电话、手机、打印机和扫描仪。此外，旧存储卡阅读器1416可以经由USB端口1424连接到系统单元，从而使得能够读取由PlayStation或PlayStation2装置使用的种类的存储卡。
游戏控制器1402-1403可操作以经由蓝牙链路与系统单元1400进行无线通信，或连接到USB端口，从而还提供功率以借此对游戏控制器1402-1403的电池充电。游戏控制器1402-1403还可包括存储器、处理器、存储卡阅读器、永久存储器(诸如快闪存储器)、发光体(诸如照射的球形区段、LED或红外灯)、用于超声波通信的麦克风和扬声器、隔音箱、数码相机、内部时钟、面向游戏控制台的可辨识形状和使用诸如WiFiTM的协议的无线通信等。可辨识形状可呈以下形状，实质上是球体、立方体、平行四边形、长方体、锥、棱锥、非完全球体、橄榄球(soccerball、football或rugbyball)、球体的区段、截棱锥、截锥、棒球棒、截头立方体、多面体、星等、或这些形状中的两个或两个以上的组合。
游戏控制器1402是被设计来用两只手使用的控制器，以及游戏控制器1403是具有球形接头的单手控制器。除一个或多个模拟控制杆和常规控制按钮外，游戏控制器可易于三维位置确定。因此，除常规按钮或控制杆命令外或替代其的是，游戏控制器的用户的姿势和移动还可以被翻译成游戏输入。任选地，其它支持无线的外围装置(Sony便携式装置)可以用作控制器。在Sony便携式装置的情况下，可以在装置屏幕上提供额外游戏或控制信息(例如，控制指令或生物数量)。还可以使用其它替代或补充控制装置，诸如跳舞毯(未示出)、光枪(未示出)、转向盘和踏板(未示出)或定制控制器，诸如用于快速反应答问游戏的单个或若干大按钮(也未示出)。
远程控制器1404还可操作以经由蓝牙链路与系统单元1400进行无线通信。远程控制器1404包括适于蓝光光盘BD-ROM阅读器1440的操作和光盘内容导航的控件。
除常规预录和可录CD和所谓超音频CD外，蓝光光盘BD-ROM阅读器1440还可操作以读取与PlayStation和PlayStation2装置兼容的CD-ROM。除常规预录和可录DVD外，阅读器1440还可操作以读取与PlayStation2和PlayStation3装置兼容的DVD-ROM。阅读器1440还可操作以读取与PlayStation3装置兼容的BD-ROM以及常规预录和可录蓝光光盘。
系统单元1400可操作以经由现实合成器图形单元(RSX)1430以通过音频连接器1450和视频连接器1452将由PlayStation3装置生成或解码的音频和视频供应给显示器和声音输出装置1442，诸如具有显示器1444和一个或多个扩音器1446或独立扬声器1448的监控器或电视机。在一个实施方案中，语音和注视输入用来根据用户的注视点(POG)朝向特定音频扬声器播放声音。音频连接器1450可以包括常规模拟和数字输出，而视频连接器1452可以不同地包括分量视频、超级视频、复合视频和一个或多个高清晰度多媒体接口(HDMI)输出。因此，视频输出可以呈诸如PAL或NTSC的格式或具720p、1080i或1080p高清晰度。
由单元处理器1428执行音频处理(生成、解码等)。PlayStation3装置的操作系统支持5.1环绕声、剧场环绕声(DTS)和来自蓝光光盘的7.1环绕声的解码。
在本发明实施方案中，视频相机1412包括单电荷耦合装置(CCD)、LED指示器和基于硬件的实时数据压缩和编码设备，使得可以按适当格式(诸如基于内部图像的MPEG(运动图像专家组)标准)传输压缩的视频数据以供系统单元1400解码。相机LED指示器被排列来响应于来自系统单元1400的适当控制数据而进行照射，例如以表示相反照明条件。视频相机1412的实施方案可以经由USB、蓝牙或Wi-Fi通信端口不同地连接到系统单元1400。视频相机的实施方案可以包括一个或多个相关联麦克风且还能够传输音频数据。在视频相机的实施方案中，CCD可以具有适于高清晰度视频捕捉的分辨率。在使用中，由视频相机捕捉的图像可以例如并入游戏中或被解释为游戏控制输入。在另一实施方案中，相机是适于检测红外光的红外相机。
大体来说，为了经由系统单元1400的通信端口中的一个与外围装置(诸如视频相机或远程控制器)进行成功数据通信，应提供适当软件零件，诸如装置驱动器。装置驱动器技术是熟知的且在此将不作详细描述，除非所属领域的熟练技术人员将意识到，在本发明所述的实施方案中可能需要装置驱动器或相似软件接口。
图15是根据本发明的各种实施方案的游戏系统1100的方框图。游戏系统1100被配置经由网络1115将视频流提供给一个或多个客户端1110。游戏系统1100通常包括视频服务器系统1120和任选游戏服务器1125。视频服务器系统1120被配置来以最小服务品质将视频流提供给一个或多个客户端1110。例如，视频服务器系统1120可以接收改变视频游戏的状态或视频游戏内的视野点的游戏命令，且以最小滞后时间对客户端1110提供反映这个状态变化的更新的视频流。视频服务器系统1120可以被配置来以各种替代视频格式提供视频流，包括尚待定义的格式。此外，视频流可以包括被配置来以各种帧速率向用户呈现的视频帧。典型帧速率是每秒30帧、每秒60帧和每秒1120帧。但在本发明的替代实施方案中包括更高或更低帧速率。
客户端1110(在本文中分别称为1110A、1110B等)可以包括头戴式显示器、终端机、个人计算机、游戏控制台、平板计算机、电话、机顶盒、资讯站、无线装置、数码键盘、独立装置、手持玩游戏装置等。通常，客户端1110被配置来接收编码的视频流，解码视频流且向用户(例如，游戏玩家)呈现所得视频。接收编码的视频流和/或解码视频流的过程通常包括将个别视频帧存储在客户端的接收缓冲器中。可以在客户端1110内部的显示器上或在单独装置(诸如监控或电视机)上向用户呈现视频流。任选地，客户端1110被配置来支持一个以上游戏玩家。例如，游戏控制台可以被配置来同时支持两个、三个、四个或更多个玩家。这些玩家中的每个可以接收单独视频流，或单个视频流可以包括具体针对每个玩家生成(例如，基于每个玩家的视野点生成)的帧的区。任选地，客户端1110是地理上分散的。游戏系统1100中包括的客户端的数量可能变化很大，从一个或两个到几千个、几万个或更多。如本文中所使用，术语“游戏玩家”用来指代玩游戏的人员且术语“玩游戏装置”用来指代用于玩游戏的装置。在一些实施方案中，玩游戏装置可以指代进行协作以向用户传递游戏体验的多个计算装置。例如，游戏控制台和HMD可以与视频服务器系统1120协作以传递通过HMD观看的游戏。在一个实施方案中，游戏控制台从视频服务器系统1120接收视频流，且游戏控制台将视频流或视频流更新转递到HMD以便显现。
客户端1110被配置来经由网络1115接收视频流。网络1115可以是任何类型的通信网络，包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、私人网络等。在典型实施方案中，经由标准协议(诸如TCP/IP或UDP/IP)传达视频流。或者，经由专属标准传达视频流。
客户端1110的典型实例是个人计算机，包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入装置。解码逻辑可以包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码(和编码)视频流的系统在所属技术领域中是熟知的且取决于使用的特定编码方案而变化。
客户端1110可以但无需进一步包括被配置来修改接收的视频的系统。例如，客户端可以被配置来执行另一显现，以使一个视频图像覆加在另一视频图像上，以修剪视频图像等。例如，客户端1110可以被配置来接收各种类型的视频帧(诸如I帧、P帧和B帧)，且将这些帧处理成图像以向用户显示。在一些实施方案中，客户端1110的成员被配置来对视频流执行另一显现、着色、3-D转换或相似操作。任选地，客户端1110的成员被配置来接收一个以上音频或视频流。客户端1110的输入装置可以包括例如单手游戏控制器、双手游戏控制器、姿势辨识系统、注视辨识系统、语音辨识系统、键盘、控制杆、指向装置、力反馈装置、运动和/或位置感测装置、鼠标、触屏、神经接口、相机、尚待开发的输入装置等。
由视频服务器系统1120生成和提供由客户端1110接收的视频流(和任选音频流)。如本文中别处进一步所述，这个视频流包括视频帧(且音频流包括音频帧)。视频帧被配置来(例如，其包括呈适当数据结构的像素信息)有意义地促成向用户显示的图像。如本文中所使用，术语“视频帧”用来指代主要包括被配置来促成(例如实现)向用户显示的图像的信息的帧。本文中关于“视频帧”的多数教学内容也可适用于“音频帧”。
客户端1110通常被配置来从用户接收输入。这些输入可以包括被配置来改变视频游戏的状态或以其它方式影响玩游戏的游戏命令。游戏命令可使用输入装置接收和/或可通过在客户端1110上执行的计算指令自动生成。接收的游戏命令经由网络1115从客户端1110传达到视频服务器系统1120和/或游戏服务器1125。例如，在一些实施方案中，游戏命令经由视频服务器系统1120传达到游戏服务器1125。在一些实施方案中，游戏命令的单独复本从客户端1110传达到游戏服务器1125和视频服务器系统1120。任选地，游戏命令的传达取决于命令的身份。任选地，游戏命令通过用来将音频或视频流提供给客户端1110A的不同路由或通信信道从客户端1110A传达。
任选地，由不同于视频服务器系统1120的实体操作游戏服务器1125。例如，可以由多玩家游戏的发布者操作游戏服务器1125。在这个实例中，视频服务器系统1120任选被游戏服务器1125视为客户端且任选被配置来从游戏服务器1125的观点来看是执行现有技术游戏引擎的现有技术客户端。视频服务器系统1120与游戏服务器1125之间的通信任选经由网络1115发生。因而，游戏服务器1125可是将游戏状态信息发送到多个客户端(其中一个是视频服务器系统1120)的现有技术多玩家游戏服务器。视频服务器系统1120可以被配置来同时与游戏服务器1125的多个实例进行通信。例如，视频服务器系统1120可被配置来将多个不同视频游戏提供给不同用户。这些不同视频游戏中的每个可以受不同游戏服务器1125支持和/或由不同实体发布。在一些实施方案中，视频服务器系统1120的若干地理上分布的实例被配置来将游戏视频提供给多个不同用户。视频服务器系统1120的这些实例中的每个可以与游戏服务器1125的相同实例进行通信。视频服务器系统1120与一个或多个游戏服务器1125之间的通信任选经由专用通信信道发生。例如，视频服务器系统1120可以经由高带宽信道连接到游戏服务器1125，所述高带宽信道专用于这两个系统之间的通信。
视频服务器系统1120至少包括视频源1130、I/O装置1145、处理器1150和非暂时性存储装置1155。视频服务器系统1120可以包括一个计算装置或分布在多个计算装置当中。这些计算装置任选经由通信系统(诸如局域网)连接。
视频源1130被配置来提供视频流，例如，串流视频或形成移动图片的一系列视频帧。在一些实施方案中，视频源1130包括视频游戏引擎和显现逻辑。视频游戏引擎被配置来从玩家接收游戏命令且基于接收的命令维持视频游戏状态的复本。这个游戏状态包括游戏环境中的对象的位置以及(通常)视野点。游戏状态还可以包括对象的性质、图像、颜色和/或纹理。通常基于游戏规则以及游戏命令(诸如移动、转身、攻击、聚焦、交互、使用等)维持游戏状态。游戏引擎的部分任选安置在游戏服务器1125内。游戏服务器1125可以基于使用地理上分散的客户端从多个玩家接收的游戏命令，维持游戏状态复本。在这些情况下，游戏状态由游戏服务器1125提供给视频源1130，其中存储游戏状态复本且执行显现。游戏服务器1125可以经由网络1115直接从客户端1110接收游戏命令，和/或可以经由视频服务器系统1120接收游戏命令。
视频源1130通常包括显现逻辑，例如硬件、固件和/或存储在计算机可读介质(诸如存储装置1155)上的软件。这个显现逻辑被配置来基于游戏状态创建视频流的视频帧。显现逻辑的所有或部分任选安置在图形处理单元(GPU)内。显现逻辑通常包括被配置来基于游戏状态和视野点确定对象之间的三维空间关系和/或应用适当纹理等的处理阶段。显现逻辑产生接着通常在传达到客户端1110之前被编码的原始视频。例如，可以根据Adobe标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x、Xvid、FFmpeg、x264、VP6-8、realvideo、mp3等对原始视频进行编码。编码过程产生任选被封装来传递到远程装置上的解码器的视频流。视频流的特征在于帧大小和帧速率。典型帧大小包括800x600、1280x720(例如，720p)、1024x768，但可以使用任何其它帧大小。帧速率是每秒的视频帧数量。视频流可以包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用来刷新显示装置上的所有宏块/像素的信息，而P帧包括用来刷新其子集的信息。P帧的数据大小通常小于I帧。如本文中所使用，术语“帧大小”意指帧内的像素数量。术语“帧数据大小”用来指代存储帧所需的字节数量。
在替代实施方案中，视频源1130包括视频记录装置，诸如相机。这个相机可以用来生成可包括在计算机游戏的视频流中的延迟或实时的视频。所得视频流任选包括显现的图像和使用静物或视频相机记录的图像两者。视频源1130还可以包括被配置来存储将包括在视频流中的先前记录视频的存储装置。视频源1130还可以包括被配置来检测对象(例如，人员)的运动或位置的运动或定位感测装置和被配置来基于检测的运动和/或位置确定游戏状态或产生视频的逻辑。
视频源1130任选被配置来提供被配置来放置在其它视频上的覆加。例如，这些覆加可以包括命令界面、指令日志、发给游戏玩家的消息、其它游戏玩家的图像、其它游戏玩家的视频反馈(例如，网络摄像头视频)。在包括触屏界面或注视检测界面的客户端1110A的实施方案中，覆加可以包括虚拟键盘、控制杆、触垫等。在覆加的一个实例中，玩家的语音覆加在音频流上。视频源1130任选还包括一个或多个音频源。
在视频服务器系统1120被配置来基于来自一个以上玩家的输入维持游戏状态的实施方案中，每个玩家可以具有不同视野点，包括位置和视野方向。视频源1130任选被配置来基于其视野点对每个玩家提供单独视频流。此外，视频源1130可以被配置来将不同帧大小、帧数据大小和/或编码提供给客户端1110中的每个。视频源1130任选被配置来提供3-D视频。
I/O装置1145被配置用于视频服务器系统1120以发送和/或接收信息，诸如视频、命令、信息请求、游戏状态、注视信息、装置运动、装置位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频等。I/O装置1145通常包括通信硬件，诸如网卡或调制解调器。I/O装置1145被配置来与游戏服务器1125、网络1115和/或客户端1110进行通信。
处理器1150被配置来执行逻辑，例如软件，包括在本文中所论述的视频服务器系统1120的各种组件内。例如，可以使用软件指令对处理器1150进行编程以便执行视频源1130、游戏服务器1125和/或客户端限定器1160的功能。视频服务器系统1120任选包括处理器1150的一个以上实例。还可以使用软件指令对处理器1150进行编程以便执行由视频服务器系统1120接收的命令，或协调本文中所论述的游戏系统1100的各种元件的操作。处理器1150可以包括一个或多个硬件装置。处理器1150是电子处理器。
存储装置1155包括非暂时性模拟和/或数字存储装置。例如，存储装置1155可以包括被配置来存储视频帧的模拟存储装置。存储装置1155可以包括计算机可读数字存储装置，例如硬盘驱动器、光学驱动器或固态存储装置。存储装置1115被配置来(例如通过适当数据结构或文件系统)存储视频帧、人工帧、视频流(包括视频帧和人工帧两者)、音频帧、音频流等。存储装置1155任选分布在多个装置当中。在一些实施方案中，存储装置1155被配置来存储本文中别处所论述的视频源1130的软件组件。这些组件可以存储成准备好在被需要时提供的格式。
视频服务器系统1120任选还包括客户端限定器1160。客户端限定器1160被配置来远程地确定客户端(诸如客户端1110A或1110B)的能力。这些能力可包括客户端1110A自身的能力以及客户端1110A与视频服务器系统1120之间的一个或多个通信信道的能力两者。例如，客户端限定器1160可以被配置来通过网络1115测试通信信道。
客户端限定器1160可手动地或自动地确定(例如，发现)客户端1110A的能力。手动确定包括与客户端1110A的用户进行通信和请求用户提供能力。例如，在一些实施方案中，客户端限定器1160被配置来在客户端1110A的浏览器内显示图像、文字等。在一个实施方案中，客户端1110A是包括浏览器的HMD。在另一实施方案中，客户端1110A是具有可以显示在HMD上的浏览器的游戏控制台。显示的对象请求用户键入信息，诸如客户端1110A的操作系统、处理器、视频解码器类型、网络连接类型、显示分辨率等。由用户键入的信息传达回到客户端限定器1160。
自动确定可以例如通过对客户端1110A执行代理和/或通过将测试视频发送到客户端1110A而发生。代理可以包括计算指令，诸如java脚本，嵌入网页中或安装为附加条码。任选地，由客户端限定器1160提供代理。在各种实施方案中，代理可发现客户端1110A的处理功率、客户端1110A的解码和显示能力、客户端1110A与视频服务器系统1120之间的通信信道的滞后时间可靠度和带宽、客户端1110A的显示类型、存在于客户端1110A上的防火墙、客户端1110A的硬件、客户端1110A上执行的软件、客户端1110A内的注册表项等。
客户端限定器1160包括硬件、固件和/或存储在计算机可读介质上的软件。客户端限定器1160任选安置在与视频服务器系统1120的一个或多个其它元件分离的计算装置上。例如，在一些实施方案中，客户端限定器1160被配置来确定客户端1110与视频服务器系统1120的一个以上实例之间的通信信道的特性。在这些实施方案中，由客户端限定器发现的信息可用来确定视频服务器系统1120的哪些实例最适于将串流视频传递到客户端1110中的一个。
可以使用各种计算机系统配置实行本发明的实施方案，包括手持装置、微处理器系统、基于微处理器或可编程的消费类电子装置、小型计算机、大型计算机等。还可在分布式计算环境中实行所述实施方案，其中由通过网络链接的远程处理装置执行任务。
基于上述实施方案，应了解，实施方案可采用涉及存储在计算机系统中的数据的各种计算机实施操作。这些操作是需要物理量的物理操控的操作。形成所述实施方案的部分的本文中所述操作中的任何一个是有用机器操作。所述实施方案还涉及用于执行这些操作的装置或设备。可以出于所需目的专门建构设备，诸如专用计算机。在界定为专用计算机时，计算机还可执行不是特殊用途的部分的其它处理、程序执行或例程，但仍能够出于特殊用途进行操作。或者，可以由通过存储在计算机存储器、高速缓冲存储器中或在网络上获得的一个或多个计算机程序选择性地激活或配置的通用计算机处理操作。当在网络上获得数据时，可以由网络上的其它计算机处理数据，例如，计算资源的云。
本发明的一个或多个实施方案还可制造为计算机可读介质上的计算机可读代码。计算机可读介质是可存储随后可供计算机系统读取的数据的任何数据存储装置。计算机可读介质的实例包括硬盘驱动器、网络附接存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其它光学和非光学数据存储装置。计算机可读介质可包括分布在网络耦接计算机系统上的计算机可读有形介质使得以分布方式存储和执行计算机可读代码。
尽管按特定顺序描述方法操作，但应了解，其它内务处理操作可以在操作之间执行，或可以调整操作使得其在略不同时间发生，或可以分布在允许以与处理相关联的各种间隔发生处理操作的系统中，只要以所要方式执行覆加操作的处理。
尽管已出于清晰理解的目的详细描述前述实施方案，但将明白，可在所附权利要求书的范围内实行某些变化和修改。因此，本发明实施方案被视为说明性且非限制性，且本发明不限于本文中所给出的详情，但可以在所附权利要求书的范围和等效物内进行修改。

Claims (21)

1.一种用于管理头戴式装置(HMD)上的图像的显示的方法，所述方法包括：
追踪穿戴显示虚拟世界的场景的所述HMD的用户的注视；
检测所述用户的所述注视固定在预定区域达预定时间量；
响应于所述检测，使所述HMD的显示器的区淡出，同时维持所述虚拟世界的所述场景在所述区外的所述显示器的区域中；和
使真实世界的视野在所述区中淡入，就好像在所述用户浏览所述区时所述HMD对所述用户透明，所述淡入包括维持所述虚拟世界的所述场景在所述区外。
2.根据权利要求1所述的方法，其中所述预定区域是以下项中的一个：界定在所述显示器下方的区域、界定在所述显示器的侧的区域、界定在所述显示器上方的区域或界定在所述显示器的角落的区域。
3.根据权利要求1所述的方法，其中所述预定区域界定在所述显示器下方，且其中所述区是所述显示器的下半部分。
4.根据权利要求1所述的方法，其中所述区是居于所述显示器中心的矩形。
5.根据权利要求1所述的方法，其还包括：
在所述淡出之前，请求所述用户确认。
6.根据权利要求1所述的方法，其还包括：
从所述用户接收用来终止所述真实世界的所述视野的命令；
使所述真实世界的所述视野在所述区中淡出；和
使所述虚拟世界的视野在所述区中淡入。
7.根据权利要求1所述的方法，其中追踪所述注视还包括：
使用所述HMD内的相机捕捉所述用户的眼睛的图像；和
分析所述捕捉的图像以确定所述用户的所述注视。
8.根据权利要求1所述的方法，其中由所述HMD前方的相机捕捉所述真实世界的所述视野。
9.根据权利要求1所述的方法，其中所述预定时间量是两秒。
10.一种用于管理头戴式装置(HMD)上的图像的显示的方法，所述方法包括：
检测用来使用户适应所述HMD的操作；
在所述显示器上呈现真实世界的视野，就好像所述HMD是透明的；
以增强现实模式将虚拟元素添加到所述真实世界的所述视野；
使所述真实世界从所述显示器淡出，同时维持所述虚拟元素在所述显示器上；和
使虚拟世界在所述虚拟元素周围淡入。
11.根据权利要求10所述的方法，其中所述增强现实模式包括呈现虚拟对象，就好像所述虚拟对象定位在所述真实世界中的某处，其中所述HMD相对于所述真实世界的运动含有所述虚拟对象在所述真实世界中的相同定位。
12.根据权利要求10所述的方法，其中所述真实世界和所述虚拟世界在所述显示器上不混合，但所述虚拟元素除外。
13.根据权利要求10所述的方法，其中在所述真实世界的所述淡出期间，所述真实世界和所述虚拟世界混合。
14.根据权利要求10所述的方法，其中添加所述虚拟元素还包括：
使所述虚拟元素淡入到所述真实世界的所述视野中。
15.根据权利要求10所述的方法，其中由计算机程序在被一个或多个处理器执行时执行所述方法的操作，所述计算机程序嵌入非暂时性计算机可读存储介质中。
16.一种嵌入非暂时性计算机可读存储介质中、在被一个或多个处理器执行时用于管理头戴式装置(HMD)上的图像的显示的计算机程序，所述计算机程序包括：
用于追踪穿戴显示虚拟世界的场景的所述HMD的用户的注视的程序指令；
用于追踪穿戴显示虚拟世界的场景的所述HMD的用户的注视的程序指令；
用于检测所述用户的所述注视固定在预定区域达预定时间量的程序指令；
用于响应于所述检测，使所述HMD的显示器的区淡出同时维持所述虚拟世界的所述场景在所述区外的所述显示器的区域中的程序指令；和
用于使真实世界的视野在所述区中淡入就好像在所述用户浏览所述区时所述HMD对所述用户透明的程序指令，所述淡入包括维持所述虚拟世界的所述场景在所述区外。
17.根据权利要求16所述的计算机程序，其中所述预定区域是以下项中的一个：界定在所述显示器下方的区域、界定在所述显示器的侧的区域、界定在所述显示器上方的区域或界定在所述显示器的角落的区域。
18.根据权利要求16所述的计算机程序，其中所述预定区域界定在所述显示器下方，且其中所述区是所述显示器的下半部分。
19.根据权利要求16所述的计算机程序，其还包括：
从所述用户接收用来终止所述真实世界的所述视野的命令；
使所述真实世界的所述视野在所述区中淡出；和
使所述虚拟世界的视野在所述区中淡入。
20.根据权利要求16所述的计算机程序，其中追踪所述注视还包括：
使用所述HMD内的相机捕捉所述用户的眼睛的图像；和
分析所述捕捉的图像以确定所述用户的所述注视。
21.一种用于管理头戴式装置(HMD)上的图像的显示的方法，所述方法包括：
在所述用户的注视投射在所述HMD的显示器上时，追踪所述注视；
在追踪到所述注视时，识别所述注视的轨迹；
比较所述识别的轨迹与所述用户的签名，所述签名包括注视的签名轨迹；
在所述识别的轨迹对应于所述签名轨迹时，支持对所述HMD上的资源的访问。
CN201480035753.4A 2013-06-07 2014-05-23 在头戴式显示器中切换操作模式 Active CN105324738B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361832758P 2013-06-07 2013-06-07
US61/832,758 2013-06-07
US14/206,219 US10019057B2 (en) 2013-06-07 2014-03-12 Switching mode of operation in a head mounted display
US14/206,219 2014-03-12
PCT/US2014/039411 WO2014197231A2 (en) 2013-06-07 2014-05-23 Switching mode of operation in a head mounted display

Publications (2)

Publication Number Publication Date
CN105324738A true CN105324738A (zh) 2016-02-10
CN105324738B CN105324738B (zh) 2018-12-18

Family

ID=52005034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480035753.4A Active CN105324738B (zh) 2013-06-07 2014-05-23 在头戴式显示器中切换操作模式

Country Status (5)

Country Link
US (1) US10019057B2 (zh)
EP (1) EP3005031B1 (zh)
JP (2) JP6126305B2 (zh)
CN (1) CN105324738B (zh)
WO (1) WO2014197231A2 (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101637A (zh) * 2016-07-12 2016-11-09 姜正红 一种在虚拟环境中实现多界面显示及功能操作的视觉系统
CN106200908A (zh) * 2016-06-28 2016-12-07 联想(北京)有限公司 一种控制方法及电子设备
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN106529973A (zh) * 2016-11-02 2017-03-22 深圳市幻实科技有限公司 一种基于增强现实的防伪方法及装置
CN107918955A (zh) * 2017-11-15 2018-04-17 百度在线网络技术（北京）有限公司 增强现实方法和装置
TWI622808B (zh) * 2017-06-13 2018-05-01 群光電子股份有限公司 頭戴式顯示裝置
WO2018127782A1 (en) * 2017-01-03 2018-07-12 Xing Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
CN108496107A (zh) * 2017-03-28 2018-09-04 深圳市柔宇科技有限公司 头戴式显示设备及其显示切换方法
CN108693967A (zh) * 2017-03-31 2018-10-23 英特尔公司 虚拟现实与现实世界之间的转变
CN109310926A (zh) * 2016-06-07 2019-02-05 喀普康有限公司 游戏装置、游戏装置的控制方法及计算机可读取的记录介质
CN109547773A (zh) * 2018-12-12 2019-03-29 维沃移动通信有限公司 控制方法及电子设备
CN109643162A (zh) * 2016-06-30 2019-04-16 索尼互动娱乐股份有限公司 用现实世界内容增强虚拟现实内容
CN109814413A (zh) * 2017-11-21 2019-05-28 宏碁股份有限公司 头戴式显示设备、电子系统以及相关控制方法
CN110115842A (zh) * 2018-02-06 2019-08-13 日本聚逸株式会社 应用处理系统、应用处理方法以及应用处理程序
CN110554771A (zh) * 2018-05-31 2019-12-10 托比股份公司 虚拟现实和增强现实中的眼睛跟踪应用
CN110663011A (zh) * 2017-05-23 2020-01-07 Pcms控股公司 基于用户视图中的真实生活对象的持久性而对ar信息进行优先化排序的系统及方法
CN110998491A (zh) * 2017-08-02 2020-04-10 微软技术许可有限责任公司 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物
CN111052192A (zh) * 2017-09-12 2020-04-21 索尼互动娱乐美国有限责任公司 基于注意力的玩家选择ai确定
CN111148554A (zh) * 2017-09-29 2020-05-12 索尼互动娱乐美国有限责任公司 现实世界空间的虚拟现实呈现
CN111164489A (zh) * 2017-08-03 2020-05-15 脸谱科技有限责任公司 用于头戴式显示器的音频输出组件
CN111406412A (zh) * 2017-04-11 2020-07-10 杜比实验室特许公司 分层的增强型娱乐体验
CN112368668A (zh) * 2018-07-03 2021-02-12 瑞典爱立信有限公司 用于混合现实头戴式耳机的便携式电子设备
CN112739438A (zh) * 2018-09-27 2021-04-30 环球城市电影有限责任公司 娱乐环境中的显示系统
WO2021169881A1 (zh) * 2020-02-24 2021-09-02 Oppo广东移动通信有限公司 头戴式设备的显示控制方法、设备及计算机存储介质
CN113574591A (zh) * 2019-03-29 2021-10-29 索尼互动娱乐股份有限公司 边界设置设备、边界设置方法和程序
CN113655927A (zh) * 2021-08-24 2021-11-16 亮风台（上海）信息科技有限公司 一种界面交互方法与设备
WO2022105919A1 (zh) * 2020-11-23 2022-05-27 青岛小鸟看看科技有限公司 虚拟现实设备的局部透视方法、装置及虚拟现实设备
CN114995646A (zh) * 2016-09-30 2022-09-02 索尼互动娱乐股份有限公司 头戴式显示器中观看虚拟现实内容时减少不适的方法
CN110663011B (zh) * 2017-05-23 2024-04-12 交互数字Vc控股公司 基于用户视图中的真实生活对象的持久性而对ar信息进行优先化排序的系统及方法

Families Citing this family (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9080868B2 (en) * 2013-09-06 2015-07-14 Wesley W. O. Krueger Mechanical and fluid system and method for the prevention and control of motion sickness, motion-induced vision sickness, and other variants of spatial disorientation and vertigo
US10099030B2 (en) 2013-09-06 2018-10-16 Iarmourholdings, Inc. Mechanical and fluid system and method for the prevention and control of motion sickness, motion-induced vision sickness, and other variants of spatial disorientation and vertigo
KR102165818B1 (ko) 2013-09-10 2020-10-14 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
KR102236203B1 (ko) * 2014-05-27 2021-04-05 삼성전자주식회사 서비스를 제공하는 방법 및 그 전자 장치
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US9699436B2 (en) * 2014-09-16 2017-07-04 Microsoft Technology Licensing, Llc Display with eye-discomfort reduction
JP2016090773A (ja) * 2014-11-04 2016-05-23 株式会社ソニー・コンピュータエンタテインメント ヘッドマウントディスプレイおよび輝度調整方法
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
FR3029649B1 (fr) * 2014-12-03 2016-12-23 Commissariat Energie Atomique Procede d'etalonnage d'un systeme de restitution visuelle en realite augmentee comprenant au moins un dispositif d'affichage partiellement transparent, par rapport a son utilisateur, et systeme associe
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
US9740282B1 (en) * 2015-01-05 2017-08-22 Amazon Technologies, Inc. Gaze direction tracking
US10656720B1 (en) 2015-01-16 2020-05-19 Ultrahaptics IP Two Limited Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US20160210780A1 (en) * 2015-01-20 2016-07-21 Jonathan Paulovich Applying real world scale to virtual content
US10181219B1 (en) * 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US9999835B2 (en) * 2015-02-05 2018-06-19 Sony Interactive Entertainment Inc. Motion sickness monitoring and application of supplemental sound to counteract sickness
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10055887B1 (en) * 2015-02-19 2018-08-21 Google Llc Virtual/augmented reality transition system and method
US9779554B2 (en) 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US10115303B2 (en) 2015-05-05 2018-10-30 Razer (Asia-Pacific) Pte. Ltd. Methods for controlling a headset device, headset devices, computer readable media, and infrared sensors
WO2016199699A1 (ja) * 2015-06-12 2016-12-15 株式会社ソニー・インタラクティブエンタテインメント 制御装置、制御方法及びプログラム
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
WO2017015093A1 (en) * 2015-07-17 2017-01-26 Osterhout Group, Inc. External user interface for head worn computing
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
CN107850784B (zh) * 2015-07-20 2021-06-01 奇跃公司 虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪设计
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US10545714B2 (en) 2015-09-04 2020-01-28 Samsung Electronics Co., Ltd. Dual screen head mounted display
WO2017037952A1 (ja) * 2015-09-04 2017-03-09 株式会社スクウェア・エニックス プログラム、記録媒体、コンテンツ提供装置及び制御方法
JP6742405B2 (ja) * 2015-09-29 2020-08-19 バイナリーヴィーアール, インコーポレイテッドBinaryvr, Inc. 表情検出機能を備えたヘッドマウントディスプレイ
US11332061B2 (en) 2015-10-26 2022-05-17 Atnomity Ltd. Unmanned carrier for carrying urban manned vehicles
GB2545957B (en) 2015-10-26 2019-09-18 Active Knowledge Ltd Shock-absorbing energy dissipation padding placed at eye level in an autonomous vehicle
US10710608B2 (en) 2015-10-26 2020-07-14 Active Knowledge Ltd. Provide specific warnings to vehicle occupants before intense movements
US10059347B2 (en) 2015-10-26 2018-08-28 Active Knowledge Ltd. Warning a vehicle occupant before an intense movement
US10717406B2 (en) 2015-10-26 2020-07-21 Active Knowledge Ltd. Autonomous vehicle having an external shock-absorbing energy dissipation padding
US9851561B2 (en) * 2015-12-23 2017-12-26 Intel Corporation Head-mounted device with rear-facing camera
JP6725248B2 (ja) * 2015-12-28 2020-07-15 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
TWI688879B (zh) * 2016-01-22 2020-03-21 宏達國際電子股份有限公司 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體
US20170230640A1 (en) * 2016-02-05 2017-08-10 Samsung Electronics Co., Ltd. Portable image device with external display
US10477157B1 (en) * 2016-03-02 2019-11-12 Meta View, Inc. Apparatuses, methods and systems for a sensor array adapted for vision computing
JP2017183825A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ
JP2017183829A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ
US20170287215A1 (en) * 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10019131B2 (en) * 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
US10748339B2 (en) 2016-06-03 2020-08-18 A Big Chunk Of Mud Llc System and method for implementing computer-simulated reality interactions between users and publications
JP6668170B2 (ja) * 2016-06-07 2020-03-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、およびコンピュータプログラム
US10471353B2 (en) * 2016-06-30 2019-11-12 Sony Interactive Entertainment America Llc Using HMD camera touch button to render images of a user captured during game play
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
CA3037047A1 (en) 2016-09-28 2018-04-05 Magic Leap, Inc. Face model capture by a wearable device
US9824206B1 (en) * 2016-09-29 2017-11-21 International Business Machines Corporation Eye gazing passcode generation crossing augmented reality (AR) and virtual reality (VR) devices
US9871774B1 (en) 2016-09-29 2018-01-16 International Business Machines Corporation Secured file transfer management on augmented reality (AR) and virtual reality (VR) devices
US10845891B2 (en) * 2016-09-30 2020-11-24 Disney Enterprises, Inc. Displaying proximate keys in a virtual reality environment
JP7090601B2 (ja) * 2016-10-05 2022-06-24 マジック リープ， インコーポレイテッド 複合現実較正のための眼球周囲試験
US10032314B2 (en) 2016-10-11 2018-07-24 Microsoft Technology Licensing, Llc Virtual reality headset
US10168857B2 (en) * 2016-10-26 2019-01-01 International Business Machines Corporation Virtual reality for cognitive messaging
US20180190029A1 (en) * 2017-01-05 2018-07-05 Honeywell International Inc. Head mounted combination for industrial safety and guidance
JP6654158B2 (ja) 2017-01-23 2020-02-26 ティフォン インコーポレーテッドＴｙｆｆｏｎ Ｉｎｃ． 映像提供システム、映像提供方法及び映像提供プログラム
US11096004B2 (en) * 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
CN110914738B (zh) 2017-03-22 2022-09-09 大泥块有限责任公司 带有集成头戴式显示器的可转换包
WO2018183390A1 (en) * 2017-03-28 2018-10-04 Magic Leap, Inc. Augmeted reality system with spatialized audio tied to user manipulated virtual object
US10688396B2 (en) * 2017-04-28 2020-06-23 Sony Interactive Entertainment Inc. Second screen virtual window into VR environment
GB2555501B (en) * 2017-05-04 2019-08-28 Sony Interactive Entertainment Europe Ltd Head mounted display and method
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
JP6580624B2 (ja) * 2017-05-11 2019-09-25 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
CN107368184B (zh) 2017-05-12 2020-04-14 阿里巴巴集团控股有限公司 一种虚拟现实场景中的密码输入方法和装置
CN108881706B (zh) * 2017-05-16 2023-10-10 北京三星通信技术研究有限公司 控制多媒体设备工作的方法及装置
CN106950701A (zh) * 2017-05-19 2017-07-14 深圳市帝泰光电有限公司 一种环境无缝增强多模式mr系统
US10394315B2 (en) * 2017-05-25 2019-08-27 Acer Incorporated Content-aware virtual reality systems and related methods
US10747386B2 (en) * 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
US10748340B1 (en) 2017-07-31 2020-08-18 Apple Inc. Electronic device with coordinated camera and display operation
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
KR101875550B1 (ko) * 2017-10-18 2018-07-06 주식회사 한컴지엠디 가상 현실 콘텐츠 제공 시스템
US10726626B2 (en) * 2017-11-22 2020-07-28 Google Llc Interaction between a viewer and an object in an augmented reality environment
EP4339692A2 (en) 2018-01-17 2024-03-20 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
EP3676656A4 (en) 2018-01-18 2020-11-25 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR ADDING CONTENT WITH EXTENDED REALITY
US10845601B1 (en) * 2018-02-07 2020-11-24 Apple Inc. AR/VR controller with event camera
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
CA3139648A1 (en) * 2018-03-07 2019-09-12 Magic Leap, Inc. Visual tracking of peripheral devices
US11417296B2 (en) * 2018-03-13 2022-08-16 Sony Corporation Information processing device, information processing method, and recording medium
GB2579760B (en) * 2018-03-29 2023-03-22 Displaylink Uk Ltd Position error measurement in an extended reality mobile display device
JP7014007B2 (ja) * 2018-03-29 2022-02-01 コベルコ建機株式会社 作業機械の遠隔操作システム
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US20210089638A1 (en) * 2018-06-12 2021-03-25 Hewlett-Packard Development Company, L.P. Gesture based accesses
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10540824B1 (en) 2018-07-09 2020-01-21 Microsoft Technology Licensing, Llc 3-D transitions
WO2020018938A1 (en) * 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
WO2020051509A2 (en) 2018-09-07 2020-03-12 Ocelot Laboratories Llc Transitioning between imagery and sounds of a virtual environment and a real environment
JP6659789B2 (ja) * 2018-09-10 2020-03-04 グリー株式会社 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法
US10740918B2 (en) * 2018-09-12 2020-08-11 Dell Products, L.P. Adaptive simultaneous localization and mapping (SLAM) using world-facing cameras in virtual, augmented, and mixed reality (xR) applications
US10855978B2 (en) * 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
US10810825B2 (en) * 2018-10-11 2020-10-20 Igt Systems and methods for providing safety and security features for users of immersive video devices
CN111309142A (zh) * 2018-12-11 2020-06-19 托比股份公司 用于切换显示设备的输入模态的方法和设备
US10992926B2 (en) * 2019-04-15 2021-04-27 XRSpace CO., LTD. Head mounted display system capable of displaying a virtual scene and a real scene in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
JP7391950B2 (ja) * 2019-04-23 2023-12-05 マクセル株式会社 ヘッドマウントディスプレイ装置
JP6835916B2 (ja) * 2019-07-18 2021-02-24 グリー株式会社 ゲーム処理プログラム、ゲーム処理装置及びゲーム処理方法
KR102641117B1 (ko) 2019-08-26 2024-02-27 삼성전자주식회사 영상을 증강하는 방법 및 장치
CA3058447A1 (en) * 2019-10-10 2021-04-10 Spacecard Inc. A system for generating and displaying interactive mixed-reality video on mobile devices
EP3839699A1 (en) * 2019-12-19 2021-06-23 Koninklijke KPN N.V. Augmented virtuality self view
US20210264007A1 (en) * 2020-02-25 2021-08-26 Lenovo (Singapore) Pte. Ltd. Authentication method for head-mounted display
FR3111446A1 (fr) * 2020-06-19 2021-12-17 Orange Procédé, dispositif et système d’immersion d’un utilisateur dans une application de réalité virtuelle
US11705762B2 (en) * 2020-06-25 2023-07-18 Sony Interactive Entertainment LLC Method for game console operation based on detection of change in controller state
US11514875B1 (en) * 2021-07-07 2022-11-29 Htc Corporation Method for mitigating dizziness, electronic device, and computer readable medium
US11759717B2 (en) * 2021-07-09 2023-09-19 Gel Blaster, Inc. Extended-reality projectile-firing gaming system and method
US11813537B2 (en) * 2021-07-09 2023-11-14 Gel Blaster, Inc. Smart target co-witnessing hit attribution system and method
US20230298221A1 (en) * 2022-03-15 2023-09-21 Zeality Inc. Method and system for controlling access to virtual and real-world environments for head mounted device
US11935201B2 (en) * 2022-04-28 2024-03-19 Dell Products Lp Method and apparatus for using physical devices in extended reality environments
JP2024034133A (ja) * 2022-08-31 2024-03-13 株式会社Ｊｖｃケンウッド 提供装置および提供方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120050141A1 (en) * 2010-08-25 2012-03-01 Border John N Switchable head-mounted display
US20120086624A1 (en) * 2010-10-12 2012-04-12 Eldon Technology Limited Variable Transparency Heads Up Displays
CN102566756A (zh) * 2010-12-16 2012-07-11 微软公司 用于扩展现实显示的基于理解力和意图的内容
US20120200601A1 (en) * 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with state triggered eye control interaction with advertising facility

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522325B1 (en) * 1998-04-02 2003-02-18 Kewazinga Corp. Navigable telepresence method and system utilizing an array of cameras
JPH11309269A (ja) * 1998-04-27 1999-11-09 Sony Corp ゲーム装置、シミュレーション装置及びゲーム画像表示方法
JP2000242195A (ja) * 1999-02-24 2000-09-08 Sony Corp 表示制御装置および表示制御方法、並びに提供媒体
US6603491B2 (en) 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP4378118B2 (ja) * 2003-06-27 2009-12-02 学校法人早稲田大学 立体映像呈示装置
WO2010062481A1 (en) 2008-11-02 2010-06-03 David Chaum Near to eye display system and appliance
JP5664006B2 (ja) * 2010-08-09 2015-02-04 カシオ計算機株式会社 光源制御装置およびプログラム
US8625847B2 (en) * 2011-03-21 2014-01-07 Blackberry Limited Login method based on direction of gaze
JP2013044836A (ja) * 2011-08-23 2013-03-04 Canon Inc 映像表示装置
JP5808985B2 (ja) * 2011-09-05 2015-11-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120200601A1 (en) * 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with state triggered eye control interaction with advertising facility
US20120050141A1 (en) * 2010-08-25 2012-03-01 Border John N Switchable head-mounted display
US20120086624A1 (en) * 2010-10-12 2012-04-12 Eldon Technology Limited Variable Transparency Heads Up Displays
CN102566756A (zh) * 2010-12-16 2012-07-11 微软公司 用于扩展现实显示的基于理解力和意图的内容

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109310926A (zh) * 2016-06-07 2019-02-05 喀普康有限公司 游戏装置、游戏装置的控制方法及计算机可读取的记录介质
CN106200908A (zh) * 2016-06-28 2016-12-07 联想(北京)有限公司 一种控制方法及电子设备
CN106200908B (zh) * 2016-06-28 2019-03-08 联想(北京)有限公司 一种控制方法及电子设备
CN109643162A (zh) * 2016-06-30 2019-04-16 索尼互动娱乐股份有限公司 用现实世界内容增强虚拟现实内容
CN109643162B (zh) * 2016-06-30 2022-09-09 索尼互动娱乐股份有限公司 用现实世界内容增强虚拟现实内容
CN106101637A (zh) * 2016-07-12 2016-11-09 姜正红 一种在虚拟环境中实现多界面显示及功能操作的视觉系统
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN114995646A (zh) * 2016-09-30 2022-09-02 索尼互动娱乐股份有限公司 头戴式显示器中观看虚拟现实内容时减少不适的方法
CN106529973A (zh) * 2016-11-02 2017-03-22 深圳市幻实科技有限公司 一种基于增强现实的防伪方法及装置
WO2018127782A1 (en) * 2017-01-03 2018-07-12 Xing Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
CN108496107A (zh) * 2017-03-28 2018-09-04 深圳市柔宇科技有限公司 头戴式显示设备及其显示切换方法
CN108693967A (zh) * 2017-03-31 2018-10-23 英特尔公司 虚拟现实与现实世界之间的转变
CN111406412B (zh) * 2017-04-11 2021-09-03 杜比实验室特许公司 分层的增强型娱乐体验
US10991164B2 (en) 2017-04-11 2021-04-27 Dolby Laboratories Licensing Corporation Layered augmented entertainment experiences
US11361520B2 (en) 2017-04-11 2022-06-14 Dolby Laboratories Licensing Corporation Layered augmented entertainment experiences
US11893700B2 (en) 2017-04-11 2024-02-06 Dolby Laboratories Licensing Corporation Layered augmented entertainment experiences
CN111406412A (zh) * 2017-04-11 2020-07-10 杜比实验室特许公司 分层的增强型娱乐体验
CN110663011A (zh) * 2017-05-23 2020-01-07 Pcms控股公司 基于用户视图中的真实生活对象的持久性而对ar信息进行优先化排序的系统及方法
CN110663011B (zh) * 2017-05-23 2024-04-12 交互数字Vc控股公司 基于用户视图中的真实生活对象的持久性而对ar信息进行优先化排序的系统及方法
TWI622808B (zh) * 2017-06-13 2018-05-01 群光電子股份有限公司 頭戴式顯示裝置
CN110998491A (zh) * 2017-08-02 2020-04-10 微软技术许可有限责任公司 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物
CN111164489B (zh) * 2017-08-03 2022-06-24 脸谱科技有限责任公司 用于头戴式显示器的音频输出组件
CN111164489A (zh) * 2017-08-03 2020-05-15 脸谱科技有限责任公司 用于头戴式显示器的音频输出组件
CN111052192A (zh) * 2017-09-12 2020-04-21 索尼互动娱乐美国有限责任公司 基于注意力的玩家选择ai确定
CN111148554A (zh) * 2017-09-29 2020-05-12 索尼互动娱乐美国有限责任公司 现实世界空间的虚拟现实呈现
CN111148554B (zh) * 2017-09-29 2023-10-03 索尼互动娱乐美国有限责任公司 现实世界空间的虚拟现实呈现
CN107918955A (zh) * 2017-11-15 2018-04-17 百度在线网络技术（北京）有限公司 增强现实方法和装置
CN109814413A (zh) * 2017-11-21 2019-05-28 宏碁股份有限公司 头戴式显示设备、电子系统以及相关控制方法
CN110115842B (zh) * 2018-02-06 2023-01-13 日本聚逸株式会社 应用处理系统、应用处理方法以及应用处理程序
CN110115842A (zh) * 2018-02-06 2019-08-13 日本聚逸株式会社 应用处理系统、应用处理方法以及应用处理程序
CN110554771B (zh) * 2018-05-31 2023-06-02 托比股份公司 虚拟现实和增强现实中的眼睛跟踪应用
CN110554771A (zh) * 2018-05-31 2019-12-10 托比股份公司 虚拟现实和增强现实中的眼睛跟踪应用
CN112368668A (zh) * 2018-07-03 2021-02-12 瑞典爱立信有限公司 用于混合现实头戴式耳机的便携式电子设备
CN112368668B (zh) * 2018-07-03 2024-03-22 瑞典爱立信有限公司 用于混合现实头戴式耳机的便携式电子设备
CN112739438A (zh) * 2018-09-27 2021-04-30 环球城市电影有限责任公司 娱乐环境中的显示系统
CN112739438B (zh) * 2018-09-27 2023-05-23 环球城市电影有限责任公司 娱乐环境中的显示系统
CN109547773A (zh) * 2018-12-12 2019-03-29 维沃移动通信有限公司 控制方法及电子设备
CN109547773B (zh) * 2018-12-12 2021-01-08 维沃移动通信有限公司 控制方法及电子设备
CN113574591A (zh) * 2019-03-29 2021-10-29 索尼互动娱乐股份有限公司 边界设置设备、边界设置方法和程序
CN115053203A (zh) * 2020-02-24 2022-09-13 Oppo广东移动通信有限公司 头戴式设备的显示控制方法、设备及计算机存储介质
WO2021169881A1 (zh) * 2020-02-24 2021-09-02 Oppo广东移动通信有限公司 头戴式设备的显示控制方法、设备及计算机存储介质
WO2022105919A1 (zh) * 2020-11-23 2022-05-27 青岛小鸟看看科技有限公司 虚拟现实设备的局部透视方法、装置及虚拟现实设备
US11861071B2 (en) 2020-11-23 2024-01-02 Qingdao Pico Technology Co., Ltd. Local perspective method and device of virtual reality equipment and virtual reality equipment
CN113655927A (zh) * 2021-08-24 2021-11-16 亮风台（上海）信息科技有限公司 一种界面交互方法与设备

Also Published As

Publication number Publication date
JP2016526237A (ja) 2016-09-01
EP3005031A2 (en) 2016-04-13
WO2014197231A2 (en) 2014-12-11
US10019057B2 (en) 2018-07-10
JP2017182809A (ja) 2017-10-05
WO2014197231A3 (en) 2015-01-22
CN105324738B (zh) 2018-12-18
JP6545744B2 (ja) 2019-07-17
EP3005031B1 (en) 2019-07-31
JP6126305B2 (ja) 2017-05-10
US20140361976A1 (en) 2014-12-11

Similar Documents

Publication Publication Date Title
CN105324738B (zh) 在头戴式显示器中切换操作模式
US11654358B2 (en) Head mounted displays (HMDs) with front facing cameras for transitioning between non-transparent modes and transparent modes
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
JP7132280B2 (ja) Ｖｒ観戦のための拡大された視野再レンダリング
EP3468681B1 (en) Spectator management at view locations in virtual reality environments
EP3003122B1 (en) Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
CN105392538B (zh) 响应于头戴式显示器中的用户动作的图像渲染
US11468605B2 (en) VR real player capture for in-game interaction view

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant