CN105188516A - 用于增强和虚拟现实的系统与方法 - Google Patents

Abstract

一个实施例针对使两个或更多用户能在包括虚拟世界数据的虚拟世界中交互的系统，该系统包括计算机网络，所述计算机网络包括一个或多个计算设备，所述一个或多个计算设备包括存储器、处理电路和至少存储于所述存储器的一部分上并可由所述处理电路执行以处理所述虚拟世界数据的至少一部分的软件；其中所述虚拟世界数据的至少第一部分源自第一用户本地的第一虚拟世界，并且其中所述计算机网络可操作以传送第一部分至用户设备以用于向第二用户展示，以使得第二用户可从第二用户的位置体验第一部分，以使得第一用户虚拟世界的多个方面可被有效地传至第二用户。

Description

用于增强和虚拟现实的系统与方法

技术领域

本发明一般地涉及被配置以有助于用于一个或多个用户的交互式虚拟或增强现实环境的系统与方法。

背景技术

虚拟和增强现实环境由计算机在部分地使用描述环境的数据生成。该数据可描述，例如，用户可感知并与之交互的多种对象。这些对象的示例包括被渲染和展示以使用户可看见的对象、被播放以让用户可听到的声音、以及让用户感觉到的触觉(或触感)的反馈。通过各种虚拟的、听觉的和触觉的方法，用户可感知虚拟和增强现实环境并与之交互。

发明内容

本发明的实施例针对有助于用于一个或多个用户的虚拟现实和/或增强现实交互的设备、系统和方法。

一个实施例针对用户显示设备，所述用户显示设备包括安装于用户头上的外壳框架、耦合至所述外壳框架以追踪所述用户眼睛运动并基于所述被追踪的眼睛运动估计焦点的深度的第一对摄像机、具有光线生成机制的投影模块，其基于被估计的焦点的深度生成和修改与显示对象相关的映射光线以使得该显示对象在焦点出现、安装在所述外壳框架上的透镜，以及通信地耦合至所述投影模块以将与显示图像相关的数据传递至投影模块的处理器。所述透镜可包括被放置于用户眼睛前方以将被投影的光反射至用户眼睛中的至少一个透镜。所述至少一个透镜可选择性地允许来自本地环境的光的透射。

用户显示设备可进一步包括安装在外壳框架上以捕捉与第二对摄像机中的每一个摄像机对应的眼睛的视野图像的第二对摄像机。基于被捕捉的视野图像，所述处理器可计算用户的头部姿态。

投影模块可包括激光扫描装置以基于被估计的焦点的深度修改与所述显示对象相关的投影光束。所述投影光束的直径可小于0.7毫米。

在一个实施例中，第一对摄像机可包括与红外光源配对的红外摄像机以追踪用户的眼睛中的每一个眼睛的运动。用户显示设备可进一步包括传感器组件，所述传感器组件包括至少一个传感器以感知用户的运动、位置、方向和朝向中的至少一个。所述至少一个传感器可为加速计、罗盘或陀螺仪。基于所述用户的运动、所述用户的位置、所述用户的方向和所述用户的朝向中的至少一个，所述处理器可估计用户的头部姿态。所述用户显示设备可包括GPS系统。所述用户显示设备可进一步包括通信地耦合至所述投影模块以提供触觉反馈的触觉接口设备。20.所述用户显示设备可进一步包括环境感知系统以数字化地重构所述用户的环境。

所述处理器可通信地耦合至计算机网络以传输虚拟世界数据的至少一部分，并且接收所述虚拟世界数据的另一部分。

所述用户显示设备可包括安装在头部框架的扬声器模块以输出声音。所述用户显示设备可进一步包括安装在外壳框架上的麦克风以捕捉用户本地的声音。

所述投影模块可修改与另一对象相关的另一投影光线以使得该其他对象出现模糊，其中所述另一对象不是所述显示对象。所述处理器可以以每秒至少60帧的速率渲染所述显示对象的帧。

所述显示对象可为虚拟对象、已渲染物理对象、图像和视频中的至少一个。

在另一实施例中，所述方法包括追踪用户眼睛的运动，基于被追踪的眼睛运动估计所述用户眼睛的焦点的深度，基于被估计焦点的深度修改与显示对象相关的光束以使得所述显示对象出现在焦点，以及将被修改的光束投影至所述用户眼睛中。被投影至用户眼睛的投影光束的直径可小于0.7毫米。

所述方法可进一步包括基于所述显示对象的可视化模式，选择性地允许来自用户的本地环境的光线透射。所述可视化模式可以是增强现实模式、虚拟现实模式以及增强和虚拟现实模式的组合中的一个。

所述方法可进一步包括捕捉所述用户的每个眼睛的视野图像。所述被捕捉的视野图像可被用以估计所述用户的头部姿态。被捕捉的视野图像可被用于将至少一个物理对象转换为物理渲染(physicallyrendered)的虚拟对象，并且向所述用户显示该物理渲染的虚拟对象。

所述方法可进一步包括从被捕捉的视野图像中提取点集，并且基于被提取的点集为所述被捕捉的视野图像中的至少一个物理对象创建基准(fiducial)。所述方法可进一步包括传送被提取的点集和被创建的基准中的至少一个至云计算机，以及将被提取的点集和被创建的基准中的至少一个标记为一种对象类型。所述方法可进一步包括基于与所述对象类型相关的被标记点集和与所述对象类型相关的被标记的被创建基准中的至少一个，识别不同的物理对象属于该对象类型。

所述方法可进一步包括感知所述用户的运动、所述用户的位置、所述用户的方向和所述用户的朝向中的一个，以及基于被感知的运动、被感知的位置、被感知的方向和被感知的朝向中的至少一个计算所述用户的姿态。所述传感器可为加速计、罗盘和陀螺仪中的至少一个。

所述方法可进一步包括处理与所述显示对象相关的虚拟世界数据至云网络，以及传送与该显示对象相关的虚拟世界数据的至少一部分至位于第二位置的第二用户以使得第二用户可在第二位置体验与该显示对象相关的虚拟世界数据的至少一部分。

所述方法可进一步包括感知物理对象，以及基于与被感知的物理对象的预先确定的关系，修改与所述显示对象相关的虚拟世界数据的至少一部分。所述方法进一步包括向第二用户呈现被修改的虚拟世界数据。

所述方法可进一步包括修改与另一对象相关的另一光线以使得该其他对象出现模糊，其中所述另一对象不是所述显示对象。

所述方法可进一步包括通过用户接口接收用户输入，以及基于接收的用户输入修改所述显示对象。所述用户接口可为触觉接口设备、键盘、鼠标、控制杆、运动捕捉控制器、光学追踪设备和音频输入设备中的至少一个。所述显示对象可为虚拟对象、被渲染物理对象、图像和视频中的至少一个。

在另一实施例中，方法包括通过头戴式用户显示设备与包括虚拟世界数据的虚拟世界交互，其中所述头戴式用户显示设备基于被估计的用户眼睛的焦点的深度向用户渲染与所述虚拟世界数据的至少一部分相关的显示图像，创建源自所述头戴式用户设备与所述虚拟世界的交互和与所述用户的物理环境的交互中的至少一个的附加虚拟世界数据，以及传送所述附加虚拟世界数据至计算机网络。所述虚拟世界可被以二维的形式或三维的形式呈现。

所述方法可进一步包括为了展示，传送所述附加虚拟世界数据至位于第二位置的第二用户以使得第二用户可从第二位置体验所述附加虚拟世界数据。所述附加虚拟世界数据可与通过头戴式用户显示设备捕捉的视野图像相关。所述附加虚拟世界数据可与用户的被感知运动、用户的被感知位置、用户被感知的方向和用户被感知朝向中的至少一个相关。所述附加虚拟世界数据可与被所述头戴式用户显示设备感知的物理对象相关。所述附加虚拟世界数据可与与所述被感知的物理对象具有预先确定的关系的显示对象相关。

所述方法可进一步包括基于用户输入，选择用于使所述用户和所述头戴式用户显示设备之间能够交互的接口，以及基于被选择的接口，渲染与所述虚拟世界数据的至少一部分相关的显示对象。所述被选择的接口可以是虚拟现实模式、增强现实模式、混合现实模式和虚拟现实和增强现实模式的组合中的一个。

在另一实施例中，使两个或更多用户能与包括虚拟世界数据的虚拟世界交互的方法包括通过第一用户显示设备以第一用户的第一可视化模式显示所述虚拟世界，通过计算机网络传送所述虚拟世界数据的至少一部分至第二用户显示器，以及在第二用户的第二用户显示设备中以第二可视化模式显示与所述虚拟世界数据的被传送部分相关的虚拟世界。第一可视化模式可以不同于第二可视化模式。第一可视化模式可以是增强现实模式、虚拟现实模式、混合现实模式以及虚拟现实和增强现实模式的组合中的至少一个。

在另一实施例中，方法包括基于用户的选择处理与现实物理对象的图像相关的被渲染物理图像数据和与虚拟显示对象相关的虚拟图像数据中的至少一个，以及选择性地向用户显示用户实时可见的现实物理对象、基于用户实时可见的现实物理对象渲染的被渲染物理-虚拟对象，以及虚拟显示对象的选择的组合。所述现实物理对象、被渲染的物理-虚拟对象和虚拟显示对象的至少一个基于用户输入的可视化模式来被选择性地显示。所述可视化模式可为增强现实模式、虚拟现实模式、混合现实模式以及虚拟和增强现实模式的组合中的至少一个。

所述方法进一步包括通过计算机网络接收与另一显示对象相关的图像数据以及将所述图像数据转换为与所选择的可视化模式兼容的数据格式以使得所述用户可以以被选择的可视化模式察看另其他显示对象。

所述方法进一步包括基于所述被选择的可视化模式，选择性地允许来自外界环境的光线的透射以使得所述用户可察看现实物理对象。

在另一实施例中，方法包括通过头戴式用户显示设备的透镜选择性地允许来自外界环境的光线的透射，其中所述头戴式用户显示设备被配置用于显示彻底的虚拟对象、彻底的物理对象或虚拟对象和物理对象的组合。

基于所期望的可视化模式选择性的允许光线的透射，其中所期望的可视化模式是增强现实模式、虚拟现实模式、混合现实模式以及增强和虚拟现实模式的组合中的一个。

所述方法可进一步包括当头戴式用户设备被关闭时，允许来自所述外界环境的光线的完全透射，以使得所述用户仅察看彻底的物理对象。

所述方法可进一步包括将与具有特定形状的至少一个显示对象相关的光束投影至用户的眼中，以及基于所述至少一个显示对象的特殊的形状，选择性地允许来自外界环境的光线的透射以使得用户察看显示对象连同所述外界环境中的物理对象。所述方法可进一步包括阻止来自所述外界环境的光线的透射以使得所述用户仅察看彻底的虚拟对象。

在另一实施例中，使两个或更多用户能够在包括虚拟世界数据的虚拟世界之内交互的方法包括为通过在第一位置的第一用户设备访问所述虚拟世界的第一用户创建远程形象，将第一用户的远程形象放置于现实的地理位置，以使得第一用户可通过在第一位置的第一用户设备体验现实的地理位置，以及通过放置于现实的地理位置的远程形象与通过在现实的地理位置的第二用户设备访问虚拟世界的第二用户交互。第一位置可不同于现实的地理位置，或第一位置可实质上与所述现实的地理位置相同。

所述远程形象可与在现实地理位置的物理对象具有预先确定的的关系。所述远程形象可在所述现实地理位置响应环境提示。所述远程形象的运动可由第一用户控制。所述远程形象可与在所述现实地理位置的第二用户交互。

在另一实施例中，方法包括通过头戴式用户显示设备捕捉所述用户的每个眼睛的视野图像，在被捕捉视野图像中提取点集，将提取的点集与特殊的对象相关联，以及基于与所述特殊对象相关联的点集识别不同的对象。

另一实施例针对用于使两个或更多用户能在包括虚拟世界数据的虚拟世界中交互的系统，所述系统包括计算机网络，所述计算机网络包括一个或多个计算设备，所述一个或多个计算设备包括存储器、处理电路和至少存储于所述存储器的部分上并可由所述处理电路执行以处理所述虚拟世界数据的至少一部分的软件；其中所述虚拟世界数据的至少第一部分源自第一用户本地的第一用户虚拟世界，并且其中所述计算机网络可操作以传送所述第一部分至用户设备以用于对第二用户展示，以使得第二用户可从第二用户位置体验所述第一部分，以使得第一用户虚拟世界多个方面被有效地传至第二用户。第一和第二用户可位于不同的物理位置或位于实质上相同的物理位置。所述虚拟世界的至少一部分可被配置以响应于虚拟世界数据中的变化而变化。所述虚拟世界的至少一部分可被配置以响应由所述用户设备感知的物理对象而变化。虚拟世界数据的变化可描绘与所述物理对象具有预先确定的关系的虚拟对象。依据所述预先确定的关系，虚拟世界数据的变化可被呈现至第二用户设备以用于展示给第二用户。所述虚拟世界可操作以由所述计算机服务器或用户设备中的至少一个渲染。所述虚拟世界可以以二维的形式呈现。所述虚拟世界可以以三维的形式呈现。所述用户设备可操作以提供用于使用户和处于增强现实模式中的所述虚拟世界之间能够交互的接口。所述用户设备可被操作以提供用于使用户和处于虚拟现实模式中的所述虚拟世界之间能够交互的接口。所述用户设备可被操作以提供用于使用户和处于增强和虚拟现实模式的组合模式中的所述虚拟世界之间能够交互的接口。所述虚拟世界数据可在数据网络上传送。所述计算机网络可被操作以从用户设备接收所述虚拟世界数据的至少一部分。被传送至所述用户设备的所述虚拟世界数据的至少一部分可包括用于生成所述虚拟世界的至少一部分的指令。所述虚拟世界数据的至少一部分可被传送至网关用于处理或分发中的至少一个。一个或多个计算机服务器中的至少一个可被操作以处理由所述网关分发的虚拟世界数据。

另一实施例针对用于虚拟和/或则增强用户体验的系统，其中可至少部分基于具有可选地来自音调变化和面部识别软件的输入的可穿戴设备上的数据来绘制(animate)远程形象。

另一实施例针对用于虚拟和/或增强用户体验的系统，其中摄像机姿态或视点位置及矢量可被放置在世界扇区(worldsector)的任何位置。

另一实施例针对用于虚拟和/或增强用户体验的系统，其中世界或其部分可被渲染以用于以多种和可选的尺寸来观察用户。

另一实施例针对用于虚拟和/或增强用户体验的系统，其中特征除了姿态被标记的图像之外还有例如点和参数曲线，所述特征可被作为用于世界模型的基本数据来利用，从中可利用软件机器人或对象识别器以创建真实世界对象的参数表示，为被分割的对象和世界模型中的相互包含物(mutualinclusion)标记源特征(sourcefeature)。

本发明的附加的和其他目标、特性和优点在详细说明、图表和权利要求中被描述。

附图说明

图1示出了被公开的有助于用于多用户的交互式虚拟或增强现实环境的系统的代表性实施例。

图2示出了用于与图1中示出的系统交互的用户设备的示例。

图3示出了移动的、可穿戴用户设备的示例性实施例。

图4示出了当图3中的移动的、可穿戴用户设备正以增强模式运作时，由用户察看的对象的示例。

图5示出了当图3中的移动的、可穿戴用户设备正以虚拟模式运作时，由用户察看的对象的示例。

图6示出了当图3中的移动的、可穿戴用户设备正以混合虚拟接口模式运作时，由用户察看的对象的示例。

图7示出了一个实施例，其中位于不同的地理位置的两个用户中的每个用户均通过他们各自的用户设备与另一个用户以及共同的虚拟世界交互。

图8示出了一个实施例，其中图7中的实施例被扩展以包括触觉设备的使用。

图9A示出了混合模式接口连接(interfacing)的示例，其中第一用户以混合虚拟接口模式连接数字世界，并且二用户以虚拟现实模式连接相同的数字世界。

图9B示出了混合模式接口连接的另一示例，其中第一用户以混合虚拟接口模式连接数字世界，并且第二用户以增强现实模式连接相同的数字世界。

图10示出了当以增强现实模型连接所述系统时，用户视野的示例性说明。

图11示出了当用户以增强现实模式连接所述系统时，由物理对象触发显示虚拟对象的用户视野示例性说明。

图12示出了增强和虚拟现实整合配置的一个实施例，其中处于增强现实体验中的一个用户可视化处于虚拟现实体验中的另一用户的存在。

图13示出了基于增强现实体验配置的一段时间和/或偶然事件的一个实施例。

图14示出了适用于虚拟和/或增强现实体验的用户显示配置的一个实施例。

图15示出了本地的和基于云的计算坐标的一个实施例。

图16示出了记录(registration)配置的多种方面。

具体实施方式

参考图1，系统100为用于实施下述处理的典型性硬件。该典型性系统包括由通过一个或多个高宽带接口115连接的一个或多个计算机服务器组成的计算网络105。所述计算网络中的服务器不需要被放置于一起。所述一个或多个服务器110中的每一个都包括用于执行程序指令的一个或多个处理器。所述服务器还包括用于存储所述程序指令和由处理所生成和/或使用的数据的存储器，所述数据被在所述程序指令的指导下的所述服务器所携带。

所述计算网络105在一个或多个数据网络连接130上在所述服务器110之间和所述服务器与一个或多个用户设备120之间通信数据。这样的数据网络的示例包括，但不限于，任何和所有类型的移动以及有线的公共和私有数据网络，包括例如许多通常被称为因特网的此类网络的互连。所述图表没有暗示特殊的媒介、拓扑或协议。

用户设备被配置以用于与计算网络105或任意服务器110直接地通信。备选地，用户设备120与所述远程服务器110通信，并且可选地，通过被特定地编程与其他用户本地设备通信，本地网关140用于处理数据和/或用于在网络105和一个或多个用户本地服务器120之间传送数据。

如图所示，网关140被作为单独的硬件部分实施，其包括用于执行软件指令的处理器和用于存储软件指令和数据的存储器。所述网关具有自己的至数据网络的有线和/或无线连接，用于与包括计算网络105的服务器110通信。备选地，网络140可与由用户穿戴或携带的用户设备120整合。例如，所述网关140可作为安装并运行在处理器上的可下载的应用软件来实施，所述处理器包括在所述用户设备120内。在一个实施例中，所述网关140提供经由所述数据网络130对所述计算网络105的一个或多个用户接入。

每个服务器110都包括，例如，用以存储数据和软件程序的工作存储器和贮存器、用以执行程序指令的微处理器、用以渲染和生成图形、图像、视频、音频和多媒体文件的图形处理器和其他特殊的处理器。计算网络105还可包括用以存储由所述服务器110访问、使用或创建的数据的设备。

运行在所述服务器以及可选地在用户设备120和网关140上的软件程序被用于生成数字世界(此处还被称为虚拟世界)，用户使用用户设备120与之交互。数字世界由数据和过程来表示，所述数据和过程描述和/或定义通过用户设备120呈现给用户以用于体验并与之交互的虚拟的、不存在的实体、环境和条件。例如，当在用户察看或体验的场景中的实例化包括对其外观、行为、用户如何被允许与之交互，和其他特征的描述时，一些类型的对象、实体或物品将会显得在物理上存在。被使用以创建虚拟世界的环境(包括虚拟对象)的数据可包括，例如大气数据、地形数据、天气数据、温度数据、位置数据和其他被使用以定义和/或描述虚拟环境的数据。此外，定义管理虚拟世界的操作的多种条件的数据可包括，例如物理定律、时间、空间关系和其他可被用来定义和/或创建多种条件的数据，所述各种条件管理虚拟世界(包括虚拟对象)的运行。

除非上下文表明相反，否则数字世界的实体、对象、条件、特征、行为或其他特性在本文被统称为对象(例如，数字对象、虚拟对象、被渲染物理对象等等)。对象可为任何类型的动画或非动画对象，包括但不限于，建筑物、植物、车辆、人、动物、生物、机器、数据、视频、文本、图片和其他用户。对象还可在虚拟世界中被定义，用于存储关于实际存在于物理世界的对象、行为或条件的信息。描述或定义所述实体、对象或物品，或存储其当前状态的数据，在本文通常被称为对象数据。该数据由所述服务器110处理，或根据所述实施由网关140或用户设备120处理，以为通过用户设备来体验的用户以适当的方式实例化所述对象的实例并渲染所述对象。

开发和/或完善数字世界的程序员创建或定义对象和其被实例化的条件。然而，数字世界可允许其他人创建或修改对象。一旦对象被实例化，所述对象的状态可被允许由体验数字世界的一个或多个用户改造、控制或操作。

例如，在一个实施例中，数字世界的开发、生产和管理通常由一个或多个系统管理程序员来提供。在一些实施例中，这可以包括数字世界中的故事线、主题和事件的开发、设计和/或执行以及通过多种形式的事件和例如电影、数字、网络、移动、增强现实和现场娱乐的媒体的分布式的叙述。所述系统管理程序员还可处理所述数字世界的技术管理、修改和完善和与之相关的用户社区，以及通常由网络管理人员执行的其他任务。

用户使用通常被称为用户设备120的一些类型的本地计算设备与一个或多个数字世界交互。此类用户设备的示例包括但不限于，智能手机、平板电脑、抬头显示器(HUD)、游戏控制器或能够传递数据并向用户提供接口或显示的任何其他设备，以及此类设备的组合。在一些实施例中，所述用户设备120可包括或者可与本地外部设备或输入/输出组件通信，所述本地外部设备或输入/输出组件例如键盘、鼠标、操作杆、游戏控制器、触觉接口设备、运动捕捉控制器、如可向体感控制(LeapMotion)公司购买的光学追踪设备等或可向微软(Microsoft)公司购买的商标名为Kinect(RTM)下的光学追踪设备、音频设备、语音设备、投影系统、3D显示和全息3D接触式镜片。

图2示出了用于与系统100交互的用户设备120的示例。在图2中显示的示例实施例中，用户210可通过智能手机220连接一个或多个数字世界。网关由存储并运行于所述智能手机220上的应用软件230实施。在此类特殊的示例中，所述数据网络130包括连接用户设备(即智能手机220)至所述计算机网络105的无线移动网络。

在优选的实施例的一个实现中，系统100能够支持大量的并发用户(例如，数百万的用户)，每个用户均使用一些类型的用户设备120与同一数字世界，或者与不同的数字世界连接。

所述用户设备向用户提供使所述用户和由服务器110生成的数字世界之间能够可视、可听，和/或物理交互的接口，包括(真实或虚拟)呈现给所述用户的其他用户和对象。所述接口向所述用户提供可被察看、被听到或以其它方式被感知的被渲染场景，以及实时与场景交互的能力。所述用户与所述被渲染场景交互的方式可由所述用户设备的能力决定。例如，如果所述用户设备为智能手机，所述用户交互可由用户接触触摸屏来实施。在另一示例中，如果所述用户设备为计算机或游戏控制器，所述用户交互可使用键盘或游戏控制器来实施。用户设备可包括例如传感器的附加的组件，其使得用户交互成为可能，其中由所述传感器检测到的对象和信息(包括手势)可被作为输入提供，所述输入表示使用所述用户设备与所述虚拟世界的用户交互。

所述渲染场景可被以多种形式呈现，例如二维或三维可视化显示(包括投影)、声音和触觉或触觉反馈。所述渲染场景可以一种或多种模式来与所述用户接口，所述模式包括例如增强现实、虚拟现实和其组合。所述渲染场景的格式，以及接口模式，可由下列因素中的一个或多个决定：用户设备、数据处理能力、用户设备连通性、网络能力和系统工作负载。具有的大量用户与所述数字世界并发交互和数字交换的实时性质可由计算网络105、服务器110、网关组件140(可选地)和用户设备120来启用(enable)。

在一个示例中，所述计算网络105由具有通过高速连接(例如，高宽带接口115)连接的单核和/或多核服务器(即服务器110)的大规模的计算系统组成。所述计算网络105可形成云或网格网络。每个服务器均包括存储器，或与计算机可读存储器耦合，用于存储执行数据以创建、设计、更改或处理数字世界的对象的软件。这些对象和它们的实例化可以是动态的、出现和消失、随时间变化，以及响应其他条件而变化。所述对象的动态能力的示例此处通常参考多种实施例来讨论。在一些实施例中，连接所述系统100每个用户还可在一个或多个数字世界中被表示为对象和/或对象集。

计算网络105中的服务器110还存储用于每个数字世界的计算状态数据。所述计算状态数据(此处还被称为状态数据)可以使对象数据的组成部分，并且通常在给定的时间实时定义对象实例的状态。因此，计算状态数据可随时间变化并且可受一个或多个用户的行为和/或维护系统100的程序员的影响。因为用户影响计算状态数据(或其他包括数字世界的数据)，用户直接改变或以其他方式操控数字世界。如果数字世界与其他用户共享，或与其他用户连接，用户的行为可影响与数字世界交互的其他用户的体验。因此，在一些实施例中，由用户造成的数字世界的变化将被其他与系统100交互的用户体验。

在一个实施例中，存储于计算网络105中一个或多个服务器110中的数据被高速率以及低延时地传送或部署至一个或多个用户设备120和/或网关组件140。在一个实施例中，由服务器共享的对象数据可以是完整的或可以是被压缩的，并且包括用于在用户侧重建完整对象数据的指令，其由用户的本地计算设备(例如网关140和/或用户设备120)渲染并可视化。在一些实施例中，运行于计算网络105的服务器110上的软件可根据用户特定的设备和带宽，为数字世界内的对象调整其生成并发送至特殊的用户设备120的数据(或由计算网络105交换的任何其他数据)。例如，当用户通过用户设备120与数字世界交互时，服务器110可识别由用户使用的特定类型的设备、设备的连通性和/或用户设备和服务器之间的可用带宽，以及合适的尺寸，并且平衡递送至该设备的数据以优化用户交互。该示例可包括减小被发送数据的尺寸至低分辨率质量，以使得数据可在具有低分辨率显示器的特殊用户设备上被显示。在优选的实施例中，计算网络105和/或网关组件140以足够呈现15帧/秒或更高接口操作的速度以及以高清质量或更高的分辨率，将数据递送至用户设备120。

网关140为一个或多个用户提供至计算网络105的本地连接。在一些实施例中，这可以由可下载的应用软件来实施，所述应用软件运行于用户设备120或其他本地设备上，例如图2中所示的那些设备。在其他实施例中，可由硬件组件(结合存储于该组件上的合适的软件/固件，该组件具有处理器)实施，该组件或与用户设备120通信，但不与其合并或被其吸引，或者与用户设备120合并。网关140经由数据网络130与计算网络105通信，并提供计算网络105和一个或多个本地用户设备120之间的数据交换。如在更详细的下文所讨论的，网关组件140可包括软件、固件、存储器和处理电路，并且能够处理在网络105和一个或多个本地用户设备120之间通信的数据。

在一些实施例中，网关组件140监视并调节用户设备120和计算机网络105之间交换的数据的速率以允许用于特殊的用户设备120的最佳数据处理能力。例如，在一些实施例中，网关140缓冲和下载数字世界的静态和动态方面，即使这些超过了通过与用户设备连接的接口呈现给用户的视野。在这样的实施例中，静态对象的实例(结构化数据、软件实施的方法，或两者兼有)可存储于存储器(网关组件140本地、用户设备120，或两者兼有)中并且作为本地用户当前位置的引用，用户的当前位置由计算网络105和/或用户设备120提供的数据表明。动态对象的实例，可包括例如智能软件代理和由其他用户和/或本地用户控制的对象，其被存储于高速存储缓冲器中。代表呈现给用户的场景中的二维或三维对象的动态对象可例如被分解为组件形状，例如运动但不改变的静态形状，和变化的动态形状。动态对象的变化部分可被通过计算网络105来自服务器110的实时、线性高优先级数据流更新、由网关组件140管理。作为优先的线性数据流的示例，用户眼睛的60度视野内的数据可被给予比更外围的视野更高的优先级。另一示例包括优选在背景中的静态对象上的用户视野中的动态特征和/或对象。

除了管理计算网络105和用户设备120之间的数据连接之外，网关组件140可存储和/或处理可呈现给用户设备120的数据。例如，在一些实施例中，网关组件140可从计算网络105接收例如描述用于用户察看而渲染的图形对象的被压缩数据，并且执行先进的渲染技术以缓和从计算网络105传送至用户设备120的数据负载。在另一示例中，其中网关140为独立的设备，网关140可为对象的本地实例存储和/或处理数据，而不是传送数据至计算网络105以用于处理。

现在再参考图3，数字世界可由一个或多个用户根据用户设备的能力以多种形式体验。在一些实施例中，用户设备120可包括，例如，智能手机、平板电脑、抬头显示器(HUD)、游戏控制器或可穿戴设备。通常，用户设备将包括与显示器耦合、用于执行存储于设备上的存储器中的程序代码的处理器，以及通信接口。图3中示出了用户设备的示例实施例，其中用户设备包括移动、可穿戴设备，即头戴式显示系统300。根据本公开的实施例，头戴式显示系统300包括用户接口302、用户感知系统304、环境感知系统306和处理器308。虽然处理器308在图3中被作为从头戴式系统300分离的独立的组件来显示，在备选的实施例中，处理器308可与头戴式系统300的一个或多个组件整合，或可被整合至其他系统100组件中，例如网关140.

用户设备呈现给用户用于与数字世界交互并体验数字世界的接口302。该交互可涉及用户和数字世界、连接至系统100的一个或多个其他用户，以及数字世界中的对象。接口302通常向用户提供图像和/或语音感官输入(以及在一些实施例中，物理感官输入)。因此接口302可包括扬声器(未显示)和显示组件303，显示组件在一些实施例中使得更能体现人类视觉系统自然特征的立体3D察看和/3D察看成为可能。在一些实施例中，显示组件303可包括透明的接口(例如清晰的OLED)，其在处于“关”设置时使得的用户附近的物理环境的几乎无光学畸变或计算叠加层(computingoverlay)的光学正确察看(opticallycorrectview)成为可能。如下列更详细的讨论，接口302可包括允许多种视觉/接口性能和功能的附加设置。

在一些实施例中，用户感知系统304可包括可操作以检测与穿戴有系统300的个人用户相关的特定特性、特征或信息的一个或多个传感器310。例如，在一些实施例中，传感器310可包括摄像机或光学检测/扫描电路，其能够检测用户的实时光学特性/测量，例如一个或多个如下内容：瞳孔收缩/扩大、每个瞳孔的角度测量/定位、二次球度(spherocity)、眼球形状(因为眼球形状随时间而变化)以及其他结构上的数据。该数据提供，或被用于计算可由头戴式系统300和/或接口系统100使用以优化用户察看体验的信息(例如，用户视觉焦点)。例如，在一个实施例中，传感器310中的每一个都可以为用户的每个眼睛测量瞳孔收缩速率。该数据可被传送至处理器308(或网关组件140或至服务器110)，其中数据被用于确定例如，用户对接口显示器303的亮度设置的反应。接口302可依照用户的反应被调节，例如，如果用户反应表明显示器303的亮度等级太高，则调暗显示器303。用户感知系统304除了如上讨论的那些组件或图3中示出的组件之外，还可包括其他组件。例如，在一些实施例中，用户感知系统304可包括用以从用户接收声音输入的麦克风。用户感知系统还可包括一个或多个红外摄像机传感器、一个或多个可见光谱摄像机传感器、结构光发射器和/或传感器、红外光发射器、相干光发射器和/或传感器、陀螺仪、加速计、磁力仪、近距离传感器、GPS传感器、超声波发射器和检测器和触觉接口。

环境感知系统306包括用于从用户周围的物理环境获取数据的一个或多个传感器312。由传感器检测到的对象或信息可被作为输入提供至用户设备。在一些实施例中，该输入可表示用户与虚拟世界的交互。例如，察看桌子上的虚拟键盘的用户可用其手指作姿态，仿佛其在该虚拟键盘上打字。手指移动的运动可被传感器312捕捉并且被作为输入提供至用户设备或系统，其中该输入可被用于改变虚拟世界或创建新的虚拟对象。例如，手指的运动可被识别(使用软件程序)为打字，并且被识别的打字姿态可与虚拟键盘上的已知的虚拟键位置结合。然后系统可渲染显示给用户(或连接至系统的其他用户)的虚拟监视器，其中虚拟监视器显示由用户键入的文本。

文本312可包括例如通常面向外面的摄像机或扫描仪以用于解释场景信息，例如，通过连续的和/或间歇的投影红外结构光。环境感知系统306可被用于通过检测和记录本地环境来映射用户周围的物理环境的一个或多个因素，包括静态对象、动态对象、人、手势和各种灯光、大气和声学的条件。因此，在一些实施例中，环境感知系统306可包括嵌入到本地计算系统(例如，网关组件140或处理器308)并可操作以用数字化重建由传感器312检测到的一个或多个对象或信息的基于图像的3D重建软件。在一个典型的实施例中，环境感知系统306提供下列方面的一个或多个：运动捕捉数据(包括手势识别)、深度感知、面部识别、对象识别、独特的对象特征识别、声音/语音识别和处理、声学来源定位、降噪技术、红外或类似的激光投影，以及单色和/或彩色CMOS传感器(或其他相似的传感器)、视野传感器和多种其他光学增强传感器。应指出环境感知系统306除了上述所讨论的那些组合或图3中示出的那些组件，还可包括其他组件。例如，在一些实施例中，环境感知系统306可包括用于从本地环境中接收语音的麦克风。用户感知系统还可包括一个或多个红外摄像机传感器、一个或多个可见光谱摄像机传感器、结构光发射器和/或传感器、红外光发射器、相干光发射器和/或传感器、陀螺仪、加速计、磁力仪、近距离传感器、GPS传感器、超声波发射器和检测器和触觉接口。

如上所述，在一些实施例中，处理器308可与头戴式系统300的其他组件整合，与接口系统100的其他组件整合，或可为如图3中所示的独立的设备(可穿戴或从用户分离)。处理器308可与头戴式系统300的多种组件和/或接口系统100的组件通过物理、有线连接，或通过例如移动网络连接(包括移动电话和数据网络)、Wi-Fi或蓝牙的无线连接来连接。处理器308可包括存储器模块、整合和/或附加的图形处理单元、无线和/或有线因特网连接性以及能够将来自源(例如，计算网络105、用户感知系统304、环境感知系统306或网关组件140)的数据变换成图像或音频信号的编解码器和/或固件，其中图像/视频和音频可经由接口302呈现给用户。

处理器308处置用于头戴式系统300中的多种组件的数据处理以及头戴式系统300和网关组件140——以及在一些实施例中和计算网络105——之间的数据交换。例如，处理器308可被用于缓冲并处理用户和计算网络105之间的数据流，从而使平滑的、连续的和高保真度的用户体验成为可能。在一些实施例中，处理器308可以以足够达到320*240分辨率下8帧/秒到高清分辨率(1280*720)下24帧/秒——或者更高例如60-120帧/秒和4K分辨率以及甚高(10K+分辨率和50000帧/秒)的速率——之间任意数值的速率来处理数据。此外，处理器308可存储和/或处理可呈现给用户而不是实时从计算网络105流送数据。例如，在一些实施例中，处理器308可从计算网络105接收压缩数据并且执行先进的渲染技术(例如灯光和着色)以缓和从计算网络105传送至用户设备120的数据负载。在另一实施例中，处理器308可存储和/或处理本地物理数据而不是将数据传送至网关组件140或计算网络105。

在一些实施例中，头戴式系统300可包括多种设置或模式，其允许多种可视/接口性能和功能。模式可由用户手动选择或由网关组件140或头戴式系统300的组件自动地选择。如先前所述，头戴式系统300的一个示例包括“关”模式，其中接口302实质上没有提供数字的或虚拟的内容。在关模式下，显示组件303可以是透明的，从而使得几乎没有光学畸变或计算叠加层的用户周围的物理环境的光学正确察看能够成为可能。

在示例实施例中，头戴式系统300包括“增强”模式，其中接口302提供增强现实接口。在增强模式下，接口显示器303可以是实质上透明的，因此允许用户察看本地物理环境。同时，由计算网络105、处理器308，和/或网关组件140提供的虚拟对象数据可与物理本地环境结合被呈现在显示器303上。

图4示出了当接口302在增强模式下运行时由用户察看的对象示例实施例。如图4中所示，接口302呈现物理对象402和虚拟对象404。在图4中示出的实施例中，物理对象402是存在于用户本地环境中的真实的物理对象，而虚拟对象404为由系统100创建并且经由用户接口302显示的对象。在一些实施例中，虚拟对象404可在物理环境的固定位置或场所显示(例如，虚拟的猴子站在位于物理环境中的特殊路标旁边)，或可作为位于相对于用户接口/显示器303的位置的对象显示(例如，虚拟时钟或温度计在显示器303的坐上角可见)。

在一些实施例中，虚拟对象可被在用户视野之内或之外的物理呈现的对象提示(cuedoff)或触发。虚拟对象404被物理对象402提示或触发。例如，物理对象402实际上可能是凳子，并且虚拟对象404可被作为站在凳子上的虚拟动物显示给用户(并且，在一些实施例中，呈现给连接至系统100的其他用户)。在这样的实施例中，环境感知系统306可使用存储于例如处理器308中的软件和/或固件以识别多种特性和/或形态图案(由传感器312捕捉)来认出物理对象402是凳子。这些被识别的形态特征，例如凳子顶部，可被用于触发虚拟对象404的放置。其他示例包括墙壁、桌子、家具、车辆、建筑物、人、地板、植物、动物-任何可视对象均可用于以与该对象或多个对象的一些关系来触发增强现实体验。

在一些实施例中，被触发的特殊的虚拟对象404可由用户选择或由头戴式系统300或接口系统100的其他组件自动选择。此外，在其中虚拟对象404被自动触发的实施例中，可基于特殊的物理对象402(或其特征)选择特殊的虚拟对象404，根据其虚拟对象404被提示或触发。例如，如果物理对象被认定为延伸至泳池上的跳水板，被触发的虚拟对象可为穿戴者呼吸管、泳衣、漂浮设备或其他相关物品的生物。

在另一示例实施例中，头戴式系统300可包括“虚拟”模式，其中接口302提供虚拟现实接口。在虚拟模式中，从显示器303中省略物理环境，并且由计算网络105、处理器308和/或网关组件140提供的虚拟对象数据被呈现在显示器303上。物理环境的省略可通过物理上阻塞虚拟显示器303(例如通过覆盖)或通过接口302的特性——其中显示器303转换至不透明度设置——来实现。在虚拟模式下，现场的和/或已存的视觉和音频感觉可通过接口302呈现给用户，并且用户通过接口302的虚拟模式来体验数字世界(数字对象、其他用户等等)并与之交互。因此，以虚拟模式提供给用户的接口包含由虚拟的、数字的世界的虚拟对象数据组成。

图5示出了当头戴式接口302以虚拟模式运行时的用户接口的示例性实施例。如图5中所示，用户接口呈现由数字对象510组成的虚拟世界500，其中数字对象510可包括大气、天气、地势、建筑和人。虽然没有在图5中被示出，数字对象还可包括，例如，植物、车辆、动物、生物、机器、人工智能、位置信息和定义虚拟世界500的任何其他对象或信息。

在另一示例实施例中，头戴式系统300可包括“混合”模式，其中头戴式系统300的各种特性(以及虚拟和现实模式的特性)可被结合以创建一个或多个自定义接口模式。在示例性自定义接口模式中，物理环境可从显示器303中省略，并且虚拟对象数据以相似于虚拟模式的方式被呈现在显示器303上。然而，在该示例性自定义接口模式中，虚拟对象可以是完全虚拟的(即，它们不存在于本地、物理环境中)或它们可以是真实的、本地的、物理对象，其在接口302中被渲染为虚拟对象而不是物理对象。因此，在该特殊的自定义模式(此处被称为混合虚拟接口模式)中，现场和/或已存的视觉和音频感觉可通过接口302被呈现给用户，并且用户可体验包括彻底的虚拟对象和被渲染的物理对象的数字世界并与之交互。

图6示出了根据混合虚拟接口模式运行的用户接口的示例性实施例。如图6中所示，用户接口呈现由彻底的虚拟对象610和被渲染的物理对象620(对象的渲染，否则物理地呈现在场景中)组成的虚拟世界600。依据图6中示出的示例，被渲染物理对象620包括建筑物620A、地面620B和平台620C，并且使用粗体的轮廓630示出以向用户表明对象被渲染。附加地，彻底的虚拟对象610包括附加的用户610A、云610B、太阳610C和平台620C上的火焰610D。应指出完整的虚拟对象610可包括，例如，大气、天气、地形、建筑物、人、植物、车辆、动物、生物、机器、人工智能、位置信息和任何定义虚拟世界600并且未从存在于本地、物理环境的对象渲染的其他对象或信息。相反地，被渲染物理对象620是真实的、本地的、物理的对象，在接口302中被渲染为虚拟对象。粗体轮廓630表示用于向用户表明被渲染物理对象的一个示例。同样地，可使用不同于本文公开的哪些方法的方法来表明被渲染物理对象。

在一些实施例中，可使用环境感知系统306的传感器312(或使用其他设备，例如移动或图像捕捉系统)来检测被渲染物理对象620，并且其被存储在例如处理电路308中的软件和/或固件转换为数字对象数据。因此，当用户以混合虚拟接口模式与系统100连接时，多种物理对象可作为被渲染的物理对象显示给用户。这对允许用户与系统100连接，同时仍能安全地通过(navigate)本地物理环境来说尤其有用。在一些实施例中，用户可能选择性地移除或添加被渲染物理对象至接口显示器303.

在另一示例自定义接口模式中，接口显示器303可以是实质上透明的，从而在多种本地的、物理对象被作为被渲染物理对象显示给用户时，允许用户察看本地的、物理的环境。该示例自定义接口模式与所述增强模式类似，除了相对于先前的示例，一个或多个虚拟对象可以是被渲染的物理对象之外。

上述示例自定义接口模式代表能够由混合模式的头戴式系统300提供的多种自定义接口模式的几个示例实施例。据此，多种其他自定义接口模式可根据由头戴式系统300的组件提供的多种特性和功能的组合以及上述讨论的多种模式来创建而不背离本公开范围。

本文所讨论的实施例仅描述了用于以关、增强、虚拟或混合模式下提供接口操作的几个示例，并非旨在限制各个接口模式的内容与范围或者头戴式系统300的组件的功能。例如，在一些实施例中，虚拟对象可包括显示给用户的数据(时间、温度、海拔等)、由系统100创建和/或选择的对象、由用户创建和/或选择的对象，或甚至代表连接至系统100的其他用户的对象。此外，虚拟对象可包括物理对象的扩展(例如，从物理平台生长出的虚拟雕塑)并且可被可视化地连接至物理对象或从物理对象分离。

虚拟对象可以是动态的并且随着时间变化，根据用户或其他用户、物理对象和其他虚拟对象之间的关系(例如位置、距离等)变化，和/或依据在头戴式系统300、网关组件140或服务器110的软件和/或固件中指定的其他变量变化。例如，在特定实施例中，虚拟对象可响应用户设备或其组件(例如，当触觉设备被紧挨虚拟球放置时，虚拟球移动)，物理的或口头的用户交互(例如，当用户靠近虚拟生物时虚拟生物逃跑，或当用户向其说话时，虚拟对象说话)，椅子被扔向虚拟生物并且虚拟生物躲避椅子、其他虚拟对象(例如，当第一虚拟对象看到第二虚拟生物时，会有反应)、物理变量，例如位置、距离、温度、时间等，或用户环境中的其他物理对象(例如当物理车辆经过时，被显示站在物理街道上的虚拟生物被压扁)。

除了头戴式系统300之外，本文讨论的多种模式均可被应用于用户设备。例如，增强现实接口可经由移动电话或平板设备提供。在此类实施例中，手机或平板可使用摄像机捕捉用户周围的物理环境，并且虚拟对象可被覆盖在手机/平板的显示屏幕上。附加地，可通过在手机/平板的显示屏幕上显示数字世界来提供虚拟模式。这样，这些模式可被混合以使用本文讨论的手机/平板的组件，以及被连接至用户设备或与用户设备结合使用的其他组件来创建上述多种自定义接口模式。例如，可由计算机显示器、电视屏幕，或其他缺少摄像机的设备与运动或图像捕捉系统结合操作来提供混合虚拟接口模式。在该示例实施例中，可从显示器/屏幕察看虚拟世界并且对象检测和渲染可由运动或图像捕捉系统执行。

图7示出了本公开的示例实施例，其中位于不同地理位置的两个用户彼此通过其各自的用户设备与对方以及公共虚拟世界交互。在该实施例中，两个用户701和702来回投掷703(一种类型的虚拟对象)，其中每个用户能观察另一用户对虚拟世界的影响(例如每个用户观察虚拟球变化方向、被另一用户捕捉等)。因为虚拟对象(即虚拟球703)的运动和位置由计算网络105中的服务器110来追踪，在一些实施例中，系统100可向用户701和702传递球703相对每个用户到达的准确位置和时间。例如，如果第一用户701位于伦敦，用户701可向位于洛杉矶的第二用户702以由系统100计算出的速度投掷球703。因此，系统100可向第二用户702传递球到达的准确的时间和位置(例如通过电子邮件、文字讯息、实时讯息等)。同样地，第二用户702可使用其设备看见球703在特定的时间和位置到达。一个或多个用户还可用地理定位图软件(或类似物)来追踪一个或多个虚拟对象，仿佛他们实际上走遍了整个地球。该示例可以是穿戴3D头戴式显示器的用户，仰望天空并看到飞过头顶、叠加在真实世界上的虚拟飞机。该虚拟飞机可由用户、智能软件代理(运行于用户设备或网关的软件)、本地和/或远程的其他用户，和/或任何这些的组合来驾驶。

如前所述，用户设备可包括触觉接口设备，其中当系统100确定触觉设备相对于虚拟对象位于一个物理的、空间的位置时，触觉接口设备向用户提供反馈(例如，阻力、震动、光照、声音等)。例如，如上述关于图7中所描述的实施例可扩展到包括使用触觉设备802，如图8中所示。

在该示例实施例中，触觉设备802可在虚拟世界中被显示为棒球棒。当球703到达时，用户702可在虚拟球703处挥动触觉设备802。如果系统100确定由触觉设备802提供的虚拟棒与球703接触，则触觉设备802可震动或向用户702提供其他反馈，并且虚拟球703可依据被检测的速度、方向和球与棒接触的时间由系统100计算出的方向从虚拟棒跳飞。

在一些实施例中，本公开的系统100可有助于混合模式连接，其中多个用户可使用不同的连接模式(例如增强、虚拟、混合等)连接至共同的虚拟世界(以及其包含的虚拟对象)。例如，以虚拟模式连接特定虚拟世界的第一用户可与以增强现实模式连接同一虚拟世界的第二用户交互。

图9A示出了示例，其中第一用户901(以混合的虚拟接口模式连接至系统100的数字世界)与第一对象902对于以完全虚拟现实模式连接至系统100的同一的数字世界的第二用户922作为虚拟对象出现。如上所述，当经由混合的虚拟接口模式连接至数字世界时，本地的、物理的对象(如第一用户901和第二用户902)可被扫描和渲染作为虚拟世界中的虚拟对象。例如，第一用户901可被运动捕捉系统或类似的设备扫描，并且在虚拟世界中被渲染(由存储于运动捕捉系统、网关组件140、用户设备120、系统服务器110或其他设备中的软件/固件)作为第一被渲染物理对象931。类似地，第一对象902可被例如由头戴式接口300的环境感知系统306扫描，并且在虚拟世界中被渲染(由存储于处理器308、网关组件140、系统服务器110或其他设备中的软件/固件)作为第二被渲染物理对象932。在图9A的第一部分910中展示的第一用户901和第二用户902被作为物理世界的物理对象。在图9A的第二部分920，第一用户901和第一对象902被作为第一被渲染物理对象931和第二被渲染对象932，展示给连接至系统100的同一的数字世界的第二用户922。

图9B示出了混合模式接口的另一示例性实施例，其中如上面所讨论的，第一用户901以混合虚拟接口模式连接至数字世界，并且第二用户922以增强现实模式连接至同一的数字世界(以及第二用户的物理的、本地的环境925)。在图9B的实施例中，第一用户901和第一对象902位于第一物理位置915，并且第二用户922位于不同的，与第一位置915分开一些距离的第二物理位置925。在该实施例中，虚拟对象931和932可被实时(或近似实时)地转移至虚拟世界中与第二位置925对应的某个位置。因此，第二用户922可在第二用户的物理的、本地的环境925分别观察和与代表第一用户901和第一对象902的被渲染物理对象931和932交互。

图10示出了当以增强现实模式连接至系统100时的用户视野的示例性插图。如图10中所示，用户看见本地的、物理的环境(即拥有多个建筑物的城市)以及虚拟角色1010(即虚拟对象)。虚拟角色1010的位置可由2D可视目标(例如广告牌、明信片或杂志)和/或例如建筑物、汽车、人、动物、飞机、建筑物的一部分的一个或多个3D参考帧(referenceframe)和/或任何3D物理对象、虚拟对象，和/或其组合来触发。在图10中示出的示例中，城市中建筑物的已知的位置可提供记录基准和/或用于渲染虚拟角色1010的信息和关键特征。此外，用户地理位置(例如，由GPS、姿态/位置传感器等等所提供)或相对于建筑物的移动位置，可包括由计算网络105使用的数据以触发用于显示虚拟角色1010的数据的传送。在一些实施例中，用于显示虚拟角色1010的数据可包括被渲染的角色1010和/或用于渲染虚拟角色1010或其部分的指令(其被网关组件140和/或用户设备120所执行)。在一些实施例中，如果用户的地理位置是难以获得的或未知的，服务器110、网关组件140，和/或用户设备120仍可使用估计算法来显示虚拟对象1010，估计算法依据时间和/或其他参数使用用户最后的已知位置来估计特殊的虚拟对象和/或物理对象可能位于何处。该方法还在用户传感器被堵塞和/或经历其他故障时用于确定任何虚拟对象的位置。

在一些实施例中，虚拟角色或虚拟对象可包括虚拟雕像，其中虚拟雕像的渲染由物理对象触发。例如，现在参考图11，虚拟雕塑1110可由真实的、物理的平台1120来触发。雕塑1110的触发可响应于由用户设备或系统100的其他组件检测的可视对象或特征(例如，基准、设计特征、几何结构、图案、物理位置、高度等等)。当用户在没有用户设备的情况下察看平台1120时，用户看到没有雕塑1110的平台1120。然而，当用户通过用户设备察看平台1120时，如图11中所示，用户可看到的平台1120上的雕塑1110。雕塑1110是虚拟对象并且，因此是静止的、动画的、随时间或对应用户的察看位置而变化，或者甚至依据哪个特定用户在察看雕塑1110而变化。例如，如果用户为小孩，雕塑可以是狗；而如果察看者为成年男性时，雕塑可为如图11中所示的大机器人。这些是用户依赖和/或状态依赖体验的示例。这将使得一个或多个用户能感觉到一个或多个单独的和/或与物理对象结合的虚拟对象，并且体验虚拟对象的自定义和个性化版本。雕塑1110(或其部分)可由包括例如安装在用户设备上的软件/固件的系统的多个组件来渲染。使用表明用户设备的位置和姿态的数据结合虚拟对象(即雕塑1110)的记录特征，虚拟对象(即雕塑1110)与物理对象(即平台1120)形成关系。例如，一个或多个虚拟对象与一个或多个物理对象之间的关系可以取决于到一个或多个其他虚拟对象的距离、位置、时间、地理定位、接近度，和/或包括任何类型的虚拟和/或物理数据的任何其他函数关系。在一些实施例中，用户设备中的图像识别软件可进一步加强数字至物理(digital-to-physical)对象关系。

由被公开的系统和方法提供的交互接口可被实现以促进多个活动，例如，与一个或多个虚拟环境和对象交互、与其他用户交互，以及体验多种形式的媒体内容，包括广告、音乐会和电影。因此，被公开的系统有助于用户交互，使得用户不仅察看或聆听媒体内容，更确切地说，能够积极地参与并体验媒体内容。在一些实施例中，所述用户参与可包括变更现有内容或创建新内容，所述现有内容或新内容将在一个或多个虚拟世界中被渲染。在一些实施例中，媒体内容和/或创建内容的用户，可以围绕一个或多个虚拟世界的神话创造为主题。

在一个示例中，音乐家(或其他用户)可创建音乐内容，其将被渲染至与特定虚拟世界交互的用户。音乐内容可包括例如多个歌曲、EP、专辑、视频、短片和音乐会演出。在一个示例中，大量的用户可连接至系统100以同时体验虚拟的由音乐家表演的音乐会。

在一些实施例中，被生产的媒体可包括与特定的实体(例如，一个组合、艺术家、用户等)相关联的唯一的识别码。该码可以是以一组字母数字字符、UPC码、QR码、2D图像触发器、3D物理对象特征触发器，或其他数字标志，以及声音、图像，和/或两者均有等的形式。在一些实施例中，所述码还可被嵌入到可使用系统100连接至的数字媒体中。用户可获得所述码(例如通过支付费用)并且兑换码以访问由与该标识码相关的实体生产的媒体内容。该媒体内容可被添加至用户接口或从用户接口删除。

在一个实施例中，为避免从一个计算系统向另一计算系统低延时地传送实时或近似实时的视频数据时的计算和带宽限制，例如从云计算系统至与耦合至用户的本地处理器，关于不同形状和几何结构的参数信息可被传递并被用来定义表面，同时传递纹理并将其添加至这些表面以带来静态的或动态的细节，例如根据参数重现面部几何结构贴图的人的面部的基于位图的视频细节。如另一示例，如果系统被配置以识别人的面部，并且已知人的形象位于增强世界中，系统可被配置以在相对大的设立传输中传送相关的世界信息和人的形象信息，在此之后仍然至例如图1中描述的308的本地计算系统用于本地渲染的传输可被限制至参数和纹理更新，例如人的骨骼结构的运动参数和人的面部运动位图——相对于初始设立传输或实时视频的传送来说，这些均以以数量级减少的带宽传输。因此，基于云的和本地的计算资产可以以整合的方式使用——云处理计算不需要相对地的延时，而本地处理资产优先(atapremium)处理低延时的任务，并且在该情况下，由于形成的这样的数据(即，参数信息、纹理等，相对每个事物的实时视频)的总量，被传递至本地系统的数据形式优选地以相对的低带宽被传送。

参考当前的图15，原理图示出了云计算资产(46)与本地处理资产(308、120)之间的协调关系。在一个实施例中，云资产(46)被操作性的直接耦合至——例如经由有线或无线网络(对于移动性来说，无线是优选的；对于可能期望的高宽带或高数据量传输来说，有线是优选的)——本地计算资产(120、308)中的一个或两者，所述本地计算资产例如是可被放置于被配置以耦合至用户的头部(120)或腰部(308)的结构中的处理器和存储器配置。这些对用户来说本地的计算资产也可以经由有线和/或无线连接性配置(44)彼此操作性的耦合。在一个实施例中，为了维护低惯性和小体积的头戴式子系统(120)，用户和云(46)之间的主要的传输可经由基于腰部的子系统(308)和云之间的链路，同时头戴式子系统(120)主要被使用无线连接性来将数据连线至基于腰部的子系统(308)，所述无线连接性例如当前采用的、个人计算外围连接性应用中的超带宽(“UWB”)连接。

随着有效的本地和远程处理协调，以及用于用户的适当的显示设备，例如用户接口302或图3中描绘的用户“显示设备”、下面参考图14描述的显示设备14，或其变形，与用户当前的真实或虚拟位置相关的一个世界的方面可被传输或“传递”至该用户，并以有效的形式被更新。事实上，在一个实施例中，一个人以增强现实模式使用虚拟现实系统(“VRS”)，并且另一人以完全虚拟的模式使用VRS以探究与第一人相同的世界，二人可以多种形式在那个世界体验到彼此。例如，参考图12，类似于图11中描述的场景被描述，并且添加了第二用户的可视化形象2，所述第二用户从完全虚拟现实场景描绘的增强现实世界飞过。换句话说，图12中描绘的场景可被体验并且以增强现实形式被显示以用于第一用户——同时除了场景中本地世界周围真实的物理元素——例如地面、背景中的建筑物、雕塑平台1120——之外，还有两个增强现实元素(雕塑1110和第二人的飞舞的大黄蜂形象2)被显示。动态更新可用于允许第一用户将第二用户形象2的进展可视化为形象2飞过第一用户本地的世界。

再次，以上述配置，其中一个世界模型可以驻留在云计算资源上，并且从那里开始分发，这样的世界可以以相对低带宽的形式优选地试图传递实时视频数据或类似物至一个或多个用户。站在雕塑(即如图12中所示)边上的人的增强体验可由基于云的世界模型来通知，所述世界模型的子集可被传递至他们和他们的本地显示设备以完成察看。站在远程显示设备处的人可从云有效率地下载相同部分的信息，并且将所述信息在他们的显示器上渲染，所述远程显示设备可能简单地是放置于桌子上的个人电脑。事实上，真实出现在雕塑附近的公园内的人可带领位于远程的朋友在该公园内散步——该朋友通过虚拟和增强现实来参与。系统将需要知道街道在何处、树木在何处、雕塑在何处——但是因为信息在云上，参与的朋友可从云上下载场景的各个方面，然后相对于真正在公园中的人以增强现实的本地开始散步。

参考图13，基于一段时间和/或其他偶然参数的实施例被描述，其中人正沉浸在虚拟和/或增强现实接口——例如用户接口302或在图3中描绘的用户显示设备、参考图14在下边描述的显示设备14，或其变形——使用系统(4)并且进入咖啡公司以订购一杯咖啡(6)。VRS可被配置以使用本地和/或远程地感知和数据收集能力，以为人提供增强和/或虚拟现实的形式的显示增强，例如高亮咖啡公司的大门的位置或相关咖啡菜单的泡泡视图(8)。当该人接到其订购的咖啡时，或根据系统检测的一些其他相关参数，系统可被配置以在本地环境中用显示设备显示(10)一个或多个基于时间的增强或虚拟现实图像、视频，和/或声音，例如从墙壁和天花板上静态或动态的显示具有或不具有森林声音和其他效果的Madagascar的森林场景。对用户的此类呈现可基于定时参数(即，在满杯咖啡被识别出并提供给用户之后5分钟；系统已经识别出用户走过公司正门10分组之后，等等)或其他参数被终止，例如系统识别出用户已经喝完咖啡，所述识别通过系统注意到随着用户从杯子中摄入了最后一口咖啡咖啡杯的朝向被倒置——或者系统识别出用户已经离开咖啡公司的正门(12)。

参考图14展示了适当的用户显示设备(14)的一个实施例被示出，包括可通过外壳或框架安装于用户头部或眼部的显示透镜(82)。该显示透镜(82)可包括一个或多个透明的镜子，所述镜子由所述框架安装于用户眼部(20)之前并且被配置以将投影光(38)反射入眼(20)中，并且有助于光束成形，同时在增强显示配置中允许来自本地环境的至少一些光的传送(在虚拟现实配置中，可能期望显示系统114在实质上阻塞来自本地环境的所有光线，例如通过黑遮光板、遮挡帘、全黑色LCD面板模式等等)。在所描述的实施例中，两个宽视野机器视觉摄像机(16)被耦合至外壳(84)上以将用户周围的环境成像；在一个实施例中，这些摄像机(16)可为双捕获可见光/红外光的摄像机。所描述的实施例还包括一对激光扫描赋形的波面(shaped-wavefront)(即，用于深度)光投影模块，其具有被配置为如图所示的投影光线(38)入眼中(20)的显示镜和光学器件。所描述的实施例还包括两个与红外光源(26，例如发光二极管“LED”)配对的微型红外摄像机(24)，其被配置为能够追踪用户眼睛(20)以支持渲染和用户输入。系统(14)进一步以传感器组件(39)为特征，所述传感器组件可包括X、Y和Z轴的加速计能力和磁性罗盘以及X、Y和Z轴陀螺仪能力，优选地以相对高的频率——例如200HZ——提供数据。所描述的系统(14)还包括头部姿态处理器(36)，例如ASIC(特定用途集成电路)、FPGA(现场可编程门阵列)，和/或ARM处理器(高级精简指令集机器)，其可被配置以从由捕捉设备(16)输出的宽视野图像信息计算实时或准实时的用户头部姿态。还展示了另一处理器(32)，其被配置以执行数字和/或逻辑处理以从传感器组件(39)的陀螺仪、罗盘，和/或加速计数据推出姿态。所描述的实施例还以GPS(37，全球卫星定位)子系统为特征，以辅助姿态和定位。最后，被描述实施例包括渲染引擎(34)，其特征是运行软件程序的硬件，所述软件程序被配置以提供用户本地的渲染信息以有助于扫描器的运作并向用户的眼中成像以用于用户对所述世界的视野。渲染引擎(34)操作性地耦合(81、70、76/78、80；即经由有线或无线连接)至传感器姿态处理器(32)、图像姿态处理器(36)、眼睛追踪摄像机(24)，和投影子系统(18)，以使得使用激光扫描装置(18)将渲染的增强和/或虚拟现实对象的光以类似于视网膜扫描显示的方式投影。被投影的光束(38)的波面可以是弯曲的或为聚焦的以符合增强和/或虚拟现实对象的期望的焦距。可利用迷你红外摄像机(24)来追踪眼睛以支持渲染和用户输入(即用户在看哪里、他的焦点的深度是多少；如下述所讨论的，眼睛边缘可被用来估计焦点的深度)。GPS(37)、陀螺仪、罗盘和加速计(39)可被用来提供路线和/或快速姿态的估计。摄像机(16)图像和姿态结合从相关的云计算资源的数据，可被用来贴图本地世界和与虚拟或增强现实社区共享用户视野。虽然在图14中被突出展示的显示系统(14)的许多硬件被描述为直接耦合至邻近显示器(82)和用户眼睛(20)的外壳(84)，被描述的硬件组件可被安装或封装于其他组件中，例如如同图3中所示的腰部安装组件。在一个实施例中，图14中突出展示的系统(14)的所有组件被直接耦合至显示外壳(84)——除了图像姿态处理器(36)、传感器姿态处理器(32)，和渲染引擎(34)之外，并且后三个与系统(14)的其余组件之间的通信可采用例如超宽带的无线通信或有线通信。所描述的外壳(84)优选地是头戴式并由用户穿戴。扬声器的特征为，例如可被插入用户耳朵并且被用来向用户提供声音，所述声音可以是与增强或虚拟现实体验相关的，例如参考图13中被提及的森林声音，以及麦克风，其可被用来捕捉用户本地的声音。

考虑到光线(38)至用户眼(20)中的投影，在一个实施例中，可利用迷你摄像机(24)来测量用户眼睛(20)的中心在几何上汇聚在何处，通常这个位置与双眼(20)的焦点位置或焦点的深度相一致。眼睛汇聚处的所有点的三维曲面被称为“两眼视界”(horopter)。焦点距离可采用有限数量的深度，或可以无限地变化。从聚散度距离(vergencedistance)投影的光可被聚焦于主旨眼睛(20)中，而位于聚合距离前方或后方的光线被被模糊。进一步地，已经发现无论人眼聚焦何处，人眼均能正确地解析光束直径小于大约0.7毫米的空间相干光；基于这样的理解，为了创建合适的焦点深度的错觉(illusion)，可使用迷你摄像机(24)追踪眼睛的聚散度，并且渲染引擎(34)和投影子系统(18)可被用来渲染在焦点处的两眼视界上或接近于两眼视界的所有对象，并且不同程度的虚焦的所有其他对象(即，使用故意创建的模糊)。被配置以投影相关光线至眼中的透明的导光光学元件可由如Lumus公司的供应商提供。优选地，系统(14)以大约每秒60帧或更高的帧速率向用户提供渲染。如上所述，优选地，迷你摄像机(24)可被用于眼睛追踪，并且软件可被配置以不仅提取聚散度集合还有提取焦点位置提示以作为用户输入。优选地，这样的系统被配置有合适于白天或晚上使用的亮度和对比度。在一个实施例中，这样的系统优选地对于可视化对象校准具有小于大约20毫秒的延迟、小于大约0.1度的角度校准，以及接近于人眼极限的大约1弧分的分辨率。显示系统(14)可与定位系统整合，所述定位系统可涉及GPS组件、光学追踪、罗盘、加速计，和/或其他数据源，以辅助位置和姿态确定；定位信息可被用来便于相关世界的用户视野内的精确的渲染(即，该信息可促进眼镜了解它们相对于真实世界位于何处)。

其他合适的显示设备包括但不限于桌面和移动的计算机、智能手机——智能手机可被附加的软件和硬件特性加强以便于或模拟3D透视图(例如，在一个实施例中，一框架可被可移除地耦合至智能手机，该框架以200Hz的陀螺仪和加速传感器子集、两个小的带有宽视场镜头的机器视觉摄像机，以及ARM处理器为特征，所述框架用以模拟图14中表征的一些配置的功能)、平板电脑，该平板电脑被如上为智能手机描述的那样的加强、使用附加的处理和感知硬件加强的平板电脑、使用智能手机和/或平板电脑以显示增强和虚拟视点(经由放大光学器件、反光镜、接触式镜片或光线结构组件的视觉调节)的头戴式系统、发光组件的非透明(non-see-through)显示器(LCD、OLED、垂直腔面发射激光器和引导激光束等)、允许用户察看自然世界并且人为生成图像的透明(see-through)显示器(例如，光学导光组件、照亮微距对焦接触式镜片中的透明并且偏振的OLED、引导激光束等)、具有发光组件的接触式镜片(例如可从Innovega公司购买的商标为IoptikRTM的Bellevue、WA；它们可与特制的赠送的眼镜部件相结合)、具有发光器件的植入设备，和模拟人脑的光感受器的植入设备。

对于比如图3和图14中描述的系统，3D点可从环境中捕捉，并且捕捉这些图像或点的摄像机的姿态(即，相对于世界的矢量和/或原始位置信息)可被确定，以使得这些点或图像可对于该姿态信息“被标记”或关联。随后，由第二摄像机捕捉的点可被用来确定第二摄像机的姿态。也就是说，可以依据与来自第一摄像机的被标记图像的对比来调整和/或定位第二摄像机。然后该知识可被用来提取纹理、制作贴图，以及创建真实世界的虚拟拷贝(因为随后在周围有两个摄像机被记录)。因此在基础层面，在一个实施例中，你可以使用个人可穿戴系统，其可被用来捕捉3D点和产生点的2D图像，并且这些点和图像可被发送至云存储和处理资源。它们还可被本地缓存嵌入的姿态信息(即，缓存被标记图像)；因此云可具有现成的(即在可用的缓存中)带有3D点的被标记2D图像。如果用户正在观察动态的什么东西，他还可以发送与运动相关的附加信息至云(例如，如果正在察看另一人的面部，用户可获取面部的纹理图并以最佳的频率将其推送上去，即使周围的世界其实基本上是静态的)。

云系统可被配置为仅为姿态保存作为基准点的一些点来减小整体的姿态追踪计算。通常，期望有一些轮廓特征以能够追踪用户环境中的主要的事物，例如墙壁、桌子等，当用户围绕房间移动时，并且用户可能希望能够“共享”该世界并且希望有一些其他用户走入该房间并同样看到这些点。这些有用的且关键的点可被称为术语“基准点”，因为其如锚定点一样相当有用——他们与机器视觉相关可识别的特性相关，并且可在用户硬件的不同块(piece)上一致地和重复地从该世界中提取。因此这些基准点优选地可被保存于云上以备进一步使用。

在一个实施例中，优选的具有遍及相关世界的相对均匀分发的基准点，因为他们是摄像机可轻易地使用以识别位置的各种事物。

在一个实施例中，相关的云计算配置可被配置以周期性地推荐的3D点和任何相关的元数据的数据库以使用来自不同用户的最佳数据用于基准的精准化和世界创建。换句话说，系统可被配置以通过使用来自在相关世界中察看和运作的不同用户的输入来获取最佳的数据集。在一个实施例中，数据库在本质上是分形的(fractal)——随着用户移动靠近对象，云传送更高的分辨率信息至该用户。随着用户更紧密地贴图对象，该数据被发送至云上，并且如果新的3D点和基于图像的纹理图比先前在数据库中存储的更好，云可将其添加至数据库。所有这些可被配置以从多个用户同时发生。

如上所述，增强或虚拟现实体验可基于识别特定类型的对象。例如，理解特殊对象具有深度从而识别并理解该对象是重要的。识别器软件对象(“识别器”)可被部署在云或本地资源上以在用户在世界中浏览数据时专门地辅助识别在这两个平台之一上或在两者之上的不同的对象。例如，如果系统具有的用于世界模型的数据包括3D点云和已标记的姿态的图像，那么对于具有一堆点和桌子的图像的桌子，其实并不能确定被观察的对象是人们所知道的桌子。换句话说，在空间中的一些3D点和从空间某位置剥离出显示大部分桌子的图像并不能足以使人快速地辨别出察看的是桌子。为了辅助该识别，可创建特定的对象识别器，其将探究原始的3D点云、分割点集，并且例如，提取桌子上表面的平面。类似地，可创建识别器以从3D点中分割墙壁，以使得用户可以在虚拟或增强现实中改变壁纸或移除部分墙壁，并且拥有在现实世界并不存在的进入另一房间的大门。这样的识别器在世界模型的数据内运行，并且可被认为是在世界模型中爬行并且以语义信息渗透(imbue)世界模型的软件“机器人”，或被认为是存在于空间的点集中的本体(ontology)。这样的识别器或软件机器人可被配置以使得他们的全部存在是忙于在相关世界数据中走动并且查找被认为是墙壁，或椅子，或其他物品的事物。他们被配置以向点集做出在功能上等同于“该点集属于墙壁”的标记，并且可包括基于点算法和被标记姿态(pose-tagged)图像分析的组合以用于交互地通知系统关于点中的是什么的信息。

根据视角，对象识别器可被创建以用于许多不同的功用的目的。例如，在一个实施例中，例如星巴克的咖啡供应商可投资创建相关数据世界中星巴克咖啡杯的精确识别器。该识别器可被配置以在数据世界中爬行来大规模或小规模地搜寻星巴克咖啡杯，从而当在相关的邻近空间中运行时，所述星巴克咖啡杯可被分割和标识给用户(即，可能在用户看着星巴克咖啡杯一定时间之后，在拐角处的星巴克出口向该用户提供咖啡)。随着杯子被分割出，当用户移动将其在桌子上移动时，杯子可被快速地识别出。这样的识别器可被配置以不仅在云计算资源和数据上运行或运转，还可在本地资源和数据或云和本地两者上都能运行或运转，这取决于可获得的计算资源。在一个实施例中，云上存在世界模型的全局拷贝，同时成千上万个用户均对该全局模型做出了贡献，但是对于较小的世界或像在特定城市特定个人的办公室这样的子世界，全球世界的大部分并不关心那个办公室是什么样子，因此系统可被配置以推荐数据并将其移至本地缓存信息，该本地缓存信息被认为与给定用户本地最相关。

在一个实施例中，例如，当用户走向桌子时，相关信息(例如在他桌子上的特定水杯的分割)可被配置以仅驻留在他的本地的计算资源而非云，因为其被识别为常常移动的对象——例如桌子上的杯子，不应该负担在云模型上以及负担在云和本地资源之间的传输上。因此云计算资源可被配置以分割3D点和图像，因此将永久的(即通常不移动的)对象与可移动对象分离，并且这可能会影响相关的数据将保留在何处、在何处被处理，从可穿戴/本地的系统中移除用于与更永久的对象相关的特定数据的处理负担、允许一次性的位置处理，其随后与无限个其他用户共享、允许数据的多个源以在特定的物理位置同时构建固定的和可移动的对象的数据库，并且从背景中分割对象以创建对象特定的基准点和纹理图。

在一个实施例中，系统可被配置以询问用户关于特定对象的身份的输入(例如，系统可向用户呈现问题如“那是星巴克咖啡杯吗？”)，从而用户可训练系统并允许系统将语义信息与在现实世界的对象相关联。本体可提供关于从世界中分割出的对象能做什么、他们的行为如何等等的指导。在一个实施例中，系统可包括虚拟或实际的键盘——例如无线连接键盘、与智能手机键盘的连接等——以方便特定用户向系统输入。

系统可被配置以与走入虚拟或增强现实中的房间的任何用户共享基本元素(墙壁、窗户、桌子几何结构等)，并且在一个实施例中，该人的系统可被配置以从他的特定的视角提取图像并上传至云。然后云使用旧的和新的数据集来填充并且可以运行优化过程并且建立存在于单独对象上的基准点。

GPS和其他定位信息可作为该处理的输入被利用。进一步地，其他计算系统和数据——例如，某人的在线日历或脸书(Facebook)RTM账户信息——可被作为输入来利用(例如，在一个实施例中，云和/或本地系统可被配置以为飞机票、日期和目的地分析用户日历的内容，从而经过一段时间，信息可从云上移到用户本地系统以为用户在给定目的地的到达时间做准备)。

在一个实施例中，例如二维码等等的标签可被插入至世界中，用于以非统计姿态计算、安全/访问控制、专用信息的通信、空间消息传递、非统计对象识别等等的使用。

在一个实施例中，如上参考“可传送世界”所述，云资源可被配置以在用户之间传递真实和虚拟世界的数字模型，所述模型由个体用户基于参数和纹理来渲染。这减小了相对于实时视频传输的带宽，允许场景的虚拟视角的渲染，并且允许数百万或更多的用户参与到一个虚拟的聚会中而无需向他们中的每一个发送他们需要看到的数据(例如视频)，因为他们的视图由他们本地的计算资源渲染。

虚拟现实系统(“VRS”)可被配置以通过一个或多个下列方面记录用户位置以及视野(合称为“姿态”)：使用摄像机的实时度量计算机视觉、同步定位和贴图技术、地图，以及来自传感器——例如陀螺仪、加速计、罗盘、气压计、GPS、无线信号强度三角测量、信号飞行时间分析、LIDAR(激光)测距、RADAR(雷达)测距、里程计，以及声呐测距——的数据。可穿戴设备系统可被配置以同时地贴图和定位。例如，在未知的环境中，VRS可被配置以收集有关环境的信息、认定适用于用户姿态计算的基准点、用于世界模型的其他点、用于提供世界纹理贴图的图像。基准点可被用于光学地计算姿态。随着世界被贴图出更详细的细节，更多的对象可被分割，并且给出它们自己的纹理贴图，但是世界仍然优选地在具有低分辨率纹理贴图的简单的多边形中以低空间分辨率表示。其他传感器，例如上述讨论的那些，可被用来支持该模型研究。世界可以在本质上是分形的，在其中移动或者以寻找一个更好的视图的其它方式(通过视点、“监督”模式，缩放等)从云资源请求高分辨率信息。靠近对象捕捉更高分辨率的数据，并且该数据可被发送至云，其可在世界模型中的间隙位置计算和/或插入新的数据。

参考图16，可穿戴设备可被配置以捕捉图像信息并且提取基准点和被识别的点(52)。可穿戴本地系统可使用下列提到的姿态计算技术中的一个来计算姿态。云(54)可被配置以使用图像和基准点以从更静态的3D背景中分割3D对象；图像提供用于对象和世界的纹理贴图(所述纹理可以是实时视频)。云资源(56)可被配置以存储可用静态基准点和纹理并使得可用静态基准点和纹理用于世界记录。云资源可被配置以推荐用于记录的最佳点密度的点云。云资源(60)可存储可用对象基准和纹理并使得可用对象基准和纹理用于对象记录和处理；云可推荐用于记录的最佳密度的点云。云资源被配置(62)以使用所有有效的点和纹理来生成对象的分形实体模型；云可推荐用于最佳基准密度的点云信息。云资源(64)可被配置以询问用户以用于对世界和被分割的对象的身份的训练；本体数据库可使用该答案来以可动作属性渗透对象和世界。

记录和贴图的下列的特定模式的特征有：术语“O-姿态”，其表示从光学的或摄像机系统确定的姿态；“S-姿态”，表示从传感器(即，例如GPS、陀螺仪、罗盘、加速计等的组合，如上述讨论的)确定的姿态；以及“MLC”，表示云计算和数据管理资源。

“适应(Orient)”模式制造新环境的基本贴图，其目的在于在新环境未被贴图或如果用户未连接至MLC的情况下建立用户姿态。在适应模式中，可穿戴系统从图像提取点，从帧到帧追踪点，并且使用S-姿态来三角测量基准点(因为没有从图形提取的基准点)。可穿戴系统还可基于用户的持续性过滤掉坏的基准点。应指出适应模式是记录和贴图的最基本模式，并且总是可以工作，即使对于低精度的姿态。然而可穿戴系统在相对运动中已经被使用至少一小段时间后，最小基准点集将被创建出来，使得可穿戴系统被设置用于使用O-姿态来识别对象并贴图环境。一旦O-姿态是可靠的(具有最小的基准点集)，可穿戴设备被配置以跳出适应模式。“贴图和O-姿态”模式被使用以贴图环境。该贴图和O-姿态模式的目的在于建立高精度姿态，贴图环境并且向MLC提供贴图和图像。在该模式中，从的成熟的世界基准点计算出O-姿态，所述成熟的世界基准点从MLC和/或确定的本地下载。然而应指出，S-姿态可被用作计算出的O-姿态的检查，并还可被使用以加速O姿态的计算。与上述类似，可穿戴系统从图像提取基准点，并且从帧到帧追踪点，使用O-姿态三角测量基准点，并且基于持续性过滤掉坏的基准点。随后剩下的基准点和被标记姿态的图像被提供至MLC云。应指出这些功能(提取点、过滤坏的基准点以及提供基准点和被标记姿态图像)不需被实时地执行并且可在随后的时间被执行以保留带宽。

O-姿态被使用以确定用户的姿态(用户的位置和视野)。O-姿态的目的在于使用最小的处理能力在已经被贴图的环境中建立高精度的姿态。计算o-姿态涉及多个步骤。为了估计在n的姿态，可穿戴系统被配置以使用从S-姿态和O-姿态收集的历史数据(n-1、n-2、n-3等)。随后在n的姿态被使用以将基准点投影至在n捕捉的图像中来从投影创建图像掩膜(mask)。可穿戴系统从被掩膜区域提取点并且根据被提取的点和成熟的世界基准点计算O-姿态。应指出通过仅从特定图像的被掩膜子集搜索/提取点，处理负担被极大地减小。进行下一步，在n处被计算的o-姿态和在n处的s-姿态可被使用以估计n+1处的姿态。被标记姿态的图像和/或视频可被传递至MLC云。

“超级-res”模式可被使用以创建高分辨率的影像和基准点。复合的被标记姿态图像可被使用以创建高分辨率(super-resolution)的图像，其反过来可被使用以增强基准位置估计。应指出迭代的O-姿态根据高分辨率基准点和影像估计。上述步骤可在可穿戴设备上被实时地执行或可被传递至MLC云并且在随后被执行。

在一个实施例中，VRS系统可被配置以具有特定的基础功能，以及由“app”或应用程序所帮助的功能，所述“app”或应用程序可通过VRS分发以提供特定的专用功能。例如，下列的app可被安装至主用VRS以提供专用功能：

“美术渲染”app可被艺术家使用以创建代表他们看见的世界的图像转换。随后用户在他们的用户设备上启用这些转换，使得他们能够“通过艺术家的‘眼睛’”察看世界。“桌上模型”app可能够使用户根据放置在桌子上的物理对象创建对象。“虚拟存在”app可被用来传递空间的虚拟模型至另一用户，随后另一用户可使用虚拟形象围绕那个空间移动。

“形象情绪”app可被用来测量例如微妙的声音变化、小的头部运动、体温、心率等方面以动画化虚拟存在的形象的微妙影响。数字化人类状态信息并将其传递至远程形象使用比视频小的带宽。此外，该数据能被贴图至具有情感能力的非人类形象上。例如，基于兴奋的音乐变化，狗的形象可通过摇摆自己的尾巴显示兴奋。

对于移动数据来说期望一种有效的网格类型网络，以将事物反向发送回服务器。然而许多网格网络具有次优的性能，因为位置信息和拓扑结构没有很好的体现出来。在一个实施例中，系统可被用来使用相对高精度确定所有用户的位置，并且因此网格网络配置可被用于高的性能。

在一个实施例中，系统可被用于查询。例如，用户将使用增强现实生产和丢弃与物理世界的许多方面相关的内容。许多这样的内容为非文本的，因此很难通过传统方法查询得到。系统可被配置以提供保持个人和社会网络内容的追踪的设备以用于查询和参考的目的。

在一个实施例中，如果显示设备通过连续帧追踪2D点，随后使矢量值函数(vector-valuedfunction)适应那些点的时间演进，那么在时间上的任何点处(例如帧之间)或在不久的将来的一些点处(通过在时间上向前投影矢量值函数)来采样矢量值函数是可能的。该操作允许创建高分辨率的后处理的创建，以及在下一幅图像被真实地捕捉到之前预测将来的姿态(例如可以加倍记录速度而无需加倍摄像机帧速率)。

对于固定的身体的渲染(与固定的头部或固定的世界的渲染相反)，身体的精确视野是被期望的。在一个实施例中，通过用户头部的平均位置推导其位置而不测量身体是可能的。如果用户面部在大部分时间都朝向前方，那么头部位置的多天平均值将表露出该方向。与重力矢量相结合，这为固定的身体渲染提供了合理的稳定的坐标系。使用相对于该长期坐标系的头部位置的当前测量允许用户身体上/周围的始终如一的渲染——而无需多余的仪器。为了该实施例的实施，头部方向矢量的平均值的单个记录可被启动，并且数据的运行和(runningsum)除以时间增量(delta-t)将给出当前的平均头部位置。保持从n-5天、n-4天、n-3天、n-2天和n-1天开始的五天或者左右的记录允许使用仅过去的“n”天的移动平均值。

在一个实施例中，场景可被缩小并且在小于实际的空间中呈现给用户。例如，在场景必须在巨大的空间(即，例如足球场)中渲染的情况下，可能没有相等同的巨大空间，或这样的大的空间对于用户来说是不方便的。在一个实施例中，系统可被配置以减小场景的规模，以使得用户可以以小规模的观看。例如，一个人可能以具有上帝视角玩视频游戏或者世界足球锦标赛，在无缩放场景内播放——或按比例缩小并且在起居室地板上呈现。系统可被配置以简单地移动渲染视角、缩放，以及相关的适应距离。

系统还可被配置以在呈现的场景中通过操作虚拟或增强现实对象的焦点、通过高亮它们、改变对比度、亮度、规模等抓住用户的注意力以指明特定的对象。

优选地，系统可被配置以完成下面的模式：

在开放空间渲染(open-space-rendering)模式中，系统被配置以从结构化环境中抓取关键点，并且在渲染之间的空间中填充。该模式可被使用以创建潜在的场景，像舞台、输出空间、大的室内空间，等等。

在对象封装模式中，系统被配置以识别真实世界中的3D对象，然后增强它。“识别”在该上下文中可指以足够高的精度识别该3D对象以对3D对象锚定影像。应指出该识别，在该上下文中，还可指分类对象的类型(例如，人脸)，和/或分类对象的特定实例(例如，一个叫Joe的人)。在使用这些原则，识别软件可被用来识别多种事物，像墙壁、天花板、地板、面部、公路、天空、摩天大楼、低矮的房屋、桌子、椅子、车辆、公路标识、广告牌、门、窗、书架等。一些识别软件程序可为类型I，并且具有通用的功能(例如，“把我的视频放置于那个墙壁上”、“那是只狗”等等)，而另一些识别软件程序可为类型II，并且具有特定的功能(“我的电视在我的起居室墙壁上(on_my_livingroomwall)，距离天花板3.2英尺处”、“那是Fido”等等)。

在以身体为中心的渲染中，被渲染的任何虚拟对象均被固定至用户的身体。例如，一些对象可在用户身体周围飘动(例如，用户的腰带)。完成该操作需要知道身体的位置，而不仅是头部位置。然而，身体位置可由头部位置估计出来。例如，头部通常平行于地面面向前方。还有，通过使用由头部位置的长时间平均获得的数据，随着时间推移身体的位置会变得更加准确。

对于I被类型I识别的对象(特定功能)，对象的割除(cut-away)被典型地示出。此外，I被类型I识别的对象可被链接至不同3D模型的在线数据库。当开始识别过程时，理想的是从具有公共可用的3D模型的对象开始，例如车辆或公共设施。

系统还可被用于虚拟呈现，即，使用户能够将远程人的形象绘制到特定的开放空间中。这可以被认为是如上讨论的“开放空间渲染”的一个子集。用户可创建本地环境的粗略几何结构并且迭代地将几何结构和纹理贴图发送至(其他用户)。不过，用户需允许其他用户进入他们的环境。微妙的声音提示、手势跟踪和头部运动可被发送至远程形象。基于上述信息，形象可被动画化。应指出创建虚拟存在最小化了带宽并且可被保守地使用。

系统还可被配置用于制作到另一房间的对象“入口”。换句话说，不是在本地房间中显示形象，而是将被识别的对象(例如，墙壁)作为到另一用户的环境的入口使用。因此，多个用户可以坐在他们自己的房间中，“透过”墙壁察看到其他用户的环境。

系统还可被配置用于在当一组摄像机(人)从不同视角察看场景时，创建区域的密集的数字模型(densedigitalmodel)。只要通过至少一个摄像机察看该区域，就可以从任何有利点(vantagepoint)渲染该模型。例如，可通过多个用户的有利点渲染一个婚礼场景。应指出识别器可区分并贴图与移动对象不同的静止对象(例如，墙壁具有稳定的纹理贴图，而人具有更高频率的移动的纹理贴图)。

随着实时地更新充足的数字模型，可从任何视角渲染场景。回到婚礼示例中，在后方的出席者可在空中飞至更好视野的前排。或如果组织者允许，场地外的出席者也可使用形象或不可见地找到“座位”。出席者可展示出他们的移动形象，或将其隐藏。应指出该方面可能需要非常高的带宽。高频率数据可通过拥挤的本地无线连接流送，而低频率数据可来自MLC云。在上述示例中，因为婚礼的所有出席者具有高精度的位置信息，做出用于本地网络的最佳路由路径可能是不重要的。

对于至系统或用户之间的通信，常常期望简单的无声消息传送。例如，可使用手指拨弦的键盘。在可选的实施例中，触觉手套方案可提供增强的性能。

为了给予用户完全的虚拟现实体验，视觉系统被暗化，并且向用户示出并非叠加于真实世界上的视图。即使在该模型中，仍然需要记录系统以追踪用户的头部位置。可使用被用于体验完全虚拟现实的多个模型。例如，在“沙发”模型中，用户可能能够飞行。在“步行”模型中，真实世界的对象可被作为虚拟对象被重新渲染以使得用户不与真实世界冲突。

作为一般规则，渲染人体部位对于终止通过虚拟世界进行浏览的用户的怀疑是必不可少的。这需要一种方法来在用户的视野(FOV)内追踪并渲染人体的部位。例如，不透明的遮板(opaquevisor)可以是一种具有许多图像增强可能性的虚拟现实的形式。在另一示例中，宽视野可给予用户后视视图。而在另一示例中，系统可包括多种形式的“超级视野”，如电视视野、透明视野、红外视野、上帝视野等。

在一个实施例中，用于虚拟和/或增强用户体验的系统被配置以使得与用户相关的远程形象可至少部分地基于具有由相关的软件模块管理的源作为输入的可穿戴设备上的数据动画化，所述源例如声音变化分析和面部识别分析。例如，重新参考图12，基于用户脸上的笑容的面部识别或基于友善的声音或讲话语调，蜂蜜形象(2)可被动画化以具有友善的笑容，所述声音或语调由被配置以分析由捕捉来自用户本地的声音样本的麦克风的输入的声音的软件确定。进一步地，形象特性可以以有可能使形象表达特定情感的方式被动画化。例如，在形象为狗的实施例中，由用户本地的系统检测出的愉快笑容或语调可在形象中被表示为摇尾巴的狗的形象。

参考图17-22，复杂的游戏实施例的不同方面在间谍类型的游戏的背景中被示出，游戏的主题可以源自涉及“JamesBond007”(RTM)品牌下出品的角色增强的一些间谍主题。参考图17描述了一个家庭的图解，家庭(85)的一个成员通过操作输入设备(88)，例如游戏操纵杆或者控制器，驾驭游戏中的一个角色，游戏操纵杆或控制杆可操作地耦合至游戏计算机或操作台(86)，例如那些个人计算机或专用的游戏系统，例如在“PlayStation”(RTM)的品牌下销售的那些专用的游戏系统。游戏操作台(86)可操作地耦合至被配置以将用户接口视图(92)显示给飞行员/操作员(85)或其他附近的人的显示器(92)。图18示出了这样一个用户接口视图(92)的示例，其中主题游戏正在英国的伦敦市中的一座桥上或附近进行。用于该特定玩家的用户接口视图(92)为纯粹的虚拟现实，其中用户接口显示的所有元素均不是真实存在于玩家(85)的起居室中——它们是使用监视器或显示器(图17中的元素90)显示的虚拟元素。再次参考图18，被描述的虚拟现实视图(92)包括了具有桥和多种建筑(98)和其他架构特征的伦敦市的视图，以及由如在图18中的用户接口视图(92)中示出的透视图的主题玩家(85)操作的游戏角色(118-在该说明性示例中还被称为“特工009”)的描述。从玩家(85)还显示了通信显示器(96)、罗盘指示器(94)、角色状态指示器(114)、新闻工具用户接口(104)、社交网络工具用户接口(132)，和消息传送用户接口(112)。在游戏中进一步示出了典型的另一角色(122——在该说明性示例中还被称为“特工006”)。如用户接口视图(92)中所示，系统可被配置以呈现被认为与被呈现的场景相关的信息，例如通过消息传送接口(112)的特工006正在靠近的消息，伴随着特工006角色周围虚拟呈现的高亮。系统可被配置以使得操作员(85)可在任何时间改变他或她正在利用的透视图；例如，不是图18中示出的类似于直升飞机的随着玩家自己的角色(118)向前和向下显示的透视图，而是由玩家决定以选择从该角色的眼睛的视角的视野，或可被计算并呈现的许多其他可能的视野中的一个。

参考图19，另一说明性视图(144)示出了穿着头戴式显示系统(300)操作角色“特工006”(140)的真实人类玩家以及相关的本地处理系统(308)，此时他参与到由家中她起居室中的操作员(例如图17中的玩家85)进行的相同的游戏时，并且他正以混合或增强的现实体验在实际上走过真实的伦敦市。在所描述的实施例中，当玩家(140)穿着他的增强现实头戴式显示器(300)沿着桥散步时，他本地的处理系统(308)将所描述的多种虚拟现实元素馈送给他的显示器，覆盖他真实的现实视野(即，例如伦敦138的现实地平线和结构)。他在手中拿着一个或多个实际的文件(142)，在一个实施例中，该文件被提前电子地通信至他用于在游戏场景中打印和使用。图20示出了从玩家(140)眼睛的视角(146)察看他实际的文件(142)以观看实际的伦敦地平线(138)的视野的视图，同时还通过其头戴式显示器(300)呈现用于增强现实视野的多种虚拟元素。所述虚拟元素可包括，例如，通信显示器(126)、新闻显示器(128)、一个或多个电子通信或社交网络工具显示器(132)、一个或多个玩家状态指示器(134)、消息传送接口(136)、罗盘朝向指示器(124)，和一个或多个内容显示器(148)，例如文本、语音或视频内容，可依照其他被显示或被捕捉的信息来被检索或呈现，所述信息例如玩家(140)携带的现实文件中的文本或图片。仅存在在虚拟现实中的“特工009”附近的其他角色被呈现在作为角色“特工006”操作的玩家(140)的增强现实视野(146)中，并且可被在用户接口中标记以用于简单的识别，如图20中所示。

参考图21，也真实出现在伦敦(140)并且步行穿过相同的桥走向“特工006”玩家(140)但是没有增强现实头戴式显示器(例如，图19的元素300)的另一玩家(150)的玩家眼睛视野被呈现。该玩家(150)可能没有头戴式增强现实显示器，但是他携带着移动通信设备(154)，例如平板电脑或智能手机，在该实施例中，所述移动通信设备可被无线连接至更大的系统，并被用作到主题游戏的增强现实世界中的“窗口”，并且被配置以在设备的有限的用户接口(156)中呈现关于一个或多个其他附近玩家的增强现实信息，以及例如警告或角色信息等其他增强现实显示信息(162)，所述其他玩家可为现实存在在哪里(158)或是虚拟的。

参考图22，“鸟的眼睛”或有人或无人驾驶的飞行器(或“UAV”)视野被呈现(164)。在一个实施例中，视野(164)可基于由另一玩家或上述提及的玩家之一操作的虚拟UAV。被描述的视野(164)可以以完全虚拟的模式呈现给玩家，例如，坐着家中的沙发上，具有大的计算机显示器(90)或头戴式显示器(300)的玩家；备选地，这样的视野可被作为增强现实视野呈现给在飞机或其他飞行器上的玩家(即由于人在该位置，“增强”或混合的视野，其中至少部分视野是真实现实的)。被示出的视野(164)包含用于标出相关信息的信息控制面板的接口区域，所述相关信息例如关于在视野中发现的被识别的对手。被示出的视野(164)标出虚拟高亮信息，例如感兴趣信息的网站(168)、其他玩家或角色的位置和/或状态(166)，和/或其他信息的呈现(167)。

参考图23，为了说明的目的，另一增强现实场景以视野(172)呈现为，所述视野突出了特定真实现实元素，例如：房间的结构(174)、咖啡桌(180)、DJ桌(178)和五个真实的人(175、188、182、184和186)，五个真实的人中的每一个都穿着头戴式增强现实接口硬件(300)以使得他们能体验他们自己拥有的他们周围事物的增强现实视野，例如虚拟现实卡通角色(198)、虚拟现实西班牙舞者角色(196)、突击队员角色(194)和用于真实人类(188)之一的globe-rabbit-eared盖头(192)。没有增强现实接口硬件，在五个现实中的人看来所述房间就是一个配有家具、DJ桌子的房间，没有什么特别的东西；使用增强现实接口硬件，系统被配置以使得参加的玩家或参与者可体验决定以突击队员身份出现的人、决定以西班牙舞者身份出现的人、决定以卡通角色出现的人，以及决定穿着正常服装出现，但是决定希望自己的头部被可视化为globe-rabbit-eared盖头(192)。系统还可被配置以显示与现实的DJ桌子(178)相关的特定虚拟特性，例如通过DJ(176)的增强现实接口硬件(300)仅对他可见的虚拟音乐文件页(190)，或者DJ桌子灯光特性，其可对周围使用他们的增强现实接口硬件(300)的任何人可见。

参考图24A和24B，例如平板电脑或智能手机的移动通信设备的适配可被用来体验作为进入主题游戏的增强现实世界的改进的“窗口”的增强现实或体验使用该主题系统的创作。参考图24A，典型的智能手机或平板电脑系统移动设备(154)以相对简单的视觉用户接口(156)为特性，并且典型地拥有一个或两个简单的摄像机。参考图24B，移动计算设备已经是可移除的并且操作地耦合至增强控制台(218)，所述增强控制台(218)被配置以增强移动计算设备的增强现实参与能力的。例如，被描述实施例有如下特性：可被用于眼睛跟踪的两个朝向玩家的摄像机(202)；可用于简单的高质量音频和/或定向声修正的四个扬声器(200)；用于机器视觉、记录和/或定位的两个前向摄像机(204)；附加的电池或电力提供能力(212)；被放置以易于抓着耦合系统的玩家利用的一个或多个输入接口(214、216)；向抓着耦合系统的用户提供反馈的触觉反馈设备(222)(在一个实施例中，触觉反馈设备科被配置以提供两个轴的反馈，在每个轴的+方向或-方向提供方向性的反馈；这样的配置可被用于例如辅助操作员保持系统对着特定感兴趣的目标等)；一个或多个GPS或定位传感器(206)；和/或一个或多个加速计、惯性测量装置和/或陀螺仪(208)。

参考图25，在一个实施例中，例如在图24B中描述的系统可被用来使用GPS传感器和/或无线三角测量(232)来在X和Y(类似于经度和纬度的大地坐标系)Cartesian方向粗略定位参与者。使用罗盘和/或无线朝向技术(234)达到粗略定向。由于确定了粗略定位和定向，分布式系统可被配置以下载(即，经由无线通信)本地特征贴图信息至本地设备(即，例如内部耦合的移动通信系统154和增强控制台218)。这样的信息可包括例如几何信息，如地平线几何结构、建筑的几何结构、航道/平面元素几何结构、地形几何结构等(236)。本地和分布式系统可利用粗略定位、粗略定向和本地特征贴图信息的组合以确定精细的定位和定向特性(例如X、Y和Z{类似于高度}坐标系和3D定向)(238)，其可被用来使得分布式系统下载精细程度的本地特征贴图信息至本地系统(即，例如内部耦合的移动通信系统154和增强控制台128)以增强用户的体验和操作。利用粗略定位和定向工具以及本地部署的设备例如惯性测量装置、陀螺仪和加速计——其可被耦合至例如可由参与者(242)携带的平板电脑或移动手机的移动计算设备，至不同方向和位置的移动可被追踪。

在多种上述的实施例中，头戴式显示组件部分可包括单眼或双眼显示技术、透明的视频配置。此外，这样的组件部分可包括以单眼或双眼形式的可穿戴或头戴式光场显示系统，包括激光投影系统，其中图像被投影至用户的视网膜上并且焦点深度信息被逐立体像素(voxel)和/或逐帧提供。深度平面的数量优选地从2到无限或非常大的数变动；在一个实施例中，4到36之间的深度平面可被呈现以用于3D效果。

例如在图23中标出的DJ桌子(178)的现实的对象可被扩展到虚拟现实表面、曲面和/或功能。例如，在一个实施例中，这样的设备上的真实的按钮可被配置以打开虚拟面板，其被配置以与现实的设备和/或其他设备、人或对象交互。

例如在图23中描述的聚会房间(174)的房间可被推断为任何的房间或空间。系统可拥有来自一些已知数据(例如现有的关于房间其他相关的结构或事物的二维或三维数据)的任意位置——或者可能拥有几乎为0的数据，并利用比如那些安装于图24B中的控制台上的那些(204)摄像机的机器视觉配置，所述摄像机可被用来捕捉附加数据；进一步地，系统可被配置以使得人群可众包可用的二维或三维贴图信息。

在现有的贴图信息为可用的配置中，所述信息例如伦敦市的三维贴图数据，穿戴着头戴式显示器或“感应器”配置(300)的用户可使用GPS、罗盘和/或其他装置(例如，附加的被安装的追踪摄像机、耦合至其他玩家的设备等)被粗略地定位。然后使用物理位置的已知的几何结构作为用于该记录的基准点，从用户的传感器完成精细的记录。例如，在伦敦特定的建筑内，当被在远处X察看时，当系统已经从GPS信息中定位用户在Y英尺高内并且从罗盘和贴图M定位方向C时，系统可被配置以实现记录算法(类似在机器人或计算机辅助的外科手术中被利用的技术)来在一些误差E范围内“锁定”用户的三维位置。

固定的摄像机还可结合头戴式或感应器装置来利用。例如，在图23中所描述的聚会房间里，安装至房间(174)特定方面的固定摄像机可被配置以提供房间和移动的人的现场的、不间断的视图，向远程的参与者给予整个房间的“现场的”数字的远程现场视图，以使得他们与该房间内的虚拟的和物理的人们的社交互动更加丰富。在这样的实施例中，少数房间可被贴图至彼此：物理的房间和虚拟的房间的几何结构被贴图至彼此；附加的扩展或外观改装可等同于、小于或大于物理房间的贴图而被创建，同时对象穿过物理的和虚拟的“元”房间移动，并且随后在视觉上被个性化，或“换肤”，对每个用户或参与者来说房间的版本是可用的(即，当他们在完全相同的物理或虚拟房间中时，系统可允许用户自定义视图；例如，图23中的虚拟突击队员(194)可在聚会上，但拥有贴图有“DeathStar(死星)”的图形或皮肤的环境)，同时DJ(176)可拥有在聚会环境中的如在图23中所示的肤色的房间；这就是“共享的电影现实”概念，其中每个用户对房间的一些方面拥有一致的视图，但还能根据他们个人的嗜好修改特定的变量(颜色、形状等)，这些都是同时进行地。

本文描述了本发明的多种示例性实施例。这些实施例以非限制性的意义被引用。它们被提供以更广泛地示出本发明可应用的方面。在不背离本发明的真实精神和范围下，对本发明的描述可做出多种改变以及等同物可被替换。此外，许多修改可以被作出以适应特定的情况、材料、组合物、过程、过程行为或步骤来达到本发明的目标、精神或范围。进一步地，如将被本领域的技术人员所理解的，本文描述和示出的每个个体差异具有分立组件和特征，其可容易地从任何其它几个实施例分离出或与任何其它几个实施例结合而不背离本发明的范围或精神。所有这样的修改旨在落入与本公开相关的权利要求书的范围内。

本发明包括可使用主题装置来执行的方法。该方法可包括提供这种适当设备的行为。这样的提供可由最终用户执行。换言之，“提供”行为仅仅需要最终用户获得、访问、处理、安置、设置、激活、上电或其他动作以在本主题方法中提供必要的设备。本文所列举的方法可以以所列举的事件的逻辑上可能的任何顺序和以事件的列举的顺序来实施。

以上陈述了本发明的示例性方面以及考虑了材料选择和制造的细节。至于本发明的其它细节，他们可以与上述引用的专利和出版物以及本领域技术人员已广泛的理解或认识结合而得以认知。根据通常地或逻辑地采用的附加行为，同样的道理也适用于本发明基于方法的方面。

此外，尽管已经参照可选地结合多个特征的若干例子描述了本发明，相对于本发明的每个变体，本发明并不受限于如预期的这些被描述或指示的情形。多种改变可做出以替代本发明的描述和等同物(不论其在本文中被列举还是为了简洁起见本文没有包括)而不背离本发明的真实精神和范围。此外，当提供数值范围时，应理解，该范围的上限和下限之间的每一个中间以及和任何其它声称的或在该声明范围的中间值均涵盖在本发明之中。

此外，可以预期，本发明的变体的任何可选特征可被独立地阐述和要求，或结合本文的任何一个或多个特征组合来阐述和要求。关于单个的项目，包括多个相同项目存在的可能性。更具体地，如本文和所附相关权利要求中所使用的，除非特别声明，否则单数形式“一”、“一个”、“所述”和“该”包括多个指示对象。换句话说，在上述说明书以及与本公开相关的权利要求中该冠词的使用考虑到了“至少一个”主题项目。进一步指出，这样的权利要求可能被撰写以排除任何可选的组件。就这一点而言，该声明旨在作为前置基础以用于结合权利要求要素的叙述来使用这类排除性术语，如“仅”，“只”等，或使用“否定”限制。

如果不使用这种排他性术语，与本公开内容相关的权利要求中的术语“包括”应当允许包括任何额外的组件——不论给定数目的组件是否被列举在这样的权利要求中，或者增加的特征可被视为转化这种权利要求中阐述的组件的性质。除非本文具体地进行了定义，本文使用的所有技术和科学术语将被给予尽可能宽泛的通常理解含义，同时保持权利要求的有效性。

本发明的广度并不受限于所提供的实施例和/或主题说明书，而是仅受限于与本公开内容关联的权利要求语言的范围。

Claims (88)

1.一种用户显示设备，包括：

可安装于用户头部的外壳框架；

第一对摄像机，其被耦合至所述外壳框架以追踪所述用户的眼睛的运动，并且基于被追踪的眼睛运动估计焦点的深度；

投影模块，其具有光线生成机制以基于估计的焦点的深度生成和修改与显示对象相关的投影光线，以使得所述显示对象在焦点出现。

透镜，其安装在所述外壳框架上；以及

处理器，其被通信地耦合至所述投影模块以向所述投影模块传达与所述显示图像相关的数据。

2.如权利要求1中所述的用户显示设备，其中所述透镜进一步包括位于所述用户眼睛前面的至少一个透明的镜子，以将所述投影光线反射至所述用户的眼睛中。

3.如权利要求2中所述的用户显示设备，其中所述至少一个透明的镜子选择性地允许来自本地环境的光线的透射。

4.如权利要求1中所述的用户显示设备，进一步包括第二对摄像机，其被安装在所述外壳框架上以捕捉与第二对摄像机中的每个摄像机对应的眼睛的视野图像。

5.如权利要求4中所述的用户显示设备，其中所述处理器基于被捕捉的视野图像来计算所述用户的头部姿态。

6.如权利要求1中所述的用户显示设备，其中所述投影模块包括激光扫描装置，以基于被估计的焦点的深度，修改与所述显示对象相关的投影光线。

7.如权利要求6中所述的用户显示设备，其中所述投影光线为直径小于0.7毫米的光束。

8.如权利要求1中所述的用户显示设备，其中第一对摄像机包括与红外光源配对的红外摄像机以追踪所述用户眼睛中的每一个眼睛的运动。

9.如权利要求1中所述的用户显示设备，进一步包括传感器组件，其包括至少一个传感器以感知所述用户的运动、所述用户的位置、所述用户的方向和所述用户的朝向中的至少一个。

10.如权利要求9中所述的用户显示设备，其中所述至少一个传感器为加速计、罗盘和陀螺仪中的至少一个。

11.如权利要求9中所述的用户显示设备，其中所述处理器基于所述用户的运动、所述用户的位置、所述用户的方向和所述用户的朝向中的至少一个来估计所述用户的头部姿态。

12.如权利要求1中所述的用户显示设备，进一步包括GPS系统。

13.如权利要求1中所述的用户显示设备，其中所述处理器被通信地耦合至计算机网络以传送虚拟世界数据的至少一部分，并且接收所述虚拟世界数据的另一部分。

14.如权利要求1中所述的用户显示设备，进一步包括安装在所述头部框架上的扬声器模块以输出声音。

15.如权利要求1中所述的用户显示设备，进一步包括安装在所述外壳框架上的麦克风以捕捉用户本地的声音。

16.如权利要求1中所述的用户显示设备，其中所述投影模块修改与另一对象相关的另一投影光线，使得该其它对象出现模糊，其中所述另一对象不是所述显示对象。

17.如权利要求1中所述的用户显示设备，其中所述处理器以每秒至少60帧的速率渲染所述显示对象的画面。

18.如权利要求1中所述的用户显示设备，进一步包括通信地耦合至所述投影模块的触觉接口设备以提供触觉反馈。

19.如权利要求1中所述的用户显示设备，其中所述显示对象为虚拟对象、被渲染物理对象、图像和视频中的至少一个。

20.如权利要求1中所述的用户显示设备，进一步包括环境感知系统以数字化地重构所述用户的环境。

21.一种方法，包括：

追踪用户眼睛的运动；

基于所述被追踪的眼睛运动，估计所述用户眼睛的焦点的深度；

基于所述被估计的焦点的深度，修改与显示对象相关的光束以使得所述显示对象在焦点出现；以及

将被修改的光束投影至所述用户的眼睛中。

22.如权利要求21中所述的方法，进一步包括：

基于所述显示对象的可视化模式，选择性地允许来自所述用户的本地环境的光线的透射，其中所述可视化模式为增强现实模式、虚拟现实模式和增强和虚拟现实模式的组合中的一个。

23.如权利要求21中所述的方法，进一步包括：

捕捉所述用户眼睛中的每个眼睛的视野图像。

24.如权利要求23中所述的方法，进一步包括：

基于所述用户眼睛的至少一个视野图像，估计所述用户的头部姿态。

25.如权利要求23中所述的方法，进一步包括：

将被捕捉的视野图像中的至少一个物理对象转换为物理渲染的虚拟对象；以及

向用户显示所述物理渲染的虚拟对象。

26.如权利要求23中所述的方法，进一步包括：

提取被捕捉的视野图像中的点集；以及

基于被提取的点集，为所述被捕捉视野图像中的至少一个物理对象创建基准。

27.如权利要求26中所述的方法，进一步包括

传送所述被提取的点集和所述被创建的基准中的至少一个至云计算机；以及

将所述被提取的点集和所述被创建的基准中的至少一个标记为一种对象类型。

28.如权利要求27中所述的方法，进一步包括：

基于与所述对象类型相关的被标记点集和与所述对象类型相关的被标记的被创建基准中的至少一个，识别不同物理对象属于所述对象类型。

29.如权利要求21中所述的方法，其中所述投影光线为直径小于0.7毫米的光束。

30.如权利要求21中所述的方法，进一步包括：

感知所述用户的运动、所述用户的位置、所述用户的方向和所述用户的朝向中的至少一个；以及

基于所述被感知的运动、被感知的位置、被感知的方向和被感知的朝向中的至少一个，计算所述用户的姿态。

31.如权利要求30中所述的方法，其中所述至少一个传感器为加速计、罗盘和陀螺仪中的至少一个。

32.如权利要求21中所述的方法，进一步包括：

处理与所述显示对象相关的虚拟世界数据至计算机网络；以及

传送与所述显示对象相关的所述虚拟世界数据的至少一部分至位于第二位置的第二用户，以使得第二用户可以在第二位置体验与所述显示对象相关的所述虚拟世界数据的至少一部分。

33.如权利要求32中所述的方法，进一步包括：

感知物理对象；以及

基于与被感知物理对象的预先确定的关系，修改与所述显示对象相关的所述虚拟世界数据的至少一部分。

34.如权利要求33中所述的方法，向第二用户呈现所述被修改的虚拟世界数据。

35.如权利要求21中所述的方法，进一步包括：

修改与另一对象相关的另一光线以使得该其它对象出现模糊，其中所述另一对象不是所述显示对象。

36.如权利要求21中所述的方法，进一步包括：

通过用户接口接收用户输入；以及

基于接收的用户输入，修改所述显示对象。

37.如权利要求36中所述的方法，其中所述用户接口为触觉接口设备、键盘、鼠标、控制杆、运动捕捉控制器、光学追踪设备和音频输入设备中的至少一个。

38.如权利要求21中所述的方法，其中所述显示对象为虚拟对象、被渲染物理对象、图像和视频中的至少一个。

39.一种方法，包括：

通过头戴式用户显示设备与包括虚拟世界数据的虚拟世界交互，其中基于用户眼睛的被估计的焦点深度，所述头戴式用户显示设备向用户渲染与所述虚拟世界数据的至少一部分相关的显示图像；

创建源自所述头戴式用户设备与所述虚拟世界的交互和与所述用户的物理环境的交互中的至少一个的附加虚拟世界数据；以及

传送所述附加虚拟世界数据至计算机网络。

40.如权利要求39中所述的方法，进一步包括：

为了展示，传送所述附加虚拟世界数据至在第二位置的第二用户以使得第二用户可以从第二位置体验所述附加虚拟世界数据。

40.如权利要求39中所述的方法，其中所述附加虚拟世界数据与通过所述头戴式用户显示设备捕捉的视野图像相关。

41.如权利要求39中所述的方法，其中所述附加虚拟世界数据与所述用户的被感知运动、所述用户的被感知位置、所述用户的被感知方向和所述用户的被感知朝向中的至少一个相关。

42.如权利要求39中所述的方法，其中所述附加虚拟世界数据与由所述头戴式用户显示设备感知的物理对象相关。

43.如权利要求42中所述的方法，其中所述附加虚拟世界数据与所述显示对象相关，所述显示对象具有与所述被感知物理对象的预先确定的关系。

44.如权利要求39中所述的方法，进一步包括：

基于用户输入，选择使所述用户和所述头戴式用户显示设备之间能够交互的接口；以及

基于被选择的接口，渲染与所述虚拟世界数据的至少一部分相关的所述显示对象。

45.如权利要求44中所述的方法，其中所述被选择的接口为虚拟现实模式、增强现实模式、混合现实模式以及虚拟现实和增强现实模式的组合中的一个。

46.如权利要求39中所述的方法，其中以二维的形式呈现所述虚拟世界。

47.如权利要求39中所述的方法，其中以三维的形式呈现所述虚拟世界。

48.一种使两个或更多用户能与包括虚拟世界数据的虚拟世界交互的方法，包括：

通过第一用户显示设备以第一用户的第一可视化模式显示所述虚拟世界；

通过计算机网络，传送所述虚拟世界数据的至少一部分至第二用户显示器；以及

在第二用户的第二用户显示设备以第二可视化模式显示与所述虚拟世界数据的被传送部分相关的虚拟世界。

49.如权利要求48中所述的方法，其中第一可视化模式不同于第二可视化模式。

50.如权利要求48中所述的方法，其中第一可视化模式为增强现实模式、虚拟现实模式、混合现实模式和所述虚拟现实和增强现实模式中的至少一个。

51.如权利要求48中所述的方法，其中第二可视化模式为增强现实模式、虚拟现实模式、混合现实模式和所述虚拟现实和增强现实模式中的至少一个。

52.一种方法，包括：

基于用户的选择，处理与现实物理对象的图像相关的被渲染物理图像数据和与虚拟显示对象相关的虚拟图像数据中的至少一个；并且

选择性地向用户显示由所述用户实时可见的现实物理对象、基于所述用户实时可见的现实物理对象渲染的被渲染物理-虚拟对象以及所述虚拟显示对象的被选择的组合。

53.如权利要求52中所述的方法，其中基于用户输入的可视化模式，选择性地显示现实物理对象、所述被渲染的物理-虚拟对象和所述虚拟显示对象中的至少一个。

54.如权利要求53中所述的方法，其中所述可视化模式为增强现实模式、虚拟现实模式、混合现实模式以及所述虚拟和增强现实模式的组合中的至少一个。

55.如权利要求53中所述的方法，进一步包括：

通过计算机网络接收与另一显示对象相关的图像数据；以及

将所述图像数据转换为与被选择可视化模式兼容的数据格式，以使得所述用户能以所述被选择可视化模式察看其他显示对象。

56.如权利要求52中所述的方法，进一步包括：

基于所述被选择可视化模式，选择性地允许来自外界环境的光线的透射，以使得所述用户可察看所述现实物理对象。

57.一种方法，包括：

通过头戴式用户显示设备的透镜，选择性地允许来自外界环境的光线的透射，其中所述头戴式用户显示设备被配置用于显示彻底的虚拟对象、彻底的物理对象或虚拟对象和物理对象的组合。

58.如权利要求57中所述的方法，其中所述选择性的允许光线的透射是基于期望的可视化模式，其中所述期望的可视化模式为增强现实模式、虚拟现实模式、混合现实模式和增强和虚拟现实模式的组合中的一个。

59.如权利要求57中所述的方法，进一步包括：

当所述头戴式用户设备被关闭时，允许来自所述外界环境的光线的完全透射，以使得所述用户仅察看所述彻底的物理对象。

60.如权利要求57中所述的方法，进一步包括：

投影与具有特定形状的至少一个显示对象相关的光束至所述用户的眼中；并且

基于所述至少一个显示对象的特定形状，选择性地允许来自所述外界环境的光线的透射，以使得所述用户察看所述显示对象连同所述外界环境中的物理对象。

61.如权利要求57中所述的方法，进一步包括：

阻止来自所述外界环境的光线的透射，以使得所述用户仅察看所述彻底的虚拟对象。

62.一种使两个或更多用户能在包括虚拟世界数据的虚拟世界中交互的方法，包括：

通过在第一位置的第一用户，为访问所述虚拟世界的第一用户创建远程形象；

在现实地理位置放置第一用户的远程形象，以使得第一用户可通过在第一位置的第一用户设备体验所述现实地理位置；以及

通过放置在所述现实地理位置的所述远程形象与通过在所述现实物理位置的第二用户设备访问虚拟世界的第二用户交互。

63.如权利要求62中所述的方法，其中第一位置不同于所述现实地理位置。

64.如权利要求62中所述的方法，其中第一位置实质上与所述现实地理位置相同。

65.如权利要求62中所述的方法，其中所述远程形象与在所述现实地理位置的物理对象具有预先确定的关系。

66.如权利要求62中所述的方法，其中所述远程形象响应于在所述现实地理位置的环境提示。

67.如权利要求62中所述的方法，其中所述远程形象的运动由第一用户控制。

68.如权利要求62中所述的方法，其中所述远程形象可与在所述现实地理位置的第二用户交互。

69.一种方法，包括：

通过头戴式用户设备，捕捉所述用户眼睛中的每一个眼睛的视野图像；

在被捕捉的视野图像中提取点集；

将被提取点集与特定对象相关联；以及

基于与所述特定对象相关联的点集，识别不同的对象。

70.一种使两个或更多用户能在包括虚拟世界数据的虚拟世界中交互的系统，包括：

包括一个或多个计算设备的计算机网络，所述一个或多个计算设备包括存储器、处理电路和至少存储在所述存储器的一部分中并可由所述处理电路执行以处理所述虚拟世界数据的至少一部分的软件；

其中所述虚拟世界数据的至少第一部分源自第一用户本地的第一用户虚拟世界，并且其中所述计算机网络可操作以传送所述第一部分至用户设备以用于向第二用户展示，以使得第二用户可从第二用户的位置体验所述第一部分，使得第一用户虚拟世界的多个方面被有效地传至第二用户。

71.如权利要求70中所述的系统，其中第一和第二用户位于不同的物理位置。

72.如权利要求70中所述的系统，其中第一和第二用户位于实质上相同的物理位置。

73.如权利要求70中所述的系统，其中所述虚拟世界的至少一部分响应于所述虚拟世界数据中的变化而变化。

74.如权利要求70中所述的系统，其中所述虚拟世界的至少一部分响应于由所述用户设备感知的物理对象而变化。

75.如权利要求74中所述的系统，其中虚拟世界数据中的所述变化表现了与所述物理对象具有预先确定的关系的虚拟对象。

76.如权利要求75中所述的系统，其中根据所述预先确定的关系，虚拟世界数据中的所述变化被呈现至第二用户设备以用于向第二用户展示。

77.如权利要求70中所述的系统，其中所述虚拟世界可操作以被所述计算机服务器或用户设备中的至少一个所渲染。

78.如权利要求70中所述的系统，其中以二维的形式呈现所述虚拟世界。

79.如权利要求70中所述的系统，其中以三维的形式呈现所述虚拟世界。

80.如权利要求70中所述的系统，其中所述用户设备可操作来提供使用户和处于增强现实模式中的所述虚拟世界之间能够交互的接口。

81.如权利要求70中所述的系统，其中所述用户设备可操作来提供使用户和处于虚拟现实模式中的所述虚拟世界之间能够交互的接口。

82.如权利要求80中所述的系统，其中所述用户设备可操作来提供使用户和处于增强和虚拟现实的组合模式中的所述虚拟世界之间能够交互的接口。

83.如权利要求70中所述的系统，其中所述虚拟世界数据在数据网络上被传送。

84.如权利要求70中所述的系统，其中所述计算机网络可操作以从用户设备接收所述虚拟世界数据的至少一部分。

85.如权利要求70中所述的系统，其中被传送至所述用户设备的所述虚拟世界数据的至少一部分包括用于生成所述虚拟世界的至少一部分的指令。

86.如权利要求70中所述的系统，其中所述虚拟世界数据的至少一部分被传送至网关以用于处理或分发中的至少一个。

87.如权利要求86中所述的系统，其中所述一个或多个计算机服务器中的至少一个可操作以处理由所述网关分发的虚拟世界数据。