CN104956252A

CN104956252A - 用于近眼显示设备的外围显示器

Info

Publication number: CN104956252A
Application number: CN201380062224.9A
Authority: CN
Inventors: N·D·陶特; S·J·罗宾斯
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2012-11-28
Filing date: 2013-11-28
Publication date: 2015-09-30
Anticipated expiration: 2033-11-28
Also published as: CN104956252B; WO2014085734A1; US20140146394A1; EP2926188A1

Abstract

描述了用于与近眼显示设备一起使用的外围显示器的技术。该外围显示器由近眼显示设备的近眼支撑结构定位成用于将对象的视觉表示朝向与近眼显示设备相关联的眼部区域的一侧引导。该外围显示器具有比近眼显示设备的前部显示器的分辨率更低的分辨率。该外围显示器可包括菲涅尔结构。该外围显示器可用于扩增现实、虚拟现实和增强视力应用。

Description

用于近眼显示设备的外围显示器

背景

人类视觉的视野可以延伸最多至包括人类外围视觉约两百(200)度，例如，向视野中心左侧约100度以及向视野中心右侧约100度。近眼显示(NED)设备(诸如头戴式显示(HMD)设备)可由用户穿戴以用于扩增现实(AR)体验或虚拟现实(VR)体验。通常来说，NED受限于比自然人类视觉提供的视野小得多的视野，从而NED无法有效地提供表示对象的图像数据的外围视觉。较小的视野可能减损扩增现实或虚拟现实体验，因为用户不会如他将感知到对象进入和离开他的自然视野那样地感知到对象进入和离开NED的视野。

概述

本发明的技术提供了用于近眼显示设备的外围显示器的一个或多个实施例。用于近眼显示设备的外围显示器的一实施例包括由近眼显示设备的近眼支撑结构定位的外围显示器，以用于将与外围显示器相关联的外围视野中的对象的视觉表示朝着与近眼显示设备相关联的眼部区域的一侧引导。该外围显示器具有与由支撑结构定位于与近眼显示设备相关联的眼部区域前方的前部显示器的角分辨率相比更低的角分辨率。

本发明的技术提供了近眼显示设备的一个或多个实施例。近眼显示设备的一实施例包括近眼支撑结构、由近眼支撑结构定位于与近眼显示设备相关联的眼部区域前方的前部显示器、以及具有低于前部显示器的显示分辨率的至少一个外围显示器。该至少一个外围显示器由近眼支撑结构定位于前部显示器的侧面位置。图像源在光学上耦合至外围显示器。一个或多个处理器在通信上耦合至图像源以控制由至少一个外围显示器显示的图像数据。

本发明的技术提供了一种用于在近眼显示设备的外围显示器上指示对象的方法的一个或多个实施例。该方法的一实施例包括将对象标识为位于外围显示器的视野内以及基于外围显示器的角分辨率来生成对象的视觉表示，该外围显示器位于相对于近眼显示设备的前部显示器的侧面位置。外围显示器的角分辨率低于前部显示器的角分辨率。该方法进一步包括通过外围显示器来显示对象的视觉表示。

提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念的选集。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图简述

图1A是一示例性系统环境中包括外围显示器的近眼显示设备的一实施例的框图。

图1B是一示例性系统环境中包括外围显示器的近眼显示设备的另一实施例的框图。

图1C是一示例性系统环境中包括外围显示器的近眼显示设备的又一实施例的框图。

图2A解说虚拟对象在佩戴NED设备的用户周围的空间的映射中的3D空间位置的示例。

图2B解说作为同时显示前部图像数据和外围图像数据的微显示器的图像源的示例。

图3是从软件角度用于指示近眼显示设备的外围显示器上的对象的系统的一实施例的框图。

图4A是一种用于指示近眼显示设备的外围显示器上的对象的方法的一实施例的流程图。

图4B是用于基于外围显示器的角分辨率来生成对象的至少一部分的视觉表示的过程示例的流程图。

图5A是解说使用光学元件的外围显示器的一实施例的框图。

图5B是解说使用波导显示器的外围显示器的一实施例的框图。

图5C是解说使用楔形光学元件的外围投影显示器的一实施例的框图。

图5D是解说使用楔形光学元件及其自己单独的图像源的外围投影显示器的一实施例的框图。

图5E是解说作为投影显示器的外围显示器的另一实施例的框图。

图5F是解说作为直接视图图像源的外围显示器的一实施例的框图。

图5G是解说作为一个或多个光电二极管的外围显示器的一实施例的框图。

图6A、6B和6C解说制造可用作外围显示器的一部分的菲涅尔结构的概览示例的不同阶段。

图7是可用于实现网络可访问的计算系统、近眼显示设备的伴随处理模块或控制电路系统的计算系统的一个实施例的框图。

详细描述

近眼显示器(NED)的一个示例是头戴式显示器(HMD)。NED设备可用于用现实对象来显示视野中虚拟对象的图像数据以提供经扩增或经混合的现实体验。在虚拟现实系统中，NED可以独立于现实世界关系来显示计算机控制的图像。在另一示例中，近眼显示器可在用于类似红外成像设备的增强视域的应用中使用，例如，夜视设备。NED设备提供的外围视野帮助模仿自然外围视觉所提供的情景知晓性。一般来说，NED的视野受到各实际因素的影响，比如空间、重量、功率和成本(SWaP-C)。近眼显示设备的外围显示器也受到这些因素的影响。下面描述用于NED设备的外围显示器技术的一些实施例，这些外围显示器技术通过对于商业产品而言变得成本高效并且在商业上制造变得可行而成为切实可行的。

图1A是一示例性系统环境中包括外围显示器125的近眼显示设备系统8的一实施例的框图。该系统包括作为头戴式显示器(HMD)设备的近眼显示器(NED)设备2，以及可任选地在通信上耦合的伴随处理模块4。在所解说的实施例中，NED设备2和伴随处理模块4彼此无线通信。在其他示例中，NED显示器设备2可具有至伴随处理模块4的有线连接。在没有伴随处理模块4的实施例中，显示器设备系统8是显示器设备2。

在这一实施例中，NED设备2采用框架115眼镜的形状，其中相应的显示器光学系统14位于NED设备的前部以在NED被用户佩戴时由每一只眼睛针对前部视野来透视。在这一实施例中，每一显示器光学系统14使用投影显示器，其中图像数据被投影到用户眼睛中以生成图像数据的显示，从而使得该图像数据对于用户而言看上去位于用户前方的三维视野中的一位置处。例如，用户可能正在他的起居室中以光学透视模式玩击倒敌人直升机的游戏。直升机的图像对于用户而言看上去正飞过他起居室中的椅子的上方，但不在透镜116和118之间，因为用户无法聚焦于离人类眼睛如此之近的图像数据上。生成图像的显示器与看到该图像的位置分开。每个显示器光学系统14也被称为前部显示器，并且两个显示器光学系统14一起也可以被称为前部显示器。

在每一前部显示器14的一侧是相应的外围显示器125。由于正在描述近眼显示设备，类似于所解说的眼镜框架115的近眼支撑结构将每一前部显示器定位于与设备2相关联的眼部区域124的前方，以用于将图像数据朝向眼部区域引导，并且每一外围显示器被近眼支撑结构定位于眼部区域的侧面上以用于将图像数据从该侧面朝向眼部区域引导。与近眼显示设备相关联的眼部区域124的一个示例是侧臂1021与虚线131之间并且还从前部显示器141延伸到虚线123的左侧区域1241。与NED设备2相关联的示例右侧眼部区域124r从右侧臂102r延伸到中央虚线131，以及从前部显示器14r延伸到虚线123。点1501和150r是每一相应的眼部的中央凹位置的近似。基本上，外围显示器不会被放置在框架坐落在用户耳朵上的位置处，因为用户将看不见外围显示器所显示的任何东西。在许多实施例中，眼部区域仅仅是眼部相对于前部显示器的位置的预先确定的近似。例如，该近似可基于随着时间眼镜行业针对不同头部尺寸的不同框架大小收集的数据。在其他示例中，眼部区域可以基于NED显示设备的头部尺寸以及人类眼球模型来近似。这一模型的一个示例是Gullstrand示意眼部模型。

同样在这一实施例中，存在为前部显示器14以及在显示设备的相同侧上的外围显示器125两者生成图像数据的相应的图像源120。例如，在左侧，图像源1201为左侧前部显示器141和左侧外围显示器1251提供图像数据。图像源的一些示例在下文中进一步讨论。在其他实施例中，外围显示器从单独的图像源接收其图像数据。未示出光学耦合元件以避免附图的过分拥挤，但这些光学耦合元件可用于将相应类型的图像数据从其源耦合到其相应的显示器。

图像数据可以是诸如视频之类的移动图像数据以及静止图像数据。图像数据也可以是三维(3D)的。3D图像的示例是全息图。图像数据可以捕捉自现实对象，并且在一些示例中被显示。图像数据可被生成以解说虚拟对象或虚拟效果。虚拟效果的示例是诸如雾或雨之类的大气条件。

在一些实施例中，前部显示器可以正在虚拟现实(VR)上下文中显示图像数据。例如，图像数据是从佩戴者的现实世界环境独立移动的人和物的图像数据，并且来自用户的现实世界环境的光照被显示器(例如，经由不透明性过滤器)阻挡。在其他实施例中，前部显示器可用于扩增现实(AR)。使用近眼、AR显示器的用户实时地看见用现实对象显示的虚拟对象。具体来说，佩戴光学透视扩增现实显示设备的用户实际上用他或她的自然视力看到透视显示器的显示器视野中的未被虚拟对象或虚拟效果的图像数据遮挡的现实对象，由此名为透视显示器和光学透视显示器。对于诸如视频观看显示器(有时称为视频透视显示器)或以视频观看模式操作的显示器之类的其他类型的扩增现实显示器，该显示器不是真正地透视的，因为用户用他自然视力看不见现实对象，而是看见现实对象用自然视力看见的那样的所显示的未被遮挡的现实对象的图像数据以及虚拟对象和虚拟效果的图像数据。下面对透视显示器的参考是参考光学透视显示器的。

框架115提供用于将该系统的各元件保持在原位的支撑结构以及用于电连接的管道。在这一实施例中，框架115提供了便利的眼镜框架作为对下面进一步讨论的该NED设备的各元件的近眼支撑结构。近眼支撑结构的某一其他示例是护目镜框架或护眼镜支撑物。框架115包括鼻梁架104，该鼻梁架104具有用于记录声音并向控制电路系统136传送音频数据的话筒110。框架的镜腿或侧臂102抵靠在用户的每个耳朵上，并且在该示例中，右侧臂102r被解说为包括用于NED设备2的控制电路系统136。

可任选的伴随处理模块4可以采取各种实施例。在一些实施例中，伴随处理模块4是可佩戴在用户的身体(例如腰)上的单独单元，或者可以是诸如移动设备(例如，智能电话)的单独设备。伴随处理模块4可以通过一个或多个通信网络50有线地或无线地(例如WiFi、蓝牙、红外、红外个域网、RFID传输、无线通用串行总线(WUSB)、蜂窝、3G、4G或其他无线通信装置)与一个或多个计算机系统12(无论是位于附近还是远程位置)、处于某个位置或环境中的其他近眼显示设备系统8(例如作为对等通信的一部分)、以及该环境中的一个或多个3D图像捕捉设备20(如果可用的话)进行通信。在其他实施例中，伴随处理模块4的功能可被集成在显示设备2的软件和硬件组件中。图7示出了伴随处理模块4的硬件组件的一些示例。

可以充分利用一个或多个网络可访问计算机系统12来处理电力和远程数据访问。图7示出了计算机系统12的硬件组件的示例。组件的复杂性和数目可以因计算机系统12和伴随处理模块4的不同实施例而显著变化。

应用可以正在计算机系统12上执行，其与在近眼显示设备系统8中的一个或多个处理器上执行的应用进行交互或为其执行处理。例如，3D映射应用可以在一个或多个计算机系统12和用户的近眼显示设备系统8上执行。在一些实施例中，应用实例可以以主机和客户端角色来执行，其中客户端副本在近眼显示设备系统8上执行并且执行其显示器视野的3D映射；从计算机系统12接收3D映射的更新，该更新包括其视野内的对象来自主机3D映射应用的更新；以及将图像数据、以及深度和对象标识数据(如果可用的话)发送回主机副本。附加地，在一些实施例中，在处于相同环境中的不同的近眼显示设备系统8上执行的3D映射应用实例以对等配置在系统8之间实时地共享数据更新，例如现实对象标识。

术语“显示器视野”指的是显示设备系统的显示器的视野。前部显示器的显示器视野指的是前部显示器视野，而外围显示器的显示器视野指的是外围视野。换言之，显示器视野近似于从用户角度看的用户视野。前部显示器和外围显示器的视野可以交叠。在一些实施例中，每一类型的显示器的显示器视野可以由视野相关的坐标系来映射，该坐标系具有正交的X、Y和Z轴，其中Z轴表示离一个或多个参考点的深度位置。例如，前部显示器可以使用针对每一前部显示器141、14r的参考点，诸如每一前部显示器的光轴142的相交点。每一外围显示器125可以使用显示器的中心或者组成外围显示器的反射元件作为Z轴原点的参考点。

在图1的所解说的实施例中，一个或多个计算机系统12和便携式近眼显示设备系统8还具有对一个或多个3D图像捕捉设备20的网络接入，该3D图像捕捉设备20例如可以是一个或多个相机，该相机在视觉上监视一个或多个用户和周围空间，使得由一个或多个用户执行的姿势和移动以及包括表面和对象的周围空间的结构可以被捕捉、分析和跟踪。图像数据以及在由一个或多个3D图像捕捉设备20捕捉的情况下的深度数据可以补充由一个或多个近眼显示设备系统8的一个或多个捕捉设备113在一位置中所捕捉的数据。一个或多个捕捉设备20可以是定位在用户环境中的一个或多个深度相机。

在框架115的前方描绘了面向物理环境的捕捉设备113(例如相机)，其可以捕捉现实世界的诸如视频和静止图像的图像数据(通常为彩色)以至少在该NED设备的前部显示器的前部显示器视野中以及由此在用户的前部视野中映射现实对象。在一些实施例中，捕捉设备可以对红外(IR)光或可见光频谱之外的其他类型的光(例如紫外线)敏感。图像可以基于捕捉到的数据来生成以供由类似于夜视应用之类的应用显示。捕捉设备113也被称为面向外部的捕捉设备，意思是从用户的头部面向外部。可任选地，可能存在面向外部的侧面捕捉设备，例如113-3和113-4，它们也捕捉用户环境中现实对象的图像数据，该图像数据可用于3D映射。例如，侧面捕捉设备可以与夜视NED设备一起使用以用用户任一侧上的红外传感器来标识现实对象，现实对象接着可以由外围显示器在视觉上进行表示。

在一些示例中，捕捉设备113还可以是深度敏感的，例如它们可以是传送和检测红外光的深度敏感相机，其中从所述红外光中可以确定深度数据。在其他示例中，框架115的前部或者在其侧面(如果使用侧面捕捉设备113-3和113-4的话)的单独深度传感器(未示出)还可以捕捉和提供离显示器视野中的对象和其他表面的深度数据。深度数据和图像数据形成捕捉设备113的所捕捉的视野的深度图，捕捉设备113被校准以包括一个或多个显示器视野。可以基于深度图生成显示器视野的三维(3D)映射。

在一些实施例中，面向外部的捕捉设备113提供交叠的图像数据，从该图像数据中可以基于立体视觉确定图像数据中的对象的深度信息。还可以使用视差和诸如颜色之类的对比度特征来解析现实对象的相对位置。

控制电路系统136提供支撑头戴式显示设备2的其他组件的各种电子装置。在该示例中，右侧臂102包括用于显示设备2的控制电路系统136，该控制电路系统136包括处理单元210、处理单元210可访问来存储处理器可读指令和数据的存储器244、通信地耦合到处理单元210的无线接口137、以及电源239，该电源239为控制电路系统136的各组件以及显示设备2的其他组件(如捕捉设备113、话筒110和下面讨论的传感器单元)提供电力。处理单元210可以包括一个或多个处理器，包括中央处理单元(CPU)和图形处理单元(GPU)，并且尤其在没有单独的伴随处理模块4的实施例中包括至少一个图形处理单元(GPU)。

在侧臂102内部或安装在其上的是一组耳机130的耳机、包括一个或多个惯性传感器的惯性感测单元132、以及包括一个或多个位置或邻近度传感器的位置感测单元144，位置感测单元144的一些示例是GPS收发器、红外(IR)收发器、或用于处理RFID数据的射频收发器。在一个实施例中，惯性感测单元132包括三轴磁力计、三轴陀螺仪、以及三轴加速度计作为惯性传感器。惯性传感器用于感测头戴式显示设备2的位置、定向、以及突然加速。从这些感测的移动中还可以确定头位置以及由此显示设备的定向，其指示用户视角和显示器视野的改变，由此来更新虚拟数据以跟踪用户视野。在该实施例中，在其操作中处理模拟信号的每个设备都包括控制电路，该电路数字地与数字处理单元210和存储器244连接，并且为其相应设备产生或转换模拟信号或者产生和转换模拟信号二者。

对用户头部位置的追踪以及至少显示器视野的3D映射被用来确定向不同体验中的用户表示什么视觉表示，不同体验例如通过NED设备系统8或者网络可访问的计算机系统12的一个或多个处理器进行的扩增现实、虚拟现实和夜视，或者这些的组合。在一些实施例中，诸如在下文图5A到5G所解说的那些实施例中，为外围显示器确定的视觉表示可以由外围显示器电子地接收以供该显示器在视觉上进行表示，或者该视觉表示可以在光学上作为光被传输到外围显示器，该外围显示器在一些实施例中可以将接收到的光朝向眼部区域引导。

在图1的实施例中，图像数据在光学上从安装到每一侧臂102或每一侧臂102内的图像源120耦合(未示出)至每一前部显示器14以及耦合至每一外围显示器125。光学耦合的细节并未在这一框图中示出，但是示例会在下文在图5A到5C中进行解说。以下的图2A解说了微显示器作为图像源以及它的显示器示出针对前部显示器的图像数据以及它的显示器的一侧上示出针对外围显示器的图像数据的示例。如所解说的，针对前部显示器的图像数据与针对外围显示器的视觉表示(例如在这一示例中为图像数据)不同。前部图像数据和外围图像数据彼此独立，因为它们是针对不同视角的，因此是不同的显示。例如，微显示器可以正在显示击落游戏中前方约200米处的直升机的较高分辨率的图像数据，同时在针对左侧外围显示器1251指定的像素集上显示离用户左侧10米的另一直升机的视觉表示。

图像源120可以将虚拟对象显示为出现在显示器视野中的指定深度位置以提供虚拟对象的现实、聚焦的三维显示，该虚拟对象可以与一个或多个现实对象交互。在一些示例中，多个图像的快速显示或虚拟特征的图像的聚焦部分的合成图像可被用于使得针对任一类型的显示器所显示的虚拟数据出现在不同焦点区域中。同样，可以由图像源同时针对外围图像数据与针对前部图像数据生成不同的深度。

在这一实施例中，至少前部显示器141和14r是光学透视显示器，而每一前部显示器包括显示器单元112，显示器单元112被解说为位于两个光学透视透镜116和118之间并且包括表示一个或多个光学元件(如半反射镜、光栅)的代表性反射元件126以及可被用于将光从图像源120朝向眼部区域的前方(例如用户眼睛140的前方)引导的其他光学元件。透镜116或118中的一个或多个可包括一些示例中的用户的眼镜处方。来自图像源的光在光学上耦合进入相应的显示器单元112，显示器单元112将表示图像的光朝向前部眼部区域(例如在设备2由用户佩戴时用户眼睛140的前部)引导。光学透视NED的显示器单元112的示例包括光导光学元件。光导光学元件的示例是平面波导。

在扩增现实实施例中，显示器单元112也是透视的，从而使得它可允许来自头戴式显示设备2的前部的光被眼睛140接收到，如由表示每一前部显示器的光轴142的箭头所描绘的，从而允许用户除了看见来自图像源120的虚拟特征的图像之外还对NED设备2前部空间具有实际直接视图。使用术语“实际直接视图”来指直接用人眼看到现实世界对象，而非看到所创建的对象的图像表示的能力。例如，透过眼镜看房间将允许用户得到该房间的实际直接视图，而在电视机上查看房间的视频不是该房间的实际直接视图。可任选的不透明性过滤器(未示出)可以被包括在显示器单元112中以在光学透视AR模式中增强图像数据对照现实世界视图的对比度或者在视频查看模式或虚拟现实模式中阻挡来自现实世界的光。

在一些实施例中，每一显示器单元112还可任选地包括集成眼球追踪系统。例如，红外(IR)照明源可以在光学上耦合至每一显示器单元112中。将光朝向眼部区域引导的一个或多个光学元件还可将IR照明朝向眼部区域引导，并且在能够将来自眼部区域的IR照明引导至IR传感器(诸如IR相机)方面是双向的。可以根据捕捉到的相应IR数据来为每一眼球标识瞳孔位置，并且基于眼球模型和瞳孔位置，可以通过软件来确定每一眼球的注视线，并且可以标识通常在前部显示器视野中的注视点。注视点处的对象可以被标识为聚焦对象。

图1B是一示例性系统环境中包括外围显示器的近眼显示设备的另一实施例的框图。在这一实施例中，鼻梁104中的单个图像源120为前部显示器14和两个外围显示器1251和125r提供前部图像数据和外围图像数据。在这一示例中，显示区域的相应子集显示要在光学上被引导至其对应的外围显示器的外围图像数据。代表性元件119a和119b表示用于以下的一个或多个光学元件(在此为光导光学元件(例如波导))：以一个角度将相应的外围图像数据引导进入显示器单元112从而使得外围图像数据行经显示器单元112而不会被引导至用户的眼睛而是，并且退出显示器单元以供光学耦合至相应的外围显示器125中。元件1171和117r表示用于将光引导至其相应的外围显示器的一个或多个光学元件。

图1C是一示例性系统环境中包括外围显示器的近眼显示设备的又一实施例的框图。在这一实施例中，包括代表性元件126的显示器单元112延伸穿过鼻梁104以使得两个眼睛能够透视，并且侧面图像源120提供针对前部显示器14和外围显示器的图像数据。在该示例中，右侧臂102r包括图像源120r，但在不同示例中图像源也可位于另一侧。未示出光学耦合元件以避免附图的过分拥挤，但这些光学耦合元件可用于将相应类型的图像数据从其源耦合到其相应的显示器。图像源120r在其显示区域的不同部分上显示针对左侧外围显示器和右侧外围显示器以及前部显示器的外围图像数据。在这一示例中，针对左侧外围显示器的外围图像数据按照如此的角度被引导至前部显示器单元112中以使得行经前部显示器而不会被引导至用户眼睛并且退出由元件1171表示的一个或多个光学耦合元件，该一个或多个光学耦合元件将左侧外围图像数据引导至左侧外围显示器。前部图像数据和右侧外围图像数据被引导至它们相应的显示器，如图1A的实施例中的那样。

在讨论图2A的解说性示例之前，下面是关于人类视网膜上的视杆和视锥的简短概览。人类眼睛通过人类视网膜上接收到的某一波长频带中的光反射来“看见”。在视网膜中心处是中央凹。反射抵达中央凹的光的对象通过人类视觉的最高锐度或细节清晰度来被看见。这一类型的清楚视力被称为中央凹视力。在使用两个眼睛的典型情形中，注视点或人类眼睛的聚焦对象是针对它的光被反射回两个人类中央凹。聚焦对象的示例是书本页面上的文字。

中央凹具有最高密度的视锥或视锥光受体。视锥允许人类比其他有生物体感知更广范围的色彩。视锥基于它们对在红色、绿色和蓝色相应的频谱范围中的光的敏感度被描述为红色视锥、绿色视锥和蓝色视锥。尽管视锥与下面讨论的视杆相比具有它们对其敏感的较小的光带宽，但它们比视杆更快速地检测到光水平中的变化。这与视杆提供的感知相比允许对包括深度的细节以及细节中的变化的更准确的感知。换言之，视锥与我们的视杆相比向我们大脑提供更高分辨率的图像。从视网膜中心处的中心凹来看，视锥的量减少，并且视杆的数目增大，这导致人类对细节的感知衰退，从而与每一眼睛的视野中心存在角度距离。

视网膜上视杆在数量上远超视锥，并且它们捕捉来自更广视野的光，因为它们支配了大部分的视网膜。因而，它们与人类外围视力相关联。视杆与视锥相比对光显著地更敏感，然而它们的敏感度在可见光或色彩范围中与视锥相比显著地弱化。视杆对于朝向频谱的绿色和蓝色端的较短波长敏感得多。对于视锥来说，视觉敏锐度或分辨率更好，但是由于视杆的敏感度，人类通过外围视力能够比通过中央凹视力中的视锥在昏暗光照中更好地看见对象。视锥与视杆相比更多地适配于检测和表示光照变化方面，从而当首先进入昏暗场所时对细节的感知不如在昏暗场所约半小时或类似时间之后时那么好。视杆花费更长的时间针对光照变化作调整，但能够提供昏暗光照下对对象的更好视力。

尽管如此，视杆向大脑提供不那么良好定义和色彩细微的图像，但是它们对运动非常敏感。对于某人正进入我的右侧或者某物在黑暗中移动的感觉就是视杆敏感度的结果。对象离人类视力的视野中心越远，该对象可能看上去越不聚焦并且越不详细，但如果仍然在视野外围之内，则它的存在还是能够被视杆检测到。

成功的虚拟现实或扩增现实体验是看见虚拟对象的图像数据就好像它们是用自然视力看见的现实对象那样，并且现实对象不完全消失于自然视力中的中央凹视力的视野的边缘。基于人类外围视力的限制，使显示器在前部和两侧或者显示设备的外围具有适于我们的中央凹视力的分辨率无法被保证。

图2A解说虚拟对象在佩戴显示设备2的用户周围的空间的映射中的3D空间位置的示例。3D空间位置标识对象占据多大空间以及被占据的空间处于3D显示器视野中的何处。示例性上下文是其中用户射击敌人直升机202的游戏。(现实和虚拟对象的映射参考图3进行更详细的讨论。)

在图2A中，线1271和127r之间的区域表示前部显示器14(例如在图1的实施例中包括显示光学系统141和14r两者的显示器)的视野。前部显示器的视野在之后被称为前部显示器视野。虚线129近似前部显示器视野以及经组合的前部和外围显示器视野的中心。在这一实施例中，线1281和1271之间的区域是显示设备2的左侧的外围显示器1251的示例性视野，而线128r和127r之间的区域是显示设备2的右侧的外围显示器125r的示例性视野。外围显示器的视野在此处被称为外围显示器视野。在这一示例中，外围视野与前部显示器视野的组合构成了显示器设备视野。同样，这些仅仅是显示器视野程度的示例。在NED的其他示例中，前部视野可能更窄，并且在前部显示器视野与外围显示器视野之间可能存在间隙。在其他示例中，显示器视野可以交叠。

图2A中的直升机按照将由前部显示器使用的分辨率来解说。由于人类外围视力的限制，用户以此前部显示器分辨率将无法看见全部的所解说的直升机。与图2B一起使用的图2A解说了较低的分辨率，由于人类中央凹视力或前部视力与人类外围视力的差异，外围显示器可以利用该较低的分辨率。换言之，在虚拟直升机202c将以针对前部显示器的分辨率被完整地显示的同时，外围视野中的直升机202b和202f以及直升机202a、202d和202d的各部分将以低于前部显示器的分辨率的恰适的外围显示器的显示分辨率来进行显示。

直升机202b正在径直飞行经过用户头部的左侧，而在右侧外围显示器视野中直升机202f正以鼻翼笔直指向的状态进行飞行。直升机202a正朝向前部显示器视野，并且机尾和尾部螺旋桨在左上方的外围显示器视野中而其机身在前部显示器视野中。直升机202d处于朝向笔直跨越前部显示器视野的水平迹线上，并且其机尾及其尾部螺旋桨的一部分仍然在外围视野中。直升机202e处于来自右侧外围显示器视野朝向前部显示器视野的左下方的略微偏下的迹线上。它的顶部螺旋桨的一部分以及直升机202e的鼻翼在前部视野中，而直升机的其余部分以表示特定时间的运动快照的这一图像帧在右侧外围视野中。这些虚拟直升机202在运动中，并且用户很有可能移动他的头部来射击直升机，从而实时地更新图像数据。

图2B解说作为同时显示前部显示器的前部图像数据和外围显示器的外围图像数据的微显示器的图像源的一些示例。所解说的视图是从直接面向微显示器的用户角度。所解说的是图像源1201在其显示区域中在箭头1301的右侧显示前部图像数据，在显示区域箭头1301的左侧显示针对左侧外围显示器的外围图像数据。在图1的示例实施例中，左侧前部显示器14接收1301右侧的图像数据并将其朝向眼部区域的前方引导，在眼部区域的前方该图像数据将反射离开用户的左眼视网膜并且表现为投射进入用户前方的3D空间。

在显示区域中在箭头1301左侧显示的外围图像数据中，直升机202a的尾部螺旋桨是线条而非具有面积的矩形，并且该尾部相比图2A中的曲线形状而言更像是小型矩形。直升机202在外围视野中的部分的图像分辨率与左侧外围显示器1251的角分辨率相当，这两者的分辨率低于前部显示器141的分辨率，从而更多的图像数据被映射到比前部显示器更小的显示区域，藉此减少图像中可见的细节。如下文所讨论的，每一显示器的角分辨率是预先确定的并且将视野中的角范围内的位置映射到显示位置(例如像素)。显示器的分辨率越高，视野中被映射到每一显示位置的角范围就越小。

在视觉上表示箭头1301左侧的直升机202b的外围图像数据从该侧示出直升机的不太详细的版本，其中顶部螺旋桨变薄成为线，曲线型降落支撑物变直，驾驶舱窗户勾勒出一条线而非一条曲线，并且直升机202b的机体更椭圆。不太详细的侧视图被显示并且被定向到左侧外围显示器，因为失焦侧视图正是在直升机202b是真实的情况下在直升机202b经过用户头部左侧时用户将看见的图像。对于这一帧，显示直升机202b的前部部分，并且要在下一帧显示变薄的尾部和螺旋桨以供外围左侧显示器1251上的更新。这些帧以快于人眼能检测的速率被更新。

右侧外围显示器125r的外围图像数据被显示在微显示器120r中箭头130r右侧的显示区域上。直升机202d的机体的尾部端部已经被流线化，这是由于前部和外围显示器125r之间角分辨率之差。直升机202d变薄的尾部和尾部螺旋桨延伸超过微显示器的边缘正是为了解说图像缓冲器中将在下一帧中显示的图像数据。类似地，对于在进入前部显示器视野的迹线上的直升机202e而言，螺旋桨的前部部分以前部显示器的分辨率来显示到箭头130r的左侧以用矩形区域来示出螺旋桨的前部部分。直升机202e的机体更多地具有椭圆形流线化的形状并且驾驶舱轮廓比曲线形更线性化以与较低分辨率的显示器丢失细节相当。驾驶舱的后半部分、变薄的尾部和尾部螺旋桨以及表示降落齿轮的直线的后半部分的不太详细的外围图像数据准备好用于这一示例中的后续帧的显示。

直升机202f示出显著地多的细节丢失，其具有直升机202f的驾驶舱的矩形机身以及表示螺旋桨和尾部的线。然而，直升机202f在这一示例中与视野129的中心相距超过九十(90)度，因此自然人类视力将无法看见直升机202f的详细细节，但会提供对其运动和运动方向的感知，右侧外围显示器125r上对虚拟直升机202f的不太详细的版本的显示也存在。另外，根据执行中的游戏应用，外围图像数据是当直升机202虚拟地上升而其鼻翼在用户的右部头部侧上方笔直时直升机202f的侧面视图。

在替代于共享显示空间的其他实施例中，图像源120可以在微显示器120的显示区域上在外围图像数据的显示与前部图像数据的显示之间交替，其中切换机制用于在光学上将图像数据耦合至恰适的显示器。例如，对于前部显示数据的十个帧或显示更新，存在被显示在由其他帧中的前部图像数据使用的显示区域上的外围图像数据的一个帧。

在图2B的实施例中，外围视野中的对象深度可以由所显示的对象的大小以及基于包括深度位置等3D映射位置对图像数据的分层来表示。在其他示例中，无论是对前部和外围显示器使用共享图像源还是单独的图像源，以相应的预先确定的深度来快速显示多个图像或包括每一虚拟特征的个体图像的各部分的合成图像是在期望时可用于使所显示的外围图像数据出现在不同焦点区域中的技术。在任一种情况下，外围显示器可以利用人类行为，因为当人类“看见从他眼角出现的某物”时，他自然地移动他的头部以获得对“某物”的更好视图并且避免不舒适。从而，外围显示器上的视觉表示可以使得用户自然地转她的头部，从而虚拟对象被投影以在其由前部显示器确定的3D空间位置处显示。

显示器分辨率常常用近眼显示器(NED)的角分辨率来描述。在许多实施例中，角分辨率是显示器视野的各个角部分(其近似用户视野或者在用户视野内)到显示器(例如112、125)上的位置或区域的映射。角分辨率且由此显示器分辨率与显示器的单独可控区域的密度成比例地增大。显示器的单独可控区域的一个示例是像素。对于具有相同显示器大小的两个显示器而言，具有较大像素数目的第一显示器与具有较少像素数目但比第一显示器的像素更大的第二显示器相比具有更高的角分辨率。这是因为视野的较小部分获得更多单独可控像素来在第一显示器中表示其细节。换言之，像素密度越高，细节越多，分辨率越高。

对于3D显示器视野(例如对应于用户自然视力视野的至少一部分)而言，深度分量也可映射至单独可控的显示区域或位置。例如，前部显示器视野的中心附近在第一深度距离处的角部分与处于进一步第二深度距离处的相同角部分相比被映射到每一前部显示器141、14r的中心附近的单独可控显示区域的较大集合。

术语“像素”通常被认为是“图片元素”的缩写，并且一般指代具有预先确定的大小尺寸的显示器的区域，对于特定类型的显示器，“像素”是处理器可读地址被指派到其以供处理器控制的一单元。该术语被用来描述跨显示器技术的分辨率，该显示器技术的范围包括较早的显示器技术，例如阴极射线管(CRT)屏幕监视器，以及现代近眼显示器技术，例如数字光处理(DLP)、硅上液晶(LcOS)、有机发光二极管(OLED)、无机LED(iLED)以及使用MEMs技术的扫描镜。取决于显示器的技术，像素大小可以针对不同用途对相同的显示器而改变。另外，角分辨率可以同时在相同外围显示器的不同部分之间改变。改变角分辨率的一种方式是使用不同的像素大小以用于将图像数据映射到外围显示器的不同部分。

使用不同的分辨率利用自然视力分辨率中的衰落。例如，从眼部中心的小视野(参见图1中的光轴142)需要具有每弧度一个(1)像素以便用户能够清楚地阅读文本。然而，离眼部中心远50度的一半数目的像素被用来照亮每一视锥，例如，每2弧度1个像素，从而在像素计数上可能存在百分之五十(50％)的减少。离眼部中心远60度的少于百分之四十(40％)的像素可被使用，因为视锥的数目进一步减少，并且视野处于外围显示器视野中。同样，远80度可以使用少于十七(17％)的像素来照亮每一视锥。在最远的视角处，视觉表示可以实际上是以极低像素计数来表示的模糊以达成环视系统。因而，在一些实施例中，外围显示器上的像素计数可以按照离眼部的中央凹的增大半径量来减少，在一些示例中，眼部的中央凹的位置可以由图1A、1B和1C中每一眼睛的眼部区域的近似中央凹位置(例如1501、150r)来近似。在其他实施例中，对于不降低像素大小来降低角分辨率而言，同一信号可以控制更多像素。例如，离眼部区域的近似中央凹位置超过五十(50)度，同一信号控制两个像素，而超过60度，用同一信号来控制三个像素。根据在NED设备系统8的计算机硬件上执行的、并且在一些情形中还在网络可访问的计算机系统12上执行、由提供跨应用的服务的软件所支持的一个或多个应用来确定要在前部还是外围显示器上的什么位置表示什么图像数据。

图3是从软件角度用于指示近眼显示设备的外围显示器上的对象的系统的一实施例的框图。图3A解说了从软件角度来看的计算环境54的一实施例，该计算环境可由诸如NED系统8等系统、与一个或多个NED系统通信的一个或多个远程计算机系统12或这些的组合来实现。另外，NED系统可以与其他NED系统通信以共享数据和处理资源，并且也可以与环境中的其他图像捕捉设备(例如其他3D图像捕捉设备20)进行数据通信。网络连通性允许充分利用可用的计算资源。

在这一实施例中，应用162可正在NED系统8的一个或多个处理器上执行，并且与操作系统190和图像和音频处理引擎191通信。该应用可以针对扩增现实体验、虚拟现实体验、或增强视力体验。这些应用的一些示例是游戏、指令程序、教育应用、夜视应用和导航应用。在所解说的实施例中，远程计算机系统12以及其他NED系统8也可正在执行该应用的一版本162N，远程计算机系统12与其他NED系统8通信以增强体验。

一个或多个应用的应用数据328也可被存储在一个或多个网络可访问的位置中。应用数据329的一些示例可以是规则数据存储、可以向姿势识别引擎193注册的与应用相关联的一个或多个姿势的基准数据、用于一个或多个姿势的执行准则、可以向图像和音频处理引擎的可任选物理引擎(未示出)注册的与应用相关联的虚拟对象的物理模型、可以与对象物理属性数据集320链接的虚拟对象的对象属性(例如色彩、形状、面部特征、衣着等)。

如图3的实施例中所示，计算环境54的软件组件包括与操作系统190通信的图像和音频处理引擎191。图像和音频处理引擎191处理图像数据(例如，如视频等的移动数据或静止数据)和音频数据以便支持供诸如NED系统8之类的头戴式显示器(HMD)显示系统执行的应用。图像和音频处理引擎191的一实施例可包括各种功能。所解说的实施例示出可被包括的一系列可执行软件元件，并且如由……指示的，可以添加其他功能。其他功能的一些示例是遮挡处理、物理引擎或眼球追踪软件。图像和音频处理引擎191的所解说的实施例包括对象识别引擎192、姿势识别引擎193、显示数据引擎195、3D音频引擎304、声音识别引擎194、以及场景映射引擎306。

计算环境54还将数据存储在图像和音频数据缓冲器199中。该缓存器提供：用于接收从NED系统8的面向外部的捕捉设备113捕捉的图像数据、由其他捕捉设备(例如，环境中的3D图像捕捉设备20和其他NED系统8)(如果可用的话)捕捉的图像数据、来自眼球追踪系统的眼球跟踪相机(如果被使用的话)的图像数据的存储器；用于保持要由图像生成单元120显示的虚拟对象的图像数据的缓冲器；以及用于输入和输出音频数据二者的缓存器，输入和输出音频数据例如经由话筒110从用户捕捉的声音、以及来自3D音频引擎304的将经由音频输出设备(比如耳机130)被输出给用户的应用的声音效果。图像和音频处理引擎191处理接收自一个或多个捕捉设备或者可以从位置和图像数据存储(如经位置索引的图像和图324)访问的图像数据、深度数据和音频数据。

图3中描绘的个体引擎和数据存储在下文更详细地描述，但首先从应用162的角度来描述它们提供作为支撑平台的数据和功能的概览，应用162利用图像和音频处理引擎191的各个引擎来通过发送标识供处理的数据的请求以及接收数据更新的通知来实现其一个或多个功能。例如，来自场景映射引擎306的通知标识至少在显示器视野中的虚拟和现实对象的位置。应用162向显示数据引擎195标识用于生成供显示的对象的结构和物理属性的数据。

操作系统190使得以下对各个应用可用：姿势识别引擎193已标识的姿势、声音识别引擎194已标识的语言或声音、来自场景映射引擎306的对象的位置，如上所述。根据应用162要向用户播放的声音可以被上传到声音库312并且用标识使声音听上去好像来自哪个方向或位置的数据向3D音频引擎304标识。设备数据198使得位置数据、头部位置数据、标识相对于地面的取向的数据、以及来自显示设备2的感测单元的其他数据对应用162可用。设备数据198还可存储将视野的各个角部分映射到具体显示位置(例如像素)的显示器角分辨率映射325。

首先描述场景映射引擎306。在例如夜视等增强视力应用中，对至少显示器视野的3D映射标识出要在哪里插入对环境中的现实对象的图像数据追踪。在扩增现实应用中，3D映射被用来标识出要在哪里插入关于现实对象的虚拟对象。在虚拟现实应用中，现实对象的3D映射可以出于安全来完成以及确定用户在虚拟现实世界中的移动(即便并非是1对1的对应关系)。以下描述使用扩增现实体验的示例。

NED设备的每一个显示器的显示器视野的3D映射可以由场景映射引擎306基于捕捉到的图像数据和深度数据来确定。深度数据可以从捕捉到的图像数据中导出或者单独地被捕捉。3D映射包括对象(无论是现实的还是虚拟的)在显示器视野中的3D位置。在一些实施例中，尤其对于前部显示器而言，3D映射可包括作为3D位置的示例的对象的3D空间位置或位置体。3D空间是对象所占据的空间体。3D空间位置表示坐标系中包括显示器视野的体或者3D空间的边界的位置坐标。换言之，3D空间位置标识对象占据多少空间以及被占据的空间处于显示器视野中的何处。如下文进一步讨论的，在一些示例中，3D空间位置包括附加信息，诸如对象的取向。

取决于所期望的精确性，3D空间可以匹配对象的3D形状或者在边界形状上不那么精确。边界形状可以是3D的并且是边界体。对象周围的边界体的一些示例是边界框、边界3D椭圆形体、边界球或边界柱。

对于映射外围显示器视野而言，所映射的3D位置可以不包括对象的体数据。例如，对象的中心或质心点的3D坐标可被用来表示对象的3D位置。在其他示例中，对象的3D位置可以表示3D坐标系中用于表示对象的2D形状的位置数据。在一些实施例中，尤其在外围显示器示例中，2D边界形状(例如，边界环、矩形、三角形等)以及对象的3D位置被用来在外围显示器上渲染相对于其他对象的对象的视觉表示，但不表示对象体的3D细节。

表示来自面向外部的捕捉设备113的所捕捉的图像数据和深度数据的深度图可以用作近眼显示器的显示器视野的3D映射。如上所讨论的，依赖于视图的坐标系可以用于逼近用户视角的显示器视野的映射。所捕捉的数据可以是基于追踪现实对象的运动的捕捉时间而追踪的时间。用于增强视力的虚拟对象或对象的图像数据可以在应用162的控制之下被插入到深度图中。二维(例如X、Y)或作为体的三维的边界形状也可与视野映射中的虚拟对象和增强视力对象相关联。在一些示例中，对于映射外围显示器(例如图1A、1B和1C中的1251和125r)的视野而言，来自可任选的侧面相机或捕捉设备113-3和113-4的图像数据可以按照相同的方式来使用以制作外围显示器视野的3D深度图。在其他实施例中，外围显示器视野可以基于用户环境的3D映射来进行映射。

可以用传感器数据来帮助映射在用户的环境中围绕用户的事物。来自例如三轴加速度计和三轴磁力计之类的取向感测单元132的数据确定用户的头部的位置改变，并且用户头部的位置改变与来自面向外部的捕捉设备113的图像和深度数据的改变的相关性可以标识对象相对于彼此的位置以及用户正在看环境或位置的什么子集。

当前或之前处于该环境中的另一HMD设备的深度图数据和该另一HMD设备的位置和头部取向数据一起还可以用于映射什么处于该用户环境中。它们的深度图中的共享现实对象可以用于图像对齐和用于图像映射的其他技术。通过位置以及取向数据，还可以预测什么对象正在进入视图，从而其他处理(诸如对图像数据的缓冲)甚至可以在对象处于视图以前开始。

场景映射引擎306还可以将不依赖于视图的坐标系用于3D映射，并且场景映射引擎306的副本可以与在其他系统(例如12、20和8)中执行的其他场景映射引擎306通信，从而映射处理可以被共享或者由与其他系统共享更新映射的一个计算机系统集中地控制。可以在一个或多个网络可访问的计算机系统12的控制下从其他3D图像捕捉设备20或者从该位置处的一个或多个NED系统8实时地接收来自多个视角的图像和深度数据。从多个视角拍摄的深度图像中的交叠主题可以基于不依赖于视图的坐标系被相关，并且图像内容被组合以用于创建位置或环境的体或3D映射(例如房间、商店空间或地理栅栏区域的x、y、z表示)。因而，可以追踪光照、阴影和对象位置方面的改变。还可以将该映射以不依赖于视图的坐标系存储在可被其他NED系统8、其他计算机系统12或二者访问的存储位置(例如324)中，从存储器中检索该映射以及随着时间更新该映射。(关于诸如装置8之类的HMD与对图像数据具有访问权的计算机系统12之间的协作式场景映射的更多信息，参见具有美国专利申请号12/912,937和发明人Avi Bar-Zeev等于2010年10月27日提交的“Low-Latency Fusing of Virtual and Real Content(虚拟和现实内容的低等待时间融合)”。)

当用户进入位置或位置内的环境时，场景映射引擎306可以查询另一NED系统8或联网计算机系统12以访问网络可访问的位置(例如经位置索引的图像和3D映射324)以寻找其映射标识出现实和虚拟对象的3D空间位置和标识数据的预先生成的3D映射或者当前实时更新的3D映射。该映射可包括静止对象、实时移动对象、打算进入位置的对象、对象的物理模型、以及当前光照和阴影条件的标识数据，作为一些示例。

该位置可以由位置数据来标识，位置数据可以用作索引以在经位置索引的图像和3D映射324中或因特网可访问的图像326中搜索可用于生成映射的与映射或图像相关的数据。例如，诸如来自近眼显示器(NED)设备2上的位置感测单元144的GPS收发机的GPS数据之类的位置数据可以标识出用户的位置。在另一示例中，来自用户的NED系统8的面向外部的捕捉设备113的图像数据中的一个或多个对象的相对位置可以参照该位置中的一个或多个GPS追踪的对象来确定，由此可以标识出现实和虚拟对象的其他相对位置。此外，与NED系统8具有连接的WiFi热点或蜂窝站的IP地址可以标识位置。附加地，可以经由红外、蓝牙或WUSB在NED系统8之间交换标识符令牌。红外、WUSB或蓝牙信号的范围可以充当用于确定另一用户的接近度的预定义距离。映射和映射更新或至少对象标识数据可以经由红外、蓝牙或WUSB在信号的范围允许时在NED系统之间交换。

场景映射引擎306基于与图像和音频处理引擎191的对象识别引擎192以及使得要显示图像数据的一个或多个执行中的应用162的通信来追踪体空间中的现实和虚拟对象的位置、取向和移动。

图像和音频处理引擎191的对象识别引擎192基于所捕捉的图像数据以及所捕捉的深度数据(如果可用)或从立体视觉中确定的深度位置来检测和标识出显示器视野中的现实对象、它们的取向以及它们的位置。对象识别引擎192通过标记对象边界并且将对象边界与结构数据相比较来将现实对象彼此区分开。标记对象边界的一个示例是检测所检测或所导出的深度数据和图像数据内的边并且连接这些边。还可以使用多边形网格来表示对象的边界。然后，将对象边界数据与所存储的结构数据200相比较以在一概率准则内标识出对象的类型。除了标识出对象的类型以外，可以基于与所存储的结构数据200的比较来检测所标识出的对象的取向。

可通过一个或多个通信网络50访问的结构数据200可以存储用于比较的结构化信息(诸如结构化模式)以及作为模式识别的基准的图像数据。除了无生命对象，如在其他图像处理应用中那样，人可以是一种类型的对象，所以结构数据的示例是所存储的人的骨架模型，可以参考该骨架模型来帮助识别身体部位。图像数据还可用于面部识别。对象识别引擎192还可以基于来自诸如下列其他源的所存储的图像数据对对象的图像数据执行面部和模式识别：用户的用户简档数据197；其他用户简档数据322，其是许可和网络可访问的；经位置索引的图像和3D图324以及因特网可访问的图像326。来自图像和深度数据的运动捕捉数据还可以标识出对象的运动特性。对象识别引擎192还可对照存储在结构数据200中的基准属性来检查对象的检测到的属性，例如其大小、形状、材料、运动特性。

基准属性可由应用开发者或者由模式识别软件离线手动地预先确定并且存储。另外，如果用户通过用NED系统8来查看对象的库存并且将数据输入到数据字段中来查看对象的库存，则对象的基准属性可以由对象识别引擎192存储在结构数据200中。基准属性(例如，结构模式和图像数据)也可由用于生成虚拟对象的应用访问。

对于现实对象，数据可以针对多个对象属性320中的每一个来指派，例如3D大小、3D形状、检测到的材料类型、颜色、以及检测到的边界形状。在一个实施例中，基于由对象识别引擎192在与基准属性作比较之后针对每一检测到的属性所指派的加权概率，该对象被标识并且其属性被存储在对象属性数据集320N中。关于对象的检测和追踪的更多信息可在2009年12月18日提交的“Motion DetectionUsing Depth Images(使用深度图像的运动检测)”的美国专利申请12/641,788以及“Device for Identifying and Tracking Multiple Humans over Time(用于随时间标识和追踪多个人类的设备)”的美国专利申请12/475,308中找到。

场景映射引擎306和对象识别引擎192交换数据，这在每一引擎的功能方面有所帮助。例如，基于由对象识别引擎192确定的对象标识和取向，场景映射引擎306可以更新对象的3D空间位置或位置体以获得更高的准确性。例如，椅子在其一侧上时具有与其正放时不同的针对它的体的位置坐标。从场景映射引擎306针对对象所更新的位置体中标识出的位置历史或运动路径可以帮助对象识别引擎192标识对象，尤其是在对象被部分遮挡时。操作系统190可以促进各个引擎和应用之间的通信。

3D音频引擎304是位置3D音频引擎，其接收输入音频数据以及为耳机130或其他音频输出设备(比如在其他实施例中的扬声器)输出音频数据。所接收的输入音频数据可以是针对虚拟对象，或者可以是由现实对象生成的音频数据。由应用生成或选自声音库312的虚拟对象的音频数据可以被输出到耳机以使得听上去就好像来自该虚拟对象的方向。基于如可被存储在声音库312中的音频数据以及存储在用户简档数据197或用户简档322中的语音数据文件，声音识别引擎194标识经由麦克风110从现实世界接收的音频数据以用于经由语音命令的应用控制以及用于环境和对象识别。姿势识别引擎193标识一个或多个姿势。姿势是由用户执行的向执行中的应用指示控制或命令的动作。该动作可以由用户的身体部位(例如手或手指)来执行，但是眼睛的眼睛眨眼序列也可以是姿势。在一个实施例中，姿势识别引擎193将骨架模型和从所捕捉的图像数据中导出的与其相关联的移动与姿势库中的所存储的姿势过滤器进行比较以标识出用户(由骨架模型所表示)何时执行了一个或多个姿势。在一些示例中，在姿势训练会话期间将图像数据与用户的手或手指的图像模型进行匹配，而非进行骨架追踪来识别姿势。

应用162与显示数据引擎195传送数据以供显示数据引擎195显示并且更新由应用166控制的图像数据的显示。对于扩增现实而言，图像数据可以是虚拟对象或特征的图像数据。类似地对于虚拟现实应用，数据可以表示虚拟对象或虚拟特征。对于夜视应用，图像数据可以是用对非可见光或红外光敏感的传感器检测到的现实对象的表示。显示数据引擎195处理前部和外围显示器这两种类型的显示器的数据，并且能够访问针对每一种类型的显示器预先确定的显示器角分辨率映射325。

显示数据引擎195相对于一个或多个坐标系(例如以依赖于视图的坐标或者以不依赖于视图的坐标)来配准由图像数据表示的对象的3D位置和取向。附加地，显示数据引擎195执行转换、旋转和缩放操作以用于以正确的大小和视角显示图像数据。正被显示的对象的位置可以取决于与其配准的对应对象(现实或虚拟的)的位置。显示数据引擎195可以向场景映射引擎更新关于所处理的虚拟对象的位置。显示数据引擎195基于恰适的显示器角分辨率映射325来确定图像数据在每一显示器(例如141、14r、1251、125r)的显示器坐标中的位置。

下面的讨论描述了一些示例性处理，其用于更新光学透视扩增现实(AR)显示器以定位虚拟对象，从而使得它们更逼真地出现在显示器中为它们确定的3D位置处。外围显示器可以是光学透视AR显示器，并且在一些实施例中，可以显示如上所述在Z缓冲器中分层的图像数据。

在更新3D显示的一个示例实现中，使用Z缓冲器。Z缓冲器存储每一单独可寻址显示位置或区域(例如像素)的数据，从而Z缓冲器随着其单独可控显示位置或区域的数目而缩放，并且基于显示器的角分辨率映射在Z缓冲器中指派数据。显示数据引擎195根据角分辨率映射来渲染每一种类型的显示器视野中包括Z缓冲器中的图像数据对象(例如，用于夜视的虚拟或现实对象)和现实对象两者的深度数据的先前创建的三维模型。因为在这一示例中NED设备是光学透视显示设备，当图像源120显示图像数据对象而非现实对象时，Z缓冲器中的现实对象边界充当图像数据对象要在显示器中被三维定位在何处的基准。对于图像数据对象，显示数据引擎195具有将插入图像数据对象的目标3D空间位置。

为每个显示位置或显示位置子集(例如为每个像素(或者为像素的子集)存储深度值。对应于图像数据对象的图像数据被渲染到相同的z缓冲器中，并且图像数据的色彩信息被写入对应的色彩缓冲器中，该色彩缓冲器也随着显示位置的数目而缩放。在这一实施例中，将基于z缓冲器和色彩缓存器的合成图像发送给图像源120以便由恰适的像素显示。显示更新过程可以每秒执行多次(例如刷新率)。

对于视频观看扩增现实显示器或透视显示器在视频观看模式中的操作，现实对象的图像数据还被写入到具有虚拟对象或其他增强对象的图像数据的Z缓冲器和对应的色彩缓存器中。在视频观看模式中，每个透视显示器14的不透明性过滤器可以被调谐为使得从眼镜前方反射的光不抵达用户的眼睛140，并且现实和虚拟或增强对象二者的3D图像数据在显示器上播放。

设备数据198可以包括：个人装置8的标识符、网络地址(例如IP地址)、型号、配置参数(诸如所安装的设备)、操作系统的标识、以及什么应用在NED系统8中可用并在NED系统8中执行等等。另外，在这一实施例中，针对前部和外围显示器的显示器角分辨率映射325被存储。尤其对于透视扩增现实NED系统8而言，设备数据还可以包括来自传感器或感测单元或者从传感器或感测单元(比如惯性感测单元132中的定向传感器、话筒110和位置感测单元144中的一个或多个位置和邻近度收发机)确定的数据。

本地副本197中的或存储在基于云的用户简档322中的用户简档数据具有针对共享或访问用户简档数据以及所检测到的该用户的其他数据的用户许可的数据，所检测到的该用户的其他数据例如位置追踪、在实现眼球追踪的情况下所标识的用户注视过的对象、生物测定数据。除了通常包括在用户简档数据中的个人信息(例如地址和姓名)，还存储用户的物理特性。如下文更详细地讨论的，物理特性包括诸如物理尺寸之类的数据，物理尺寸的一些示例是高度和重量、宽度、两肩之间的距离、腿长和臂长等。

本文中的技术可以其他具体形式来实施而不背离其精神或实质特性。同样，对于模块、例程、应用、特征、属性、方法和其他方面的特定命名和划分并非是强制性的，且实现本技术或其特征的机制可具有不同的名称、划分和/或格式。

出于说明性目的，下面的方法实施例是在上述系统和装置实施例的上下文中描述的。然而，该方法实施例不限于在上述系统实施例中操作，而是可以在其他系统实施例中实现。此外，方法实施例可以在NED系统处于操作中并且适用的应用正在执的同时连续执行。

图4A是一种用于指示近眼显示设备的外围显示器上的对象的方法的一实施例的流程图。如在图2A的示例中那样，同一对象的各个部分可以在前部和外围显示器中。例如，大的虚拟龙可以在前部显示器的视野中并且也在外围视野中。在一些示例中，场景映射引擎306和显示数据引擎195可以将不同部分作为单独对象来处理。

在步骤402中，场景映射引擎306将对象标识为处于外围显示器的视野内。在步骤404中，显示数据引擎基于外围显示器的角分辨率来生成该对象的视觉表示，并且在步骤406中，由外围显示器来显示该对象的视觉表示。如下文所讨论的，在一些示例中，外围显示器125可以被实施为简单的几个像素，例如一行光电二极管(例如发光二极管)。外围显示器上的对象可以通过其色彩或与该对象相关联的主导色彩来在视觉上简单地表示。即便一排光电二极管也可具有视野至每一光电二极管的映射。例如，五个光电二极管中的每一个可以表示约100度总外围视野的二十(20)度片。当对象跨视野移动时，其运动方向通过点亮哪个光电二极管来在视觉上表示，并且其速度通过每一光电二极管打开和关闭得有多快来表示。

图4B是用于基于外围显示器的角分辨率来生成对象的视觉表示的过程示例的流程图。如上所提及的，场景映射引擎306可以在显示器视野的3D映射中(如果不是用户环境的话)表示对象的位置作为边界形状的位置。在这一过程示例中，边界形状被映射到外围显示器以节约处理时间。在步骤424中，场景映射引擎306确定对象的边界形状以及对象在外围显示器视野中的3D位置。显示数据引擎195在步骤426中基于所确定的3D位置以及外围显示器的角分辨率映射来将边界形状映射到外围显示器的一个或多个显示位置。

在步骤428中，基于色彩选择准则为对象选择一个或多个色彩效果。色彩选择准则的一些示例是对象的一个或多个色彩、用于指示向着或者远离外围显示器(且由此用户的一侧)的运动的预先确定的色彩代码、或用于标识对象类型(例如敌人或朋友)的预先确定的色彩方案。可以选择的另一色彩效果是阴影效果。可任选地，在步骤430中，可以为边界形状选择一个或多个色彩，同时也为了用所选的一个或多个色彩效果填充由经映射的一个或多个显示位置包围的未被遮挡的显示区域来选择一个或多个色彩。图像数据对象的各部分(包括其边界形状的各部分)可以被其他对象(现实或虚拟的)遮挡，从而使得被遮挡的部分可以不被显示或者用针对遮挡对象的颜色来着色。

在一些示例中，场景映射引擎306接收数据(例如，来自环境中的其他NED系统8、3D图像捕捉设备20、或者来自网络可访问的计算机系统12的中央更新的映射)以更新环境中的对象的追踪，即便是任一类型的显示器或两种类型的显示器的视野之外的对象。也可使用阴影效果来指示刚刚在显示器视野之外的对象。

以下描述了在用于制造的空间、重量、成本和可行性方面切实可行的外围显示器的一些实施例。

图5A是解说使用光学元件的外围显示器的一实施例的框图。该外围显示器被示出为涉及针对例如图1中的前部显示器的实施例的代表性光处理元件的框图。这些代表性元件包括：图像源120，其生成表示图像数据的光；准直透镜122，用于使得来自图像源的光看上去来自无限远处；以及光导光学元件112，其将来自图像源120的表示图像数据的光朝向眼部区域反射，如果用户正佩戴NED设备2则光将可能落在眼部区域中眼睛140的视网膜143上。在这一实施例中，外围显示器是投影外围显示器，它包括：反射元件224，其在光学上耦合至图像源120以接收图像数据；以及反射元件224，同样出于落在用户视网膜143上的目的，从侧面角度将接收到的图像数据朝向眼部区域引导。接收到的外围图像数据由图像源输出的一部分来表示。例如，如果图像源120是用像素而非像素子集(例如对于这一右侧外围显示器而言位于沿着微显示器120的右侧边缘的子集)来定义其显示区域的微显示器，提供外围显示器的图像数据，此后称之为外围图像数据。例如，对于采用矩形或正方形的720像素或百万像素的微显示器，外围图像数据可以在包括针对右侧外围显示器的最右侧20、50或甚至100个像素的列中显示。在左侧外围显示器的情形中，外围图像数据在针对这一示例的最左侧像素的子集上显示。在光学上耦合反射元件224的光学元件(包括光学元件220)的一些示例，例如一片塑料或玻璃，充当用于将光通过不透明性透镜222引导到反射元件224上的棱镜。

图5B是解说使用波导230的投影外围显示器的另一实施例的框图。在实现波导时可使用的技术的一些示例是反射型、折射型、或衍射型技术或这些技术中的任何组合。如图5A的实施例，波导230在光学上耦合以接收来自图像源120的图像数据的子集作为外围图像数据。外围图像光数据在光学上从波导230朝向眼部区域耦合，该眼部区域出于使得光数据落在在右侧外围显示器的这一示例中的右眼的视网膜143上的似然性被选择。

光学耦合机制232例如通过反射、折射或衍射中的任一者或其组合将光从图像源120引导进入波导230。在一些示例中，输入光学耦合机制232可包括纳入透镜效应和棱镜效应的一个或多个光学元件，从而消除对单独不透明透镜的使用。在其他示例中，输入光学耦合机制232可使得透镜效应作为前部表面上的单独组件接收来自针对外围显示器的图像源的光的子集，以及使得棱镜效应在背部表面上将光引导进入波导。类似地，光学耦合机制234将光引导出波导230。组成每一机制的一个或多个光学元件可以生成全息图。在一些示例中，输出光学耦合机制234的光学效应是具有衍射效应的简单楔形。如果期望，也可在输出光学耦合机制234中纳入透镜效应。

可用于每一光学耦合机制232、234的低成本实现技术的一个示例是菲涅尔结构。例如，可以使用反射型菲涅尔结构。虽然菲涅尔结构可能不是用于满足前部显示器的良好图像质量准则的合适的光学元件，但例如由塑料制造的菲涅尔光学元件是用于较低分辨率外围显示器的合适低成本元件。

一个或多个光学耦合机制可以嵌入在波导中。例如，输出光学耦合机制234可以是嵌入式反射型菲涅尔结构。图6A、6B和6C解说了制造用于外围显示器(例如波导显示器)的嵌入式菲涅尔结构的概览示例中的不同阶段。如图6A所示，形成菲涅尔结构302。在图6B中，其反射表面用部分反射涂层304来涂覆，以使得不反射到眼睛的光将继续沿波导的基板向下引导。在图6C中，索引匹配粘合剂306从其涂覆反射表面填充菲涅尔。此类简单的冲压制造过程是可行且便宜的，从而使得外围显示器切实可行。

在一些实施例中，外围显示器可以具有其自己的图像源。例如，图5A和5B中的各实施例可以被更改以具有针对每一外围显示器的单独图像源。

图5C是解说外围投影显示器的一实施例的框图，该外围投影显示器使用经由由代表性透镜236表示的一个或多个光学元件耦合的楔形光学元件235以接收来自图像源120的图像数据的子集。楔形光学元件235充当放大图像的全内反射光导并且充当投影显示器。以不同角度入射到楔形(在这是示例中在较宽的底部)的光以不同角度反射离开该楔形，从而提供用于以三维方式来表示对象的能力。某些楔形光学元件(例如在微软楔形产品中使用的楔形光学元件)非常薄并且因而对于紧致显示设备(例如NED设备)而言是良好的。

图5D是解说外围投影显示器的一实施例的框图，该外围投影显示器使用楔形光学元件以及其自己的投影仪263的单独图像源，投影仪263将由NED显示器设备的一个或多个处理器控制以生成用于经由楔形光学元件235来显示的图像数据。

图5E是解说作为投影显示器的外围显示器的另一实施例的框图。这一实施例采用包括微型投影仪250和投影屏幕254的小型投影引擎。在这一实施例中，外围显示器包括用于将光引导至屏幕的浅全内反射(TIR)折叠机制。在一些示例中，投影屏幕可具有菲涅尔结构或者用于将光朝向用户眼睛推送的衍射结构。如在图5D中那样，用于实现这种TIR折叠机制的技术的另一示例是楔形投影显示器。

在一些实施例中，小型投影引擎的另一示例可以是使用扫描镜将色彩受控的输出或一个时间一个维度(例如逐行地)地或二维地从光源(例如激光)引导至投影表面以在投影表面上创建图像，该图像随后可以在光学上朝向用户眼睛引导。扫描镜可以使用微机电系统(MEMS)技术来实现。使用MEMS技术的微型投影引擎的示例是Microvision’s的显示引擎。

图5A到5D中的以上实施例解说了可用于将外围显示器实现为光学透视外围显示器的技术的一些示例。如果图5E中的屏幕是透明的，则图5E中的实施例也可用于光学透视外围显示器。

除了投影外围显示器的实施例之外，图5F和5G解说了直接视图外围显示器的一些实施例。这些实施例提供了其中不使用前部显示器图像源的外围显示器的一些示例。图5F是解说作为直接视图图像源240的外围显示器的一实施例的框图。图像源240的一个示例是显示图像的小型显示器。它可以仅仅是少量像素，例如约20个像素。实现技术的一些示例包括液晶显示器(LCD)和发射性显示器，诸如OLED或iLED，它们可以是透明或非透明的。由于外围显示器240被置于将位于佩戴者的眼睛一侧的NED设备的一侧上并且显示器240被置于靠近用户头部(例如在NED设备的侧臂102内)，用户无法聚焦于显示器，并且因而无法解析结构的图像细节。然而，该显示器可以通过激活和解除激活显示器上单独可控显示区域或位置的序列(例如像素或子像素)来显示颜色、阴影并且指示移动。显示器240也可以是漫反射显示器，从而更多的光可以从显示器在近似用户视网膜143位置的方向上引导。

如果从人类两眼之间延伸的线是中心轴，则当对象处于离中心轴越远的角度，该对象变得越来越在物理上不舒适地进行查看。当人类“看见某物从他的眼角出现”时，他自然地移动他的头部以获得对“某物”的更好视图并且避免不舒适。利用这一自然人类反应可以提供外围显示器的非常简单的形式。

图5G是解说作为一个或多个光电二极管247的外围显示器的一实施例的框图。单个光电二极管被标记以避免附图的过分拥挤。可以使用的光电二极管的一个示例是发光二极管(LED)。出于提供情景知悉性(例如在图2A的示例中例如即将发生的虚拟直升机正要碰撞用户)的目的，视觉指示符(诸如点亮的LED)可以是指示表示对象的图像数据的存在的视觉表示。在例如夜视护目镜的应用中，用绿色点亮的LED可以向佩戴者指示某物正从他的右侧向他移动，而用蓝色点亮的LED可以指示某物正离开他向他的右侧移动。佩戴者可以决定看向他的右侧。在另一示例中，可能在附图中存在一行光电二极管，并且每一光电二极管覆盖外围视野中的角区域。每一光电二极管可以具有相关联的颜色，从而与光电二极管相关联的颜色的显示提供了对于对象在外围视野中的何处的指示。另外，使光电二极管闪烁的速度可以指示外围对象或角区域中的对象正在移动靠近或远离NED的佩戴者。

在这些示例中，外围显示器上的视觉表示不与前部显示器上显示的图像数据相干扰。这有助于诸如导航应用之类的应用。视觉表示(例如在设备中对应于要做出转弯的方向的一侧上在外围显示器上显示红色的光电二极管)可以表示方向而不与司机的前部视图相干扰。

图7是计算系统的一个实施例的框图，该计算系统可用于实现网络可访问的计算系统12、伴随处理模块4、或近眼显示器(NED)设备的控制电路系统136的可主存图3中描绘的计算环境54的软件组件中的至少一些组件的另一实施例。参考图7，示例性系统包括计算设备，诸如计算设备900。在大多数基本配置中，计算设备900通常包括一个或多个处理单元902，包括一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。计算设备900还包括存储器904。取决于计算设备的确切配置和类型，存储器904可以包括易失性存储器905(如RAM)、非易失性存储器907(如ROM、闪存等)或是两者的某种组合。该最基本配置在图7中由虚线906来示出。另外，设备900还可具有附加特征/功能。例如，设备900还可包含附加存储(可移动和/或不可移动)，包括但不限于磁盘、光盘或磁带。这样的附加存储在图7中由可移动存储908和不可移动存储910示出。

设备900还可以包含允许该设备与其他设备通信的通信连接912，比如一个或多个网络接口和收发器。设备900也可具有输入设备914，诸如键盘、鼠标、笔、语音输入设备、触摸输入设备等。还可包括输出设备916，诸如显示器、扬声器、打印机等。这些设备在本领域是公知的，因此不在此详细讨论。

附图中示出的示例计算机系统包括计算机可读存储设备的示例。计算机可读存储设备也是处理器可读存储设备。这些设备可包括以任何用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的方法或技术来实现的易失性和非易失性、可移动和不可移动存储器设备。处理器或计算机可读存储设备的一些是RAM、ROM、EEPROM、高速缓存、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、记忆棒或卡、磁带盒、磁带、媒体驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储信息且可以由计算机访问的任何其他设备。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims

1.一种用于近眼现实设备的外围显示器，

包括：

外围显示器，所述外围显示器由近眼显示设备的近眼支撑结构定位成用于将与所述外围显示器相关联的外围视野中的对象的视觉表示朝向与所述近眼显示设备相关联的眼部区域的一侧引导；以及

所述外围显示器具有与由所述支撑结构定位于与所述近眼显示设备相关联的眼部区域前方的前部显示器的角分辨率相比更低的角分辨率。

2.如权利要求1所述的外围显示器，其特征在于，所述外围显示器

包括通信耦合至所述近眼显示设备的一个或多个处理器的直接视图显示器以用于接收所述外围视野中的对象的视觉表示。

3.如权利要求1所述的外围显示器，其特征在于，所述外围显示器

包括投影显示器。

4.如权利要求1所述的外围显示器，其特征在于，所述外围显示器

包括

用于从图像源接收所述对象的视觉表示的光学上耦合的一个或多个反射元件；以及

所述一个或多个反射元件被定位成将所述对象的视觉表示朝向与所述近眼显示设备相关联的眼部区域的所述一侧反射。

5.如权利要求1所述的外围显示器，其特征在于，所述外围显示器

包括波导显示器，所述波导显示器包括波导、用于将所述对象的光学表示耦合至所述波导中的光学元件、以及光学元件，所述光学元件用于将所述对象的视觉表示耦合出所述波导并且将所述视觉表示朝向与所述近眼显示设备相关联的眼部区域的所述一侧引导；以及

输入光学元件或输出光学元件中的至少一者是反射型菲涅尔结构。

6.如权利要求1所述的外围显示器，其特征在于，所述外围显示器

包括投影屏幕，所述投影屏幕包括由所述近眼支撑结构定位成用于将所述视觉表示朝向所述眼部区域的所述一侧引导的菲涅尔结构，所述投影屏幕在光学上耦合至用于从投影仪接收所述视觉表示的全内反射(TIR)折叠机制。

7.一种近眼显示设备，包括：

近眼支撑结构；

前部显示器，所述前部显示器由所述近眼支撑结构定位于与所述近眼显示设备相关联的眼部区域的前方；

至少一个外围显示器，所述至少一个外围显示器具有低于所述前部显示器的显示器分辨率，并且所述至少一个外围显示器由所述近眼支撑结构定位于所述前部显示器的一侧位置处；

图像源，所述图像源在光学上耦合至所述外围显示器；以及

一个或多个处理器，所述一个或多个处理器在通信上耦合至所述图像源以用于控制由所述至少一个外围显示器显示的图像数据。

8.如权利要求7所述的近眼显示设备，其特征在于，还包括：

所述近眼支撑结构包括侧臂，所述侧臂将所述至少一个外围显示器定位于所述前部显示器的所述一侧位置处。

9.如权利要求7所述的近眼显示设备，其特征在于，所述图像源

在光学上耦合至同样在光学上耦合至所述前部显示器的所述外围显示器；

所述图像源同时为所述前部显示器提供前部图像数据以及为所述外围显示器提供外围图像数据。

10.如权利要求7所述的近眼显示设备，其特征在于，所述外围

显示器进一步包括菲涅尔结构，所述菲涅尔结构被定位成用于将图像数据朝向与所述近眼显示设备相关联的眼部区域的一侧引导，所述图像数据表示所述外围显示器的视野中的对象。