CN105103082A

CN105103082A - 由人触发的全息提醒

Info

Publication number: CN105103082A
Application number: CN201380064924.1A
Authority: CN
Inventors: A·G·鲍罗斯; H·A·海泽尔; A·J·安布鲁斯; D·J·麦克洛克; B·J·芒特; J·T·斯蒂德
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2012-12-11
Filing date: 2013-12-11
Publication date: 2015-11-25
Also published as: US20140160157A1; KR20150086388A; WO2014093477A1; EP2932355A1; JP2016506565A

Abstract

描述了用于生成并显示由人触发的全息提醒的方法。在一些实施例中，头戴式显示设备(HMD)生成并向该HMD的最终用户显示增强现实环境，其中如果特定人在该HMD的视野内或如果该特定人在该HMD的特定距离内则可显示与该特定人相关联的提醒。该特定人可被单独标识或被标识为属于特定组(例如，具有特定工作头衔的组的成员，诸如程序员或管理员)。在一些情况下，提醒的完成可通过将(例如用于标识关键字、短语或名字的)语音识别技术应用于捕捉到的、在该最终用户和该特定人之间进行的对话的音频来自动完成。

Description

由人触发的全息提醒

背景技术

增强现实(AR)涉及提供经增强的真实世界环境，其中用计算机生成的虚拟数据来增强或修改对真实世界环境(或表示真实世界环境的数据)的感知。例如，可使用诸如相机或话筒等传感输入设备实时地捕捉表示真实世界环境的数据，并用包括虚拟图像和虚拟声音的计算机生成的虚拟数据来增强该数据。虚拟数据还可包括与真实世界环境有关的信息，诸如与真实世界环境中的真实世界对象相关联的文本描述。一些AR环境内的对象可包括真实对象(即，存在于特定的真实世界环境中的对象)和虚拟对象(即，不存在于特定的真实世界环境中的对象)。

为了将虚拟对象逼真地集成到AR环境中，AR系统通常执行包括映射和本地化的若干任务。映射涉及生成真实世界环境的映射的过程。本地化涉及相对于真实世界环境的映射来定位特定的视角或姿势的过程。在一些情况下，AR系统可实时本地化在真实世界环境内移动的移动设备的姿势，以便确定与该移动设备相关联的、需要随该移动设备在真实世界环境中移动而被增强的特定视图。

概述

描述了用于生成并显示由人触发的全息提醒的技术。在一些实施例中，头戴式显示设备(HMD)生成并向该HMD的最终用户显示增强现实环境，其中如果特定人在该HMD的视野内(例如，使用面部识别技术确定)或如果该特定人在该HMD的特定距离内则可显示与该特定人相关联的提醒。该特定人可被单独标识或被标识为属于特定组(例如，具有特定工作头衔的组的成员，诸如程序员或管理员)。在一些情况下，提醒的完成可通过将(例如用于标识关键字、短语或名字的)语音识别技术应用于捕捉到的在该最终用户和该特定人之间进行的对话的音频来自动完成。

提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念的选集。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图简述

图1是可在其中实施所公开的技术的联网计算环境的一个实施例的框图。

图2A描绘了与第二移动设备通信的移动设备的一个实施例。

图2B描绘了HMD的一部分的一个实施例。

图2C描绘了HMD的一部分的一个实施例，其中延伸到凝视点的凝视向量用于对准远瞳距(IPD)。

图2D描绘了HMD的一部分的一个实施例，其中延伸到凝视点的凝视向量用于对准近瞳距(IPD)。

图2E描绘了HMD的一部分的一个实施例，该HMD具有包括凝视检测元件的可移动显示光学系统。

图2F描绘了HMD的一部分的一个替换实施例，该HMD具有包括凝视检测元件的可移动显示光学系统。

图2G描绘了HMD的一部分的侧视图的一个实施例。

图2H描绘了HMD的一部分的侧视图的一个实施例，其提供对微显示器部件的三维调整的支持。

图3描绘了包括捕捉设备和计算环境的计算系统的一个实施例。

图4A-4B描绘了其中可使用由人触发的全息提醒的各增强现实环境的各实施例。

图5是描述用于生成并显示由人触发的全息提醒的方法的一个实施例的流程图。

图6A是描述用于确定一个或多个提醒的过程的一个实施例的流程图。

图6B是描述用于检测环境中的第二人的过程的一个实施例的流程图。

图6C是描述用于自动检测提醒的完成的过程的一个实施例的流程图。

图7是描述用于生成并显示由人触发的全息提醒的方法的替换实施例的流程图。

图8是移动设备的一个实施例的框图。

详细描述

描述了用于生成并显示由人触发的全息提醒的技术。在一些实施例中，移动设备(诸如头戴式显示设备(HMD))可获取与该移动设备的最终用户相关联的一个或多个提醒，标识环境内的特定的人，基于对该特定的人的标识来设置该一个或多个提醒的优先级，以及基于该一个或多个提醒的优先级来向该最终用户显示该一个或多个提醒的子集。该一个或多个提醒可基于输入到个人信息管理器、任务管理器、电子邮件应用、日历应用、社交联网应用、软件缺陷跟踪应用、问题跟踪应用和/或时间管理应用或能从其访问的任务来确定。所述一个或多个提醒中的每一提醒可与待完成的特定任务、与该特定任务相关联的一个或多个人、与该特定任务相关联的位置、提醒频率(例如，一特定提醒每两周发出一次)和/或该特定任务的完成时间相对应。该特定人可被单独标识或被标识为属于特定组(例如，具有特定工作头衔的组的成员，诸如程序员或管理员)。

在一些实施例中，HMD可向HMD的最终用户提供增强现实环境，在该环境中，如果特定人在该HMD的视野内(例如，是使用面部识别技术确定的)或者如果该特定人在该HMD的特定距离内(例如，是使用与和该特定人相关联的第二移动设备相对应的GPS位置信息来确定的)，则与该特定人相关联的提醒可被显示。在一个示例中，如果该HMD的最终用户欠特定人钱，则在该特定人在该HMD的视野内的情况下，该HMD可向该最终用户显示他们欠该特定人钱的提醒。

在一些实施例中，HMD可从与不同于该HMD的最终用户的特定人相关联的第二移动设备获取与该特定人相关联的第二提醒集合，并且如果该特定人在该HMD的视野内或如果该特定人在该HMD的特定距离内，则向该最终用户提供其中可显示该第二提醒集合(或其子集)的增强现实环境。在一些情况下，可向该最终用户显示与该第二提醒集合相对应的一个或多个虚拟对象。在一个示例中，该一个或多个虚拟对象可提供该特定人想要与该最终用户关于特定话题交谈的提醒信息。在另一示例中，该一个或多个虚拟对象可提供与任务相关的信息(例如，是否以及何时该特定人接下来将休假或者在其中该最终用户和该特定人均将参与的下一会议)。该一个或多个虚拟对象还可提供指向要在该最终用户和该特定人之间共享的内容(例如照片或图像)的链接。该一个或多个虚拟对象还可提供指向在线购物网站的链接(例如以促进与购买礼物相关联的任务的完成)。

在一些实施例中，提醒的完成可通过将(例如用于标识关键字、短语或名字的)语音识别技术应用于捕捉到的该最终用户和该特定人之间进行的对话的音频来自动检测。

与管理大量提醒相关联的一个问题是：可能难以跟踪大量提醒之一，并在正确的时间或者在最有效的时间回忆起该提醒以便完成与该提醒相关联的任务(例如，亲自对在附近的朋友说“生日快乐”)。从而，存在生成和显示将最终用户上下文以及共同环境中其他人的存在纳入考虑的由人触发的全息提醒的需要。

图1是可在其中实施所公开的技术的联网计算环境100的一个实施例的框图。联网计算环境100包括通过一个或多个网络180互连的多个计算设备。所述一个或多个网络180允许一特定计算设备连接到另一计算设备以及与其通信。所描绘的计算设备包括移动设备11、移动设备12、移动设备19和服务器15。在一些实施例中，所述多个计算设备可以包括未示出的其他计算设备。在一些实施例中，所述多个计算设备可以包括比图1所示的计算设备的数目更多或更少的计算设备。所述一个或多个网络180可以包括诸如企业专用网络之类的安全网络、诸如无线开放式网络之类的不安全网络、局域网(LAN)、广域网(WAN)、以及因特网。所述一个或多个网络180中的每个网络可以包括集线器、网桥、路由器、交换机、以及有线传输介质，比如有线网络或直接线连接。

可包括补充信息服务器或应用服务器的服务器15可允许客户机从该服务器下载信息(例如，文本、音频、图像和视频文件)或者执行与存储在该服务器上的特定信息相关的搜索查询。一般而言，“服务器”可以包括在客户端-服务器关系中充当主机的硬件设备、或者与一个或多个客户机共享资源或为所述一个或多个客户机执行工作的软件过程。客户机-服务器关系下的计算设备之间的通信可以通过由客户机向服务器发送要求访问特定资源或执行特定工作的请求来发起。服务器随后可以执行所请求的动作并且将响应发送回客户机。服务器15的一个实施例包括网络接口155、处理器156、存储器157和翻译器158，所有这些都彼此通信。网络接口155允许服务器15连接到一个或多个网络180。网络接口155可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器156允许服务器15执行存储在存储器157中的计算机可读指令以执行在此讨论的过程。翻译器158可包括用于将第一文件格式的第一文件翻译成第二文件格式的对应第二文件的映射逻辑(即，第二文件可以是经翻译的版本的第一文件)。可使用文件映射指令来配置翻译器158，该文件映射指令提供用于将第一文件格式的文件(或其部分)映射成第二文件格式的对应文件的指令。

移动设备19的一个实施例包括网络接口145、处理器146、存储器147、相机148、传感器149、以及显示器150，所有这些都彼此通信。网络接口145允许移动设备19连接到一个或多个网络180。网络接口145可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器146允许移动设备19执行存储在存储器147中的计算机可读指令以执行在此讨论的过程。相机148可以捕捉色彩图像和/或深度图像。传感器149可生成与移动设备19相关联的运动和/或定向信息。在一些情况下，传感器149可包括惯性测量单元(IMU)。显示器150可显示数字图像和/或视频。显示器150可包括透视显示器。

在一些实施例中，包括网络接口145、处理器146、存储器147、相机148以及传感器149的移动设备19的各组件可被集成在单芯片基片上。在一示例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成成为片上系统(SOC)。在另一实施例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成在单个封装中。

在一些实施例中，通过采用照相机148、传感器149，和运行在处理器146上的姿势识别软件，移动设备19可提供自然用户界面(NUI)。使用自然用户界面，人的身体部位和移动可被检测、解释、以及用于控制计算应用的各方面。在一个示例中，利用自然用户界面的计算设备可推断与计算设备交互的人的意图(例如，最终用户执行了特定姿势来控制该计算设备)。

联网计算环境100可以为一个或多个计算设备提供云计算环境。云计算指的是基于因特网的计算，其中共享的资源、软件和/或信息通过因特网(或其他全局网络)被按需提供给一个或多个计算设备。基于在计算机网络图中使用的云图来将因特网描绘成对其所表示的底层基础设施的抽象，术语“云”被用作对因特网的比喻。

在一个示例中，移动设备19包括向头戴式显示设备(HMD)的最终用户提供增强现实环境或混合现实环境的头戴式显示设备。HMD可包括视频透视和/或光学透视系统。最终用户佩戴的光学透视HMD可允许(例如经由透明透镜)对真实世界环境的实际直接查看，并且同时可将虚拟对象的图像投影到最终用户的视野中，由此用虚拟对象来增强最终用户所感知的真实世界环境。

通过利用HMD，佩戴HMD的最终用户可在真实世界环境(例如，起居室)中四处移动，并感知覆盖有虚拟对象的图像的真实世界的视图。虚拟对象可以看起来保持与真实世界环境的相干空间关系(即，当最终用户在真实世界环境中转动他们的头或移动时，显示给该最终用户的图像将改变，使得虚拟对象看起来像被最终用户感知的那样存在于该真实世界环境内)。虚拟对象还可看起来相对于最终用户的视角是固定的(例如，无论最终用户如何在真实世界环境中转动他们的头或移动，总是出现在最终用户视角的右上角的虚拟菜单)。在一个实施例中，真实世界环境的环境映射可由服务器15(即，在服务器侧)来执行，而相机本地化可在移动设备19上(即，在客户机侧)执行。虚拟对象可包括与真实世界对象相关联的文本描述。

在一些实施例中，移动设备(诸如移动设备19)可与云中的服务器(诸如服务器15)通信，并可提供与移动设备相关联的服务器位置信息(例如，经由GPS坐标的移动设备的位置)和/或图像信息(例如，与在移动设备的视野内检测到的对象有关的信息)。作为响应，服务器可基于提供给该服务器的位置信息和/或图像信息向移动设备传送一个或多个虚拟对象。在一个实施例中，移动设备19可指定用于接收一个或多个虚拟对象的特定文件格式，并且服务器15可向移动设备19传送特定文件格式的文件内包含的一个或多个虚拟对象。

在一些实施例中，移动设备(诸如移动设备19)可(例如，经由透视显示器)向该移动设备的最终用户提供增强现实环境，其中如果特定人在该移动设备的视野内(例如，使用面部识别技术来确定)或者如果该特定人在该移动设备的特定距离内(例如，使用与该移动设备和与该特定人相关联的第二移动设备两者相对应的GPS位置信息来确定)，则可显示与该特定人相关联的提醒。该移动设备可从与不同于该最终用户的特定人相关联的第二移动设备获取与该特定人相关联的第二提醒集合，并且如果该特定人在该移动设备的视野内或如果该特定人在该移动设备的特定距离内，则向该最终用户提供其中可显示该第二提醒集合(或其子集)的增强现实环境。在一些情况下，提醒的完成可通过将(例如用于标识关键字、短语或名字的)语音识别技术应用于捕捉到的在该最终用户和该特定人之间进行的对话的音频来自动检测。

图2A描绘了与第二移动设备5通信的移动设备19的一个实施例。移动设备19可包括透视HMD。如所描绘的，移动设备19经由有线连接6与移动设备5通信。然而，移动设备19还可经由无线连接与移动设备5通信。移动设备5可由移动设备19用来卸载计算密集的处理任务(例如，呈现虚拟对象)，并将可被用来提供增强现实环境的虚拟对象信息和其他数据存储在移动设备19上。移动设备5还可向移动设备19提供与移动设备5相关联的运动和/或定向信息。在一个示例中，运动信息可包括与移动设备5相关联的速度或加速度，并且朝向信息可包括欧拉角，其提供围绕特定坐标系统或参照系的转动信息。在一些情况中，移动设备5可包括运动和朝向传感器，诸如惯性测量单元(IMU)，以便获得与移动设备5相关联的运动和/或朝向信息。

图2B描绘了HMD(诸如图1的移动设备19)的一部分的一个实施例。仅示出了HMD200的右侧。HMD200包括右镜腿202、鼻梁204、镜片216、以及眼镜框214。右镜腿202包括与处理单元236通信的捕捉设备213(例如，前向相机和/或话筒)。捕捉设备213可包括用于记录数字图像和/或视频的一个或多个相机，并可将视觉记录传送到处理单元236。一个或多个相机可捕捉色彩信息、IR信息、和/或深度信息。捕捉设备213还可包括用于记录声音的一个或多个话筒，并可将音频记录传送到处理单元236。

右镜腿202还包括生物测定传感器220、眼睛跟踪系统221、耳机230、运动和定向传感器238、GPS接收器232、电源239、以及无线接口237，所有这些都与处理单元236通信。生物测定传感器220可包括用于确定与HMD200的最终用户的脉搏或心率相关联的一个或多个电极，以及用于确定与HMD200的最终用户相关联的体温的温度传感器。在一个实施例中，生物测定传感器220包括压着最终用户太阳穴的脉搏速率测量传感器。运动和定向传感器238可以包括三轴磁力计、三轴陀螺仪、和/或三轴加速度计。在一个实施例中，运动和定向传感器238可包括惯性测量单元(IMU)。GPS接收器可确定与HMD200相关联的GPS位置。处理单元236可以包括一个或多个处理器和用于存储将要在所述一个或多个处理器上执行的计算机可读指令。存储器还可存储要在一个或多个处理器上执行的其它类型的数据。

在一个实施例中，眼睛跟踪系统221可包括面向内的相机。在另一实施例中，眼睛跟踪系统221可包括眼睛跟踪照明源和相关联的眼睛跟踪IR传感器。在一个实施例中，眼睛跟踪照明源可包括以大约预定IR波长或一定范围的波长发射的一个或多个红外(IR)发射器(诸如红外发光二极管(LED)或激光器(例如，VCSEL))。在一些实施例中，眼睛跟踪传感器可包括用于跟踪闪光位置的IR相机或IR位置敏感检测器(PSD)。关于眼睛跟踪系统的更多信息可在2008年7月22日授权的标题为“HeadMountedEyeTrackingandDisplaySystem(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920，以及2011年9月26日提交的标题为“IntegratedEyeTrackingandDisplaySystem(集成眼睛跟踪和显示系统)”的美国专利申请13/245,700中找到，这两份申请均藉由援引纳入于此。

在一个实施例中，镜片216可包括透视显示器，处理单元236生成的图像由此可被投影和/或显示在透视显示器上。捕捉设备213可被校准，使得捕捉设备213所捕捉的视野对应于HMD200的最终用户所看到的视野。耳机230可用于输出与虚拟对象的投影图像相关联的声音。在一些实施例中，HMD200可包括两个或更多个面向前方的相机(例如，每个镜腿上一个相机)，以便从与面向前方的相机所捕捉的视野相关联的立体信息中获得深度。两个或更多个面向前方的相机还可包括3D、IR、和/或RGB相机。也可从利用来自运动技术的深度的单个相机中获取深度信息。例如，可从单个相机获取两个图像，这两个图像与在不同的时间点的、两个不同的空间点相关联。然后，给定与两个不同空间点有关的位置信息的情况下，可执行视差计算。

在一些实施例中，HMD200可使用凝视检测元件和与一个或多个人类眼睛元素(诸如角膜中心、眼球旋转的中心、或瞳孔中心)有关的三维坐标系，来为最终用户眼睛中的每只眼睛执行凝视检测。凝视检测可被用来标识最终用户正在关注视野内的何处。凝视检测元件的示例可包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的传感器。在一些情况中，角膜中心可以基于两次闪光使用平面几何来确定。角膜中心链接瞳孔中心和眼球的旋转中心，这可被当作用于确定处于某种凝视或观看角度的最终用户的眼睛的光轴的固定位置。

图2C描绘了HMD2的一部分的一个实施例，其中延伸到凝视点的凝视向量用于对准远瞳距(IPD)。HMD2是移动设备的一个示例，诸如图1中的移动设备19。如所描绘的，凝视向量180l和180r在远离最终用户的凝视点处相交(即，当最终用户正在看遥远处的对象时，凝视向量180l和180r不相交)。基于Gullstrand示意眼模型示出了每只眼睛的眼球160l、160r的眼球模型。每只眼球被建模成具有旋转中心166的球体，并且包括被建模成具有中心164的球的角膜168。角膜168随着眼球旋转，并且眼球的旋转中心166可被当作固定点。角膜168覆盖虹膜170，瞳孔162处于虹膜170的中心。每个角膜的表面172上是闪光174和176。

如图2C所描绘的，传感器检测区域139(即分别是139l和139r)与眼镜架115内的每一显示光学系统14的光轴相对准。在一个示例中，与该检测区域相关联的传感器可包括能够捕捉表示分别由镜架115左侧的照明器153a和153b生成的闪光174l和176l的图像数据以及表示分别由镜架115右侧的照明器153c和153d生成的闪光174r和176r的数据的一个或多个相机。通过眼镜架115中的显示光学系统14l和14r，最终用户的视野包括现实对象190、192和194以及虚拟对象182和184。

从旋转中心166穿过角膜中心164到瞳孔162而形成的轴178包括眼睛的光轴。凝视向量180也被称为从中央凹穿过瞳孔中心162延伸的视线或视轴。在一些实施例中，光轴被确定，并且通过用户校准来确定小型校正以获得被选作凝视向量的视轴。对于每一最终用户，虚拟对象可被显示设备显示在不同的水平和垂直位置处的多个预先确定的位置中的每一位置处。在对象在每一位置处的显示期间可以计算每一眼睛的光轴，并且光线被建模成从该位置延伸到用户眼睛中。可以基于必须如何移动光轴以与所建模的光线相对准来确定与水平和垂直分量的凝视偏移角。从不同的位置处，与水平或垂直分量的平均注视偏移角可被选作要被应用于每一计算出的光轴的小型校正。在一些实施例中，仅水平分量被用于凝视偏移角校正。

如图2C所描绘的，由于当凝视向量180l和180r从眼球延伸到凝视点处的视野中时这些凝视向量变得更加靠近在一起，因此这些凝视向量不是完全平行的。在每一显示光学系统14处，注视向量180看起来与光轴相交，传感器检测区域139以这一交点为中心。在这一配置中，光轴与瞳距(IPD)对准。在最终用户看向正前方时，测得的IPD也被称为远IPD。

图2D描绘了HMD2的一部分的一个实施例，其中延伸到凝视点的凝视向量用于对准近瞳距(IPD)。HMD2是移动设备的一个示例，诸如图1中的移动设备19。如所描绘的，左眼的角膜168l向右侧或朝向最终用户的鼻子旋转，并且右眼的角膜168r向左侧或朝向最终用户的鼻子旋转。两个瞳孔正在凝视最终用户的特定距离内的现实对象194。始自每只眼睛的注视向量180l和180r进入现实对象194所处的Panum汇合区域195。Panum汇合区域是像人类视觉那样的双眼观察系统中的单视觉的区域。凝视向量180l和180r的相交指示最终用户正在看现实对象194。在这样的距离处，随着眼球向内旋转，它们瞳孔之间的距离减少到近IPD。近IPD通常比远IPD小约4毫米。近IPD距离准则(例如，在距最终用户小于四英尺处的凝视点)可用来将显示光学系统14的IPD对准切换或调整成近IPD的对准。对于近IPD，每一显示光学系统14可以朝向最终用户的鼻子移动，使得光轴以及检测区域139朝向鼻子移动几毫米，如检测区域139ln和139rn所表示的。

关于为HMD的最终用户确定IPD并由此调整显示光学系统的更多信息可在2011年9月30日提交、题为“PersonalAudio/VisualSystem(个人音频/视频系统)”中的美国专利申请号13/250,878中找到，该专利申请通过引用全部包含于此。

图2E描绘了HMD2的一部分的一个实施例，该HMD2具有包括凝视检测元件的可移动显示光学系统。表现为每只眼睛的透镜的事物表示每只眼睛的显示光学系统14(即14l和14r)。显示光学系统包括用于将虚拟内容与通过HMD的透镜看到的实际直接现实世界视图无缝地融合的透视透镜和光学元件(例如，反射镜、过滤器)。显示光学系统14具有一般处于透视透镜中心的光轴，其中光一般被校准来提供无失真视图。例如，在眼睛护理专业人员使一副普通眼镜适合于最终用户的脸部时，该眼睛通常是适合的，使得该眼镜在每一瞳孔与相应镜片的中心或光轴相对准的位置处落在最终用户的鼻子上，从而通常使得校准光到达最终用户的眼睛以得到清晰或无失真的视图。

如图2E所描绘的，至少一个传感器的检测区域139r、139l与其相应显示光学系统14r、14l的光轴相对准，使得检测区域139r、139l的中心捕捉沿着光轴的光。如果显示光学系统14与最终用户的瞳孔对准，则相应传感器134的每一检测区域139与最终用户的瞳孔相对准。检测区域139的反射光经由一个或多个光学元件被传送到相机的实际图像传感器134，在该实施例中传感器134由处于镜架115内部的虚线示出。

在一个实施例中，该至少一个传感器134可以是可见光相机(例如，RGB相机)。在一个示例中，光学元件或光引导元件包括是部分透射且部分反射的可见光反光镜。可见光相机提供最终用户的眼睛的瞳孔的图像数据，而IR光电探测器152捕捉作为频谱的IR部分中的反射的闪光。如果使用可见光相机，则虚拟图像的反射可以出现在该相机所捕捉的眼睛数据中。图像过滤技术可被用于按需移除虚拟图像反射。IR相机对眼睛上的虚拟图像反射是不敏感的。

在另一个实施例中，至少一个传感器134(即，134l和134r)是IR辐射可被定向到的IR相机或位置敏感检测器(PSD)。从眼睛反射的IR辐射可以来自照明器153、其他IR照明器(未示出)的入射辐射或者来自从眼睛反射的环境IR辐射。在一些情况中，传感器134可以是RGB和IR相机的组合，并且光引导元件可包括可见光反射或转向元件和IR辐射反射或转向元件。在一些情况中，相机134可被嵌入在系统14的镜片中。另外，可以应用图像过滤技术来将相机混合到用户视野中以减轻对用户的任何干扰。

如图2E所描绘的，有四组照明器153，照明器153与光电检测器152配对并被屏障154隔开以避免照明器153所生成的入射光与在光电检测器152处接收到的反射光之间的干扰。为了在附图中避免不必要的混乱，附图标记就被示出了代表性的一对。每一照明器可以是生成大约预定波长的窄光束的红外(IR)照明器。光电检测器中的每一个可被选择来捕捉大约该预定波长的光。红外还可以包括近红外。因为照明器或光电检测器可能存在波长漂移或者关于波长的微小范围是可接受的，所以照明器和光电检测器可以具有与要生成或检测的波长有关的容限范围。在传感器是IR相机或IR位置敏感检测器(PSD)的一些实施例中，光电检测器可包括附加数据捕捉设备并且也可被用来监视照明器的操作，例如波长漂移、波束宽度改变等。该光电检测器还用作为传感器134的可见光相机来提供闪光数据。

如图2E所描绘的，每一显示光学系统14以及它面向每一眼睛的凝视检测元件的安排(例如，相机134及其检测区域139、照明器153以及光电检测器152)位于可移动的内部镜架部分117l、117r上。在该示例中，显示调整机构包括具有附连到内部镜架部分117的传动轴205的一个或多个马达203，内部镜架部分117在由马达203驱动的传动轴205的引导和力量下在该镜架内从左向右滑动或反向滑动。在一些实施例中，一个马达203可以驱动两个内部镜架。

图2F描绘了HMD2的一部分的一个替换实施例，该HMD2具有包括凝视检测元件的可移动显示光学系统。如所描绘的，每个显示光学系统14被封装在分开的镜架部分115l、115r中。镜架部分中的每一个可由马达203分开地移动。关于具有可移动显示光学系统的HMD的更多信息可在2011年9月30日提交的、题为“PersonalAudio/VisualSystem(个人音频/视频系统)”的美国专利申请号13/250,878中找到，该专利申请通过引用全部包含于此。

图2G描绘了HMD2的一部分的侧视图的一个实施例，该HMD2包括镜架115的眼镜腿102。在镜架115的前方是可捕捉视频和静止图像的面向前向的摄像机113。在一些实施例中，面向前方的相机113可包括深度相机以及可见光或RGB相机。在一个示例中，该深度相机可包括IR照明器发射器和像处于可见图像传感器前方的热镜等热反射表面，该热反射表面使得可见光透过并将处于波长范围内或照明器所发射的预定波长周围的所反射的IR辐射定向到CCD或其他类型的深度传感器。可使用其它类型的可见光相机(例如，RGB相机或图像传感器)和深度相机。关于深度相机的更多信息可在2010年6月11日提交的美国专利申请12/813,675中找到，该申请的全部内容通过引用结合于此。来自相机的数据可被发送到控制电路136以供处理，以便通过图像分割和/或边缘检测技术来标识对象。

耳机130、惯性传感器132、GPS收发器144、以及温度传感器138处于镜腿102内部或安装在镜腿102上。在一个实施例中，惯性传感器132包括三轴磁力计、三轴陀螺仪、以及三轴加速度计。惯性传感器用于感测HMD2的位置、取向、和突然加速。还可从这些移动中确定头部位置。

在一些情况下，HMD2可包括可创建包括一个或多个虚拟对象的一个或多个图像的图像生成单元。在一些实施例中，微显示器可被用作图像生成单元。如所描绘的，微显示器部件173包括光处理元件和可变焦调整器135。光处理元件的一个示例是微显示器单元120。其他示例包括诸如透镜系统122的一个或多个透镜之类的一个或多个光学元件、以及诸如面124之类的一个或多个反射元件。透镜系统122可包括单透镜或多个透镜。

微显示器单元120安装在镜腿102上或处于镜腿102内部，它包括图像源并生成虚拟对象的图像。微显示器单元120在光学上与透镜系统122以及反射面124对准。光学对准可沿着光轴133或包括一个或多个光轴的光学路径133。微显示器单元120通过透镜系统122来投影虚拟对象的图像，这可将图像光定向到反射元件124。可变焦调整器135改变微显示器部件的光学路径中的一个或多个光处理元件之间的位移或微显示器部件中的元件的光功率(opticalpower)。透镜的光功率被定义成其焦距的倒数(即，1/焦距)，使得一个的改变将影响另一个。焦距的改变导致关注微显示器部件173所生成的图像的视野区域的改变。

在微显示器部件173作出位移改变的一个示例中，在电枢137内对位移改变进行引导，电枢137支承诸如透镜系统122和微显示器120之类的至少一个光处理元件。电枢137帮助在各元件的物理移动期间稳定沿光学路径133的对准，以达到所选位移或光功率。在一些示例中，调整期135可移动一个或多个光学元件，诸如电枢137内的透镜系统122中的透镜。在其他示例中，电枢可在围绕光处理元件(例如，微显示器120)的区域中具有槽或空间，使得它在该元件上滑动而不需移动光处理元件。电枢中的另一元件(诸如透镜系统122)被附连，使得系统122或内部的透镜随着移动电枢137而滑动或移动。位移范围通常是几毫米(mm)的量级。在一个示例中，范围是1-2毫米。在其他示例中，电枢137可以向透镜系统122提供对涉及除位移之外的其他物理参数的调整的焦点调整技术的支持。这样的参数的示例是偏振。

关于调整微显示器部件的焦距的更多信息可在2010年11月8日提交的、题为“AutomaticVariableVirtualFocusforAugmentedRealityDisplays(用于增强现实显示器的自动可变虚拟聚焦)”的美国专利申请号12/941,825中找到，该专利申请通过引用全部结合于此。

在一个实施例中，调整器135可以是诸如压电马达之类的致动器。也可使用用于执行器的其他技术，并且这样的技术的一些示例是由线圈和永久磁铁、磁致伸缩元件、以及电致伸缩元件形成的音圈。

若干不同的图像生成技术可用于实现微显示器120。在一个示例中，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明可由白光源或RGB源来向前点亮。数字光处理(DLP)、硅上液晶(LCOS)、以及来自Qualcomm有限公司的显示技术都是高效的反射技术的示例，因为大多数能量从已调制结构反射离开并且可用在本文描述的系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoP^TM引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束(例如，激光)发射到眼睛。

图2H描绘了HMD2的一部分的侧视图的一个实施例，其提供对微显示器部件的三维调整的支持。以上在图2G中示出的附图标记中的一些已被移除以避免附图中的混乱。在显示光学系统14在三个维度的任意维度中移动的一些实施例中，由反射面124表示的光学元件和微显示器部件173的其他元件也可被移动以维持虚拟图像的光到该显示光学系统的光路133。在该示例中，由马达框203所表示的一个或多个马达和传动轴205所构成的XYZ传输机构在控制电路136的控制之下控制微显示器部件173的各元件的移动。可被使用的马达的示例是压电马达。在所示出的示例中，一个马达被附连到电枢137并还移动可变焦点调整器135，并且另一代表性马达203控制反射元件124的移动。

图3描绘了包括捕捉设备20和计算环境12的计算系统10的一个实施例。在一些实施例中，捕捉设备20和计算环境12可以集成在单个移动计算设备中。该单个集成移动计算设备可包括移动设备，诸如图1中的移动设备19。在一些示例中，捕捉设备20和计算环境12可被集成在HMD中。在其它实施例中，捕捉设备20可与第一移动设备(诸如图2A中的移动设备19)集成，而计算环境12可与和第一移动设备通信的第二移动设备(诸如图2A中的移动设备5)集成。

在一个实施例中，捕捉设备20可以包括用于捕捉图像和视频的一个或多个图像传感器。图像传感器可以包括CCD图像传感器或CMOS图像传感器。在一些实施例中，捕捉设备20可包括IRCMOS图像传感器。捕捉设备20还可以包括深度相机(或深度传感相机)，该相机被配置成经由包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉带有包括深度图像的深度信息的视频，该深度图像可包括深度值。

捕捉设备20可包括图像相机组件32。在一个实施例中，图像相机组件32可以包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2D)像素区域，其中2D像素区域中的每个像素都可以表示深度值，诸如所捕捉的场景中的对象与图像相机组件32相距的距离，例如以厘米、毫米等为单位。

图像相机组件32可包括可用来对捕捉区域的深度图像进行捕捉的IR光组件34、三维(3D)相机36、以及RGB相机38。例如，在飞行时间分析中，捕捉设备20的IR光组件34可以将红外光发射到捕捉区域上，然后可以使用传感器，用例如3D相机36和/或RGB相机38来检测从捕捉区域中的一个或多个对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光，从而出射光脉冲和相应的入射光脉冲之间的时间可以被测量并被用于确定从捕捉设备20到捕捉区域中的一个或多个对象上的特定位置的物理距离。此外，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到与一个或多个对象相关联的特定位置的物理距离。

在另一示例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件34被投射到捕捉区域上。在撞击到捕捉区域中的一个或多个对象(或目标)的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机36和/或RGB相机38来捕捉并被分析以确定从捕捉设备到一个或多个对象上的特定位置的物理距离。捕捉设备20可包括用于产生准直光的光学器件。在一些实施例中，可使用激光投影仪来创建结构化光图案。光投影仪可包括激光器、激光二极管和/或LED。

在某些实施例中，可将两个或更多个不同的相机整合到一个集成捕捉设备中。例如，深度相机和视频相机(例如RGB视频相机)可以被整合到共同的捕捉设备中。在一些实施例中，可协同使用相同或不同类型的两个或更多个分开的捕捉设备。例如，可以使用深度相机和分开的摄像机，可以使用两个摄像机，可以使用两个深度相机，可以使用两个RGB相机，或者可以使用任何组合和数目的相机。在一个实施例中，捕捉设备20可包括可以从不同的角度观察捕捉区域的两个或更多个在物理上分开的相机，以获取可以被解析以生成深度信息的视觉立体数据。深度还可通过使用多个检测器(可以是单色、红外、RGB或任何其它类型的检测器)捕捉图像并执行视差计算来确定。也可使用其它类型的深度图像传感器来创建深度图像。

如图3所描绘的，捕捉设备20可以包括一个或多个话筒40。该一个或多个话筒40中的每一个都可以包括可以接收声音并将其转换成电信号的换能器或传感器。该一个或多个话筒可包括话筒阵列，其中一个或多个话筒可以按预定布局排列。

捕捉设备20可以包括可以与图像相机组件32可操作地通信的处理器42。处理器42可包括标准处理器、专用处理器、微处理器等。处理器42可以执行指令，指令可以包括用于存储过滤器或简档、接收和分析图像、确定是否已经发生特定情况的指令或任何其它合适的指令。应当理解，至少一些图像分析和/或目标分析和跟踪操作可以由一个或多个诸如捕捉设备20的捕捉设备内所包含的处理器来执行。

捕捉设备20可包括存储器44，该存储器可存储可由处理器42执行的指令、由3D相机或RGB相机捕捉的图像或图像帧、过滤器或简档、或任何其它合适的信息、图像等等。在一个示例中，存储器44可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其它合适的存储组件。如所描绘的，存储器44可以是与图像捕捉组件32和处理器42进行通信的分开的组件。在另一实施例中，存储器44可被集成到处理器42和/或图像捕捉组件32中。在其他实施例中，捕捉设备20的组件32、34、36、38、40、42和44中的部分或全部可被容纳在单个外壳中。

捕捉设备20可以经由通信链路46与计算环境12进行通信。通信链路46可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。计算环境12可以向捕捉设备20提供时钟，可以使用该时钟来通过通信链路46确定何时捕捉例如场景。在一个实施例中，捕捉设备20可将由例如3D相机36和/或RGB相机38捕捉的图像经由通信链路46提供给计算环境12。

如图3中所描绘的，计算环境12包括与应用196通信的图像和音频处理引擎194。应用196可包括操作系统应用或诸如游戏应用的其他计算应用。图像和音频处理引擎194包括虚拟数据引擎197、对象和姿势识别引擎190、结构数据198、处理单元191和存储器单元192，所有都彼此通信。图像和音频处理引擎194处理从捕捉设备20接收的视频、图像和音频数据。为了辅助对象的检测和/或跟踪，图像和音频处理引擎194可以利用结构数据198以及对象和姿势识别引擎190。虚拟数据引擎197处理虚拟对象，并记录与在存储器单元192中存储的真实世界环境的各种映射有关的虚拟对象的位置和定向。

处理单元191可以包括用于执行对象、面部和语音识别算法的一个或多个处理器。在一个实施例中，图像和音频处理引擎194可以将对象识别和面部识别技术应用于图像或视频数据。例如，对象识别可以用于检测特定对象(例如足球、汽车、人或陆标)，并且面部识别可以用于检测特定人的面部。图像和音频处理引擎194可以将音频和语音识别技术应用于音频数据。例如，音频识别可以用于检测特定声音。要检测的特定面部、语音、声音和对象可以存储在存储器单元192中所包含的一个或多个存储器中。处理单元191可执行存储在存储器单元192中的计算机可读指令以执行此处讨论的过程。

图像和音频处理引擎194可以在执行对象识别时利用结构数据198。结构数据198可以包括关于要跟踪的目标和/或对象的结构信息。例如，可以存储人类的骨架模型以帮助识别身体部位。在另一示例中，结构数据198可以包括关于一个或多个无生命对象的结构信息以便帮助识别所述一个或多个无生命对象。

图像和音频处理引擎194还可以在执行姿势识别时利用对象和姿势识别引擎190。在一个示例中，对象和姿势识别引擎190可以包括姿势过滤器的集合，每个姿势过滤器都包括关于骨架模型可执行的姿势的信息。对象和姿势识别引擎190可将由捕捉设备20所捕捉的数据(其形式为骨架模型以及与其相关联的移动)与姿势库中的姿势过滤器进行比较来标识用户(其由骨架模型来表示)何时执行了一个或多个姿势。在一个示例中，图像和音频处理引擎194可以使用对象和姿势识别引擎190来帮助解释骨架模型的移动以及检测特定姿势的执行。

在一些实施例中，可以用诸如IR回射标记之类的一个或多个标记来扩充所跟踪的一个或多个对象，以便改进对象检测和/或跟踪。也可以使用平面基准图像、已编码AR标记、QR码和/或条形码来改进对象检测和/或跟踪。一旦检测到一个或多个对象和/或姿势，图像和音频处理引擎194可以向应用196报告所检测的每个对象或姿势的标识以及相应的位置和/或定向(如果适用)。

关于检测和跟踪对象的更多信息可在2009年12月18日提交的题为“MotionDetectionUsingDepthImages(使用深度图像的运动检测)”的美国专利申请12/641,788，以及题为“DeviceforIdentifyingandTrackingMultipleHumansoverTime(用于随时间标识和跟踪多个人类的设备)”美国专利申请12/475,308中找到，这两个申请的全部内容通过引用结合于此。关于物体和姿势识别引擎190的更多信息可在2009年4月13日提交的题为“GestureRecognitionSystemArchitecture(姿势识别系统架构)”的美国专利申请12/422,661中找到，该申请的全部内容通过引用纳入于此。关于识别姿势的更多信息可在于2009年2月23日提交的题为“StandardGestures(标准姿势)”的美国专利申请12/391,150以及于2009年5月29日提交的题为“GestureTool(姿势工具)”的美国专利申请12/474,655中找到，这两个申请的全部内容都通过引用并入本申请。

图4A-4B描绘了其中可使用由人触发的全息提醒的各增强现实环境的各实施例。在一些实施例中，HMD可被用于生成并向该HMD的最终用户显示增强现实环境，其中如果特定人在该HMD的视野内或如果该特定人在该HMD的特定距离内则可显示与该特定人相关联的提醒。

图4A描绘了环境400的一个实施例，其中佩戴HMD29的第一最终用户(即“Joe”)查看增强现实环境，该增强现实环境包括与该第一最终用户和该环境400内佩戴第二HMD28的第二最终用户(即，“Tim”)两者相关联的提醒25。如图所示，提醒25包括与第一最终用户(“Joe”)相对应的、“与Tim谈论Sue的生日”的第一提醒以及与第二最终用户(“Tim”)相对应的、向Joe显示特定图片连同指向该图片(图像_123)的链接的第二提醒。在此情况下，Joe可查看Tim的提醒中与Joe相关联的一个提醒。佩戴第二HMD28的第二最终用户可查看包括提醒24的第二增强现实环境。如图所示，提醒24包括“记得付给Joe20美元”的第三提醒以及“向Joe显示图片(图像_123)”的第四提醒。从而，在HMD的增强现实环境内显示的提醒可与该HMD的最终用户以及具有与该最终用户相对应的提醒的其他人相关联。而且，HMD29和第二HMD28两者可在其各自的增强现实环境内显示相同提醒。

图4B描绘了环境400的一个实施例，其中佩戴HMD29的第一最终用户(即“Joe”)查看包括提醒27的增强现实环境，而佩戴第二HMD28的第二最终用户(即，“Tim”)查看包括提醒26的第二增强现实环境。如图所示，提醒27包括与具有对应于“高级程序员”的工作头衔的人谈论整合问题且具有相应工作头衔的人(即，“Tim”)已经被标识成在HMD29的一距离内的提醒。提醒26(如在HMD28上所显示的)包括“与Joe谈论规范更新”的提醒并且进一步包括相关提醒信息：Joe在附近(或者在Tim的临近区域内)并且Joe从明天开始将不在城里。从而，提醒可与作为个人或者作为属于特定组(例如，具有诸如程序员或管理员等特定工作头衔的组的成员)的特定人相对应。

图5是描述用于生成并显示由人触发的全息提醒的方法的一个实施例的流程图。在一个实施例中，图5的过程可由诸如图1中的移动设备19的移动设备来执行。

在步骤502，确定一个或多个提醒。该一个或多个提醒可基于输入到个人信息管理器、任务管理器、电子邮件应用、日历应用、社交联网应用、在线数据库应用、软件缺陷跟踪应用、问题跟踪应用和/或时间管理应用中或能从其访问的任务来确定。在一些情况下，该一个或多个提醒可以使用能从在线数据库(例如，社交联网数据库)访问的信息自动生成。例如，从与最终用户的朋友(或联系人)相关联的社交联网数据库或应用获取的生日信息可被用来自动生成生日提醒而无需最终用户的干预。所述一个或多个提醒中的每一提醒可与待完成的特定任务、与该特定任务相关联的一个或多个人、与该特定任务相关联的位置、提醒频率(例如，一特定提醒每两周发出一次)和/或该特定任务的完成时间相对应。与特定任务相关联的该一个或多个人可包括特定人，其中该特定人可被单独标识或被标识为属于特定组(例如，具有特定工作头衔的组的成员，诸如程序员或管理员)。

在一个实施例中，HMD的最终用户可使用膝上型计算机、台式计算机、移动电话或其他计算设备将一个或多个提醒输入个人信息管理应用。该HMD的最终用户还可使用语音命令和/或姿势将一个或多个提醒输入到该HMD上运行的个人信息管理应用中。例如，该HMD的最终用户可发出诸如“当我看到我父母时提醒我关于音乐会的事”等语音命令。在一个实施例中，该一个或多个提醒可包括与HMD的最终用户相对应的提醒，以及与环境内与该最终用户相关联的其他人相对应的其他提醒(例如，该最终用户的老板具有与该最终用户讨论项目的提醒)。用于确定一个或多个提醒的过程的一个实施例稍后参考图6A来描述。

在步骤504，确定要在环境内标识的一个或多个人。要在环境内标识的该一个或多个人可包括与特定提醒相关联的一个或多个人。在一个示例中，如果该特定提醒包括恭喜特定人受到了奖励，则要标识的该一个或多个人可包括该特定人。在一些情况下，可使用面部识别技术来标识要标识的该一个或多个人。

在步骤506，在该环境内检测该一个或多个人中的第二人。可使用面部识别技术和/或语音识别技术来检测该第二人。还可通过检测该环境内与该第二人相对应的第二移动设备来在该环境内检测该第二人。在一些实施例中，第二人可对应于用户标识符而在该环境内检测第二人包括确定该环境内与该用户标识符相关联的人。用于在环境内检测第二人的过程的一个实施例稍后参考图6B来描述。

在步骤508中，确定与该一个或多个提醒相关联的一个或多个提醒绝限。该一个或多个提醒绝限可包括要在其中完成特定任务的完成时间(或时间段)。在步骤510中，基于该环境、该环境内的第二人的检测、以及该一个或多个提醒绝限向该一个或多个提醒指派一个或多个得分。在一个实施例中，该环境的标识可被用来对该一个或多个提醒的子集进行加权。例如，当HMD的最终用户在工作环境内时，可赋予与工作环境相关联的提醒更重的权重(并因此带来更高的得分)。与该环境内的特定人(例如，该最终用户的配偶或管理者)相对应的提醒和/或在特定时间框架内的提醒绝限(例如，必须在接下来两天内完成)相对于其他提醒可被赋予更高的得分。

在步骤512中，基于该一个或多个得分来对该一个或多个提醒进行排序。在一个实施例中，从具有最高得分的提醒到具有最低得分的提醒按降序对该一个或多个提醒进行排序。在步骤514中，基于对该一个或多个提醒的排序来显示该一个或多个提醒的至少一子集。在一个实施例中，可使用HMD来显示该一个或多个提醒的该至少一子集。在另一实施例中，可使用平板计算设备或其他非HMD型计算设备来显示该一个或多个提醒的该至少一子集。

在步骤516中，确定该一个或多个提醒中与该第二人相关联的第二集合。在步骤518中，将该一个或多个提醒的该第二集合推送至与该第二人相关联的第二移动设备。在一个示例中，该一个或多个提醒的该第二集合可经由无线连接(例如WiFi连接)被传送至该第二移动设备。在一些实施例中，如果该第二人在HMD的视野内或者如果该第二人在该HMD的特定距离内(例如，在该HMD的100米内)，则该第二集合可被推送至该第二移动设备。

在步骤520中，自动检测该一个或多个提醒中的第一提醒的完成。在一些实施例中，提醒的完成可通过将(例如用于标识关键字、短语或名字的)语音识别技术应用于捕捉到的、在该最终用户和该特定人之间进行的对话的音频来自动检测。第一提醒的完成还可在该最终用户显式地选择用户界面按钮或者该最终用户发出语音命令(例如，该最终用户可以说“关于音乐会的提醒完成”)之际被检测到。一旦认为一提醒已完成，则可从该一个或多个提醒中移除该提醒。用于自动检测提醒的完成的过程的一个实施例稍后参考图6C来描述。

在一个实施例中，如果与该一个或多个提醒中的第一提醒相关联时间段已逝去或者与该第一提醒相关联的完成日期已过去则可自动移除该第一提醒。例如，如果第一提醒具有被指派到朋友的生日的完成日期，则可在该朋友的生日之后的那一天自动移除该第一提醒。

图6A是描述用于确定一个或多个提醒的过程的一个实施例的流程图。图6A中描述的过程是用于实现图5中步骤502的过程的一个示例。在一个实施例中，图6A的过程可由诸如图1中的移动设备19的移动设备来执行。

在步骤602中，确定与第一人标识符相关联的第一提醒集合。该第一人可与HMD的最终用户相对应且该第一人标识符可包括与该第一人相关联的字母数字用户标识符。在步骤604中，确定与该第一人标识符相关联的一个或多个联系人。该一个或多个联系人可对应于被输入到与该第一人相关联的个人信息管理应用、电子邮件或日历应用、和/或社交联网应用中的联系人。

在步骤606中，在环境内检测该一个或多个联系人中的第二联系人。在一个实施例中，可使用面部识别技术和/或语音识别技术来在该环境内检测该第二联系人。在另一实施例中，如果在该环境内检测到与该第二联系人相关联的第二移动设备则可在该环境内检测到该第二联系人。如果该第二移动设备在HMD的特定距离内(例如，使用与该第二移动设备和该HMD两者相对应的GPS位置信息来确定)，则可认为该第二移动设备在该环境内。

在步骤608中，获取与该第二联系人相对应的第二人标识符。该第二人标识符可包括与该第二联系人相关联的字母数字用户标识符。在一个实施例中，使用表查找来以该第二人标识符(或多于一个第二人用户标识符)来映射该第二联系人的标识相映射。

在步骤610中，获取与第二人标识符相关联的第二提醒集合。在一个实施例中，从与该第二联系人相关联的第二移动设备获取该第二提醒集合。在一些情况下，该第二移动设备可包括第二HMD。在步骤612中，输出第一提醒集合和第二提醒集合。

图6B是描述用于检测环境中的第二人的过程的一个实施例的流程图。图6B中描述的过程是用于实现图5中步骤506的过程的一个示例。在一个实施例中，图6B的过程可由诸如图1中的移动设备19的移动设备来执行。

在步骤622中，获取与特定人相关联的位置信息。该位置信息可包括与该特定人所使用的移动设备相关联的GPS坐标。该位置信息还可包括深度信息或该特定人距HMD的距离。在步骤624，获取环境的一个或多个图像。可使用捕捉设备(诸如图2B中的捕捉设备213)来捕捉该一个或多个图像。该一个或多个图像可包括彩色图像和/或深度图像。在步骤626中，基于该一个或多个图像和该位置信息来在该环境内标识该特定人。在一个实施例中，如果该特定人的位置在HMD的特定距离内(例如100米内)，则可向该一个或多个图像应用面部识别技术。在另一实施例中，针对与存储在HMD上的一个或多个提醒相关联的每个人，使用该一个或多个图像来执行面部识别。在步骤628中，输出该特定人的标识。在一个示例中，可输出与该特定人相关联的用户标识符。

图6C是描述用于自动检测提醒的完成的过程的一个实施例的流程图。图6C中描述的过程是用于实现图5中的步骤520的过程的一个示例。在一个实施例中，图6C的过程可由诸如图1中的移动设备19的移动设备来执行。

在步骤632中，获取环境的一个或多个图像。可使用捕捉设备(诸如图2B中的捕捉设备213)来捕捉该一个或多个图像。在步骤634中，捕捉与第二人相关联的音频信号。可使用捕捉设备(诸如图2B中的捕捉设备213)来捕捉该音频信号。在步骤636中，基于该音频信号来检测该第二人所说的特定短语。可使用音频信号处理技术和/或语音识别技术来检测该特定短语。

在步骤638中，基于该一个或多个图像来检测与该第二人的交互。在一个实施例中，该交互可包括第二人面向HMD的最终用户，第二人朝该HMD的最终用户讲话，和/或第二人与该HMD的最终用户握手。在步骤640中，基于检测到该交互和检测到特定短语来确定提醒已完成。在一个实施例中，该交互可包括第二人面向该HMD的最终用户并且说该特定短语。在一些情况下，该特定短语可包括项目代码名称和/或特定人的名称。

图7是描述用于生成并显示由人触发的全息提醒的方法的替换实施例的流程图。在一个实施例中，图7的过程可由诸如图1中的移动设备19的移动设备来执行。

在步骤702中，确定与使用第一移动设备的第一人相关联的第一提醒集合。该第一提醒集合可基于输入到与第一人相对应的个人信息管理器、任务管理器、电子邮件应用、日历应用、社交联网应用、和/或时间管理应用或能从其访问的任务来确定。该第一提醒集合还可基于输入到标记为第一人或以其他方式与第一人相关联的与工作相关的应用(诸如软件缺陷跟踪应用或问题跟踪应用)的任务来确定。在一些情况下，该第一提醒集合可以使用能从在线数据库(例如，社交联网数据库)访问的信息自动生成。例如，从与该第一人的朋友(或联系人)相关联的社交联网数据库或应用获取的生日信息可被用来自动生成生日提醒而无需该第一人的干预。该第一提醒集合可以与待完成的第一任务集合、与该待完成的第一任务集合中的每一任务相关联的一个或多个人、提醒频率(例如，一特定提醒每两周发出一次)和/或与待完成的第一任务集合中的每一任务相对应的完成时间(或绝限)。该一个或多个人可被单独标识或被标识为属于特定组(例如，具有特定工作头衔的组的成员，诸如程序员或管理员)。

在步骤704中，在该第一移动设备的视野内检测与该第一人不同的第二人。该第一移动设备可包括HMD。可通过向由该HMD所捕捉的图像应用对象识别和/或面部识别技术来在该第一移动设备的视野内检测到该第二人。在步骤706中，从与该第二人相关联的第二移动设备获取第二提醒集合。在一些情况下，该第二移动设备可包括与该第二人相关联的第二HMD。

在步骤708中，确定与该第一提醒集合相对应的第一提醒绝限集合。在步骤710中，确定与该第二提醒集合相对应的第二提醒绝限集合。提醒绝限可包括要在其中完成特定任务的完成时间(或时间段)。在步骤712中，基于检测到第二人、第一提醒绝限集合、以及第二提醒绝限集合来设置第一提醒集合和第二提醒集合的优先级。在一个实施例中，向该第一提醒集合和该第二提醒集合中的每个提醒指派一得分。在一些情况下，如果确定第二人在第一人的特定距离内或者在第一移动设备的特定距离内，则可仅向该第二提醒集合指派得分。在一个示例中，当该第二人更靠近该第一移动设备时，可赋予与该第二人相关联的提醒更重的权重(并因此带来更高的得分)。该第一提醒集合和该第二提醒集合的优先级设置可以基于该第一移动设备和该第二移动设备之间的距离，以及该第一提醒绝限集合和/或该第二提醒绝限集合是否在特定时间框架内(例如，必须在接下来两天内完成)。

在步骤714中，基于对该第一提醒集合和该第二提醒集合设置的优先级设置，显示该第一提醒集合的第一子集和该第二提醒集合的第二子集。在一个实施例中，可向使用该第一移动设备的该第一人显示与该第一人相关联的该第一子集和与该第二人相关联的该第二子集。该第一移动设备可包括HMD。在一些情况下，可向使用该第一移动设备的该第一人显示与该第二提醒集合相对应的一个或多个虚拟对象。在一个示例中，该一个或多个虚拟对象可提供该第二人想要与该第一人关于特定话题交谈的提醒信息。在另一示例中，该一个或多个虚拟对象可提供与任务相关的信息(例如，是否以及何时该第二人接下来将休假或者在其中该第一人和该第二人两者均将参与的下一会议)。该一个或多个虚拟对象还可提供指向要在该第一人和该第二人之间共享的内容(例如照片或图像)的链接。该一个或多个虚拟对象还可提供指向在线购物网站的链接以帮助完成特定任务(例如，为该第二人购买礼物)。

在步骤716中，自动检测该第一提醒集合中的第一提醒的完成。在一些实施例中，该第一提醒的完成可通过将(例如用于标识关键字、短语或名字的)语音识别技术应用于捕捉到的、在该第一人和该第二人之间进行的对话的音频来自动检测。该第一提醒的完成还可在该第一人显式地选择用户界面按钮或者该第一人发出语音命令(例如，该第一人可以说“关于音乐会的提醒完成”)之际被检测到。一旦认为该第一提醒已完成，则可从该第一提醒集合中移除该第一提醒。

在一些实施例中，提醒的完成可触发HMD提示该HMD的最终用户向与该提醒相关联的特定人发送跟进(followup)消息。例如，如果最终用户欠该特定人钱，则该HMD可询问该最终用户他们是否想要向该特定人发送声明“账单在邮件中”的消息。在一些情况下，待发送至该特定人的消息的格式或者消息类型(例如，电子邮件或文本消息)可取决于该特定人所使用的计算设备的类型(例如，另一HMD)。

在一些实施例中，HMD可从与不同于该HMD的最终用户的特定人相关联的第二移动设备获取与该特定人相关联的第二提醒集合，并且向最终用户提供增强现实环境，在该增强现实环境中，如果该特定人在该HMD的视野内或如果该特定人在该HMD的特定距离内，则可显示该第二提醒集合(或其子集)。在一些情况下，可向该最终用户显示与该第二提醒集合相对应的一个或多个虚拟对象。在一个示例中，该一个或多个虚拟对象可提供该特定人具有与该最终用户关于特定话题交谈的提醒的提醒信息。在另一示例中，该一个或多个虚拟对象可提供与任务相关的信息(例如，是否以及何时该特定人接下来将休假或者在其中该最终用户和该特定人均将参与的下一会议)。该一个或多个虚拟对象还可提供指向要在该最终用户和该特定人之间共享的内容(例如照片或图像)的链接。

所公开的技术的一个实施例包括确定与使用该移动设备的第一人相关联的第一提醒集合，检测该移动设备的视野内与该第一人不同的第二人，从与该第二人相关联的第二移动设备获取第二提醒集合，确定与第一提醒集合相对应的第一提醒绝限集合，基于该第二人的标识和该第一提醒绝限集合来设置该第一提醒集合和该第二提醒集合的优先级，以及基于该第一提醒集合和该第二提醒集合的优先级设置来显示该第一提醒集合的第一子集和该第二提醒集合的第二子集。

所公开的技术的一个实施例包括存储器、与存储器通信的一个或多个处理器，以及与一个或多个处理器通信的透视显示器。该存储器存储与使用该电子设备的第一人相关联的第一提醒集合。该一个或多个处理器检测该电子设备的视野内的第二人，获取与该第二人相关联的第二提醒集合，基于对该第二人的检测来设置该第一提醒集合和该第二提醒集合的优先级。该透视显示器显示该增强现实环境，该增强现实环境包括基于该第一提醒集合和该第二提醒集合的优先级设置与该第一提醒集合和该第二提醒集合的子集相对应的一个或多个虚拟对象。

所公开的技术的一个实施例包括确定与HMD的最终用户相关联的一个或多个提醒，确定该HMD的视野内与该最终用户不同的第二人的标识，基于该第二人的标识向该一个或多个提醒指派一个或多个得分，基于该一个或多个得分对该一个或多个提醒排序，以及使用该HMD在增强现实环境内显示一个或多个虚拟对象，该一个或多个虚拟对象基于该一个或多个提醒的排序与该一个或多个提醒的子集相对应。

图8是移动设备8300(诸如图1中的移动设备19)的一个实施例的框图。移动设备可以包括已经整合了无线接收机/发射机技术的膝上型计算机、袖珍计算机、移动电话、HMD、个人数字助理、以及手持式媒体设备。

移动设备8300包括一个或多个处理器8312以及存储器8310。存储器8310包括应用8330和非易失性存储8340。存储器8310可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。移动设备操作系统处理移动设备8300的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用8330可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、闹钟应用、以及其它应用。存储器8310中的非易失性存储组件8340可以包含诸如音乐、照片、联系人数据、日程安排数据、以及其它文件之类的数据。

一个或多个处理器8312与透视显示器8309进行通信。透视显示器8309可显示与现实世界环境相关联的一个或多个虚拟对象。所述一个或多个处理器8312还与下列各项通信：RF发射机/接收机8306，其又耦合到天线8302；红外发射机/接收机8308；全球定位服务(GPS)接收器8365；以及移动/定向传感器8314，其可以包括加速度计和/或磁力计。RF发射机/接收机8308可以通过诸如蓝牙或IEEE802.11标准之类的各种无线技术标准来实现无线通信。加速度计可能已经结合在移动设备中以实现诸如下列应用：智能用户界面应用，其让用户通过姿势输入命令；以及定向应用，其可以在移动设备被旋转时将显示自动地从竖向改变成横向。可以，例如，通过微机电系统(MEMS)来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械器件(微米尺寸)。可以感测加速度方向、以及定向、振动和震动。所述一个或多个处理器8312还与响铃器/振动器8316、用户界面小键盘/屏幕8318、扬声器8320、话筒8322、相机8324、光传感器8326和温度传感器8328进行通信。用户界面小键盘/屏幕可以包括触敏屏幕显示器。

所述一个或多个处理器8312控制无线信号的发射和接收。在发射模式期间，所述一个或多个处理器8312向RF发射机/接收机8306提供来自话筒8322的语音信号，或其它数据信号。发射机/接收机8306通过天线8302来发射信号。响铃器/振动器8316被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其它通知等信号。在接收模式期间，RF发射机/接收机8306通过天线8302接收来自远程站的语音信号或数据信号。所接收到的语音信号被提供给扬声器8320，而接收到的其它数据信号被适当地处理。

另外，可以使用物理连接器8388来将移动设备8300连接到诸如AC适配器或加电对接底座之类的外部电源，以便对电池8304进行再充电。物理连接器8388还可被用作到外部计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。

所公开的技术可用各种其它通用或专用计算系统环境或配置来操作。适合结合本技术中使用的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、包含上述系统或设备中的任一个的分布式计算环境等。

所揭示的技术可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言，如此处所述的软件和程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构和其它类型的结构。硬件或硬件和软件的组合可以替代在此描述的软件模块。

所揭示的技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。

出于本文档的目的，与所公开的技术相关联的每个过程可以持续地并由一个或多个计算设备来执行。该过程中的每个步骤都可由与在其他步骤中所使用的那些计算设备相同或不同的计算设备来执行，且每个步骤不必由单个计算设备来执行。

出于本文的目的，说明书中引述的“一实施例”、“一个实施例”、“某些实施例”或“另一实施例”用于描述不同的实施例并且不必然指的是同一实施例。

出于本文的目的，连接可以是直接连接或间接连接(例如，经由另一方)。

出于本文的目的，术语对象的“集合”指的是一个或多个对象的“集合”。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims

1.一种用于显示增强现实环境的电子设备，包括：

存储器，所述存储器存储与使用所述电子设备的第一人相关联的第一提醒集合；

与所述存储器通信的一个或多个处理器，所述一个或多个处理器检测所述电子设备的视野内的第二人，所述一个或多个处理器获取与所述第二人相关联的第二提醒集合，所述一个或多个处理器基于对所述第二人的检测来设置所述第一提醒集合和所述第二提醒集合的优先级；以及

与所述一个或多个处理器通信的透视显示器，所述透视显示器显示所述增强现实环境，所述增强现实环境包括基于所述第一提醒集合和所述第二提醒集合的优先级设置与所述第一提醒集合和所述第二提醒集合的子集相对应的一个或多个虚拟对象。

2.如权利要求1所述的电子设备，其特征在于：

所述一个或多个处理器确定所述第二人和所述电子设备之间的距离，所述一个或多个处理器基于所述第二人和所述电子设备之间的距离来设置所述第一提醒集合和所述第二提醒集合的优先级。

3.如权利要求1所述的电子设备，其特征在于：

所述一个或多个处理器确定与所述第一提醒集合相关联的第一提醒绝限集合以及与所述第二提醒集合相关联的第二提醒绝限集合，所述一个或多个处理器基于所述第一提醒绝限集合和所述第二提醒绝限集合来设置所述第一提醒集合和所述第二提醒集合的优先级。

4.如权利要求1-3中的任一项所述的电子设备，其特征在于：

所述一个或多个处理器确定所述第一提醒集合中与所述第二人相关联的子集，所述一个或多个处理器将所述子集推送至与所述第二人相关联的第二移动设备。

5.如权利要求1-4中的任一项所述的电子设备，其特征在于：

所述一个或多个处理器自动检测所述第一提醒集合中的第一提醒的完成。

6.如权利要求1-5中的任一项所述的电子设备，其特征在于：

所述一个或多个处理器通过标识所述第二人是与特定组相关联的组的成员来检测所述第二人。

7.一种用于生成和显示由人触发的全息提醒的方法，包括：

确定与HMD的最终用户相关联的一个或多个提醒；

确定所述HMD的视野内的不同于所述最终用户的第二人的标识；

基于所述第二人的标识向所述一个或多个提醒指派一个或多个得分；

基于所述一个或多个得分对所述一个或多个提醒排序；以及

使用所述HMD在增强现实环境内显示一个或多个虚拟对象，所述一个或多个虚拟对象基于所述一个或多个提醒的排序与所述一个或多个提醒的子集相对应。

8.如权利要求7所述的方法，其特征在于，进一步包括：

确定所述第二人和所述HMD之间的距离，所述指派一个或多个得分包括基于所述第二人的标识和所述第二人和所述HMD之间的距离来向所述一个或多个提醒指派一个或多个得分。

9.如权利要求7-8中任一项所述的方法，其特征在于，还包括：

确定与所述一个或多个提醒相关联的一个或多个提醒绝限，所述指派一个或多个得分包括基于所述一个或多个提醒绝限和所述第二人的标识来向所述一个或多个提醒指派一个或多个得分。

10.如权利要求7-9中任一项所述的方法，其特征在于，还包括：

确定所述一个或多个提醒中与所述第二人相关联的第二集合；

将所述第二集合推送至与所述第二人相关联的第二移动设备。