CN105393191A - 自适应事件识别 - Google Patents

自适应事件识别 Download PDF

Info

Publication number
CN105393191A
CN105393191A CN201480036651.4A CN201480036651A CN105393191A CN 105393191 A CN105393191 A CN 105393191A CN 201480036651 A CN201480036651 A CN 201480036651A CN 105393191 A CN105393191 A CN 105393191A
Authority
CN
China
Prior art keywords
event
sensor
user
adaptive
relevant information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480036651.4A
Other languages
English (en)
Other versions
CN105393191B (zh
Inventor
N·阿克曼
M·J·菲诺齐奥
A·B·霍奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105393191A publication Critical patent/CN105393191A/zh
Application granted granted Critical
Publication of CN105393191B publication Critical patent/CN105393191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3259—Power saving in cursor control device, e.g. mouse, joystick, trackball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/05—Digital input using the sampling of an analogue quantity at regular intervals of time, input from a/d converter or output to d/a converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

提供了一种用于自适应事件识别的系统和相关方法。在一个示例中，以对应于较高可能等待时间的第一轮询率来操作头戴式显示设备的所选传感器。初始用户相关信息被接收。在初始用户相关信息匹配预事件的情况下，按照比第一轮询率快并且对应于较低可能等待时间的第二轮询率来操作所选传感器。后续用户相关信息被接收。在后续用户相关信息匹配所选目标事件的情况下，经由头戴式显示设备向用户提供与所选目标事件相关联的反馈。

Description

自适应事件识别
背景
在用户界面系统中，使用户输入以及系统对该输入的响应之间的用户经历的等待时间最小化会创建更自然且愉快的用户体验。例如在扩增现实系统中，降低此类等待时间提供了更高质量且更具真实性的扩增现实体验。在一些扩增现实系统中，一个或多个传感器可接收触发系统响应的用户输入。为了监视以获得此类用户输入，系统可周期性地轮询传感器以获得输入。对应于轮询频率的采样等待时间可以是用户感知到的等待时间的很大的一个来源。
另外并且关于便携式以及其他电池供电设备，节约功率使用和对应的电池寿命也可能是考量因素。尽管在所有时间利用较高的传感器采样率可降低采样等待时间，但这也不合乎需要地消耗了更多功率并且降低了电池寿命。另一方面，尽管利用低采样率可降低功率使用并且增加电池寿命，则此类低采样率也增加了等待时间。
概述
本文公开了涉及用于识别所选目标事件的系统和方法的各实施例。例如，一个公开的实施例提供了一种方法，包括在包括多个传感器的显示设备中以对应于较高可能等待时间的第一轮询率来操作所选传感器。从所选传感器接收初始用户相关信息。该方法包括确定该初始用户相关信息是否匹配多个预事件之一，其中每一个预事件对应于一个或多个不同的预事件模式，并且每一个模式导致不同的可能目标事件。
在初始用户相关信息匹配多个预事件之一的情况下，该方法包括以快于第一轮询率且对应于低于该较高可能等待时间的较低可能等待时间的第二轮询率来操作所选传感器。从所选传感器接收后续用户相关信息。在后续用户相关信息匹配来自不同的可能目标事件之中的所选目标事件的情况下，与所选目标事件相关联的反馈经由显示设备被提供给用户。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
附图简述
图1是根据本公开的一实施例的自适应事件识别系统的示意图。
图2示出根据本公开的一实施例的示例头戴式显示设备。
图3是导致所选目标事件的头部移动形式的预事件的示意性图示。
图4是根据本公开的一实施例的图3的正被检测的预事件以及正被控制的传感器轮询率的示意性图示。
图5是导致不同的可能目标事件的多个预事件模式的示意性图示。
图6A和6B是根据本公开的一实施例的用于识别所选目标事件的方法的流程图。
图7是计算设备的一实施例的简化示意性图示。
详细描述
图1示出了自适应事件识别系统10的一个实施例的示意图。自适应事件识别系统10包括可被存储在计算设备22的大容量存储18中的自适应事件识别程序14。自适应事件识别程序14可被加载到存储器26中并由计算设备22的处理器30执行以执行下文更为详细地描述的方法和过程中的一个或多个。计算设备22还可包括用于对计算设备的各组件供电的电源32，如电池。
自适应事件识别系统10包括混合现实显示程序34，该混合现实显示程序34可生成用于经由显示设备(诸如头戴式显示器(HMD)设备42)显示的虚拟环境38以创建混合现实环境44。混合现实环境包括显示在物理环境48中的虚拟环境38。如下文更详细地描述的，用户相关信息52可以经由HMD设备42从物理环境48接收。
计算设备22可采用以下形式：台式计算设备，诸如智能电话、膝上型计算机、笔记本或平板计算机之类的移动计算设备，网络计算机，家庭娱乐计算机，交互式电视，游戏系统，或其他合适类型的计算设备。关于计算设备22的组件和计算方面的附加细节在下文中参考图7更详细地描述。
计算设备22可使用有线连接来与HMD设备42在操作上连接，或可采用经由WiFi、蓝牙或任何其他合适的无线通信协议的无线连接。例如，计算设备22可通信地耦合到网络16。网络16可采取局域网(LAN)、广域网(WAN)、有线网络、无线网络、个域网、或其组合的形式，并且可包括因特网。
计算设备22也可经由网络16与一个或多个其他计算设备通信。另外，图1中示出的示例将计算设备22示为与HMD设备42分开的组件。将理解，在其他示例中，计算设备22可被集成到HMD设备42中。
现在还参考图2，提供了一副具有透明显示器54的可配戴眼镜形式的HMD设备200的示例。将明白，在其他示例中，HMD设备200可以采取其他合适的形式，其中透明、半透明或不透明显示器被支撑在查看者的一只或两只眼睛前方。还将明白，图1中所示的HMD设备42可以采取HMD设备200的形式(如在下文更详细地描述的)或任何其他合适的HMD设备。另外，在本公开的范围内还可使用具有各种形状因子的许多其他类型和配置的显示设备。此类显示设备可包括手持式智能电话、平板计算机以及其他适当的显示设备。
参考图1和2，HMD设备42包括显示系统56和使图像(诸如全息对象)能够被递送到用户46的眼睛的透明显示器54。透明显示器54可被配置成向透过该透明显示器查看物理环境的用户46在视觉上增强该物理环境48的外观。例如，物理环境48的外观可以由经由透明显示器54呈现的图形内容(例如，一个或多个像素，每一像素具有相应色彩和亮度)来增强以创建混合现实环境。
透明显示器54还可被配置成使用户能够透过显示虚拟对象表示的一个或多个部分透明的像素来查看物理环境48中的物理现实世界对象。如图2所示，在一个示例中，透明显示器54可包括位于透镜204内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器54可包括在透镜204边缘上的光调制器。在这一示例中，透镜204可以担当光导以供将光从光调制器递送到用户的眼睛。这样的光导可使得用户能够感知位于物理环境48内的用户正在查看的3D全息图像，同时还允许用户查看物理环境中的物理对象，由此创建混合现实环境44。
HMD设备42还可包括各种传感器和相关系统。例如，HMD设备42可包括利用至少一个面向内的传感器208的眼睛跟踪系统60。该面向内的传感器208可以是被配置成从用户的眼睛获取眼睛跟踪数据形式的图像数据的图像传感器。假定用户已同意获取和使用这一信息，眼睛跟踪系统60可以使用这一信息来跟踪用户的眼睛的位置和/或运动。
在一个示例中，眼睛跟踪系统60包括被配置成检测用户的每一个眼睛的注视方向的注视检测子系统。该注视检测子系统可被配置成以任何合适方式确定每一只用户眼睛的注视方向。例如，注视检测子系统可包括诸如红外光源等被配置成使得从用户的每一只眼睛反射闪光的一个或多个光源。一个或多个图像传感器然后可被配置成捕捉用户眼睛的图像。在一些示例中，眼睛跟踪系统60也可被用作用于提供用户相关信息52的用户输入设备，以使得用户可以经由用户眼睛的移动来与HMD设备42交互。
HMD设备42还可包括从物理环境48接收物理环境数据(诸如用户相关信息52)的传感器系统。例如，HMD设备42可包括利用至少一个面向外的传感器212(如光学传感器)来捕捉来自物理环境48的图像数据的光学传感器系统62。面向外的传感器212可以检测其视野内的运动，如视野内的用户46或人或物理对象所执行的基于姿势的输入或其他运动。面向外的传感器212还可从物理环境48和该环境内的物理对象捕捉二维图像信息和深度信息。例如，面向外的传感器212可包括深度相机、可见光相机、红外光相机，和/或位置跟踪相机。
HMD设备42可包括经由一个或多个深度相机的深度感测。在一个示例中，每一深度相机可包括立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生深度分辨的视频。
在其他示例中，结构化光深度相机可被配置成投影结构化红外照明并对从照明被投影到其之上的场景中反射的该照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图。在其他示例中，深度相机可以采取飞行时间深度相机的形式，其被配置成将脉冲的红外照明投影到该场景上以及检测从该场景反射的照明。可以理解，在本发明的范围内可使用任意其他合适的深度相机。
面向外的传感器212可以捕捉用户46位于其中的物理环境48的图像。在一个示例中，混合现实显示程序34可包括使用这样的输入来生成对围绕该用户46的物理环境48进行建模的虚拟环境38的3D建模系统。
HMD设备42还可包括位置传感器系统66，该位置传感器系统66利用一个或多个运动传感器220来捕捉位置数据，并由此实现对HMD设备的运动检测、位置跟踪和/或取向感测。例如，位置传感器系统66可被用来确定用户的头部的方向、速度和/或加速度。位置传感器系统66还可被用来确定用户的头部的头部姿态取向。在一个示例中，位置传感器系统66可包括配置成六轴或六自由度的位置传感器系统的惯性测量单元。这一示例位置传感器系统可以例如包括用于指示或测量HMD设备42在三维空间内沿三个正交轴(例如，x、y、z)的位置变化以及该HMD设备绕三个正交轴(例如，翻滚、俯仰、偏航)的取向变化的三个加速度计和三个陀螺仪。
位置传感器系统66还可以支持其他合适的定位技术，如GPS或其他全球导航系统。而且，尽管描述了位置传感器系统的具体示例，但将明白，可以使用其他合适的位置传感器系统。在一些示例中，运动传感器220还可以被用作用于提供用户相关信息52的用户输入设备，使得用户可以经由颈部和头部或者甚至身体的姿势来与HMD设备42交互。
HMD设备42还可包括利用一个或多个生物测定传感器232来捕捉用户生物测定数据的生物测定传感器系统70。例如，生物测定传感器系统70可被用于测量或确定用户生物测定数据，包括例如心律、瞳孔响应、血红蛋白饱和度、皮肤电导率、呼吸、排汗以及脑电波活动。
HMD设备42还可包括话筒系统72，该话筒系统72包括捕捉音频数据的一个或多个话筒224。在其他示例中，音频可经由HMD设备42上的一个或多个扬声器228被呈现给用户。第一HMD设备42还可包括向HMD设备的各组件供电的电池74或其他合适的便携式电源。
HMD设备42还可包括具有与HMD设备的各传感器和系统通信的逻辑子系统和存储子系统的处理器236，如在下文参考图7更详细地讨论的。在一个示例中，存储子系统可包括可由逻辑子系统执行的指令，用以接收来自传感器的信号输入并将此类输入转发到计算设备22(以未经处理或经处理的形式)并且经由透明显示器54向用户呈现图像。
要领会，HMD设备42和相关的传感器以及上面描述的并在图1和2中解说的其他组件是作为示例来提供的。这些示例不旨在以任何方式进行限制，因为任何其他合适的传感器、组件，和/或传感器和组件的组合可被使用。因此，将理解，HMD设备42可以包括未偏离本公开文本范畴的附加和/或替代的传感器、相机、话筒、输入设备、输出设备等。此外，HMD设备42的物理配置及其各种传感器和子组件可以采取不偏离本公开文本范畴的各种不同形式。
同样并且如下更详细地讨论的，将领会，各种传感器系统和相关组件可以按照各种轮询率或频率来操作以监视寻找由用户46提供的用户相关信息52。如下文更详细地描述的，一个或多个传感器的轮询率可响应于确定用户相关信息52是否匹配预事件而被控制。
现在参考图3-5，现在将提供对自适应事件识别系统10的示例用例和实施例的描述。在以下的示例中，头部移动和对应姿势形式的用户相关信息52由光学传感器系统62接收。将领会，在其他示例中，许多其他形式的用户相关信息52可被自适应事件识别系统10接收和利用来控制传感器操作，如下更详细地描述的。这些其他形式的用户相关信息52包括但不限于，其他用户移动数据、眼睛跟踪数据、位置数据、生物测定数据和音频数据。
图3是导致所选目标事件的包括目标姿势的头部移动形式的预事件的示意性图示。在图3所示的示例中，HMD设备42的光学传感器系统62中的一个或多个光学传感器可以捕捉执行手部姿势的用户的手304的图像数据。在这一示例中，食指308和拇指312作出捏合姿势，其中用户以食指和拇指形成开放的、大致呈U型姿态316而开始。用户从这一姿态316收紧食指308和拇指312之间的缝隙直到食指和拇指相遇以作出捏合姿态330。
在一个示例中并且如下文更详细地描述的，在检测到用户通过将食指308和拇指312并拢到一起成为捏合姿态330而完成捏合姿势之际，自适应事件识别系统10可以经由HMD设备42向用户46提供反馈78。反馈78可包括例如对经由HMD设备42正在运行的程序的命令的执行。例如，图3中解说的捏合姿势可被摄影应用用来捕捉物理环境48的照片。在这一示例中，反馈78还可包括向用户指示照片已经被捕捉的指示，诸如经由HMD设备42提供快门释放声音、闪光灯图标等。
在其他示例中，反馈78可包括用户输入上下文中使用的任何其他命令，诸如选择、复制或粘贴经由HMD设备42向用户显示的元素。在其他示例中，该命令可控制HMD设备42或其他电子设备的操作方面。将领会，以上示例仅仅是解说性的，并且反馈78可包括与所选目标事件(诸如目标姿势)相关联并且被提供给用户的任何命令、动作、通知或其他事件。
如上所述，为了提供真实且可信的用户体验，用户输入(诸如目标姿势)与相关联的反馈之间的任何等待时间被合乎需要地最小化。然而，最小化等待时间可包括以高轮询率来连续操作传感器，这使用更多功率、施加更大的计算负担以及相应地降低电池寿命。有利地并且如下文更详细地描述的，自适应事件识别系统10可以降低等待时间同时还最小化功率使用和计算负担，从而实现增强的电池寿命。
还参考图4和5，在一个示例中，自适应事件识别程序14可被配置成接收用户相关信息52，该用户相关信息52包括来自光学传感器系统62的图像数据，该图像数据示出各种姿态的用户的手304，包括图3中所示的姿态。如图3和4中所示，从对应于一时间点的起始状态402，自适应事件识别程序14可被配置成以对应于最高潜在等待时间的默认轮询率来操作来自光学传感器系统62的所选传感器。默认轮询率可以例如是0.5Hz、1.0Hz、5.0Hz、或任何其他合适的频率。此类默认轮询率也可对应于所选传感器的最低功耗状态。
以默认轮询率操作的所选传感器可接收用户相关信息52，诸如用户的手304的图像数据，并且将此类信息提供给自适应事件识别程序14。自适应事件识别程序14接着可确定此类信息是否匹配多个预事件(PE)之一。现在参考图5所示的示例，从起始状态402，自适应事件识别程序14可确定用户相关信息52是否匹配PE506、PE510、PE514或PE518。如图5所示，预事件PE506、PE510、PE514和PE518中的每一者对应于一个或多个不同的预事件模式，并且这些模式中的每一者导致不同的可能目标事件(TE)。例如，PE510对应于分别导致3个不同的目标事件TE534、TE538和TE542的3个不同模式，在522、526和530处指示。
将领会，对于被检测到的每一个后续预事件，可能的目标事件的数目被减少。另外，用户正在执行特定的可能目标事件的过程中的概率增加。相应地并且如下文更详细地描述的，当每一预事件被检测到并且给定模式中的当前位置前进地更靠近目标事件时，所选传感器的轮询率可被增加以降低等待时间。此外，直到检测到后续预事件，所选传感器的轮询率可保持在相对较低的速率从而节约功率并增强电池寿命。
在一个示例中并且还参考图3，自适应事件识别程序14可接收用户的手304作出大致为U型的姿态316的图像数据。自适应事件识别程序14可确定大致为U型的姿态316匹配图5中的PE510。PE510是模式522、526和530的成员。
相应地，自适应事件识别程序14可以前进到检测1状态406，其中所选传感器的轮询率被增加以按照与起始状态402的默认轮询率相比更快的更快F1轮询率来操作。例如，在默认轮询率为1.0Hz的情况下，更快的F1轮询率可以是10Hz。检测1状态406的经增加的更快的F1轮询率也对应于与起始状态402的功率使用相比所选传感器的增加的功率使用，如更高的P1所指示的。检测1状态406的更快的F1轮询率也对应于与起始状态402的最高可能等待时间相比更少的经降低的可能等待时间，如降低的L1所指示的。
出于本公开的目的，以给定轮询率操作的传感器的可能等待时间被定义为事件(诸如预事件或目标事件)的发生与传感器检测到该事件发生之间的最大可能时间段。例如，在传感器轮询率为1Hz的情况下，与这一轮询率相关联的可能等待时间可以为近似0.99秒。换言之，近似0.99秒将是事件(诸如预事件或目标事件)的发生与传感器检测到该事件发生之间的最大可能流逝时间。相应地，增加传感器的轮询率相应地降低了该传感器的可能等待时间。还将领会，在一些示例中，事件的发生与传感器检测到该事件发生之间的实际等待时间将小于该传感器操作的可能等待时间。
从检测1状态406，自适应事件识别程序14可接收用户的手304作出经修改的U型姿态320的图像数据，其中食指308和拇指312比先前姿态316中靠的更近。自适应事件识别程序14可确定经修改的U型姿态320匹配图5中的PE550。PE550是模式522和526的成员。因而，可能的目标事件已经被缩减为TE534和TE538。
相应地，自适应事件识别程序14可以前进到检测2状态410，其中所选传感器的轮询率被增加以按照与检测1状态406的更快的F1轮询率相比更快的更快的F2轮询率来操作。例如，在更快的F1轮询率是10Hz的情况下，更快的F2轮询率可以是60Hz。检测2状态410的经增加的更快的F2轮询率也对应于与检测1状态406的较高的P1功率使用相比所选传感器的增加的功率使用，如更高的P2所指示的。检测2状态410的更快的F2轮询率也对应于与检测1状态406的经降低的L1可能等待时间相比进一步降低的可能等待时间，如降低的L2所指示的。
从检测2状态410，自适应事件识别程序14可以接收用户的手304作出接近捏合姿态324的图像数据，其中食指308和拇指312分开达与经修改的U型姿态320相比更小的距离，诸如近似2mm。自适应事件识别程序14可确定接近捏合姿态324匹配图5中的PE554。PE554是模式522的成员。因而，可能的目标事件现在已经被缩减为单个目标事件，TE534。
相应地，自适应事件识别程序14可以前进到检测3状态414，其中所选传感器的轮询率被增加以按照与检测2状态410的更快的F2轮询率相比更快的更快F3轮询率来操作。例如，在更快的F2轮询率是60Hz的情况下，更快的F3轮询率可以是120Hz。检测3状态414的经增加的更快的F3轮询率也对应于与检测2状态410的较高的P2功率使用相比所选传感器的增加的功率使用，如更高的P3所指示的。检测3状态414的更快的F3轮询率也对应于与检测2状态410的经降低的L2可能等待时间相比进一步降低的可能等待时间，如降低的L3所指示的。
从检测3状态414，自适应事件识别程序14可以接收用户的手304作出捏合姿态330的图像数据，其中食指308和拇指312接触，如由目标事件534已发生状态418所指示的。自适应事件识别程序14可确定捏合姿态330匹配图5中的所选目标事件TE554。自适应事件识别程序14接着可以经由HMD设备42向用户提供与所选目标事件TE534相关联的反馈。
参考图4和5，在一些示例中，自适应事件识别程序14可被配置成在预定时间框内未接收到对应于一预事件的用户相关信息52的情况下降低所选传感器的轮询率。例如，当检测1状态被发起时，自适应事件识别程序14可启动一计时器。如果未在预定时间框内接收到对应于下一个可能预事件PE550和PE552之一的用户相关信息52，则自适应事件识别程序14可以使超时条件生效并且恢复到对应于较慢的默认轮询率和最低功率使用的起始状态402。
类似的超时条件可被用于检测2和/或检测3状态。有利的是，以此方式，当接收下一个可能预事件的概率落在低于对应于预定时间框的预定阈值以下时，可以降低功耗。在一个示例中，超时条件的预定时间框对于检测1状态可以为3秒、对于检测2状态可以为2秒，而对于检测3状态可以为1.0秒。将领会，任何合适的预定时间框和预定概率阈值可被利用。
有利的是，通过将传感器轮询率维持在较低速率直到检测到预事件，自适应事件识别系统10最小化传感器的功率使用以及传感器信号的带宽消耗。例如，通过等待以直到检测到PE554才按照最高的更快的F3轮询来操作传感器，最高的较高的P3功率使用状态可被避免，直到所选目标事件发生概率超过预定阈值。
另外，当检测到附加预事件时，自适应事件识别系统10顺序地增加所选传感器的轮询率。以此方式并且如图3所解说的，预事件的发生与预事件的检测之间对应的可能等待时间被顺序地降低。此外，通过在检测到PE554之际以最高的更快的F3轮询率来操作传感器，自适应事件识别系统10还最小化了所选目标事件TE534的发生与检测到该事件之间的可能等待时间。
在另一示例中，在检测到所选目标事件534之前，自适应事件识别程序14可以预取得与一个或多个目标事件相关联的反馈78的至少一部分。例如，在对应于图5中的PE550的检测2状态410处，分别存在两个可能的模式522和536以及剩余两个可能的目标事件TE534和TE538。在这一示例中，在检测2状态410，自适应事件识别程序14可以预取得与TE534和TE538两者相关联的反馈78的一部分。在一个示例中，与TE534和TE538两者相关联的反馈78的50％可以被预取得。将领会，反馈的任何合适的部分可以被预取得。在一些示例中，反馈的100％可被预取得。
例如，在TE534对应于相机应用的快门释放命令的情况下，自适应事件识别程序14可以预取得与该命令相关联的数据的50％以及将经由HMD设备42提供给用户以指示图像已经被捕捉的图像数据的50％。类似地，在TE538对应于相机应用的缩放命令的情况下，自适应事件识别程序14可以预取得与该缩放命令相关联的数据的50％以及将经由HMD设备42提供给用户以指示相机正在缩放的图像数据的50％。
在其他示例中，自适应事件识别程序14可以在时间上沿时间线302在一个或多个目标事件之前的其他时间点预取得与一个或多个目标事件相关联的反馈78的至少一部分。例如，自适应事件识别程序14可以在对应于图5中的PE554的检测3状态414或者在对应于图5中的PE510的检测1状态406预取得反馈的至少一部分。
在另一示例中，在用户相关信息52匹配不是所选目标事件的预测预事件的情况下，自适应事件识别程序14可被配置成确定所选目标事件将发生的估计执行时间。例如，从检测2状态410，自适应时间识别程序14可以接收匹配PE554的用户相关信息52。PE554可以是对应于目标事件TE534将在稍后发生的预定概率的预测预事件。
参考图3，在将用户相关信息52与预测预事件PE554相匹配之后，自适应事件识别程序14可以确定目标事件534将发生的目标事件534估计执行时间。在一个示例中，目标事件534估计执行时间可以通过访问PE554的检测与目标事件534的发生之间的预定估计时间间隙(在图3中在340处解说)来确定。如图3所示，通过将估计时间间隙340添加到预事件554被检测到的实际时间，目标事件534估计执行时间可被确定。
使用目标事件534估计执行时间，自适应时间识别程序14可以在目标事件534估计执行时间或者在目标事件534估计执行时间之前向用户提供与所选目标事件相关联的反馈78。在一个示例中，反馈78可以在紧密对应于目标事件TE534发生的实际时间的目标事件534估计执行时间被提供。有利的是，以此方式，用户可经历实际上为零或者可能可忽略的感知到的等待时间。
在另一示例中，反馈78可以在目标事件534估计执行时间之前的一预定时间段被提供。有利的是，在这一示例中，用户可经历负的感知到的等待时间，其中反馈78在目标事件TE534被完成之前被用户感知到。在一些示例中，这可以向用户提供与HMD设备42和自适应事件识别系统10的提升的实时交互体验。在一些示例中，在目标事件534估计执行时间之前提供反馈78也可被用于使处理和/或可以与经由HMD设备42向用户提供反馈相关联的其他系统延迟和等待时间偏移。以此方式，与反馈78相关联的被用户感知到的等待时间可被最小化。
在上述示例中，将领会，任何合适的传感器轮询率和增加的轮询率的时间进度可被利用。类似地，任何合适的姿态、姿势、或其他手部移动可被指派为预事件和目标事件。
如上所述，还将领会，各种其他传感器系统可检测各种其他形式的用户相关信息52，并且HMD设备42可以将此类信息提供给自适应事件识别程序14。此类信息可以与其他预事件、模式、以及与该信息有关的相关联目标事件相关。
还将领会，图5的预事件和模式可以根据经验通过实验室研究、用户研究、或任何其他合适的方法来确定。预事件的发生与目标事件的执行之间的估计时间间隙可以类似地通过实验室研究、用户研究、或任何其他合适的方法来确定。在所选目标事件被预测的情况下，所选目标事件在倒数第二个预事件之后发生的阈值概率可被用于降低预测误差的发生。在一些示例中，预事件、目标事件、模式、以及估计时间间隙可被存储在计算设备22的大容量存储18或经由网络16访问的远程源处。
图6A和6B是根据本公开的一实施例的用于识别所选目标事件的方法600的流程图。参考以上描述并在图1和2中示出的自适应事件识别系统10的软件和硬件组件来提供方法600的以下描述。可以理解，方法600还可在使用其他合适的硬件和软件组件的其他上下文中来执行。
参考图6A，在604，方法600包括在包括多个传感器的显示设备中以对应于较高可能等待时间的第一轮询率来操作多个传感器中的所选传感器。在608，多个输入传感器可以从图像传感器、位置传感器、话筒、眼睛跟踪传感器、以及生物测定传感器中选择。在612，显示设备是头戴式显示设备。
在616，方法600可包括从所选传感器接收初始用户相关信息。在620，在预定时间框内未接收到初始用户相关信息的情况下，方法600可包括控制所选传感器以比第一轮询率慢的超时轮询率来操作。在624，方法600可包括确定该初始用户相关信息是否匹配多个预事件之一，其中每一个预事件对应于一个或多个不同的预事件模式，并且每一个模式导致不同的可能目标事件。在628，每一个模式可包括不同的预事件序列。
在632，在初始用户相关信息匹配多个预事件之一的情况下，方法600可包括以快于第一轮询率且对应于低于该较高可能等待时间的较低可能等待时间的第二轮询率来操作所选传感器。在636，在接收到初始用户相关信息之后，方法600可包括预取得与所选目标事件相关联的反馈的至少一部分。
现在参考图6B，在接收到初始用户相关信息之后并且在接收到后续用户相关信息之前，在640，方法600可包括从所选传感器接收中间用户相关信息。在644，方法600可包括确定中间用户相关信息是否匹配来自多个预事件的子集的预事件。在648，在中间用户相关信息匹配来自多个预事件的子集的预事件的情况下，方法600可包括以比第一轮询率快且比第二轮询率慢的第三轮询率来操作所选传感器。
在652，方法600可包括从所选传感器接收后续用户相关信息。在656，在后续用户相关信息匹配来自不同的可能目标事件之中的所选目标事件的情况下，方法600可包括经由显示设备向用户提供与所选目标事件相关联的反馈。在660，所选目标事件可包括手部姿势。在664，在后续用户相关信息匹配不是所选目标事件的预测预事件的情况下，方法600可包括确定所选目标事件将发生的估计执行时间。在668，该方法可包括在估计执行时间或者在估计执行时间之前向用户提供与所选目标事件相关联的反馈。
能够理解，方法600是以举例方式提供的，并且不旨在为限制性的。因此，可以理解，方法600可包括相比于图6A和6B中示出的那些步骤而言附加的和/或替换的步骤。并且，可以理解，方法600可用任何适当的次序执行。而且，可以理解，一个或多个步骤可从方法600中省略，而不背离本发明的范围。
图7示意性示出了可以执行上述方法和过程之中的一个或更多个的计算系统700的非限制性实施例。计算设备22可以采取计算系统700的形式。计算系统700以简化形式示出。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统700可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。如上所述，在一些示例中，计算系统700可被集成到HMD设备中。
如图7所示，计算系统700包括逻辑子系统704和存储子系统708。计算系统700可以任选地包括显示子系统712、通信子系统716、传感器子系统720、输入子系统722和/或图7中未示出的其他子系统和组件。计算系统700还可包括计算机可读介质，其中该计算机可读介质包括计算机可读存储介质和计算机可读通信介质。计算系统700还可以任选地包括其他用户输入设备，诸如例如键盘、鼠标、游戏控制器，和/或触摸屏等等。此外，在某些实施例中，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库，和/或包括一个或多个计算机的计算系统中的其他计算机程序产品。
逻辑子系统704可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统704可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造的一部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。
逻辑子系统704可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备分布的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
存储子系统708可包括被配置为保持可由逻辑子系统704执行以实现此处所述的方法和过程的数据和/或指令的一个或多个物理持久设备。在实现此类方法和过程时，存储子系统708的状态可以被变换(例如，以保持不同的数据)。
存储子系统708可以包括可移动介质和/或内置设备。存储子系统708可包括光学存储设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统708可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址，以及内容可寻址。
在一些实施例中，可以将逻辑子系统704和存储子系统708的各方面集成在一个或多个共同设备中，通过该一个或多个共同设备，可以至少部分地实施本文所述的功能。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
图7还示出以可移动计算机可读存储介质724形式的存储子系统708的一方面，该介质可以用于存储可执行以实现此处所述的方法和过程的数据和/或指令。可移动计算机可读存储介质724尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。
将明白，存储子系统708包括一个或多个物理持久设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和/或其他形式的信息可以经由计算机可读通信介质通过纯信号来传播。
在被包括时，显示子系统712可用于呈现由存储子系统708保存的数据的视觉表示。由于以上所描述的方法和过程改变了由存储子系统708保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统712的状态以在视觉上表示底层数据的改变。显示子系统712可包括利用几乎任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子系统704和/或存储子系统708组合在共享封装中，或此类显示设备可以是外围显示设备。显示子系统712可包括例如HMD设备42的显示系统56和透明显示器54。
在被包括时，通信子系统716可以被配置成将计算系统700与一个或多个网络和/或一个或多个其他计算设备可通信地耦合。通信子系统716可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统716可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可允许计算系统700经由诸如因特网之类的网络发送消息至其他设备和/或从其他设备接收消息。
传感器子系统720可包括被配置成感测不同的物理现象(例如，可见光、红外光、声音、加速度、取向、位置等)和/或生理过程、功能、测量、和/或状态的一个或多个传感器，如上所述。例如，传感器子系统720可以包括一个或多个眼睛跟踪传感器、图像传感器、话筒、诸如加速度计之类的运动传感器、罗盘、触摸板、触摸屏、心律监测仪、脉搏血氧仪、皮肤电反应传感器、脑电图(EEG)监测仪和/或任何其他合适的传感器。
在一些实施例中，传感器子系统720可包括深度相机。深度相机可包括例如立体视觉系统的左和右相机。来自两个相机的时间解析的图像可被相互配准并可被组合来产生深度解析的视频。在其他实施例中，如上所述，深度相机可以是结构化光深度相机或飞行时间相机。在一些实施例中，传感器子系统720可包括可见光相机，如数码相机。可以使用基本上任何类型的数字相机技术而不背离本公开的范围。作为非限制的示例，可见光相机可包括电荷耦合设备图像传感器。
传感器子系统720例如可以被配置为向逻辑子系统704提供传感器数据。如上所述，此类数据可包括眼睛跟踪信息、图像信息、音频信息、环境光信息、深度信息、位置信息、运动信息，用户位置信息、生物测定参数信息和/或可被用来执行上述方法和过程的任何其他合适的传感器数据。
在被包括时，输入子系统722可包括一个或多个传感器或用户输入设备(诸如游戏控制器、姿势输入检测设备、语音识别器、惯性测量单元、键盘、鼠标、或触摸屏)或与它们对接。在某些实施例中，输入子系统722可以包括所选的自然用户输入(NUI)部件或与其结合。这种元件部分可以是集成的或外围的，输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
术语“程序”可用于描述被实现来执行一个或多个特定功能的自适应事件识别系统10的一个方面。在某些情况下，可以经由执行存储子系统704所保持的指令的逻辑子系统708来实例化这样的程序。将理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的程序。同样，可以由不同的应用程序、服务、代码块、对象、例程、API、函数等实例化同一模块和/或程序。术语“模块”和“程序”可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示次序执行、按其他次序执行、并行地执行，或者在某些情况下被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (10)

1.一种自适应事件识别系统，包括：
在操作上连接到计算设备的显示设备，所述显示设备包括显示系统和多个输入传感器；以及
由所述计算设备的处理器执行的自适应事件识别程序，所述自适应事件识别程序被配置成：
以对应于较高可能等待时间的第一轮询率来操作所述多个输入传感器的所选传感器；
从所述所选传感器接收初始用户相关信息；
确定所述初始用户相关信息是否匹配多个预事件之一，其中每一个预事件对应于一个或多个不同的预事件模式，并且每一个模式导致不同的可能目标事件；
在所述初始用户相关信息匹配所述多个预事件之一的情况下，以快于所述第一轮询率且对应于低于所述较高可能等待时间的较低可能等待时间的第二轮询率来操作所述所选传感器；
从所述所选传感器接收后续用户相关信息；以及
在所述后续用户相关信息匹配来自不同的可能目标事件之中的所选目标事件的情况下，经由所述显示设备向用户提供与所述所选目标事件相关联的反馈。
2.如权利要求1所述的自适应事件识别系统，其特征在于，所述自适应事件识别程序被进一步配置成在所述后续用户相关信息匹配不是所述所选目标事件的预测预事件的情况下：
确定所述所选目标事件将发生的估计执行时间；以及
在所述估计执行时间或者在所述估计执行时间之前向所述用户提供与所述所选目标事件相关联的反馈。
3.如权利要求1所述的自适应事件识别系统，其特征在于，所述自适应事件识别程序被进一步配置成在接收到所述初始用户相关信息之后预取得与所述所选目标事件相关联的反馈的至少一部分。
4.如权利要求1所述的自适应事件识别系统，其特征在于，所述显示设备是头戴式显示设备。
5.如权利要求1所述的自适应事件识别系统，其特征在于，所述所选目标事件包括手部姿势。
6.一种用于识别所选目标事件的方法，包括：
在包括多个输入传感器的显示设备中，以对应于较高可能等待时间的第一轮询率来操作所述多个输入传感器的所选传感器；
从所述所选传感器接收初始用户相关信息；
确定所述初始用户相关信息是否匹配多个预事件之一，其中每一个预事件对应于一个或多个不同的预事件模式，并且每一个模式导致不同的可能目标事件；
在所述初始用户相关信息匹配所述多个预事件之一的情况下，以快于所述第一轮询率且对应于低于所述较高可能等待时间的较低可能等待时间的第二轮询率来操作所述所选传感器；
从所述所选传感器接收后续用户相关信息；以及
在所述后续用户相关信息匹配来自不同的可能目标事件之中的所选目标事件的情况下，经由所述显示设备向用户提供与所述所选目标事件相关联的反馈。
7.如权利要求6所述的方法，其特征在于，进一步包括：
在接收到所述初始用户相关信息之后并且在接收到所述后续用户相关信息之前，从所述所选传感器接收中间用户相关信息；
确定所述中间用户相关信息是否匹配来自所述多个预事件的子集的预事件；
在所述中间用户相关信息匹配来自所述多个预事件的子集的预事件的情况下，以比所述第一轮询率快且比所述第二轮询率低的第三轮询率来操作所述所选传感器。
8.如权利要求6所述的方法，其特征在于，进一步包括在预定时间框内未接收到所述初始用户相关信息的情况下，控制所述所选传感器以比所述第一轮询率慢的超时轮询率来操作。
9.如权利要求6所述的方法，其特征在于，每一个模式包括不同的预事件序列。
10.如权利要求6所述的方法，其特征在于，所述多个输入传感器从由图像传感器、位置传感器、话筒、眼睛跟踪传感器、以及生物测定传感器组成的组中选择。
CN201480036651.4A 2013-06-25 2014-06-20 自适应事件识别 Active CN105393191B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/927,051 US8988345B2 (en) 2013-06-25 2013-06-25 Adaptive event recognition
US13/927,051 2013-06-25
PCT/US2014/043307 WO2014209773A1 (en) 2013-06-25 2014-06-20 Adaptive event recognition

Publications (2)

Publication Number Publication Date
CN105393191A true CN105393191A (zh) 2016-03-09
CN105393191B CN105393191B (zh) 2018-11-23

Family

ID=51210776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480036651.4A Active CN105393191B (zh) 2013-06-25 2014-06-20 自适应事件识别

Country Status (11)

Country Link
US (1) US8988345B2 (zh)
EP (1) EP3014391B1 (zh)
JP (1) JP6348176B2 (zh)
KR (1) KR102272968B1 (zh)
CN (1) CN105393191B (zh)
AU (1) AU2014302875B2 (zh)
BR (1) BR112015032026B1 (zh)
CA (1) CA2914061C (zh)
MX (1) MX352773B (zh)
RU (1) RU2684189C2 (zh)
WO (1) WO2014209773A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027802A (zh) * 2016-07-06 2016-10-12 捷开通讯(深圳)有限公司 移动终端及其参数设置方法
CN110235191A (zh) * 2017-01-26 2019-09-13 瑞典爱立信有限公司 检测系统和方法

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US11172859B2 (en) 2014-01-28 2021-11-16 Medibotics Wearable brain activity device with auditory interface
US9968297B2 (en) 2012-06-14 2018-05-15 Medibotics Llc EEG glasses (electroencephalographic eyewear)
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
US11662819B2 (en) 2015-05-12 2023-05-30 Medibotics Method for interpreting a word, phrase, and/or command from electromagnetic brain activity
US10234942B2 (en) 2014-01-28 2019-03-19 Medibotics Llc Wearable and mobile brain computer interface (BCI) device and method
US10130277B2 (en) 2014-01-28 2018-11-20 Medibotics Llc Willpower glasses (TM)—a wearable food consumption monitor
US9428072B2 (en) * 2014-01-09 2016-08-30 Ford Global Technologies, Llc Method and system for extending battery life
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US20150309534A1 (en) 2014-04-25 2015-10-29 Osterhout Group, Inc. Ear horn assembly for headworn computer
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
KR20160014418A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
US20160131904A1 (en) * 2014-11-07 2016-05-12 Osterhout Group, Inc. Power management for head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US10317672B2 (en) * 2014-12-11 2019-06-11 AdHawk Microsystems Eye-tracking system and method therefor
US10213105B2 (en) 2014-12-11 2019-02-26 AdHawk Microsystems Eye-tracking system and method therefor
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US10362944B2 (en) 2015-01-19 2019-07-30 Samsung Electronics Company, Ltd. Optical detection and analysis of internal body tissues
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
CN108292168B (zh) * 2015-11-26 2021-04-06 日商可乐普拉股份有限公司 针对虚拟空间内对象的动作指示方法及介质
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10289196B2 (en) 2016-07-01 2019-05-14 North Inc. Techniques for ocular control
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
WO2018106220A1 (en) * 2016-12-06 2018-06-14 Vuelosophy Inc. Systems and methods for tracking motion and gesture of heads and eyes
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
US20180235540A1 (en) 2017-02-21 2018-08-23 Bose Corporation Collecting biologically-relevant information using an earpiece
US10213157B2 (en) * 2017-06-09 2019-02-26 Bose Corporation Active unipolar dry electrode open ear wireless headset and brain computer interface
US10228899B2 (en) * 2017-06-21 2019-03-12 Motorola Mobility Llc Monitoring environmental noise and data packets to display a transcription of call audio
US10921883B2 (en) * 2019-01-17 2021-02-16 International Business Machines Corporation Eye tracking for management of mobile device
US11595462B2 (en) 2019-09-09 2023-02-28 Motorola Mobility Llc In-call feedback to far end device of near end device constraints
US11425317B2 (en) * 2020-01-22 2022-08-23 Sling Media Pvt. Ltd. Method and apparatus for interactive replacement of character faces in a video device
WO2022055475A1 (en) * 2020-09-08 2022-03-17 Hewlett-Packard Development Company, L.P. Determinations of characteristics from biometric signals
WO2024059680A1 (en) * 2022-09-15 2024-03-21 Google Llc Wearable device don/doff determination

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5784601A (en) * 1995-09-18 1998-07-21 Kabushiki Kaisha Toshiba Data processor capable of changing sampling time and clock frequency
US20080126284A1 (en) * 2006-09-18 2008-05-29 Microsoft Corporation Intent Prediction and Response Employing Sensing, Networking, and Communication Among Distributed Devices
WO2013021385A2 (en) * 2011-08-11 2013-02-14 Eyesight Mobile Technologies Ltd. Gesture based interface system and method
US20130114380A1 (en) * 2011-11-07 2013-05-09 Qualcomm Incorporated Ultrasound based mobile receivers in idle mode

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6359601B1 (en) * 1993-09-14 2002-03-19 Francis J. Maguire, Jr. Method and apparatus for eye tracking
US6127900A (en) * 1998-09-30 2000-10-03 Conexant Systems, Inc. Dual frequency synthesis system
RU2370817C2 (ru) * 2004-07-29 2009-10-20 Самсунг Электроникс Ко., Лтд. Система и способ отслеживания объекта
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
JP2008269174A (ja) * 2007-04-18 2008-11-06 Fujifilm Corp 制御装置、方法およびプログラム
US8874129B2 (en) * 2010-06-10 2014-10-28 Qualcomm Incorporated Pre-fetching information based on gesture and/or location
JP5601045B2 (ja) 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US9619035B2 (en) 2011-03-04 2017-04-11 Microsoft Technology Licensing, Llc Gesture detection and recognition
US20130077820A1 (en) 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
JP2013115649A (ja) * 2011-11-29 2013-06-10 Toshiba Corp 制御装置、電力量制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5784601A (en) * 1995-09-18 1998-07-21 Kabushiki Kaisha Toshiba Data processor capable of changing sampling time and clock frequency
US20080126284A1 (en) * 2006-09-18 2008-05-29 Microsoft Corporation Intent Prediction and Response Employing Sensing, Networking, and Communication Among Distributed Devices
WO2013021385A2 (en) * 2011-08-11 2013-02-14 Eyesight Mobile Technologies Ltd. Gesture based interface system and method
US20130114380A1 (en) * 2011-11-07 2013-05-09 Qualcomm Incorporated Ultrasound based mobile receivers in idle mode

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027802A (zh) * 2016-07-06 2016-10-12 捷开通讯(深圳)有限公司 移动终端及其参数设置方法
CN106027802B (zh) * 2016-07-06 2020-01-03 捷开通讯(深圳)有限公司 移动终端及其参数设置方法
CN110235191A (zh) * 2017-01-26 2019-09-13 瑞典爱立信有限公司 检测系统和方法

Also Published As

Publication number Publication date
CA2914061C (en) 2021-01-12
AU2014302875A1 (en) 2015-12-17
KR20160025578A (ko) 2016-03-08
BR112015032026A8 (pt) 2019-12-31
EP3014391B1 (en) 2019-06-05
MX2015017625A (es) 2016-04-15
EP3014391A1 (en) 2016-05-04
JP2016528604A (ja) 2016-09-15
BR112015032026A2 (pt) 2017-07-25
WO2014209773A1 (en) 2014-12-31
RU2015155534A (ru) 2017-06-30
RU2015155534A3 (zh) 2018-05-22
KR102272968B1 (ko) 2021-07-02
CN105393191B (zh) 2018-11-23
BR112015032026B1 (pt) 2022-04-26
AU2014302875B2 (en) 2019-05-16
RU2684189C2 (ru) 2019-04-04
US20140375545A1 (en) 2014-12-25
CA2914061A1 (en) 2014-12-31
JP6348176B2 (ja) 2018-06-27
MX352773B (es) 2017-12-07
US8988345B2 (en) 2015-03-24

Similar Documents

Publication Publication Date Title
CN105393191A (zh) 自适应事件识别
US11526713B2 (en) Embedding human labeler influences in machine learning interfaces in computing environments
US9851787B2 (en) Display resource management
US10510190B2 (en) Mixed reality interactions
JP6317765B2 (ja) 複合現実感表示調整
US9030495B2 (en) Augmented reality help
US9213405B2 (en) Comprehension and intent-based content for augmented reality displays
CN105359082A (zh) 用户接口导航
KR102644991B1 (ko) 프로세스 데이터 공유 방법 및 디바이스
US20220409110A1 (en) Inferring cognitive load based on gait

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant