CN102184020B - 用于操纵用户界面的姿势和姿势修改 - Google Patents

Abstract

本发明涉及用于操纵用户界面的姿势和姿势修改。提供姿势修改用于修改和增强对诸如通用计算系统或多媒体控制台的操作系统或应用所提供的用户界面之类的用户界面的控制。象征性姿势移动由用户在半空中执行。捕捉设备生成深度图像和包括人类目标的捕捉区域的三维表示。使用骨架映射来跟踪人类目标以捕捉用户的半空中运动。骨架映射数据被用于使用姿势过滤器来标识对应于预定义的姿势的移动。对可行姿势的检测能够触发一个或多个用户界面动作或控制。提供姿势修改来修改通过对姿势的检测而触发的用户界面动作，和/或帮助对姿势的标识。

Description

用于操纵用户界面的姿势和姿势修改

技术领域

本申请涉及用于操纵用户界面的姿势和姿势修改。

背景技术

在过去，诸如计算机游戏和多媒体应用等计算应用使用控制器、遥控器、键盘、鼠标等来允许用户操纵游戏人物或应用的其他方面。近来，计算机游戏和多媒体应用已开始使用照相机和软件姿势识别来提供人机接口(“HCI”)。使用HCI，检测、解释用户姿势并将其用于控制游戏人物或应用的其他方面。

发明内容

使用象征性姿势和姿势修改来控制诸如通用计算系统或多媒体控制台的操作系统或应用所提供的用户界面之类的用户界面。在半空中的象征性姿势移动是由用户利用或无需输入设备的帮助而执行的。目标跟踪系统分析这些半空中移动来确定何时执行了预定义的姿势。跟踪系统进一步确定在象征性姿势的执行的至少一部分期间是否存在姿势修改。当检测到没有姿势修改的姿势时，执行第一用户界面控制动作。当检测到具有姿势修改的姿势时，执行第二用户界面控制动作。姿势修改也被提供用于帮助检测姿势何时被用户执行。姿势修改可指示用户意图执行预定义的姿势的姿势输入时间段。姿势输入时间段可定义用于检测用户输入的姿势的起始时间和结束时间。

在一个实施例中使用人类目标的半空中移动来控制用户界面。使用来自捕捉设备的图像以生成人类目标的骨架映射，从而跟踪人类目标的移动。通过骨架映射，确定人类目标的移动是否满足用于某一半空中姿势的一个或多个过滤器。如果人类目标的移动满足一个或多个过滤器，则确定是否存在对于第一半空中姿势的修改。如果人类目标的移动满足该一个或多个过滤器且不存在修改，则可执行对应于该半空中姿势的第一用户界面动作。如果人类目标的移动满足该一个或多个过滤器且存在修改，则可执行对应于该半空中姿势的第二用户界面动作。

在一个实施例中，系统接收包括人类目标的捕捉区域的深度信息，并创建用于随时间映射人类目标的移动的骨架模型。系统可从骨架模型或从诸如物理对象或语音之类的其他输入检测指示姿势时间段的姿势修改。响应于检测到姿势修改，系统从骨架模型确定在姿势时间段期间人类目标的移动是否满足用于第一半空中姿势的一个或多个过滤器。如果在所述姿势时间段期间所述人类目标的移动满足所述一个或多个过滤器，则系统执行对应于所述半空中姿势的第一用户界面动作。

在一个实施例中，使用人类目标的半空中运动来操作用户界面的方法包括使用已知三维坐标系中人类目标的骨架映射从多个深度图像跟踪人类目标的移动。该方法从骨架映射确定包括人类目标的第一只手的移动是否满足用于第一半空中姿势的一个或多个过滤器，以及人类目标的第二只手是否满足用于对第一半空中姿势的修改的一个或多个过滤器。如果第一只手满足一个或多个第一半空中姿势过滤器且第二只手满足一个或多个修改过滤器，则执行第一用户界面动作。如果第一只手满足一个或多个第一半空中姿势过滤器且第二只手不满足一个或多个修改过滤器，则执行第二用户界面动作。

提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

图1A和1B示出用户执行姿势来控制用户界面的目标识别、分析和跟踪系统的一个实施例。

图2示出可用作跟踪系统的一部分的捕捉设备的一个实施例。

图3是描述姿势识别引擎的一个实施例的框图。

图4是描述用于用户界面的姿势控制的过程的一个实施例的流程图。

图5是在一个实施例中可由跟踪系统生成的人类目标的骨架模型的示例。

图6是描述用于捕捉运动来控制用户界面的过程的一个实施例的流程图。

图7是根据一个实施例描述用于姿势识别和使用姿势修改的控制的过程的一个实施例的流程图。

图8示出用户执行姿势和姿势修改来控制用户界面的目标识别、分析和跟踪系统的一个实施例。

图9A-9C描绘了根据一个实施例执行水平扫视姿势和姿势修改的人类目标的骨架映射。

图10A-10C描绘了根据一个实施例执行水平扫视姿势和姿势修改的人类目标的骨架映射。

图11是根据一个实施例描述用于姿势识别和使用姿势修改的控制以指示姿势输入时间段的过程的一个实施例的流程图。

图12示出可被用来跟踪运动并基于所跟踪的运动来更新应用的计算系统的一个实施例。

图13示出可被用来跟踪运动并基于所跟踪的运动来更新应用的计算系统的一个实施例。

具体实施方式

提供姿势修改用于修改和增强对诸如通用计算系统或多媒体控制台的操作系统或应用所提供的用户界面之类的用户界面的控制。象征性姿势移动由用户在半空中执行。捕捉设备生成深度图像和包括人类目标的捕捉区域的三维表示。使用骨架映射来跟踪人类目标以捕捉用户的半空中运动。骨架映射数据被用于使用姿势过滤器来标识对应于预定义的姿势的移动。对可行姿势的检测能够触发一个或多个用户界面动作或控制。提供姿势修改来修改通过对姿势的检测而触发的用户界面动作，和/或帮助对姿势的标识。可使用骨架映射数据和姿势修改过滤器，或从用户诸如通过使用物理对象或语音等提供的其他输入来检测姿势修改。

姿势过滤器包括定义目标的半空中移动何时指示出可行姿势的参数。姿势识别引擎分析关于目标的跟踪数据以确定过滤器的参数是否已被满足。如果检测到可行姿势，则姿势识别引擎向操作系统或应用返回关于已检测到姿势的指示。操作系统或应用使用该指示来控制用户界面，例如通过在用户界面内执行一个或多个动作。这些动作可包括诸如在基于菜单的UI系统中提供的那些直接操作系统控制，或者例如多媒体游戏环境中的玩游戏动作。

用户还可提供姿势修改且系统识别姿势修改。姿势修改可修改可行姿势以发起对系统响应于对可行姿势的检测而执行的用户界面动作的修改。如果除了可行姿势之外还检测到姿势修改，则姿势识别引擎可向操作系统或应用返回关于已检测到该姿势修改的指示。操作系统或应用可使用对姿势修改的检测来响应于对可行姿势的检测而执行修改的或不同的用户界面动作。姿势修改可包括除了另一象征性姿势之外的用户执行的象征性姿势，以及用户所提供的物理对象或语音。在姿势修改是象征性姿势的情况下，姿势识别引擎可分析关于目标的跟踪数据以确定姿势修改的过滤器是否已被满足。

用户还可提供姿势修改且系统识别姿势修改，该姿势修改提供指示出目标的半空中移动何时是意图的姿势输入的输入，例如通过定义在其中检测可行姿势的时间段。姿势识别引擎可使用指示出意图的姿势输入的姿势修改来帮助标识人类目标对姿势的执行。姿势输入时间段可指定定义一时间段的起始时间和结束时间，在该时间段期间预期用户的移动提供姿势。

图1A和1B示出用户18正在与系统用户界面23交互的目标识别、分析和跟踪系统10(下文中一般称为跟踪系统)的一个实施例。目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。

如图1A所示，跟踪系统10可包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等等。根据一个实施例，计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行操作系统和诸如游戏应用、非游戏应用等的应用。在一个实施例中，计算系统12可包括可执行存储在处理器可读存储设备上的用于执行本文描述的过程的指令的处理器，如标准化处理器、专用处理器、微处理器等。

如图1A所示，跟踪系统10还可包括捕捉设备20。捕捉设备20可以是例如相机，该相机可用于在视觉上监视诸如用户18等一个或多个用户，以使得可以捕捉、分析并跟踪一个或多个用户所执行的姿势，以执行对操作系统或应用的用户界面的一个或多个控制或动作。

根据一个实施例，跟踪系统10可连接到可向诸如用户18等的用户提供游戏或应用视觉和/或音频的视听设备16，如电视机、监视器、高清电视机(HDTV)等。例如，计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境12接收视听信号，然后可向用户18输出与视听信号相关联的游戏或应用视觉和/或音频。根据一实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。

如图1A和1B所示，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等一个或多个人类目标。例如，可使用捕捉设备20来跟踪用户18，以使得可将用户18的移动解释为可用于影响由计算环境12执行的应用或操作系统的控制。

考虑诸如在计算环境12上执行的拳击游戏之类的游戏应用。计算环境12可使用视听设备16来向用户18提供拳击对手的视觉表示，以及使用视听设备16来提供用户18可用他或她的移动来控制的玩家化身的视觉表示。用户18可在物理空间中作出移动(例如挥重拳)，以使得玩家化身在游戏空间中作出相应的移动。可在物理空间中识别并分析用户的移动，使得执行用于对游戏空间中玩家化身的游戏控制的相应移动。

某些移动可被解释为可与除控制玩家化身或其他游戏对象之外的动作相对应的控制。例如，玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。事实上操作系统和/或应用的任何可控方面可由诸如用户18等目标的移动来控制。玩家可使用移动来从主用户界面选择游戏或其他应用。由此，用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用或操作系统进行交互。

在图1A-1B中，用户18正与跟踪系统10交互以控制系统用户界面(UI)23，在该具体示例中该系统用户界面正在显示菜单项320-328的列表310。个体项目可代表应用或其他UI对象。用户可向左或向右(如从用户的观点来看)滚动通过列表310以查看不在当前显示画面中但与该列表相关联的其他菜单项，选择菜单项以触发诸如打开由该菜单项所代表的应用或对该项目的进一步UI控制之类的动作。用户还可通过UI回退移动到UI层次结构中更高级的菜单项。

系统可包括姿势识别，使得用户可通过执行一个或多个姿势来控制在计算环境12(如上所述可以是游戏控制台、计算机等)上执行的应用或操作系统。在一个实施例中，姿势识别器引擎(其架构在以下更完全描述)用于从用户的骨架模型确定用户何时作出了某一姿势。

用户可通过移动他的身体创建姿势。姿势包括用户的运动或姿态，其可被捕捉为图像数据并解析其意义。姿势可以是动态的，包括运动，如模仿扔球。姿势可以是静态姿态，如在一个人的躯干前面交叉握住他的前臂。姿势也可结合道具，如通过挥动仿制的剑。姿势可包括多于一个身体部位，如拍双手，或是较微小的运动，如撅起一个人的嘴唇。

例如，手或其他身体部位的各种运动可对应于常见的系统级任务，如在分层菜单结构中向上或向下导航、在菜单列表中滚动项目、打开文件、关闭文件和保存文件。姿势也可在视频游戏专用上下文中取决于游戏来使用。例如，对于驾驶游戏，手和脚的各种运动可对应于在一方向上操控车辆、换挡、加速和刹车。

在图1A-1B中，如从用户的观点所见那样，用户执行用右手的水平扫视姿势以向左滚动菜单项的列表。如图1A中所示，用户以他的右手在位置304开始，然后朝向他的身体的左侧将右手移动到位置306。当用户用他的手在位置304开始该姿势时，菜单项320328的列表310处于图1A中的第一位置。在图1B中，用户已经将其手移到位置306，通过将菜单项的列表310向左滚动使得菜单项的列表改变。作为向左滚动的结果(如用户18的观点所定义的那样)，菜单项320已从列表中移除。每个菜单项322-328已经向左移动了一个位置，替代了前一个项目的位置。作为从右到左滚动的结果，项目330已被添加到列表上。

尽管在该示例中描绘了单间隔移动，但是水平扫视姿势也可使得在滚动动作期间超过一个项目的移动。在一个示例中，确定从位置304到306移动时用户的手的速度，且项目的列表310以与所确定的速度成比例的被滚动。在另一示例中，从位置304到306移动时用户的手行进的距离被计算，并被用于控制菜单项的列表被滚动的量，其中越大的距离按比例造成菜单项的列表滚动越大的量。

图2示出可在目标识别、分析和跟踪系统10中使用的捕捉设备20和计算系统12的一个实施例，用于识别捕捉区域(无需附加到对象的专门传感设备)中的人类或非人类目标，唯一地标识他们以及在三维空间中跟踪他们。根据一个实施例，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度信息可包括深度值。根据一实施例，捕捉设备20可将所计算的深度信息组织为“Z层”，或可垂直于从深度相机沿其视线延伸的Z轴的层。

如图2所示，捕捉设备20可包括图像相机组件32。根据一个实施例，图像相机组件32可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的物体距相机的距离。

如图2所示，图像相机组件32可包括可被用来捕捉捕捉区域的深度图像的IR光组件34、三维(3-D)相机36、以及RGB相机38。例如，在飞行时间分析中，捕捉设备20的IR光组件34可以将红外光发射到捕捉区域上，然后可以使用传感器，用例如3-D相机36和/或RGB相机38来检测从捕捉区域中的一个或多个目标和对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到捕捉区域中的目标或对象上的特定位置的物理距离。此外，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用相移来确定从捕捉设备到目标或对象上的特定位置的距离。

根据另一个实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或对象上的特定位置的物理距离。

在另一示例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件34被投影到捕捉区域上。在撞击到捕捉区域中的一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机36和/或RGB相机38来捕捉，然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。

根据一个实施例，捕捉设备20可包括可以从不同的角度观察捕捉区域的两个或更多在物理上分离的相机，以获取可以被解析以生成深度信息的视觉立体数据。其他类型的深度图像传感器也可被用来创建深度图像。

捕捉设备20还可包括话筒40。话筒40可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒40可用于减少目标识别、分析和跟踪系统10中的捕捉设备20与计算环境12之间的反馈。另外，话筒40可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。

在一个实施例中，捕捉设备20还可以包括可以与图像相机组件32进行可操作的通信的处理器42。处理器42可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于存储简档的指令、用于接收深度图像的指令、用于确定合适的目标是否可被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。

捕捉设备20还可包括存储器组件44，存储器组件44可存储可由处理器42执行的指令、3-D相机或RGB相机所捕捉的图像或图像的帧、用户简档、或任何其他合适的信息、图像等等。根据一个示例，存储器组件44可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，存储器组件44可以是与图像捕捉组件32和处理器42进行通信的单独的组件。在另一实施例中，存储器组件44可被集成到处理器42和/或图像捕捉组件32中。在一个实施例中，图2所示的捕捉设备20的组件32、34、36、38、40、42和44中的部分或全部被容纳在单个外壳中。

捕捉设备20可以经由通信链路46与计算环境12进行通信。通信链路46可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。计算环境12可以向捕捉设备20提供时钟，可以使用该时钟来通过通信链路46确定何时捕捉，例如，场景。

捕捉设备20可经由通信链路46向计算环境12提供由例如3-D相机36和/或RGB相机38捕捉的深度信息和图像，包括可由捕捉设备20生成的骨架模型。计算环境12然后可使用骨架模型、深度信息和所捕捉的图像来例如创建虚拟屏幕、修改用户界面、以及控制诸如游戏或文字处理程序等应用。

计算系统12包括姿势库192、结构数据198、姿势识别引擎190、深度图像处理和对象报告模块194以及操作系统196。深度图像处理和对象报告模块194使用深度图像来跟踪诸如用户和其他对象等对象的运动。深度图像处理和对象报告模块194会将检测到的每一对象的标识以及每一帧对象的位置报告给操作系统196。操作系统196将使用该信息来更新显示画面中的化身或其他图像的位置或移动，或在所提供的用户界面上执行动作。为了帮助跟踪对象，深度图像处理和对象报告模块194使用姿势库190、结构数据198和姿势识别引擎190。

结构数据198包括关于可被跟踪的对象的结构信息。例如，可以存储人类的骨架模型以帮助理解用户的移动并识别身体部位。还可以存储关于非生命对象的结构信息以帮助识别这些对象并帮助理解移动。

姿势库192可包括姿势过滤器的集合，每一姿势过滤器包括和骨架模型可执行(在用户移动时)的姿势有关的信息。姿势识别引擎190可将由相机36、38和设备20捕捉的骨架模型以及与其相关联的移动形式的数据与姿势库192中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个姿势。那些姿势可与应用的各种控制相关联。因此，计算系统12可使用姿势库190来解释骨架模型的移动并基于该移动来控制操作系统196或应用(未示出)。

姿势库192还可包括姿势修改过滤器的集合。类似于姿势过滤器，姿势修改过滤器可包括定义在用户移动时可由骨架模型执行的姿势修改的信息。通过将来自捕捉设备的骨架模型数据与姿势修改过滤器相比较，识别引擎可标识用户何时执行了一个或多个姿势修改。如先前所述，姿势修改可采用用户手持或呈现的物理对象以及语音命令的形式。在这些情况中，姿势修改过滤器不必使用用户移动来标识何时姿势修改已被执行。过滤器可检查来自捕捉设备20的图像以确定是否存在对象修改。在某些情况中，这可包括查看骨架模型以确定物理对象是否在与该修改相关联的限定空间中。例如，手持棒的用户可被解释为姿势修改，而捕捉设备的视野中仅存在棒可不被解释为姿势修改。引擎还可分析来自捕捉设备的音频信息以确定是否发出了语音修改。

图3提供了图2的姿势识别器引擎190的一个示例性实施例的进一步细节。如图所示，姿势识别器引擎190可包括至少一个过滤器450来确定一个或多个姿势。过滤器450包括定义姿势452(以下称为“姿势”)以及该姿势的元数据454的参数。过滤器可包括可识别姿势或以其他方式处理深度、RGB或骨架数据的代码和相关联的数据。过滤器可以是模块化的或是可互换的。用于姿势452的这些参数454可以在各应用之间、在单个应用的各上下文之间、或在一个应用的一个上下文内随着时间变化。姿势参数可包括阈值角度(例如髋部-大腿角度、前臂-二头肌角度等)、运动发生或不发生的周期数、阈值周期、阈值位置(开始、结束)、移动方向、速度、加速度、移动的坐标等。

过滤器可具有多个输入，这些输入中的每一个具有一类型；以及多个输出，这些输出中的每一个具有一类型。在这一情形中，第一过滤器可用具有与第一过滤器相同数量和类型的输入和输出的第二过滤器来替换而不更改识别器引擎体系结构的其他方面。例如，可以有用于水平扫视的第一过滤器，该第一过滤器取骨架数据作为输入并输出与该过滤器相关联的姿势正在发生的置信度以及手执行该姿势时的速度。

对过滤器的输入可包括诸如关于用户的关节位置的关节数据、如在关节处相交的骨骼所形成的角度、来自捕捉区域的RGB色彩数据、以及用户的一方面的变化率等内容。来自过滤器的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及作出姿势运动的时间等内容。

姿势识别器引擎190可具有向姿势过滤器456提供功能的基础识别器引擎450。在一实施例中，基本识别器引擎456实现的功能包括跟踪所识别的姿势和其他输入的随时间输入(input-over-time)存档、隐马尔可夫模型实现(其中模型化系统被假定为具有未知参数的马尔可夫过程—其中当前状态封装了确定将来状态所需的任何过去状态信息，因此不必为此目的而维护任何其它过去状态信息的过程，并且隐藏参数从可观察数据来确定)、以及求解姿势识别的特定实例所需的其他功能。

过滤器450在基础识别器引擎456之上加载并实现，并且可利用引擎456提供给所有过滤器450的服务。在一实施例中，基础识别器引擎456处理所接收到的数据来确定它是否满足任何过滤器450的要求。由于这些诸如解析输入等所提供的服务是由基础识别器引擎456一次性提供而非由每一过滤器450提供的，因此这一服务在一段时间内只需被处理一次而不是对该时间段对每一过滤器450处理一次，因此减少了确定姿势所需的处理。

应用可使用姿势识别器引擎190所提供的过滤器450，或者它可提供其自己的过滤器450，该过滤器被插入到基础识别器引擎456中。在一实施例中，所有过滤器450具有启用该插入特性的通用接口。此外，所有过滤器450可利用参数454，因此可使用如下所述的单个姿势工具来诊断并调节整个过滤器系统。这些参数454可由姿势工具为应用或应用的上下文来调节。

有各种可以与姿势相关联的输出。在一个示例中，可以有关于姿势是否正在发生的基线“是或否”。在另一个示例中，还可以有置信水平，其对应于用户的被跟踪的移动对应于姿势的可能性。这可以是范围为0和1之间(包括端点)的浮点数的线性标度。在接收该姿势信息的应用不能接受假肯定作为输入的情况下，它可仅使用具有高置信水平，如至少.95的那些已识别的姿势。在应用必须识别姿势的每一实例、甚至是以假肯定为代价的情况下，它可使用至少具有低得多的置信水平的姿势，如仅仅大于.2的那些姿势。姿势可具有关于两个最近步之间的时间的输出，并且在仅注册第一步的情况下，这可被设为保留值，如-1(因为任何两步之间的时间必须为正)。姿势也可具有关于在最近一步期间达到的最高大腿角的输出。

姿势或其一部分可具有它必须在其中发生的空间体来作为参数。在姿势包括身体移动的情况下，该空间体通常可相对于身体来表达。例如，用右手的水平扫视姿势可仅在不高于用户的肩且不低于用户的腰的空间体中被识别。可能不必要定义体的所有边界，其中离开身体的外界留着不被定义，并且该体无限地向外延伸，或者延伸到正被监视的捕捉区域的边缘。

一般来说，系统将寻找其中用户的移动满足姿势过滤器中指定的那些移动的若干连续帧。根据过滤器参数将对目标运动的运行历史检查不间断的运动。例如，如果图1A-1B中指示的移动被指定的运动之外的移动所打断，则即使该打断之前或之后的帧匹配过滤器中指定的移动，姿势过滤器也可能不被满足。在捕捉系统捕捉用户的这些位置而没有可表示该姿势被取消或正在作出另一姿势的任何居间位置的情况下，跟踪系统可能会使得水平扫视姿势输出用户作出了水平扫视姿势的高置信水平。

转向图1A-1B中描述的水平扫视姿势作为具体示例，可见该姿势包括用户的右手在离开该个人的身体前方一定距离的位置处，从用户的身体的右侧向用户的身体的左侧的移动。该姿势可被实现为姿势452，包括表示用户的一只手从对应于该手的身体一侧到身体另一侧的移动的信息，因为该移动会被深度相机捕捉。然后可为该姿势452设定参数454。

用于图1A-1B中所描绘的水平扫视姿势的姿势过滤器可提出定义将从用户的运动中被检测出的显著特征的若干规则。首先，水平扫视姿势可被定义为用特定手的姿势。用特定手的姿势是这样一个姿势，其中过滤器将姿势的执行定义为由某只手作出。在一个示例中，姿势过滤器可指定对于用右手的扫视姿势仅要考虑右手的移动，使得左臂、左手、腿、躯干和头等的移动可被忽略。过滤器可指定要被检查的唯一相关映射信息是运动中的手的映射信息。目标的身体的剩余部分的移动可被过滤或忽略，但是水平扫视姿势的其他定义可指定目标的身体的其他部分的某种移动，例如目标的前臂或二头肌的某种移动。用左手的扫视姿势可包括将该姿势定义为用特定手的过滤器，使得左手的移动将被解释为水平扫视而右手的移动不会。

为了检测水平扫视姿势，姿势的过滤器可指定起始位置参数，例如目标的手相对于目标的身体的起始位置。由于目标通常处于相对连续的运动中，姿势识别引擎可连续地在起始位置寻找手，然后是如图1A-1B中详细描述的以及下述的附加参数中指定的后续移动。

水平扫视姿势过滤器可为右手指定距离参数。距离参数可要求右手从用户的身体的右侧向用户的身体的左侧移动的阈值距离。在一个示例中，水平扫视姿势将指定沿Y轴的垂直移动要被忽略。然而，在另一示例中，水平扫视姿势过滤器可指定右手可垂直行进的最大距离，以便区别于也可涉及垂直分量的其他水平移动。在一个示例中，水平扫视姿势过滤器还指定最小速度参数，要求手在其从用户的身体的右侧向用户的身体的左侧移动时满足指定的速度。在另一示例中，姿势过滤器可指定时间参数，要求手在最大时间量内行进阈值距离。

水平扫视姿势过滤器可包括指定手在执行水平扫视姿势中的速度范围的元数据。计算环境可使用手在向身体的左侧行进时的速度来确定系统将响应于该扫视姿势的量。例如，如果扫视姿势正被用于水平地滚动列表中的项目，则响应于更高速度的移动，项目可滚动更快，而响应于较慢速度的移动，项目可滚动更慢。此外或另选地，元数据可指定速度范围，从而基于更高速度的姿势移动，滚动的项目数量增加，而对于较低速度的姿势移动，滚动的项目数量减少。

水平扫视姿势过滤器可包括指定手在执行水平扫视姿势中的距离范围的元数据。计算环境可使用手行进的距离来确定系统将响应于扫视姿势的量。例如，如果扫视姿势被用于水平地滚动列表上的项目，则响应于手行进更大距离，列表可滚动更大的量，而响应于手行进较小的距离，列表可滚动较小的量。

关于识别器引擎190的更多信息可在2009年4月13日提交的美国专利申请12/422,661“Gesture Recognizer System Architecture(姿势识别器系统架构)”中找到，该申请通过整体引用合并于此。关于识别姿势的更多信息可在2009年2月23日提交的美国专利申请12/391,150“Standard Gestures(标准姿势)”；以及2009年5月29日提交的美国专利申请12/474,655“Gesture Tool(姿势工具)”中找到，这两个申请通过整体引用结合于此。关于运动检测和跟踪的更多信息可在2009年12月18日提交的美国专利申请12/641,788“MotionDetection Using Depth Images(使用深度图像的运动检测)”；以及美国专利申请12/475,308“Device for Identifying and Tracking Multiple Humans over Time(用于随时间标识和跟踪多个人类的设备)”中找到，这两个申请通过整体引用合并于此。

在一个实施例中用于用户界面控制的姿势包括，但不限于，上述的水平扫视姿势、垂直扫视姿势、按压姿势、回退姿势、圆形转轮姿势、挥手姿势、双手按压姿势、双手回退姿势、双手压缩姿势和双手反压缩姿势。垂直扫视姿势一般包括垂直手移动，并可触发用户界面进行垂直菜单项滚动动作。按压姿势一般包括远离用户的身体且朝向捕捉设备的手移动，触发了对用户界面所提供的一个或多个菜单项的选择。回退姿势一般包括朝向用户的身体且远离捕捉设备的手移动，触发了通过用户界面的回退导航，例如从用户界面所提供的菜单层次结构中的较低级到较高级。挥手姿势一般包括水平手移动，具有定义用户在移动他们的手跨过他们的身体时的弧度的垂直分量。在一个示例中，挥手姿势可开始一姿势输入时间段。环形滚轮姿势一般包括用户在他们的身体前方作出圆周移动，触发了通过菜单列表的导航。双手按压姿势一般包括双手远离目标的身体且朝向捕捉设备的移动，触发了通过用户界面的回退导航。双手按压姿势可另外地或另选地触发缩放功能来缩小当前用户界面显示。双手压缩姿势一般包括目标在他们的身体前将他们的手合在一起，触发了缩放功能以缩小当前用户界面显示。双手压缩姿势还可触发通过用户界面的菜单层次结构的回退导航。双手压缩姿势还可在移动的顶点(culmination)触发特殊动作，例如折叠当前界面显示或在当前显示中打开菜单项。双手反压缩姿势一般包括目标以合在他们身体前的手开始，接着把他们的手分开或拉开。双手反压缩姿势可触发缩放功能来放大当前用户界面视图或通过用户界面菜单层次结构向前导航。关于用于用户界面控制的象征性姿势的更多细节可在同时提交的美国专利申请“Gestures and Gesture Recognition for Manipulating a User Interface”(用于操纵用户界面的姿势和姿势识别)中找到，该申请通过整体引用合并于此。

图4是描述在一个实施例中可由跟踪系统10执行的对用户界面的姿势控制的过程的一个实施例的流程图。在步骤502，捕捉设备20的处理器42从图像捕捉组件32接收视觉图像和深度图像。在其他实施例中，在步骤502仅接收深度图像。深度图像和视觉图像可由图像捕捉组件32中的任何传感器或本领域中已知的其他适合的传感器来捕捉。在一个实施例中，深度图像与视觉图像是分开被捕捉的。在某些实现中，深度图像和视觉图像是同时被捕捉的，而在其他实现中，它们是顺序地或在不同时刻被捕捉的。在其他实施例中，深度图像是与视觉图像一起被捕捉的，或者与视觉图像组合成一个图像文件，使得每个像素具有R值、G值、B值和Z值(表示距离)。

在步骤504，确定对应于视觉图像和深度图像的深度信息。可分析步骤502接收到的视觉图像和深度图像来确定图像内的一个或多个目标的深度值。捕捉设备20可捕捉或观察可包括一个或多个目标的捕捉区域。在步骤506，捕捉设备确定深度图像是否包括人类目标。在一个实施例中，可对深度图像中的每一目标进行泛色填充并将其与一图案进行比较来确定该深度图像是否包括人类目标。在一个实施例中，可确定深度图像的被捕捉的场景中的每个目标的边缘。深度图像可包括被捕捉的场景的二维像素区域，该2D像素区域中的每个像素可表示诸如可从相机测量的长度或距离之类的深度值。可以通过将与例如深度图像的相邻或邻近的像素相关联的各种深度值进行比较来确定边缘。如果正被比较的各种深度值大于预定边容差，则这些像素可定义一条边缘。捕捉设备可将包括深度图像的所计算的深度信息组织成“Z层”，或可垂直于沿着其视线从相机延伸到观察者的Z轴的各层。可基于所确定的边来对Z个层的可能的Z个值进行泛色填充。例如，与所确定的边缘相关联的像素以及所确定的边缘内的区域的像素可互相关联来定义捕捉区域中的目标或物理对象。

在步骤508，捕捉设备扫描人类目标以寻找一个或多个身体部位。可以扫描人类目标来提供与用户的一个或多个身体部位相关联的诸如长度、宽度等的度量，使得可基于这些度量来生成该用户的准确模型。在一个示例中，人类目标是被隔离的，且创建位掩模来扫描一个或多个身体部位。该位掩模可通过例如对人类目标进行泛色填充，使得该人类目标与捕捉区域元素中的其他目标或对象分离来创建。在步骤510，基于在步骤508执行的扫描来生成人类目标的模型。可分析该位掩模来寻找一个或多个身体部位，以生成诸如人类目标的骨架模型、网格人类模型等模型。例如，可使用由所扫描的位掩模确定的度量值来定义骨架模型中的一个或多个关节。位掩模可包括人类目标沿X、Y和Z轴的值。该一个或多个关节可用于定义可对应于人类的身体部位的一根或多根骨骼。

根据一个实施例，为了确定人类目标的颈部、肩膀等的位置，可以将例如被扫描的位置处的位掩模的宽度与关联于例如颈部、肩膀等的典型宽度的阈值进行比较。在替换实施例中，可以使用离位掩模中先前扫描的并与身体部位相关联的位置的距离来确定颈、肩等的位置。

在一个实施例中，为了确定肩膀的位置，可将肩膀位置处的位掩模的宽度与阈值肩膀值进行比较。例如，可以将肩膀位置处的位掩模的X值处的两个最外部Y值之间的距离与例如人类肩膀之间的典型距离的阈值肩膀值进行比较。由此，根据一示例实施例，该阈值肩膀值可以是与人类的身体模型的肩膀相关联的典型宽度或宽度范围。

在另一实施例中，为了确定肩膀的位置，可在头向下一特定距离解析所述位掩模。例如，可与头的顶部相关联的位掩模的顶部可具有与其相关联的X值。然后可以将所存储的与从人类身体的头的顶部到肩膀的顶部的典型距离相关联的值加到头的顶部的X值来确定肩膀的X值。由此，在一个实施例中，可将所存储的值加到与头的顶部相关联的X值以确定与肩膀相关联的X值。

在一实施例中，诸如腿、脚等的某些身体部位可基于例如其他身体部位的位置来计算。例如，如上所述，可以扫描诸如与人类目标相关联的位、像素等的信息来确定人类目标的各个身体部位的位置。基于这些位置，随后可以为人类目标计算诸如腿、脚等的后续身体部位。

根据一个实施例，在确定例如诸如身体部位等的值后，可以创建可包括诸如与人类目标的位掩模的扫描相关联的身体部位的长度、宽度等的度量值的数据结构。在一实施例中，该数据结构可包括从多个深度图像平均的扫描结果。例如，捕捉设备可捕捉各帧中的捕捉区域，每个帧包括深度图像。可如上所述分析每一帧的深度图像来确定是否包括人类目标。如果帧的深度图像包括人类目标，则可扫描与该帧相关联的深度图像的人类目标的位掩模来寻找一个或多个身体部位。然后可以对为每一帧所确定的身体部位的值求平均，从而使得该数据结构可包括诸如与每一帧的扫描相关联的身体部位的诸如长度、宽度等的平均度量值。根据一个实施例，可调整所确定的身体部位的度量值，如放大、缩小等，使得数据结构中的度量值更接近地对应于人类身体的典型模型。在步骤510，可使用由所扫描的位掩模确定的度量值来定义骨架模型中的一个或多个关节。

在步骤512，使用骨架映射跟踪步骤510中创建的模型。例如，可在用户在视野内在相机前的物理空间中移动时调整和更新用户18的骨架模型。来自捕捉设备的信息可用于调整模型，使得骨架模型准确地表示用户。在一个示例中，这是通过向该骨架模型的一个或多个受力方面施加一个或多个力，以将该骨架模型调整成更接近地对应于人类目标和物理空间的姿态的姿态来实现的。在步骤514，从接收自捕捉设备的深度图像和视觉图像捕捉运动。在一个实施例中，如将在下文更详细地描述的，在步骤514捕捉运动包括基于骨架映射生成运动捕捉文件。

在步骤516，确定并应用用户界面上下文。UI上下文可以是涉及计算环境12所呈现的不同环境的环境上下文。例如，在运行在计算机设备12上的单个应用的不同环境之间可能有不同的上下文。例如，第一人称射击游戏可涉及操作对应于第一上下文的机动车。该游戏还可涉及控制步行的游戏人物，这可对应于第二上下文。在第一上下文操作车辆的同时，移动或姿势可表示第一功能或第一组功能，而在作为步行的第二上下文中，相同的运动或姿势可代表不同的功能。例如，在步行上下文中在身前将拳头伸出离开身体可代表挥拳，而在驾驶上下文中，相同的运动可代表换挡姿势。此外，上下文可对应于一个或多个菜单环境，其中用户可保存游戏、在人物装备之间选择或执行类似的不包括直接玩游戏的动作。在该环境或上下文中，相同的姿势可具有第三含义，例如选择某样东西、或前进到另一屏幕、或从当前屏幕返回、或在当前屏幕上放大或缩小。步骤516可包括确定并应用一个以上的UI上下文。例如，在两个用户正在与捕捉设备和计算环境交互的情况下，UI上下文可包括用于第一用户的第一上下文和用于第二用户的第二上下文。在该示例中，上下文可包括用户扮演的角色，例如一个用户是驾驶员而另一个用户例如是射手。

在步骤518，确定活动姿势集的姿势过滤器。步骤518可基于步骤516中确定的UI上下文或多个上下文来执行。例如，当在菜单上下文中操作时，第一组姿势可以是活动的，而在玩游戏上下文中时，另一组姿势可以是活动的。步骤518还可包括确定姿势修改的活动集以及用于这些修改的过滤器。在步骤520，执行姿势识别和控制。跟踪模型和捕捉的运动通过活动姿势集的过滤器，以确定是否满足任何活动姿势过滤器。在计算环境内应用任何检测出的姿势，以控制计算环境12提供的用户界面。步骤520还可包括确定是否存在任何姿势修改，如果是则修改响应于姿势检测而执行的用户界面动作。

在一个实施例中，步骤516-520是由计算设备12执行的。此外，尽管步骤502-514被描述为由捕捉设备20执行，但这些步骤中的各个步骤可由诸如计算环境12之类的其他组件来执行。例如，捕捉设备20可向计算环境12提供视觉和/或深度图像，计算环境12接着将确定深度信息，检测人类目标，扫描目标，生成并跟踪模型，以及捕捉人类目标的运动。

图5示出表示可在图4的步骤510生成的扫描的人类目标的骨架模型或映射530的示例。根据一个实施例，骨架模型530可包括可将人类目标表示为三维模型的一个或多个数据结构。每个身体部位可被表征为定义骨架模型530的关节和骨骼的数学矢量。

骨架模型530包括关节n1-n18。关节n1-n18中的每一个可使得在这些关节之间定义的一个或多个身体部位能相对于一个或多个其他身体部位移动。表示人类目标的模型可包括多个刚性和/或可变形身体部位，这些身体部位由一个或多个诸如“骨骼”等结构件来定义，而关节n1-n18位于相邻骨骼的交叉点处。关节n1-n18可使得与骨骼和关节n1-n18相关联的各个身体部位能够彼此独立地或彼此相对地移动。例如，关节n7与n11之间定义的骨骼对应于前臂，该前臂可独立于例如关节n15与n17之间定义的骨骼——其对应于小腿——移动。可以理解，某些骨骼可对应于人类目标中的解剖学骨骼，和/或某些骨骼可能不具有人类目标中的对应的解剖学骨骼。

骨骼和关节可共同构成骨架模型，其可以是该模型的构成元素。轴向滚动角可用于相对于其父肢和/或躯干来定义肢的旋转定向。例如，如果骨架模型示出手臂的轴向旋转，则可使用滚动关节来指示相关联的腕所指向的方向(例如，手掌向上)。通过检查肢的相对于其父肢和/或躯干的定向，可确定轴向滚动角。例如，如果正在检查小腿，则可检查小腿的相对于相关联的大腿和髋部的定向来确定轴向滚动角。

图6是描述使用包括深度相机的一个或多个捕捉设备捕捉运动并跟踪捕捉设备的视野内的目标来控制用户界面的过程的一个实施例的流程图。在一个示例中，图6提供了用于如图5的步骤512和514所执行的跟踪模型以及捕捉运动的更详细的内容。

在步骤552，确定视野中的人类目标的用户身份。步骤552是可任选的。在一个示例中，步骤552可使用面部识别来将来自接收到的视觉图像的用户的脸与参考视觉图像相关。在另一示例中，确定用户ID可包括接收来自用户的标识他们的ID的输入。例如，可由计算机环境12存储用户简档，用户可作出屏幕上选择以将他们自己标识为对应于该用户简档。可使用用于确定用户的ID的其他示例。在步骤554，确定所标识的用户的技能等级。步骤554是可任选的。在一个示例中，确定技能等级包括访问计算环境中与用户简档一起存储的技能等级。在另一示例中，步骤554是通过检查用户与计算环境的交互而动态执行的。例如，通过分析用户的移动，可使用姿势和控制应用或用户界面的能力来建立技能等级。该过程可以是动态的，且可在用户与系统交互时定期地或持续地被更新。在一个示例中，如将在下文中描述的那样，用户身份和技能等级可被用于调整姿势过滤器。

为了跟踪用户的运动，利用目标的身体部位的骨架映射。在步骤556，访问由步骤508和510处扫描人类目标以及生成模型而产生的身体部位i。在步骤558处，在X、Y、Z空间中计算该身体部位的位置，以创建相机视野内该身体部位的三维位置表示。在步骤560，根据该位置计算该身体部位的移动的方向。方向性移动可在X、Y和Z方向的任何一个或其组合中具有分量。在步骤562，确定该身体部位的移动速度。在步骤564，计算身体部位的加速度。在步骤566，确定在X、Y、Z空间中身体部位的移动的曲率，以例如表示身体部位在捕捉区域内的非线性移动。速度、加速度和曲率计算并不取决于方向。注意，步骤558至566仅是可对用户的移动的骨架映射执行的计算的示例。在其他实施例中，可执行附加的计算或可执行比图6所示的全部计算少的计算。在步骤568，跟踪系统确定是否有更多的步骤508的扫描所标识的身体部位。如果扫描中有额外的身体部位，在步骤570处i被设置为i+1，且方法返回到步骤556以访问来自扫描的图像的下一身体部位。对X、Y、Z笛卡尔映射的使用仅仅是作为示例提供的。在其他实施例中，可使用不同的坐标映射系统来计算移动、速度和加速度。当检查实际上绕关节旋转的身体部位的移动时，例如球面坐标映射可能是有用的。

一旦在步骤570确定已经分析了扫描中的全部身体部位，则在步骤574为目标生成或更新运动捕捉文件。目标识别分析和跟踪系统可呈现并存储可包括诸如姿势运动之类的一个或多个运动的运动捕捉文件。在一个示例中，基于与所跟踪的模型相关联的信息来实时生成运动捕捉文件。例如，在一个实施例中，该运动捕捉文件可包括包含X、Y和Z值的矢量，这些矢量定义在各个时间点跟踪模型时该模型的关节和骨骼。如上所述，所跟踪的模型可基于各个时间点的用户运动来调整，并且可生成并存储运动的模型的运动捕捉文件。该运动捕捉文件可捕捉在与目标识别分析和跟踪系统交互的用户进行自然移动期间所跟踪的模型。例如，可生成运动捕捉文件，使得该运动捕捉文件可自然地捕捉用户在与目标识别分析和跟踪系统交互期间进行的任何移动或运动。该运动捕捉文件可包括对应于例如用户在不同时间点的运动的快照的帧。在捕捉了所跟踪的模型之后，可在运动捕捉文件的一帧中呈现与模型相关联的信息，包括在一特定时间点的任何移动以及应用于模型的调整。该帧中的信息可包括例如包括X、Y和Z值的矢量以及一时间戳，这些矢量定义所跟踪的模型的关节和骨骼，该时间戳可指示例如用户执行了对应于所跟踪的模型的姿态的移动的时间点。

在步骤576，如果有保证的话，系统调整被跟踪和建模的特定用户的姿势设置。姿势设置可基于步骤552和554确定的信息以及对步骤556至566执行的身体部位和骨架映射获得的信息来调整。在一个具体示例中，如果用户有困难完成一个或多个姿势，则系统可例如通过接近但不满足姿势识别的阈值要求的参数来识别该情况。在这一情况下，调整姿势设置可包括放宽该特定姿势的一个或多个姿势过滤器中所标识的用于执行该姿势的约束。类似地，如果用户显露出高的技能等级，则可调整姿势过滤器来将移动约束到更为精确的重现，使得可避免假肯定。换言之，通过使有技能的用户的约束更加严格，则在并没有意图任何姿势时系统将更不可能会将移动错误地标识为姿势。

系统可基于所跟踪的模型的满足一个或多个姿势过滤器的一个或多个运动将预先确定的动作应用于用户界面。运动捕捉文件中捕捉的模型中的关节和骨骼可被映射到游戏人物或化身的特定部分。例如，与右肘相关联的关节可被映射到化身或游戏人物的右肘。然后可对右肘制作动画以运动捕捉文件的每个帧中模拟与用户的模型相关联的右肘的动作，或可将右肘的移动传递给姿势过滤器以确定是否满足了对应的约束。

根据一个示例，跟踪系统可在运动捕捉文件中捕捉运动时应用一个或多个运动。由此，当在运动捕捉文件中呈现一帧时，可将该帧中捕捉的运动应用于化身、游戏人物或用户界面，使得可对该化身或游戏人物制作动画来立即模拟该帧中捕捉的运动。类似地，系统可在运动被确定为满足一个或多个姿势过滤器时应用UI动作。

在另一实施例中，跟踪系统可在运动捕捉文件中捕捉运动之后应用一个或多个运动。例如，诸如行走运动之类的运动或诸如下述的按压或扫视姿势之类的运动可由用户执行并被捕捉和存储在运动捕捉文件中。可在例如每次用户随后执行被识别为与诸如行走运动或按压运动等运动相关联的控制的姿势时，将运动应用于该化身、游戏人物或用户界面。

图7是根据本发明的一个实施例的描述用于姿势识别和控制的过程的一个实施例的流程图。图7描述了基于规则的方法，其中姿势识别引擎190利用一个或多个姿势过滤器来确定姿势是否被满足，以及利用一个或多个姿势修改过滤器来确定要对用户界面或其他应用执行的结果动作。将理解尽管在该具体示例中描述了单个姿势的检测，但是图7的过程可多次执行以检测活动姿势集中的多个姿势。所描述的过程可对多个活动姿势并行或顺序地执行。

在步骤602，姿势识别引擎访问某一目标的骨架跟踪数据以开始确定该目标是否执行了选择的姿势。在一个示例中，可从运动捕捉文件访问骨架跟踪数据。在步骤604，姿势识别引擎为与所选择的姿势过滤器中标识的选择的姿势有关的一个或多个预先确定的身体部位过滤骨架跟踪数据。步骤604可包括仅访问与所选择的姿势有关的数据，或访问目标的全部骨架跟踪数据并忽略或丢弃不与所选择的姿势有关的信息。例如，水平扫视姿势过滤器可指示出仅人类目标的手与所选择的姿势有关，使得可忽略与其他身体部位有关的数据。这种技术可通过将处理限于被预先确定为对所选择的姿势是显著的信息来增加姿势识别引擎的性能。

在步骤606，姿势识别引擎对预先确定的轴向移动过滤骨架跟踪数据。所选择的姿势的过滤器可指定仅沿着轴的某一子集的移动是相关的。考虑下文中将要更为详细地描述的垂直扫视姿势，其中用户在垂直方向中将他们的手向上或向下移动以控制用户界面。用于垂直扫视姿势的姿势过滤器可指定唯一相关的轴向移动是沿着垂直的Y轴的移动，且沿着水平的X轴和深度Z轴的移动是不相关的。从而，步骤606可包括访问在垂直的Y轴方向中目标的手移动的骨架跟踪数据，并忽略或丢弃与在X轴或Z轴方向中的手的移动有关的数据。注意，在其他示例中，垂直扫视姿势过滤器可指定也检查在其他方向中的手的移动。例如，可分析水平的X轴移动，以确定屏幕上的哪个(些)项目要被垂直扫视姿势操纵，或将垂直扫视姿势与其他移动相区别。

在步骤608，姿势识别引擎访问姿势过滤器中指定的规则i。在图7的过程的第一次迭代中，i等于1。姿势可包括需要被满足以便姿势被识别的多个参数。这些参数中的每个参数可在单独的规则中指定，但是多个参数可被包括在单个规则中。规则可指定目标的身体部位必须满足以便姿势被满足的阈值距离、位置、方向、曲率、速度和/或加速度，以及其他参数。规则可应用于一个身体部位或多个身体部位。而且，规则可指定诸如位置之类的单个参数，或诸如位置、方向、距离、曲率、速度和加速度之类的多个参数。

在步骤610，姿势识别引擎将在步骤604和606过滤的骨架跟踪数据与规则的指定的参数相比较，以确定规则是否被满足。例如，姿势识别引擎可确定手的起始位置是否位于起始位置参数的阈值距离内。在一个示例中，检测姿势的开始包括确定用户的身体是否移到特定的起始位置，确定用户的手是否伸出离开身体特定距离，确定手和/或身体是否在某一时间段保持在特定位置，手是否在某一时间段保持特定加速度(例如，来检测圆周运动)，以及手在特定方向的速度是否跨越特定阈值。这些准则中的任何一个或其组合都可被使用。规则可进一步指定且引擎确定手是否：以指定方向移动；以指定方向从起始位置移动了阈值距离；沿指定轴在阈值曲率内移动；以指定速度或以上移动；达到或超过指定加速度。与可用于检测姿势的开始类似的准则可被用于检测姿势的完成。例如，可使用手的位置以及手是否在某一时间段保持在特定位置。如果引擎确定骨架跟踪信息不满足过滤器规则中指定的参数，则不采取步骤612所指定的用户界面动作。在一个实施例中，在步骤612，姿势识别引擎向在计算系统12上执行的操作系统196或应用返回失败或姿势过滤器不被满足的响应。

在步骤614，姿势识别引擎确定姿势过滤器是否指定了对于要被完成的姿势必须被满足的额外的规则。如果过滤器中包括额外的规则，则i递增1且过程返回到步骤608，在步骤608访问下一规则。如果对于所选择的姿势，过滤器中不包括额外的规则，则引擎在步骤618断定姿势过滤器已被满足。在一个实施例中，步骤618可包括向操作系统或应用返回关于姿势已被检测出的指示。

在步骤620，姿势识别引擎确定对于检测出的姿势是否存在姿势修改。在一个实施例中，姿势修改是由用户提供的除了所检测出的姿势之外的象征性姿势。用户可形成一姿态或执行除了主姿势的移动之外的移动，以指示出主姿势的修改。作为示例，用户可举起他们的左手以形成对由他们的右手或其他身体部位执行的姿势的修改。类似地，用户可举起他们的右手以形成对由他们的左手或其他身体部位执行的姿势的修改。人类目标的其他移动和姿态也被考虑作为合适的姿势修改。此外，姿势修改不限于人类目标的姿态和移动。例如，其他姿势修改可包括，但不限于，物理对象、声音或电机输入。多个修改可同时应用于某一姿势以评估要执行若干用户界面动作中的哪一动作。从而，步骤620可包括应用不止一个姿势修改的过滤器。作为示例，用户可提供姿势以及对姿势的语音修改。此外，可顺序地应用多个修改，例如来修改保持了一段时间的姿势或姿态。

如果在步骤622确定对于所检测出的姿势不存在修改，则在步骤624执行第一用户界面动作。如果对于所检测出的姿势存在修改，则在步骤626执行第二用户界面动作。在一个实施例中，步骤626执行的第二UI动作是步骤624执行的第一UI动作的修改形式，但是这并不是要求的。考虑如图1A-1B中早先描述的水平扫视姿势。在图1B中，用户的移动触发了从用户的观点来看将用户界面上的菜单项的列表310从右向左滚动的用户界面动作。通过在作出水平扫视姿势时提供修改，可执行修改形式的滚动动作。例如，未修改的滚动可以第一速率执行，而修改的滚动可以第二速率执行，例如通过在检测到修改手时移动更多项目。

图7的步骤612和618被描述为对正被分析的姿势的简单通过/失败确定。在其他示例中，不是返回简单通过/失败响应，步骤612和618可返回姿势过滤器被满足的置信水平。对于过滤器中的每个规则，确定目标的移动满足或不满足指定参数的量。基于这些量的聚集，识别引擎返回目标确实执行了姿势的置信水平。步骤624和626可包括指示出姿势修改是否被检测出的类似响应。姿势识别引擎可向操作系统或其他应用返回某一姿势被执行了的置信水平。

图8描绘了用户18与系统10交互以执行如图1A-1B所示相同的水平扫视姿势，但是同时还提供了对水平扫视姿势的修改。图8对应于图1B所示的姿势完成时的系统视图。在该具体示例中，姿势修改是由用户执行扫视姿势时与姿势手相对的手的位置所限定的手修改。如图8所示，用户18将他的左手从图1A中的位置305举起到图8中的位置307。用户可在执行扫视姿势之前举起他们的左手，或者可在开始姿势之后的某一时间举起左手，以提供修改输入。

捕捉设备20确定姿势修改已被提供，并向系统12提供修改的指示。系统12使得UI 23的第二控制动作被执行，如图8所描绘的。在该示例中，修改使得菜单项的列表310按页而不是按照关于未修改的扫视姿势的单个菜单项来滚动。菜单项的列表可被组织成页，页是在任何给定时刻显示的菜单项。菜单项320-328滚离显示画面且被菜单项340-348取代。对图1A-1B的用户界面动作的其他修改可由图8中所示的修改手触发。在另一示例中，项目的列表310可响应于用户在执行水平扫视的同时举起他们的左手而垂直滚动，而不是在没有举起该手时水平滚动。在这种情况下，列表310中的全部项目可垂直滚动并被额外的菜单项所替代。在进一步的示例中，选择菜单项320-328之一可使得系统界面显示项目的垂直列表，该垂直列表可通过使用用右手的水平扫视姿势和举起左手姿势修改来滚动。

姿势修改不限于图8中所示的手姿势修改。人类目标的任何移动或姿态都可被用作姿势修改。作为示例，用户可使用他们的右手以对他们的左手或其他身体部位执行的姿势提供姿势修改。用户可使用腿、手指、头或另一合适的身体部位来指示姿势修改。任何运动或姿态都可由姿势识别引擎中的姿势修改过滤器定义，以用作姿势修改。

如早先所述，姿势修改不限于被跟踪的目标的移动或姿态，而是可包括诸如物理对象、语音或电机输入之类的其他输入。例如，用户可手持物理对象以指示出对姿势的修改。用户可在执行水平扫视姿势时手持一物理对象以修改姿势并从而引起修改的或替换的用户界面动作。例如，手持棒的用户可将用户简档建立为玩游戏环境中的巫师。在此情况下，执行水平扫视姿势同时握住棒可发起玩巫师游戏动作，而不是在没有棒的情况下执行相同姿势时的菜单滚动功能。注意，用户可在执行姿势的手中或另一只手中握有该棒。

类似地，语音命令可形成姿势修改。用户可执行姿势同时发出语音姿势修改，以改变该姿势所触发的用户界面控制。继续水平扫视姿势的例子，用户可说出单词“快”或“更快”以使得滚动功能在正被滚动的列表中更快地移动菜单项。类似地，单词“慢”或“更慢”可触发对菜单项的更慢的滚动。用户可说出将指示出相对滚动程度的数字，例如说出“1”可使得以慢速滚动，而更大的数字致使滚动动作中的成比例的增加。用户可说出单词“页”以使得按菜单项的页来滚动。此外，用户可说出词组“列表结尾”以滚动到列表中的最后一项，或“列表开始”以滚动到列表中的第一项。

姿势修改可被应用于任何姿势。作为示例，姿势修改可应用于垂直扫视姿势，以修改用户界面垂直滚动菜单项的速率或量。应用于垂直扫视姿势的姿势修改还可使得水平滚动代替垂直滚动，或使得滚动按页进行而不是按项进行。对按压姿势的姿势修改可触发通过用户界面的回退移动，而不是如未修改的按压姿势那样对屏幕上项目的选择。在另一示例中，用户可使用第一手势来指向并突出显示屏幕上的项目，无需选择它们并引起用户界面动作。用户然后可应用修改，例如通过举起他们的另一只手，以指示出被突出显示的项目应该被选择以引起相应的用户界面动作。应用于回退姿势的修改可触发通过用户界面的前向导航，而未修改的回退姿势可触发回退导航。例如，修改的回退姿势可致使在用户界面提供的菜单分层结构中从较高层到较低层的移动，而未修改的按压姿势可致使从较低层到较高层的移动。这些功能也可反向。应用于双手按压姿势的修改可触发缩放功能以缩小当前用户界面显示画面，而未修改的双手按压姿势可触发通过用户界面的回退导航。在替代实施例中，这些功能可被反向。此外，回退移动的量或缩放的量可基于修改的存在来修改。对双手压缩姿势的修改可触发缩放功能以在当前用户界面显示画面上放大，而未修改的版本可触发对当前用户界面显示画面的缩小。作为另一示例，未修改的姿势可触发以第一速率或以第一量放大或缩小，而修改的姿势可触发以可能小于或大于第一速率的第二速率来放大或缩小。

姿势修改还可指示出对姿势修改的程度，致使对姿势的执行所触发的用户界面控制的对应程度的修改。姿势修改的过滤器可包括指定姿势修改参数中的一个或多个参数的范围。所测得的骨架跟踪数据可与这些范围比较，以不仅确定数据是否满足修改参数，而且确定跟踪数据落在哪一参数范围内。基于确定的参数范围，姿势可被按比例地修改。修改姿势可包括致使执行对应的UI控制的替代形式或经修改的形式。

考虑先前描述的水平扫视姿势和手姿势修改。图9A-9C和10A-10C描绘了人类目标执行水平扫视姿势和手姿势修改的两个不同实例的骨架映射。骨架映射描绘了各时间点处的用户，其中图9A和10A是第一时间点，图9C和10C是最后时间点。在该示例中，标识各种关节和骨骼：每一手402、每一前臂404、每一肘406、每一二头肌408、每一肩410、每一髋412、每一大腿414、每一膝416、每一小腿418、每一足420、头422、躯干424、脊椎的顶部426和底部428，以及腰430。在跟踪多个点的情况下，可标识另外的特征，如手指或脚趾的骨骼和关节，或脸部的各个特征，如鼻和眼。

在图9A和10A中，用户以他的右手臂在他的一侧向下朝向他的右脚伸出且在右肘稍微弯曲开始。在图9A中，他的左手在他的左侧，但是被举起使其左肘低于他的肩膀且他的左手正好在他的左肩之上。在图10A中，用户的左手也被举起，但举起的高度低于图9A中的高度。姿势识别引擎可将图9A和10A中的起始位置解释为都包括用户的左手正在进行的姿势修改。在用户的肩膀高度周围的大体区域中举在用户的腰部之上的左手可被解释为举起用户的左手以指示出手姿势修改。姿势修改的该位置可被定义为虚象限(virtual quadrant)，具有大约在用户的肩膀或头部的程度的垂直分量以及在与手所处的相同的身体一侧上的水平分量。如下所述，举起用于手姿势修改的左手还可指示出姿势输入时间段的开始。

在图9B和10B中，用户沿水平的X轴向他的身体的左侧移动他的右手402a，同时在垂直的Y轴方向略微地举起他的右臂。尽管在二维表示中不可见，但是应理解，通过垂直地举起右手臂，通过将其右手臂从他的身体旁伸到他的身体的前面，用户将其右手臂伸向捕捉设备，或者沿Z轴伸出。当用户的右手到达它将沿X方向的水平轴向他的身体的左侧部分行进的最远距离时，用户完成水平扫视姿势。姿势识别引擎处理该用右手的移动，而用户的左手被举起以确定水平扫视姿势已被满足。在图9C和10C，用户放下他们的左手。如下所述，放下执行手姿势修改的手还可指示出姿势输入时间段的结束。

引擎处理用左右的移动，以确定在姿势的执行期间已经提供了姿势修改。在该情况下，用户举起他的左手的量或将其左手举到的高度被用作对扫视姿势的修改。引擎确定用户的手的高度并返回该高度作为对扫视姿势的程度修改。确定高度或量可包括从手姿势修改过滤器确定用户的左手的位置落在哪个元数据范围内。用户举起他们的左手越高，对用右手的姿势的修改越大。如果扫视姿势致使如图1A-1B中所示的UI界面中对菜档项的用户界面滚动动作，则程度修改可被用于确定滚动菜单项的量。当执行水平扫视姿势时，与图10A-10B中用户的左手的高度相比，响应于如图9A-9B所示的左手的更高的高度，显示画面上可滚动更多的项。例如，用图10A-10B中所示的修改执行水平扫视姿势可致使列表中的菜单项滚动一个位置，而用图9A-9B中所示的修改执行相同的水平扫视姿势可致使列表中的相同的菜单项滚动两个或更多的位置。

不同于传统的可基于与触摸屏的接触来标识用户的姿势的开始和结束的基于触摸的姿势识别系统，在半空中姿势检测系统中用户可不提供可由系统检测到的对开始和结束的显式指示。例如，用户可连续移动并从某一随意动作转换到姿势移动。尽管系统可根据姿势的过滤器基于后续移动来将姿势的开始与某一随意身体位置或移动相区分，但是显式定义姿势的开始和/或结束的技术可能是有益的。因此，一个实施例利用姿势修改来指示在其中用户意图提供姿势的姿势输入时间段。

图11是描述用于使用姿势修改来指示意图的姿势输入的过程的一个实施例的流程图。在该示例中，姿势修改指定了意图要执行姿势的时间段。响应于用户提供姿势修改，系统标识一姿势时间段，在该姿势时间段内目标的移动被分析以确定姿势是否被执行。

在步骤702，姿势识别引擎检测指示出意图的姿势输入时间段的姿势修改。姿势修改可指示起始时间和结束时间来将其间的时间段定义为姿势输入时间段。在一个实施例中，步骤702可包括确定姿势输入时间段的开始和姿势输入时间段的结束。引擎可如图7的步骤602-618所述地跟踪用户的移动并应用一个或多个姿势修改过滤器，以确定姿势修改是否被执行。例如，用户可如图9A所示那样举起一只手以指示某一姿势要被执行(例如通过他们的另一只手或其他身体部位)，从而触发了姿势输入时间段的开始。用户可在执行了姿势之后如图9C中所示那样放下他们的手，从而触发了姿势输入时间段的结束。在其他示例中，用户可呈现一物理对象以指示姿势输入时间段。用户可呈现一张卡(例如具有某种颜色)或其他物理对象以指示姿势修改时间段。当该时间段结束时，用户可移除物理对象，例如通过将卡翻转到另一颜色或通过将物理对象放置在捕捉设备的视野之外。可提供其他姿势修改输入，例如电机控制，来指示起始和结束时间。还可分析语音来指示起始和结束时间。例如，系统可将用户说出“开始”和“结束”之间的时间解释为姿势输入时间段。

在步骤704，引擎确定姿势修改是否缩小或扩展了可行或活动姿势集。姿势修改可具有相关联的可行姿势集，使得系统仅寻找对应于该姿势修改的姿势。步骤704可包括添加要被分析的额外的可行姿势，或从当前可行姿势中去除姿势。在步骤706，引擎访问由姿势修改指定的起始和结束时间之间的目标的骨架映射数据。在步骤708，引擎访问活动姿势集中第一个姿势j的第一个规则i＝1，并在步骤710确定该规则中的每个参数是否都被满足。如果并非每个参数都被满足，则引擎在步骤712确定活动姿势集中是否有额外的姿势是可行的。如果没有额外的姿势，则方法在步骤714结束。在一个实施例中，在步骤714可将一个或多个姿势没有被满足的响应返回给操作系统或应用。如果有额外的活动姿势，则在步骤716通过将j递增1并返回到步骤708来访问下一个姿势。

如果在步骤710姿势的每个参数都被满足，则在步骤718引擎确定当前姿势j是否包含额外的规则i。如果是，则在步骤720将i递增1，且在步骤708访问下一规则。如果步骤718确定所有规则都已被满足，则在步骤722引擎确定是否存在姿势修改。在一个实施例中，指示如步骤702所确定的姿势输入时间段的姿势修改可自己提供对响应于检测出的姿势而执行的UI动作的修改。如图9A-9C所述，举起用户的左手可致使对水平扫视姿势的修改，例如响应于对该姿势的检测来控制滚动的菜单项的数量。从而，举起用户的左手可指示出姿势输入时间段的开始，还指示出修改在姿势输入时间段期间检测出的姿势。在另一实施例中，诸如额外的姿势、物理对象或语音之类的单独的输入可被提供来修改UI动作。

如果不存在姿势修改，则在步骤726执行对应于所检测出的姿势的第一UI动作。如果在步骤722检测出姿势修改，则在步骤728执行第二UI动作。如先前所述，在一个实施例中，第二UI动作是第一UI动作的修改形式。在应用了第一或第二UI动作之后，方法返回到步骤712以确定活动姿势集中是否有额外的姿势要分析。

注意，满足某一姿势过滤器的用户的移动可触发相应的用户界面动作，而不管该移动是否在意图的姿势输入时间段内被检测出。然而，在一个实施例中，如果在意图的姿势输入时间段内检测到用户的移动，则用户的移动可仅触发相应的用户界面动作。

在一个实施例中，姿势修改被用于开始一无终止的姿势输入或跟踪时间段。类似于图11中所描述的技术，用户可通过提供姿势修改来发起对移动的跟踪。然而，在该情况下，修改不定义停止时间。相反，修改向系统指示出他们的交互和移动应被跟踪并通过识别引擎，直到用户不再被跟踪。在一个示例中，挥手姿势被用于指示后续交互应当被跟踪。挥手姿势可包括用户在他们的身体前方以传统的挥手运动水平地移动任一只手。该移动一般包括定义用户水平地移动他们的手时的弧度的垂直分量。用于该移动的过滤器可定义起始位置参数、在用户的身体前方行进的距离以及手在水平行进时向上和向下的垂直位移。在一个实施例中，过滤器可提供定义例如用户的手应被举起在身体的前方且在肘之上之类的位置参数、与速度和位置都有关的定义例如挥动的大小和手多快地执行该移动之类的大小参数、以及定义整个挥手运动中的最小连贯程度的周期参数。响应于检测到挥手姿势修改，系统将无限期地跟踪用户的移动和交互，直到某一其他事件结束该跟踪过程。

在一个实施例中，提供“逃跑”以允许用户停止执行他们意外开始的姿势。该系统提供用户已经开始某一姿势的反馈。用户可通过以适合完成准则的方式移动来完成该姿势。作为替代，用户可移动以适合终止该姿势的不同的一组准则。这种两阶段处理可进一步减少假肯定。

图12示出了可用于实现图1A-2的计算环境12的计算环境100的示例。图12的计算环境100可以是诸如游戏控制台等多媒体控制台100。如图12所示，多媒体控制台100具有含有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此的附加的一级和二级高速缓存102和104。闪存ROM 106可存储在当多媒体控制台100通电时的引导过程的初始阶段期间加载的可执行代码。

图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM(随机存取存储器)。

多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。

提供系统存储器143来存储在引导进程期间加载的应用数据。提供媒体驱动器144，且其可包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器144可以是对多媒体控制器100内置的或外置的。应用数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。介质驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。

系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。

前板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。

CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其他组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。

当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。

多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。

当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5％)、网络带宽的保留量(诸如，8kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源对于应用的视角而言是不存在的。

具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。

在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。

当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。

输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维持有关焦点切换的状态信息。相机74和76以及捕捉设备60可定义用于控制台100的附加输入设备。

图13示出了可用于实现图1A-2所示的计算环境52的计算环境220的另一示例。计算系统环境220只是合适的计算环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元素可包括被配置成实例化本公开的各具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。在其他示例中，术语电路可包括由软件指令配置的实施可用于执行功能的逻辑的通用处理单元、存储器等。在其中电路包括硬件和软件的组合的实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。

在图13中，计算环境220包括通常包括各种计算机可读介质的计算机241。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图12示出了操作系统225、应用程序226、其它程序模块227和程序数据228。

计算机241还可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。作为示例，图12示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238，从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239，以及从诸如CD ROM或其它光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由不可移动存储器接口，诸如接口234连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由可移动存储器接口，诸如接口235连接至系统总线221。

上文讨论并在图13中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图13中，硬盘驱动器238被示为存储操作系统258、应用程序257、其它程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。在此给操作系统258、应用程序257、其他程序模块256、以及程序数据255提供了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和定点设备252(通常被称为鼠标、跟踪球或触摸垫)，向计算机241输入命令和信息。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其他输入设备通常通过耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)来连接。相机74、76和捕捉设备60可定义用于计算机241的附加输入设备。监视器242或其他类型的显示设备也通过接口，诸如视频接口232，连接至系统总线221。除监视器以外，计算机也可以包括其他外围输出设备，诸如扬声器244和打印机243，它们可以通过输出外围接口233连接。

计算机241可以使用到诸如远程计算机246之类的一个或多个远程计算机的逻辑连接在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常见网络节点，并且通常包括上面相对于计算机241所描述的许多或所有元件，但在图13中只示出存储器存储设备247。图2中所示的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其它网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。

当在LAN联网环境中使用时，计算机241通过网络接口或适配器245连接至LAN 237。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在联网环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图13示出了远程应用程序248驻留在存储器设备247上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。

尽管用专门描述结构特征和/或方法动作的语言描述了主题，但是应当理解，在所附权利要求书中限定的主题并不一定局限于上述特定的特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。本发明的范围旨在由所附权利要求书来定义。

Claims (13)

1.一种使用人类目标的半空中运动来操作用户界面的方法，包括：

从捕捉设备接收多个图像，所述多个图像包括所述人类目标（502）；

使用所述人类目标的骨架映射从所述多个图像跟踪所述人类目标的移动（512）；

从所述骨架映射确定所述人类目标的移动是否满足用于第一半空中姿势的一个或多个过滤器（520），所述第一半空中姿势是由所述用户的第一只手执行的；

通过确定所述人类目标的第二只手是否满足第一姿势修改过滤器的位置参数来确定是否存在用于第一半空中姿势的修改（622），所述位置参数定义了所述第二只手的位置的多个范围；

如果所述人类目标的移动满足所述一个或多个过滤器且不存在修改，则执行对应于所述第一半空中姿势的第一用户界面动作（624），所述第一用户界面动作包括按第一量导航通过菜单项的列表；以及

如果所述人类目标的移动满足所述一个或多个过滤器且存在修改，则执行对应于所述第一半空中姿势的第二用户界面动作（626），所述第二用户界面动作包括：当所述第二只手的位置在第一范围中时按第二量导航通过所述菜单项的列表，而当所述第二只手的位置在第二范围中时按第三量导航通过所述菜单项的列表。

2.如权利要求1所述的方法，其特征在于，所述第二用户界面动作是所述第一用户界面动作的修改版本。

3.如权利要求1所述的方法，其特征在于：

所述位置参数定义了所述第二只手在所述用户的腰之上的虚象限。

4.如权利要求1所述的方法，其特征在于，确定所述人类目标的移动是否满足用于所述第一半空中姿势的所述一个或多个过滤器包括：

确定所述人类目标的第一只手的位置是否满足起始位置参数，

确定所述第一只手从所述起始位置移动的方向是否满足方向参数，以及

确定所述第一只手在所述移动期间行进的距离是否满足距离参数。

5.如权利要求1所述的方法，其特征在于：

确定是否存在用于所述第一半空中姿势的修改包括确定所述人类目标是否持有修改对象。

6.如权利要求1所述的方法，其特征在于：

确定是否存在用于所述第一半空中姿势的修改包括确定所述人类目标是否发出语音修改。

7.如权利要求1所述的方法，其特征在于，所述多个图像是多个深度图像。

8.一种使用人类目标的半空中运动来操作用户界面的方法，包括：

接收包括人类目标的捕捉区域的深度图像（502）；

创建用于映射人类目标随时间的移动的骨架模型（510）；

通过确定所述人类目标是否已将手举起到满足姿势修改过滤器参数的位置来检测来自所述人类目标的指示出姿势时间段的姿势修改（702）；

基于所述人类目标举起手的时间确定所述姿势时间段的开始；

响应于检测到姿势修改，从骨架映射确定在所述姿势时间段期间所述人类目标的移动是否满足用于第一半空中姿势的一个或多个过滤器（710）；

如果在所述姿势时间段期间所述人类目标的移动满足所述一个或多个过滤器，则执行对应于所述第一半空中姿势的第一用户界面动作（726）；

确定所述人类目标是否已将他们的手从满足所述姿势修改过滤器参数的所述位置放下，以及

基于所述人类目标放下手的时间确定所述姿势时间段的结束。

9.如权利要求8所述的方法，其特征在于，所述方法还包括：

在检测出所述姿势修改之前，确定所述人类目标的移动是否满足第一组可行姿势；

响应于检测出所述姿势修改：

确定所述姿势修改是否与第二组可行姿势相关联，所述第二组可行姿势包括所述第一半空中姿势且与所述第一组可行姿势不同，以及

仅从所述骨架映射确定所述人类目标的移动是否满足所述第二组可行姿势。

10.如权利要求8所述的方法，其特征在于，在所述姿势时间段之外所述人类目标的满足所述一个或多个过滤器的移动不会触发对与所述第一半空中姿势相对应的第一用户界面动作的执行。

11.如权利要求8所述的方法，其特征在于，在所述姿势时间段之外所述人类目标的满足所述一个或多个过滤器的移动会触发对与所述第一半空中姿势相对应的第一用户界面动作的执行。

12.如权利要求8所述的方法，其特征在于：

确定用于所述第一半空中姿势的修改是否存在包括确定所述人类目标是否持有修改对象。

13.一种使用人类目标的半空中运动来操作用户界面的系统，包括：

用于接收包括人类目标的捕捉区域的深度图像（502）的装置；

用于创建用于映射人类目标随时间的移动的骨架模型（510）的装置；

用于通过确定所述人类目标是否已将手举起到满足姿势修改过滤器参数的位置来检测来自所述人类目标的指示出姿势时间段的姿势修改（702）的装置；

用于基于所述人类目标举起手的时间确定所述姿势时间段的开始的装置；

用于响应于检测到姿势修改，从骨架映射确定在所述姿势时间段期间所述人类目标的移动是否满足用于第一半空中姿势的一个或多个过滤器（710）的装置；以及

用于如果在所述姿势时间段期间所述人类目标的移动满足所述一个或多个过滤器，则执行对应于所述第一半空中姿势的第一用户界面动作（726）的装置；

用于确定所述人类目标是否已将他们的手从满足所述姿势修改过滤器参数的所述位置放下的装置，以及

用于基于所述人类目标放下手的时间确定所述姿势时间段的结束的装置。

Images