CN102201099A - 基于运动的交互式购物环境 - Google Patents

Abstract

本发明公开了一种基于运动的交互式购物环境。提供了一种屏幕上购物应用，该应用对人类目标用户的运动作出反应来向用户提供购物体验。跟踪系统捕捉用户运动，并执行允许用户操纵该用户的屏幕上表示的购物应用。该屏幕上表示具有该用户或另一个体的相像性，且该用户在该屏幕上界面中的移动允许该用户与表示真实世界物品的虚拟物品进行交互。被识别为物品操纵或交易控制姿势的用户移动被转换成用于购物应用的命令。

Description

基于运动的交互式购物环境

技术领域

本发明涉及交互式应用，尤其涉及基于运动的交互式应用。

背景技术

在线购物已变得越来越流行，但是因用户可能不知道某一物品将如何对他们起作用的事实而受损失。用户可能不知道衣物有多适合他们，或者一件家具在他们的家中将看上去如何。解决这一问题的一些尝试包括使用从库存模型部件库中构建的虚拟模型。

现有的帮助用户确定物品将如何对他们的具体需求起作用的解决方案受到限制。

发明内容

提供了一种屏幕上购物应用，该应用对人类目标用户的运动作出反应来向用户提供购物体验。使用跟踪系统来跟踪用户的运动并执行购物应用。代表用户或另一个体的相像性的人类目标用户的屏幕上表示被呈现在显示设备上。跟踪人类目标用户的移动，并将其显示在显示设备上。屏幕上界面允许用户与表示对用户可用的真实世界物品的虚拟物品进行交互。被识别为物品操纵或交易控制姿势的用户移动被转换成用于购物应用的命令。

在一个方面，应用包括一种计算机实现的方法，其中使用作为跟踪系统的一部分的捕捉设备来捕捉包括人类目标用户的场景。该场景和人类目标的表示被呈现在显示设备上。呈现允许人类目标在显示设备上的该表示中选择并定位表示可供购买的真实物品的多个虚拟物品中的一个或多个的界面。在场景中跟踪用户移动并将该移动应用于人类目标的表示。当场景中的人类目标的运动指示物品操纵姿势时，将移动应用于该表示中的至少一个虚拟物品。当场景中的人类目标的运动指示交易操纵姿势时，将用户移动应用于购买界面。

附图说明

图1A和1B示出了其中用户在玩游戏的跟踪系统的示例实施例。

图2示出可用作跟踪系统的一部分的捕捉设备的示例实施例。

图3描绘了可被用来跟踪运动并基于所跟踪的运动来执行应用的处理设备的示例。

图4示出可被用来跟踪运动并基于所跟踪的运动来更新应用的计算系统的第二示例实施例。

图5是示出可由图1-4所示的设备实现来执行应用的方法的流程图。

图6是描述用于自动传感环境的一个或多个物理特性的一个实施例的流程图。

图7是示出对场景内的人类目标的选择的流程图。

图8示出了表示用于跟踪场景中的人类目标的、扫描的人类目标的骨架模型808的示例实施例。

图9示出了用户1002和系统20提供的用户的屏幕上表示1050。

图10是示出用于创建人类目标的屏幕上表示的方法的流程图。

图11是示出计算机执行来实现屏幕上购物应用的方法的流程图。

图12是用户的屏幕上表示和用户界面的表示。

图13是虚拟背景中人类目标用户的屏幕上表示的表示。

图14是使用虚拟物品来实现购物应用的跟踪系统的示例实施例。

图15是虚拟场景中没有人类目标的屏幕上界面的表示。

图16是描绘经由网络与在线零售商和游戏服务连接的各种跟踪系统的框图。

图17是描绘经由网络连接的各种跟踪系统的框图。

图18是示出不同系统上的两个用户如何可使用屏幕上购物应用来交互的流程图。

图19示出人类目标用户和另一人类目标用户的屏幕上表示。

具体实施方式

提供了一种技术，其中计算系统运行屏幕上购物应用，该应用对人类目标用户的运动作出反应来向用户提供购物体验。使用跟踪系统来跟踪用户的运动并执行购物应用。代表用户或另一个体的相像性的人类目标用户的屏幕上表示被呈现在显示设备上。跟踪人类目标用户的移动，并将其显示在显示设备上。屏幕上界面允许用户与表示对用户可用的真实世界物品的虚拟物品进行交互。被识别为物品操纵或交易控制姿势的用户移动被转换成用于购物应用的命令。

在一个实施例中，此处提供的购物解决方案利用跟踪用户移动并呈现用户(和/或其他用户)的屏幕上表示的系统10，并允许通过人类目标或所跟踪的用户的一个或多个移动来进行交互。

图1A和1B示出了可与本发明的技术一起使用的系统10的示例实施例。对示例性跟踪系统10的一种使用是在用户18玩游戏的情况下。在图1中，该示例是用户玩拳击游戏。在一示例实施例中，系统10可被用来识别、分析和/或跟踪人类目标，如跟踪系统10范围内的用户18或其他物体。

如图1所示，跟踪系统10可包括计算系统12。计算系统12可以是计算机、游戏系统或控制台等等。根据一示例实施例，计算系统12可包括硬件组件和/或软件组件，从而使得计算系统12可用于执行诸如游戏应用、非游戏应用等的应用。在一个实施例中，计算系统12可包括可执行存储在处理器可读存储设备上的用于执行本文描述的过程的指令的处理器，如标准化处理器、专用处理器、微处理器等。

如图1A所示，跟踪系统10还可包括捕捉设备20。捕捉设备20可以是，例如可用于在视觉上监视诸如用户18等一个或多个用户，从而可以捕捉、分析并跟踪一个或多个用户所执行的姿势和/或移动，来执行应用中的一个或多个控制命令或动作和/或动画化化身或屏上人物的相机，下面将更详细地描述。

根据一实施例，跟踪系统10可连接到可向诸如用户18等的用户提供游戏或应用视觉和/或音频的音频/视觉设备16，如电视机、监视器、高清电视机(HDTV)等。例如，计算系统12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的音频/视觉信号。音频/视觉设备16可从计算系统12接收音频/视觉信号，然后可向用户18输出与该音频/视觉信号相关联的游戏或应用视觉和/或音频。根据一实施例，音频/视觉设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆等连接到计算系统12。

如图1A和1B所示，跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。例如，可使用捕捉设备20来跟踪用户18，从而可以捕捉用户18的姿势和/或移动来动画化化身或屏幕上人物，和/或可将用户18的姿势和/或移动解释为可用于影响计算机环境12所执行的应用的控制命令。因此，根据一实施例，用户18可移动他的或她的身体来控制应用和/或动画化化身或屏幕上人物。类似地，跟踪系统10可用于识别、分析和/或跟踪正在观看用户18玩游戏的人，使得这些正在观看用户18玩游戏的人的移动将在显示在音频/视觉设备16上的拳击游戏上控制观众中的移动化身。

在图1A和1B中描绘的示例中，在计算系统10上执行的应用可以是用户18正在玩的拳击游戏。例如，计算系统12可使用音频/视觉设备16来向用户18提供拳击对手22的视觉表示。计算系统12还可使用音频/视觉设备16来提供用户18可用他或她的移动来控制的用户化身24的视觉表示。例如，如图1B所示，用户18可在物理空间中挥重拳来使得用户化身24在游戏空间中挥重拳。因此，根据一示例实施例，计算系统12和捕捉设备20识别并分析物理空间中用户18的重拳从而使得该重拳可被解释为对游戏空间中的用户化身24的游戏控制和/或该重拳的运动可用于动画化游戏空间中的用户化身24。

在各示例实施例中，诸如用户18等的人类目标可具有一物体。在这些实施例中，电子游戏的用户可手持物体从而可以使用用户和物体的运动来调整和/或控制游戏的参数。用户没有手持的物体也可被跟踪，如该用户(或一不同用户)扔出、推出或滚出的物体或自推进的物体。除拳击之外，也可实现其他游戏。

根据其他示例实施例，跟踪系统10还可用于将目标移动解释为游戏领域之外的操作系统和/或应用控制命令。例如，事实上操作系统和/或应用的任何可控方面可由诸如用户18等目标的移动来控制。

图2示出了可用于场景中的目标识别、分析和跟踪的捕捉设备20的示例实施例，其中目标可以是用户或物体。根据一示例实施例，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一实施例，捕捉设备20可将所计算的深度信息组织为“Z层”，即可与从深度照相机沿其视线延伸的Z轴垂直的层。

如图2所示，捕捉设备20可包括图像相机组件22。根据一示例实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示诸如按照以厘米、毫米等为单位的所捕捉的场景中的物体离照相机的长度或距离等的深度值。

如图2所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。这些组件中的每一个被聚焦在场景上。例如，在飞行时间分析中，捕捉设备20的IR光组件24可将红外光发射到场景上，然后可使用传感器(未示出)，使用例如3-D相机26和/或RGB相机28，来检测来自场景中的一个或多个目标和物体的表面的反向散射光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。另外，在其他示例实施例中，可将入射光波的相位与出射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备20到目标或物体上的特定位置的物理距离。

根据另一示例实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。

在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在撞击到场景中的一个或多个目标或物体的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉，然后可被分析以确定从捕捉设备20到目标或物体上的特定位置的物理距离。

根据另一实施例，捕捉设备20可包括两个或更多物理上分开的照相机，这些照相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。

在另一示例实施例中，捕捉设备20可使用点云数据(point cloud data)和目标数字化技术来检测用户的特征。

捕捉设备20还可包括话筒30或话筒阵列。话筒30可包括可接收声音并将其转换成电信号的变换器或传感器。根据一实施例，话筒30可用于减少目标识别、分析和跟踪系统10中的捕捉设备20与计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。

在一示例实施例中，捕捉设备20还可包括可与图像相机组件22进行有效通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。

捕捉设备20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、3-D相机26或RGB相机28所捕捉的图像或图像的帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2所示，在一实施例中，存储器组件34可以是与图像捕捉组件22和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。

如图2所示，捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一实施例，计算环境12可经由通信链路36向捕捉设备20提供可用于确定例如何时捕捉场景的时钟。

另外，捕捉设备20可经由通信链路36向计算环境12提供深度信息和由例如3-D照相机26和/或RGB照相机28捕捉的图像，以及可由捕捉设备20生成的骨架模型。计算环境12然后可使用该骨架模型、深度信息和捕捉的图像来例如控制诸如游戏或文字处理程序等应用。例如，如图2所示，计算环境12可包括姿势库192。

计算环境12可包括包含姿势过滤器191的姿势识别引擎190、姿势库192、显示设备194、包含特征比较模型196的处理器195、特征库197、图像库188、用户简档信息198、3-D模型库199、3-D模型构建器193、以及一个或多个应用180。在本示例中，应用180是交互式购物应用。

处理器195能够执行用于接收场景的数据的指令，其中该数据包括表示物理空间中的目标的数据。该指令包括用于从该数据中检测至少一个目标特征并将至少一个所检测的目标特征与来自特征库195的视觉表示特征选项进行比较的指令。视觉表示特征选项可包括被配置来应用于视觉表示的可选择选项。其他指令允许从视觉表示特征选项中选择视觉表示特征，将视觉表示特征应用于目标的视觉表示，以及呈现该视觉表示。视觉表示可从至少一个检测到的特征与视觉表示特征选项的比较中自动生成，使得对视觉表示特征的选择是在没有用户的手动选择的情况下执行的。

对视觉表示特征的选择可包括选择类似于所检测的目标特征的视觉表示特征。视觉表示特征可以是脸部特征、身体部位、颜色、大小、高度、宽度、形状、饰品、或服装项中的至少一个。该指令可允许从用于视觉表示特征的视觉表示特征选项中生成视觉表示特征选项子集，并提供所生成的特征选项子集以供用户选择视觉表示特征来应用于视觉表示。所生成的视觉表示特征选项子集可包括类似于所检测到的目标特征的多个视觉表示特征选项。该指令可允许接收用户从所生成的特征选项子集中对视觉表示特征的选择，其中从视觉表示特征选项中选择视觉表示特征包括选择对应于该用户选择的视觉表示特征。具有视觉表示特征的视觉表示可被实时呈现。此外，该指令可允许监视目标并检测所检测到的目标特征中的变化，并通过基于所检测到的目标特征中的变化实时地更新应用于视觉表示的视觉表示特征来更新目标的视觉表示。

如图所示，在图2中，计算环境12可包括姿势库192和姿势识别引擎190。姿势识别引擎190可包括姿势过滤器191的集合。过滤器可包括可识别姿势或以其他方式处理深度、RGB或骨架数据的代码和相关联的数据。每一过滤器191可包括定义姿势以及该姿势的参数或元数据的信息。例如，包括一只手从身体背后到身体前方的运动的投掷可被实现为包括表示用户的一只手从身体背后到身体前方的移动的信息的姿势过滤器191，该移动将由深度相机来捕捉。然后可为该姿势设定参数。在姿势是投掷的情况下，参数可以是该手必须达到的阈值速度、该手必须行进的距离(绝对的，或相对于用户的整体大小)、以及识别器引擎对发生了该姿势的置信评级。用于姿势的这些参数可以随着时间在各应用之间、在单个应用的各上下文之间、或在一个应用的一个上下文内变化。

尽管构想了姿势识别引擎190可包括姿势过滤器191的集合，其中过滤器可包括用于处理深度、RGB或骨架数据的代码或以其他方式表示用于进行这样的处理的组件，但过滤器的使用不旨在将分析限于过滤器。过滤器是分析系统所接收的场景的数据，并将该数据与表示姿势的基础信息进行比较的示例组件或代码部分的表示。作为分析的结果，系统可产生对应于输入数据是否对应于姿势的输出。表示姿势的基础信息可被调整为对应于代表用户的捕捉运动的数据历史中重复出现的特征。例如，基础信息可以是如上所述的姿势过滤器的一部分。但是，构想了任何合适的用于分析输入数据和姿势数据的方式。

在一示例实施例中，姿势可被识别为进入修改模式的触发，在修改模式中，用户可修改系统自动生成的视觉表示。例如，姿势识别器191可包括用于识别修改触发姿势的信息。如果识别到修改触发姿势，则应用可进入修改模式。修改触发姿势可在应用之间、在系统之间、在用户之间等变化。例如，网球游戏应用中相同的姿势可能不是保龄球游戏应用中相同的修改触发姿势。考虑包括用户运动在该用户身体前方的用户的右手，同时食指向上指并以圆圈运动移动的示例修改触发姿势。为该修改触发姿势设置的参数可用于标识用户的手在用户身体的前方，用户的食指以向上运动指向，并标识食指正在以圆圈运动移动。

某些姿势可被标识为进入修改模式的请求，其中如果应用当前正在执行，则修改模式中断应用的当前状态并进入修改模式。修改模式可使得应用暂停，其中应用可在用户离开修改模式时在暂停点继续。或者，修改模式可能不导致对应用的暂停，且应用可在用户作出修改的同时继续执行。

可将由相机26、28和设备20捕捉的骨架模型以及与其相关联的移动的形式的数据与姿势库192中的姿势过滤器191进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个姿势。由此，对诸如过滤器191等过滤器的输入可包括诸如关于用户的关节位置的关节数据，像在关节处相交的骨所形成的角度、来自场景的RGB色彩数据、以及用户的某一方面的变化速率等内容。如所提到的，可为姿势设置参数。来自过滤器191的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及姿势发生的时间等内容。

计算环境12可包括处理器195，处理器195可处理深度图像来确定场景中有什么目标，如房间中的用户18或物体。这可例如通过将深度图像中共享相似的距离值的像素分组在一起来完成。该图像也可被解析来产生用户的骨架表示，其中标识诸如关节和关节之间的组织等特征。存在骨架映射技术，骨架映射技术用深度相机来捕捉个人，并从中确定该用户的骨架上的各个点，手、腕、肘、膝、鼻、踝、肩的关节，以及骨盆与脊椎相交之处。其他技术包括将图像变换成该人的身体模型表示以及将图像变换成该人的网格模型表示。

在一个实施例中，处理是在捕捉设备20上执行的，且深度和色彩(其中捕捉设备20包括3-D相机26)值的原始图像数据经由链路36发送到计算环境12。在另一实施例中，处理由耦合到相机402的处理器32来执行，然后经解析的图像数据被发送到计算环境12。在又一实施例中，原始图像数据和经解析的图像数据两者被发送到计算环境12。计算环境12可接收经解析的图像，但是它仍可接收原始数据来执行当前过程或应用。例如，如果场景的图像通过计算机网络发送到另一用户，则计算环境12可发送供另一计算环境处理的原始数据。

处理器可具有特征比较模块196。特征比较模块196可将目标的所检测到的特征与特征库197中的选项进行比较。特征库197可提供视觉表示特征选项，如颜色选项、脸部特征选项、身体类型选项、大小选项等，并且选项可以对人类和非人类目标变化。库可以是存储视觉表示的特征的目录、数据库、存储器等。库可以是特征选项的有组织的或无组织的集合。系统或用户可以将特征添加到目录。例如，应用可具有一组预封装的特征选项，或者系统可具有默认数量的可用特征。附加特征选项可被添加到特征库197或在其中更新。例如，用户可在虚拟市场购买附加特征选项，用户可将特征选项赠予另一用户，或者系统可通过拍摄用户的所检测到的特征的快照来生成特征选项。

图像库188可以是捕捉设备20检索的图像的集合，包括与该捕捉设备交互的用户的具体特征。图像可用于根据以下的讨论呈现屏幕上场景。图像库188还可存储捕捉设备所扫描的该场景中的物品的图像。

特征比较模块196可诸如从特征选项目录中作出最接近地类似于目标的所检测到的特征的特征选择。系统可自动生成具有所检测的特征的视觉对象。例如，考虑对物理空间中的红色的、两个座位的长椅的检测。系统可从姿势库197中标识单独地或组合地类似于该长椅的所检测到的目标特征的特征。在一示例实施例中，从特征库197中的选择可以就像选择具有物理目标的至少一个特征的虚拟目标那样简单。例如，特征库197可具有用于家具的众多特征选项，并且可包括对红色的、两个座位的长椅的虚拟图像或描绘。这些特征可以是预封装的，并随应用或随系统一起提供。在另一示例中，系统可拍摄该物理长椅的快照，并创建具有该物理长椅的形状的卡通或虚拟图像。由此，所选特征可以是来自系统先前拍摄并添加到特征库197的该物理长椅的快照。

系统可基于所检测到的特征来调整所选特征的颜色、位置或比例，并将该信息存储在3-D模型库199中。例如，系统可从特征库197中选择类似于所检测到的目标的特征的特征或组合若干特征。系统可将特征添加到所选特征或虚拟图像来更完全地类似于所检测到的目标。在所检测到的长椅的示例中，系统可执行在特征库197中的特征查找，并标识具有类似于物理长椅的特征的至少一个特征的长椅的虚拟框架。例如，系统可最初选择形状类似于所检测到的物理长椅的虚拟长椅。如果虚拟的两个座位的长椅是可用特征选项，则系统可选择该虚拟的两个座位的长椅。颜色可以是可由系统选择的特征选项。在该示例中，如果红色长椅明确不是特征库197中的选项，则系统可从特征库197中选择颜色并将其应用于所选的虚拟框架。系统可在特征库197中选择类似于物理长椅的所检测到的红色的现有颜色，或者系统可拍摄物理长椅的颜色的快照并将其作为特征选项添加到特征库。系统可将所选红色特征应用于虚拟长椅图像。

物理模型可以是所选目标的组件。一般而言，对虚拟模型所穿的服装和衣服的建模是通过首先通过定义衣服网格到在线表示的表面的附加数据将服装附加到身体表面的网格来执行的。服装变形利用了虚拟模型，或者在这一情况下是虚拟表示的底层皮肤的形状。衣服网格的每一顶点与皮肤网格的三角形、边或顶点相关联。

因此，对于衣服，在一个实施例中，3-D模型包括用于确定如何将衣服应用于人类模型的信息网格。身体变形提供了对服装或衣服模型的大小调整。已经开发了基于物理学的模型，该模型能够独立于其使用来模拟服装的动态特性，不论是服装还是诸如家具或桌布等其他情形。这些模型集成了复杂的服装检测并模拟衣服的物理行为。这些建模技术中的任一个可用于生成在应用中使用的三维物品模型。对服装的机械特性建模的一种流行的方式是弹簧-质量块(spring-mass)颗粒系统。它们由通过弹簧连接到其邻居的3-D点状质量块组成。服装的机械行为通过在给定其位置和速度的情况下竞争施加到每一质量块的力来模拟。存在竞争数值积分的不同方式。衣服在其具有穿着它们的身体或具有其他衣片的环境中与对象交互。处理碰撞涉及两种类型的问题，碰撞检测和碰撞响应。购物应用180将使用存储在3-D模型中的该信息来找到对象之间的几何联系，并将所得的反应和摩擦效应集成到呈现在显示器194上的机械模拟中。

在另一示例中，目标是人类用户，且该系统检测用户的特征，如眼睛颜色、大小和形状，发色、发型和头发长度，等等。系统可将所检测到的特征与特征选项目录进行比较，并将所选特征应用于视觉表示。如上所述，系统可组合特征并更改这些特征。例如，特征可通过向目标应用颜色、定位或比例来更改。特征可通过从特征库197中选择诸如颜色等附加特征或通过使用来自目标的快照的图像数据来更改。例如，应用可在特征库197中提供一组通用的纯色裤子、T恤和鞋子类型。系统可从该通用服装特征中进行选择，并通过向服装应用颜色来反映系统检测到的目标的服装的颜色来更改所选的服装特征。

3-D模型库存储用户在屏幕上界面中使用的元素的特征和模型。3-D模型库可包括结合美国专利申请号(虚拟对象操纵)中的公开内容形成的物品的物理模型。附加的元数据可以与每一模型相关联来提供给例如关于物品如何与其他物品交互的信息。例如，灯的3-D模型可记录该灯提供的光的类型以及该光的覆盖范围。

计算环境12可使用3-D模型构建器193来从可从图像库和捕捉设备获得的扫描的场景信息中创建3-D模型。

在另一示例中，系统可标识姿势库197中类似于用户的特征的特征子集，并提供用户可从中进行选择的该子集。由此，提供给用户的用于某一特征的选项数量可以被智能地过滤以便使用户更容易定制视觉表示。

计算环境12可使用姿势库192来解释骨架模型的移动并基于该移动来控制应用。过滤器可以是模块化或可互换的，使得第一过滤器可用具有与第一过滤器相同数量和类型的输入和输出的第二过滤器来替换而不更改识别器引擎体系结构的任何其他方面。例如，可以有用于驾驶的第一过滤器，该第一过滤器取骨架数据作为输入并输出与该过滤器相关联的姿势正在发生的置信度以及转向角。在希望用第二驾驶过滤器来替换该第一驾驶过滤器的情况下——这可能是因为第二驾驶过滤器更高效且需要更少的处理资源——则可以通过简单地用第二过滤器替换第一过滤器来这样做，只要第二过滤器具有相同的输入和输出-骨架数据类型的一个输入，以及置信度类型和角度类型的两个输出。

过滤器不需要具有参数。例如，返回用户的高度的“用户高度”过滤器可能不允许任何可调节的参数。替换的“用户高度”过滤器可具有可调节参数，如在确定用户的高度时是否考虑用户的鞋、发型、头饰以及体态。

对过滤器的输入可包括诸如关于用户的关节位置的关节数据，像在关节处相交的骨所形成的角度、来自场景的RGB色彩数据、以及用户的某一方面的变化速率等内容。来自过滤器的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及作出姿势运动的时间等内容。

姿势识别器引擎190向过滤器提供功能。在一实施例中，识别器引擎190实现的功能包括跟踪所识别的姿势和其他输入的随时间输入(input-over-time)存档、隐马尔可夫模型实现(其中模型化系统被假定为马尔可夫过程-其中当前状态封装了确定将来状态所需的任何过去状态信息，因此不必为此目的而维护任何其他过去状态信息的过程-该过程具有未知参数，并且隐藏参数是从可观察数据来确定的)、以及求解姿势识别的特定实例所需的其他功能。

过滤器191在姿势识别器190之上加载并实现，并且可利用姿势识别器引擎190所提供的服务。应用180可使用识别器引擎190所提供的过滤器191，或者它可提供其自己的、插入到识别器引擎190的过滤器。在一实施例中，所有过滤器具有启用该插入特性的通用接口。此外，所有过滤器可利用参数，因此可使用以下单个姿势工具来诊断并调节整个过滤器系统。

关于识别器引擎190的更多信息可在2009年4月13日提交的美国专利申请12/422,661“Gesture Recognizer System Architecture(姿势识别器系统体系结构)”中找到，该申请通过整体引用合并于此。关于识别姿势的更多信息可在2009年2月23日提交的美国专利申请12/391,150“Standard Gestures(标准姿势)”；以及2009年5月29日提交的美国专利申请12/474,655“Gesture Tool(姿势工具)”中找到。这两个申请都通过整体引用合并于此。

计算环境12可以对人类目标用户的表示或对其存储3D模型的另一个人的表示进行建模和显示，如以诸如显示设备193等显示器上的化身或指针的形式。显示设备193可包括计算机监视器、电视机屏幕、或任何合适的显示设备。例如，相机控制的计算机系统可捕捉用户图像数据，并在电视机屏幕上显示映射到用户的姿势的用户反馈。用户反馈可以在诸如图1A和1B所示的屏幕上被显示为用户的化身或其他屏幕上表示。化身的运动可直接通过将化身的移动映射到用户的移动来控制。用户的姿势可以被解释来控制应用的某些方面。

根据一示例实施例，目标可以是诸如站着或坐着等处于任何位置的人类目标、具有物体的人类目标、两个或更多人类目标、一个或多个人类目标的一个或多个附件等，目标可被扫描、跟踪、建模和/或评估来生成虚拟屏幕，将用户与一个或多个所存储的简档进行比较和/或在诸如计算环境12等计算环境中存储关于目标的简档信息198。简档信息198可以采用用户简档、个人简档、应用简档、系统简档的形式，或用于存储数据以供稍后访问的任何其他合适的方法。简档信息198可以经由应用来访问，或者可以是例如系统级可用的。简档信息198可包括用于加载特定用户简档信息的查找表。虚拟屏幕可与可由以上关于图1A-1B描述的计算环境12执行的应用进行交互。

系统可通过基于存储在用户简档中的信息自动生成视觉表示来呈现诸如用户等人类目标的视觉表示。根据各示例实施例，查找表可包括用户专用简档信息。在一个实施例中，诸如计算环境12等计算环境可在查找表中包括关于一个或多个用户的所存储的简档数据198。所存储的简档数据198可特别地包括目标的所扫描的或所估计的身体大小、骨架模型、身体模型、语音样本或口令、目标的性别、目标年龄、先前的姿势、目标限制、以及目标对系统的标准使用，例如坐、惯用左手或惯用右手的趋势，或站在非常靠近捕捉设备之处的趋势。该信息可用于确定在捕捉场景中的目标与一个或多个用户简档198之间是否有匹配，在一个实施例中，该匹配可允许系统将虚拟屏幕自适应到用户，或根据简档198来自适应计算或游戏体验的其他元素。

先前为目标的视觉表示所选择的特征可被存储在简档中。例如，用户专用简档可存储所选并被应用来自动生成用户的视觉表示的特征。位置专用简档可存储所选并被应用来自动生成并显示类似于物理空间的虚拟场景的特征。例如，对应于诸如房间中的家具等物理空间中的物体的虚拟对象可通过从特征库197中选择选项来生成。可检测颜色，并且可从特征库197中选择可用颜色。在系统识别或初始化时，可加载位置专用简档，从而显示对应于该位置的家具和颜色。

一个或多个个人简档198可被存储在计算机环境12中，并在多个用户会话中使用，或者一个或多个个人简档可仅为单个会话而创建。

姿势库192、姿势识别引擎190、特征库197、特征比较器196和简档198可以用硬件、软件或两者的组合来实现。例如，姿势库192和姿势识别引擎190可被实现为在计算环境12的诸如处理器195等处理器上执行(或在图3的处理单元101或图4的处理单元259上)执行的软件。姿势库和过滤器参数可由姿势工具为应用或应用的上下文来调节。上下文可以是文化上下文，并且可以是环境上下文。

要强调的是，以下描述的图3-4中描绘的框图是示例性的，且不旨在暗示一具体实现。由此，图2的处理器195、图3的处理单元101和图4的处理单元259可被实现为单个处理器或多个处理器。多个处理器可以分布式或集中式地定位。例如，姿势库192可被实现为在捕捉设备的处理器32上执行的软件，或者它可被实现为在计算环境12中的处理器195上执行的软件。构想了适用于执行此处公开的技术的处理器的任意组合。多个处理器可无线地、经由硬线、或以其组合来通信。

此外，如此处所使用的，计算环境12可以指的是单个计算设备或计算系统。计算环境可包括非计算组件。计算环境可包括显示设备，如图2所示的显示设备194。显示设备可以是与计算环境分开但耦合到其上的实体，或者显示设备可以是例如进行处理并显示的计算设备。由此，计算系统、计算设备、计算环境、计算机、处理器或其他计算组件可互换地使用。

图3示出了计算系统的一示例实施例，该计算系统可以是图1A-2所示的用于跟踪应用所显示的化身或其他屏幕上对象的运动和/或动画化(或以其他方式更新)化身或其他屏幕上对象的计算系统12。诸如上面参考图1A-2所描述的计算系统12等的计算系统可以是诸如游戏控制台等的多媒体控制台100。如图3所示，多媒体控制台100具有含有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此的附加的一级和二级高速缓存102和104。闪存ROM 106可存储在多媒体控制台100通电时在引导进程初始化阶段加载的可执行代码。

图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM(随机存取存储器)。

多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线和无线适配器组件中任何一种。

提供系统存储器143来存储在引导进程期间加载的应用数据。提供媒体驱动器144且其可包括DVD/CD驱动器、蓝光驱动器、硬盘驱动器、或其它可移动媒体驱动器等。媒体驱动器144对于多媒体控制台100可以内置或外置的。应用数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。

系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外部音频用户或具有音频能力的设备再现。

前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其它指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。

CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其它组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这种架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。

当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其它媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。

多媒体控制台100可通过将该系统简单地连接到电视机或其它显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。

当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用而言是不存在的。

具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。

在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。

当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。

输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维持有关焦点切换的状态信息。相机26、28和捕捉设备20可经由USB控制器126或其他接口来定义控制台100的附加输入设备。

图4示出了计算系统220的另一示例实施例，该计算系统可用于实现图1A-2所示的用于跟踪应用所显示的化身或其他屏幕上对象的运动和/或动画化(或以其他方式更新)化身或其他屏幕上对象的计算系统12。计算系统环境220只是合适的计算系统的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算系统220解释为对示例性操作系统220中示出的任一组件或其组合有任何依赖性或要求。在某些实施方式中，所描绘的各种计算元素可包括被配置成实例化本公开的各具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。在其他示例实施方式中，术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在电路包括硬件与软件组合的示例实施方式中，实现者可编写实施逻辑的源代码且该源代码可被编译成可由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。

计算系统220包括计算机241，计算机241通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图4示出了操作系统225、应用程序226，其他程序模块227，和程序数据228。

计算机241还可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图4示出了对不可移动、非易失性磁介质进行读写的硬盘驱动器238，对可移动、非易失性磁盘254进行读写的磁盘驱动器239，以及对诸如CD ROM或其它光学介质等可移动、非易失性光盘253进行读写的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由诸如接口234等不可移动存储器接口连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至系统总线221。

上文所讨论的并且在图4中所示出的驱动器以及它们的相关联的计算机存储介质，为计算机241提供了计算机可读的指令、数据结构、程序模块及其他数据的存储。例如，在图4中，硬盘驱动器238被示为存储操作系统258、应用程序257、其它程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。给操作系统258、应用程序257、其他程序模块256、以及程序数据255提供了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和定点设备252(通常被称为鼠标、跟踪球或触摸垫)，向计算机241输入命令和信息。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)，来连接。相机26、28和捕捉设备20可经由用户输入接口236来定义控制台100的附加输入设备。监视器242或其他类型的显示设备也经由接口，诸如视频接口232，连接至系统总线221。除监视器以外，计算机也可以包括其它外围输出设备，诸如扬声器244和打印机243，它们可以通过输出外围接口233连接。捕捉设备20可经由输出外围接口233、网络接口237或其他接口连接到计算系统220。

计算机241可使用至一个或多个远程计算机，诸如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他公共网络节点，通常包括上文参考计算机241所描述的许多或全部元件，虽然图4中只示出了存储器存储设备247。图中所示逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其它网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。

当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非局限，图4示出应用程序248驻留在存储器设备247上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。

图3或4的系统中的任一个或不同计算系统可用于实现图2的计算系统12。如上所述，计算系统12确定用户的运动，并采用这些检测到的运动来控制视频游戏或其他应用。例如，用户的运动可用于控制视频游戏中的化身和/或对象。在某些实施例中，系统可同时跟踪多个用户，并允许多个用户的运动来控制或影响应用。

系统将使用RGB图像和深度图像来跟踪用户的移动。例如，系统将使用深度图像来跟踪人的骨架。可以使用许多方法来使用深度图像跟踪人的骨架。使用深度图像来跟踪骨架的一个合适的示例在2009年10月21日提交的美国专利申请12/603,437“Pose Tracking Pipeline(姿势跟踪流水线)”(以下称为’437申请)中提供，该申请通过整体引用合并于此。‘437申请的过程包括获取深度图像，对数据进行降采样，移除和/或平滑高变度噪声数据，标识并移除背景，以及将前景像素中的每一个分配给身体的不同部位。基于这些步骤，系统将使使用该数据来拟合一模型并创建骨架。该骨架将包括一组关节和这些关节之间的连接。

在一个实施例中，为了使用户的运动用于控制应用，用户必须首先加入或绑定到该应用。在一个实施例中，将要求每一用户通过站在系统前方以使得可从该用户的多个角度获得深度图像和/或视觉图像来标识他或她自身。例如，在获得深度图像和视觉图像时，可要求用户站在照相机前方、转身、并作出各种姿态。在系统获得了足够的深度和/或视觉图像之后，系统将从图像中创建一组唯一地标识用户的标识数据。系统将创建唯一标识，并将该唯一标识与游戏/应用中的屏幕上表示(例如，化身)或其他对象相关联。在用户加入(或绑定到)应用之后，系统将在该用户主动参与应用(例如，玩游戏或使用该应用)时跟踪该用户的运动。然而，在过去，房间中未主动参与应用(例如，未绑定到应用、绑定到应用但未玩当前游戏、或绑定到应用但当前没有轮到玩)的其他人没有办法与应用交互。

图5是示出根据本发明的技术提供基于独立运动跟踪的购物应用的一般方法的流程图。

在图5中，在402，根据此处的讨论使用图2所示的捕捉系统以及以下图6描述的过程来扫描场景。在步骤404，系统时间确定场景是否包括人类目标。对场景内的人类目标的选择在以下关于图7来讨论。在步骤406，扫描继续，直到找到人类目标。一旦在406处检测到人类目标，在408处生成该人类目标的模型。目标的模型在图8中示出。在步骤410，连续地跟踪该模型。

合适的跟踪技术也在以下专利申请中公开：2009年5月29日提交的美国专利申请12/475,308“Device for Identifying and Tracking Multiple Humans Over Time(用于随时间标识并跟踪多个人的设备)”，该申请通过整体引用合并于此；2010年1月29日提交的美国专利申请12/696,282“Visual Based Identity Tracking(基于视觉的身份跟踪)”，该申请通过整体引用合并于此；2009年12月18日提交的美国专利申请12/641,788“Motion Detection Using Depth Images(使用深度图像的运动检测)”，该申请通过整体引用结合于此；以及2009年10月7日提交的美国专利申请12/575,388“Human Tracking System(人类跟踪系统)”，该申请通过整体引用合并于此。

该模型的移动被呈现给系统，系统等待指示用户希望参与或以其他形式在系统10上执行动作的姿势或其他指示。如果在412识别了姿势，则在414确定该姿势是否指示用户希望参与购物应用。如果否，则在418可参与另一应用，并且将在步骤410跟踪的该点之外的应用姿势被发送到在418处参与的应用。418处的其他应用可包括诸如图1A或1B所示的那些视频游戏，以及对系统10的用户可用的管理性任务。

用于姿势识别的技术在2009年4月13日提交的美国专利申请12/422,661“Gesture Recognizer System Architecture(姿势识别器系统体系结构)”；2009年2月23日提交的美国专利申请12/391,150“Standard Gestures(标准姿势)”；以及2009年5月29日提交的美国专利申请12/474,644“Gesture Tool(姿势工具)”中公开，所有这些专利申请都通过整体引用结合于此。

如果在414参与购物应用，则在420生成人类目标的屏幕上表示。在422，在显示器16上生成购物界面。该购物界面可包括被设计成允许用户通过系统10捕捉的移动来操纵呈现在该界面中的一系列虚拟物品的任何种类的界面。所呈现的虚拟物品表示用户可通过销售商来获得的真实世界的物品，或者用户可能已经拥有且用户希望将其呈现在屏幕上表示中的真实世界的物品。例如，用户可能希望购买一件新商品来匹配用户现有的商品库存。可呈现两种商品的表示。

在410处连续跟踪人类目标的模型，并且在430处将人类目标模型的移动应用于屏幕上模型。这在下文中关于图6和11来讨论，并且根据美国申请第12/475,308、12/696,282、12/641,788和12/575,388号中的教示来执行。

如果用户执行姿势并且在440处识别了该姿势，则在450处在购物应用内应用与该姿势相一致的动作。如以下所讨论的，购物应用姿势可包括两种一般类型的姿势：物品操纵姿势或交易操纵姿势。物品操纵姿势可包括例如与呈现给用户的界面相一致的多种与购物相符的动作中的任一种。如果用户呈现了对包括服装的虚拟物品以及它们本身的屏幕上表示的选择，则物品操纵动作可包括诸如选择服装、穿上服装、脱下服装、调整服装、改变背景、改变饰品、在场景内移动房间元素、将商品放置在场景内、将屏幕上表示与各种背景一起放置在特定服装内等的动作。交易姿势可包括用于方便交易的姿势，如将物品移至购物车中、从购物车中移除物品、输入财务信息等。

图6是描述用于自动传感环境的一个或多个物理特性，包括未主动参与应用的一个或多个实体的特性以及主动参与的用户的特性。图6的过程是图5的步骤402的一个示例实现。在步骤502，捕捉设备20将传感深度图像。在步骤504，将该深度图像发送到计算系统12。在步骤506，捕捉设备20将传感视觉图像。在步骤508，将该视觉图像发送到计算系统12。在步骤510，捕捉设备20将传感音频数据。在步骤512，将该音频数据发送到计算系统12。在步骤514，深度图像处理和骨架跟踪50将基于深度图像、视觉图像和/或音频数据来更新运动跟踪。在步骤516，将深度图像、视觉图像和/或音频数据以及跟踪信息提供给识别器引擎54。在步骤518，识别器引擎54将处理所接收的数据，然后在步骤520中调用适当的一个或多个过滤器。

如上所述，图5包括在步骤412和440标识姿势的步骤。在一个示例中，对于应用希望检测的每一动作，在过滤器集合191中将有一个单独的姿势过滤器。在其它实现中，一个过滤器可确定一个以上姿势或动作。识别引擎190将贯穿应用的执行来接收数据。所采用的每一过滤器将向识别引擎190注册，包括指示它正在查找哪些数据。当识别引擎190看见对于某一过滤器的数据可用时，识别引擎190将调用适当的过滤器191。有可能同时或以重叠的方式调用许多过滤器。识别引擎190为查找特定一组一个或多个姿势或动作而调用的每一过滤器将自动基于所传感的物理特性来标识动作或状况。当过滤器确定它正在寻找的特定姿势或动作已发生时，过滤器可将该信息报告给应用。

图7描绘了用于根据图5的步骤404和406来处理深度信息的示例方法的流程图，包括例如从可由捕捉设备捕捉的深度图像中的环境中分割人类目标。在一示例实施例中，示例方法600可采取可由例如系统1010的捕捉设备20和/或计算环境12执行的程序代码(即，指令)的形式。确定人是否在场景中的方法在2009年5月29日提交的题为“Environment And/Or Target Segmentation(环境和/或目标分割)”的美国专利申请12/475094号中公开，该申请通过引用完全合并于此。

根据一实施例，在605，可接收深度图像。捕捉设备20可捕捉或观察可包括一个或多个目标或物体的场景。在一示例实施例中，捕捉设备20可以是深度相机，该深度相机被配置成使用诸如飞行时间分析、结构化光分析、立体视觉分析等任何合适的技术来获得场景的深度图像。深度图像可以是多个观测到的像素，其中每个观测到的像素具有观测到的深度值。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可具有深度值，如按照以厘米、毫米等为单位的、所捕捉的场景中的对象离捕捉设备的长度或距离。

深度图像可包括对应于一个或多个用户的一个或多个人类目标，和所捕捉的场景中的一个或多个诸如墙、桌子、监视器、长椅、天花板等非人类目标。在615，可扫描深度图像中的人类目标来寻找一个或多个身体部位。在一个实施例中，在615处扫描人类目标之前，系统10可在610确定深度图像中的人类目标先前是否已被扫描。例如，捕捉设备可按帧来捕捉场景。每一帧可包括一深度图像。可如上所述分析每一帧的深度图像来确定深度图像是否可包括人类目标。可进一步分析每一帧的深度图像来确定先前是否已经扫描了人类目标来寻找一个或多个身体部位。例如，在610，系统10可确定在605接收到的深度图像中的人类目标是否对应于先前在615处扫描的人类目标。在一个实施例中，在610，如果该人类目标不对应于先前扫描的人类目标，则然后可在615处扫描该人类目标。

在620，可确定深度图像的环境。例如，深度图像可以是二维(2-D)像素区域中的多个所观察的像素，其中每一所观察的像素具有所观察的深度值。在一个实施例中，系统10可确定深度图像中的一个或多个像素是否可与人类目标或深度图像的环境相关联。在一示例实施例中，系统可通过最初定义围绕诸如在605接收到的深度图像中的每一人类目标等每一前景对象的边界框来确定深度图像的环境。该边界框可由基于例如615处的扫描确定的质心和/或测量来定义。在为每一人类目标定义了边界框之后，深度图像中在该边界框外部的像素可被标识为环境。

该系统可进一步通过对与620处的人类目标等人类目标相关联的一个或多个像素进行泛色填充来确定深度图像的环境。例如，系统20可通过比较附近像素的深度值来检测例如，诸如人类目标等前景对象的边缘，使得人类目标的边缘内的像素可被泛色填充。另外，系统20可通过比较可能在该边界框内的附近像素的各种深度值来检测诸如人类目标等前景对象的边缘。根据一示例实施例，系统10可通过使用预定边缘容限来分析例如边界框内的各个像素来检测人类目标的边缘。人类目标(如图9中的用户1002)的一个身体部位可以与该人体的另一身体部位分开。例如，身体部位可投下红外阴影，使得该身体部位可与该人体的另一身体部位分开。在另一示例实施例中，诸如头等身体部位可通过例如面部毛发、各种服装物品等与人类目标的躯干分开。

另外，如上所述，身体部位可通过例如面部毛发、各种服装物品等由无效深度值来分开。在620，系统10可使用深度历史数据来确定深度图像的环境或非人类目标像素。在625，可移除或丢弃深度图像的环境。例如，在通过如上所述确定像素是否可与人类目标相关联来为与人类目标相关联的像素进行了泛色填充之后，目标识别、分析和跟踪系统可丢弃可能不与经泛色填充的人类目标相关联的像素。由此，在一个实施例中，在625，目标识别、分析和跟踪系统可基于经泛色填充的人类目标来丢弃或移除与深度图像的环境相关联的像素，使得包括该像素以及与其相关联的深度值的人类目标可以在深度图像中被隔离。根据一示例实施例，系统10可通过向与环境相关联的像素分配例如，诸如深度值0等无效深度值来丢弃这些像素。

在630，可处理具有隔离的人类目标的深度图像。在一个实施例中，系统10可以处理具有隔离的人类目标的深度图像，从而可生成所捕捉的场景中的人类目标的模型。

例如，根据一示例实施例，可生成诸如关于图8描述的用户18等用户的诸如骨架模型、网格人类模型等模型。

然后可响应于对所跟踪的模型的改变来改变屏幕上人物的视觉外观。例如，可由此处描述的游戏控制台来跟踪诸如以上参考图1A和1B描述的在游戏控制台上玩电子游戏的用户18等用户。具体地，可使用诸如骨架模型等身体模型来对目标游戏玩家建模，并且可使用该身体模型来呈现屏幕上玩家化身。当游戏玩家伸直一条手臂时，游戏控制台可跟踪该运动，然后响应于所跟踪的运动来相应地调整身体模型。游戏控制台还可将一个或多个约束施加到身体模型的移动。在作出此类调整并施加此类约束之后，游戏控制台可显示经调整的玩家化身。

图8示出了表示用于跟踪诸如用户18或1002等用户的、所扫描的人类目标的骨架模型808的示例实施例。模型相对于用户1002来示出。根据一示例实施例，骨架模型808可包括可将人类目标18或1002表示为三维模型的一个或多个数据结构。每个身体部位可被表征为定义骨架模型808的关节和骨的数学矢量。

如图8中所示的，骨架模型808可包括一个或多个关节n1-n18。根据一示例实施例，关节n1-n18中的每一个可使得在这些关节之间定义的一个或多个身体部位能相对于一个或多个其他身体部位移动。例如，表示人类目标的模型可包括多个刚性和/或可变形身体部位，这些身体部位由一个或多个诸如“骨”等结构件来定义，而关节n1-n18位于相邻骨的交叉点处。关节n1-n18可使得与骨和关节n1-n18相关联的各个身体部位能够彼此独立地移动。例如，如图8中所示的，关节n7与n11之间定义的骨对应于前臂，该前臂可独立于例如关节n15与n17之间的骨——其对应于小腿——移动。

这些关节中的每一个表示骨架中该骨架可以在x、y、z方向上枢转的位置或身体上关注的位置。也可使用用于跟踪的其他方法。合适的跟踪技术在以上引用的美国专利申请12/475,308、12/696,282、12/641,788和12/575,388的教示中公开。

图9示出了用户1002和系统20提供的用户的屏幕上表示1050。用户1002可通过移动她的身体来创建姿势。姿势包括用户的运动或姿态，其可被捕捉为图像数据并解析其意义。

用户的姿势可用于一般计算上下文中的输入。例如，手或其他身体部位的各种运动可对应于常见的系统级任务，如在分层列表中向上或向下导航、打开文件、关闭文件和保存文件。例如，用户能以手指向上指且掌心面向捕捉设备20来保持他的手。他然后可以将手指朝向手掌收拢来形成拳头，并且这可以是指示基于窗口的用户界面计算环境中的焦点窗口应被关闭的姿势。姿势也可在视频游戏专用上下文中取决于游戏来使用。例如，对于驾驶游戏，手和脚的各种运动可对应于在一方向上操控车辆、换挡、加速和刹车。由此，姿势可指示映射到所显示的用户表示的、在诸如视频游戏、文本编辑器、文字处理、数据管理等各种各样应用中的各种各样的运动。

应用可以为与各种转变点相关联的参数设置值来标识使用预录制的动画的点。转变点可由各种参数来定义，如某一姿势的标识、速度、目标或物体的角度、或其任何组合。如果转变点至少部分地由某一姿势的标识来定义，则正确地标识姿势有助于提高转变点的参数已被满足的置信水平。

图9和10示出了用户1002的屏幕上表示1050的创建。用于生成屏幕上表示的技术在2009年7月29日提交的题为“Auto Generating a Visual Representation”(自动生成视觉表示)的美国专利申请12/511,850号中公开，该申请通过引用完全合并于此。屏幕上表示可以由系统自动生成来提供具有类似于目标的所检测到的特征的该目标的视觉表示。或者，系统可提供用户可从中进行选择的可选择特征子集。系统可基于目标的所检测到的特征来选择特征，并将该选择应用于目标的视觉表示。由此，自动生成技术可对用户消除大量工作。例如，系统可代表用户作出选择，并将它们应用于用户的视觉表示。

如图9所示，系统在显示器1000上呈现对应于物理空间1001中的用户1002的视觉表示1050。在该示例中，系统通过检测用户1002的特征，将所检测到的特征与特征选项库或成像库中的成像信息进行比较，选择类似于用户1002的所检测到的特征的特征选项，以及自动将所选的特征选项应用于用户的屏幕上表示1050来自动生成屏幕上表示1050。屏幕上表示的自动生成对用户1002消除了工作，并为用户1002创建如同他们被传送到游戏或应用体验中那样的体验。

通过跟踪在步骤408生成的模型，系统20可以实时地显示屏幕上表示，并实时地更新应用于屏幕上表示的特征选择。系统可以随着时间跟踪物理空间中的用户，并同样实时地向应用于屏幕上表示的特征应用修改或更新这些特征。例如，系统可以跟踪用户并标识用户已经脱下了运动衫。系统可以标识用户的身体移动，并识别用户的服装类型和颜色的变化。系统可以使用用户的所标识的特性中的任一个来帮助特征选择过程和/或更新从特征库中所选并应用于视觉表示的特征。

图像数据和/或深度信息可用于标识目标特征。关于人类目标的这些目标特征可包括，例如身高和/或臂长，并且可以基于例如身体扫描、骨架模型、用户1002在像素区域上的延伸范围或任何其他合适的过程或数据来获得。使用例如与人类目标相关联的多个观察到的像素中的深度值和人类目标的一个或多个方面的延伸范围，如身高、头宽、或肩宽等，可确定人类目标的大小。相机1008可以处理图像数据，并将其用于确定用户的各个部位的形状、颜色和大小，包括用户的头发、服装等。所检测到的特征可以与用于应用于视觉表示的特征选项的目录进行比较，如特征库197中的视觉表示特征选项。

在另一示例实施例中，系统可以标识用户的特性，并使用所标识的特性来选择用于视觉表示的特征，系统可使用目标数字化技术。该技术包括从得自诸如深度传感设备等捕捉设备的未经组织的点云中标识表面、纹理和对象尺寸。采用目标数字化可包括表面提取、标识点云中的点、标记表面法线、计算对象特性、随时间跟踪对象特性中的变化、以及随着捕捉额外的帧而增加对象边界和身份中的置信度。例如，可以接收或观察与物理空间中的对象相关的数据点的点云。然后可分析该点云来确定该点云是否包括对象。点云的集合可被标识为对象并融合在一起来表示单个对象。点云的表面可从所标识的对象中提取。

可使用提供扫描已知/未知对象、扫描人类、以及扫描场景中的背景方面(例如，地板、墙)的能力的任何已知技术或此处公开的技术来检测物理空间中的目标的特征。可使用每一对象的所扫描的数据，包括深度和RGB数据的组合，来创建该对象的三维模型。该RGB数据被应用于该模型的对应区域。各帧之间的时间跟踪可以提高置信度并实时地自适应对象数据。由此，可使用对象特性以及随时间对对象特性中的变化的跟踪来可靠地跟踪其位置和定向实时地在各帧之间变化的对象。捕捉设备以交互式速率来捕捉数据，从而提高了数据的保真度，并允许所公开的技术处理原始深度数据，数字化场景中的对象，提取对象的表面和纹理，以及实时地执行这些技术中的任一种，以使得显示画面可以提供该场景的实时描绘。

可使用相机识别技术来确定特征库197中的哪些元素最接近地类似于用户602的特性。系统可使用脸部识别和/或身体识别技术来检测用户1002的特征。例如，系统可以基于从图像数据、点云数据、深度数据等中对模型的生成来检测用户的特征。可以进行脸部扫描，并且系统可以处理关于用户的脸部特征和RGB数据所捕捉的数据。在一示例实施例中，基于五个关键数据点(即，眼、嘴角点、和鼻)的位置，系统提出关于玩家的脸部建议。该脸部建议可包括至少一个所选的脸部特征、完整的脸部特征集，或者它可以是来自特征库197的关于脸部特征的缩减的选项子集。系统可以执行身体识别技术，从而从身体扫描中标识各种身体部位/类型。例如，用户的身体扫描可提供关于用户的身高的建议。对于这些扫描中的任一个，可提示用户站在物理空间中提供最佳扫描结果的位置。

可从所捕捉的数据中检测其他特征。例如，系统可以通过分析用户和/或用户的模型来检测颜色数据和服装数据。

系统可以检测用户的特征中的至少一个，并从特征库197中选择代表所检测到的特征的特征。系统可以将所选择的特征自动应用于用户的视觉表示1050。由此，用户的视觉表示1050具有如系统所选择的用户的相像性。

图10示出了向用户提供特征选择的示例方法。特征选择的提供可以通过显示视觉表示来提供，其中该视觉表示具有所应用的特征或用户可从中进行选择的具有缩减的选项子集的特征库的子集。例如，在802，系统从包括诸如用户或非人类对象等目标的物理空间接收数据。

如上所述，在802，捕捉设备可捕捉场景的数据，如场景的深度图像，并扫描场景中的目标。在804，系统可以确定场景中的一个或多个目标是否对应于诸如用户等人类目标。例如，为了确定场景中的目标或对象是否对应于人类目标，可对每个目标进行泛色填充并将其与人体模型的图案作比较。然后可扫描匹配人体模型的每一目标或对象来生成与其相关联的骨架模型。例如，可扫描被标识为人类的目标来生成与其相关联的骨架模型。然后可将该骨架模型提供给计算环境来跟踪该骨架模型并呈现与该骨架模型相关联的视觉表示。在804，系统可通过使用任何合适的技术，如身体扫描、点云模型、骨架模型、泛色填充技术等，来转换所捕捉的数据，以便标识物理空间中的目标的特征。

在806，系统可检测目标的特性并将其与诸如特征库中的特征选项等特征选项进行比较。特征选项可以是用于目标的各种特征的选项的集合。例如，用于用户的特征选项可包括眉毛选项、头发选项、鼻选项等。用于房间中的家具的特征选项可包括大小选项、形状选项、硬件选项等。

在一示例实施例中，系统可以检测可供应用于类似于用户的所检测到的特征的视觉表示的若干特征。由此，在806，系统可以检测用户的特征并将所检测到的特征与应用于用户的视觉表示的特征库197进行比较，并且在810，系统可以基于所检测到的特征来选择特征选项的子集。系统可以通过比较特征库197中的特征与用户的所检测到的特性的相似度来选择该子集作为那些特征。有时，特征将非常相似，但是系统可能仍然在810向用户提供从中进行选择的选项子集。以此方式，用户可从该子集中选择至少与用户的对应特性相似的特征，但是可例如从该子集中选择更令人愉悦的特征。系统可在812接收用户从子集选项中进行的选择。由此，用户不必过滤具体特征的整个选项库来寻找与用户相似的特征。系统可以过滤选项库并向用户提供从中进行选择的特征子集。

系统可以在814自动生成用户的视觉表示。由此，在将目标的所检测到的特征与特征库中的选项进行比较之后，系统可以通过自动选择要应用于视觉表示的特征来自动生成目标的视觉表示。当系统自动呈现对应于用户的视觉表示，自动从特征库中选择了类似于目标的所检测到的特征的特征时，目标被不费力地传送到系统或软件体验中。

该视觉表示可具有自动选择的特征和用户基于系统所提供的选项子集选择的特征的组合。由此，该视觉表示可被部分地生成且部分地由用户来定制。

在816，可将系统和/或用户作出的选择应用于目标的视觉表示。系统可以向用户呈现该视觉表示。在818，系统可以继续监视物理空间中的目标，从而随时间跟踪目标的可检测特征。对目标的视觉表示的修改可以实时地作出来反映对目标的所检测到的特征的任何改变。例如，如果目标是用户且该用户在物理空间中脱下了运动衫，则系统可以检测到新的衬衫样式和/或颜色，并从特征库中自动选择接近地类似于用户的衬衫的选项。

所选选项可实时地应用于用户的视觉表示。由此，前述步骤中的处理可以实时地执行，使得显示画面实时地对应于物理空间。以此方式，物理空间中的对象、用户或运动可被转换以供实时显示，使得用户可以实时地与正在执行的应用进行交互。

在822，用户的所检测到的特征、系统所选择的特征、以及用户所选择的任何特征可成为简档的一部分。简档可以例如专用于某一物理空间或用户。包括用户的特征在内的化身数据可以成为用户的简档的一部分。可以在用户进入捕捉场景时访问简档。如果基于口令、用户的选择、身体大小、语音识别等，简档匹配用户，则该简档可用于确定用户的视觉表示。可监视用户的历史数据，从而将信息存储到用户的简档。例如，系统可以检测特定于用户的特征，如用户的脸部特征、身体类型等。系统可以选择类似于所检测的特征的特征以便应用于目标的视觉表示并存储在目标简档中。

屏幕上表示和骨架模型的各个元素在被组合时提供了用户的3-D模型，该模型可在将诸如服装等物品应用于用户时使用。为了提供物品将如何与用户交互的准确的视觉表示，随该3-D模型一起维护关于用户的大小调整信息以便允许衣服模型的连接。

如上所述，系统20的检测、成像和跟踪组件可以用于在线呈现和购物应用中。呈现和购物应用180向用户提供了屏幕上表示中所呈现的物品相对于用户或该用户所指定的场景将看上去如何的真实概念。

图11示出了根据本发明的技术由呈现和购物应用执行的过程。

在步骤1102，系统20获取三维物品模型。物品是在购物应用中使用的虚拟元素，其表示可从在线或零售销售商获得的真实世界的商品。物品模型可从各种源获取。希望呈现物品以便使用购物应用来销售的零售商可根据用于三维模型的一个或多个标准来创建其自己的物品模型。模型规范可适合用于创建并存储所呈现的场景中使用的物品的三维模型的任何数量的已知标准。销售商可提供与物品模型相关联的定价和交易信息。

在1104，在应用界面中显示物品。示例性界面在图12-19中示出。接着，在步骤410和420，分别跟踪用户模型和将移动应用于屏幕上模型。步骤410和420与以上关于图5描述的步骤等效。

在1112，姿势识别引擎192监视场景信息来寻找410处的用户模型的移动内的姿势，该姿势可能指示用户期待一动作发生。一种类型的动作可包括物品操纵姿势，其中用户希望在场景内相对于屏幕上模型移动物品。如果发现物品操纵姿势，则在1114发生姿势匹配，并且可发生诸如图11中所示的多个姿势中的任一个。

步骤1126示出表示可在购物应用180中发生的动作的一小组可能的姿势。这些动作可包括例如以下动作：选择物品、将物品应用于屏幕上图像、从化身移除物品、将物品添加到场景、从场景移除物品、取消选择物品、应用背景、从货架上移除物品、将物品置于货架上、调整物品特性、以及将对象移入场景中。上述姿势不应被解释为限制性的，而是用户在购物应用中当操纵物品时可能需要的姿势类型的示例。

选择物品可包括指示用户打算选择界面中的物品的姿势。用于该应用的界面可被呈现在显示画面中，如以下图12所示。选择可以是对所呈现的场景中或该场景的界面选择部分中的物品的选择。这一姿势可包括例如通过移动以便将用户的手的屏幕上表示定位在衣服上并合拢一个手来抓取虚拟衣服的运动。将物品应用于屏幕上图像的姿势可包括将所选衣服从挂有虚拟服装的货架上移开并将该衣服放在屏幕上表示之上。相反，姿势可包括移除物品。姿势可指示用户希望调整服装。例如，用户可能希望提起用户的衣领，卷起用户的裤子，卷起用户的袖子等等。这些类型的姿势中的任一个可导致在1128处对界面中的服装的调整。或者，在1128，用户可能希望将其自身置于不同的物理背景中。诸如从界面中选择背景贴图并将该背景贴图应用于用户的屏幕中等姿势将导致在1128处应用或移除背景。1126处任何其他多种类型的动作可导致界面内的对应动作1128。

可由用户发起的另一种一般类型的姿势是交易姿势。交易姿势可由用户用于对界面中由虚拟物品表示的真实世界物品发起购买、退货或其他类型的交易。如果在1130处识别了交易姿势，则在1132可发生多种动作中的任一个，包括以下动作：选择购物车、显示购物车、添加到购物车、从购物车中移除、购买购物车中的商品、清空购物车、保存购物车、从界面中购买商品、添加资金信息、检索所存储的资金信息、或任何其他交易相关动作。当在1132处发生动作时，在1134处可在显示画面中呈现该动作的表示。在显示画面中呈现交易动作可采取用于进行基于计算机的购买交易的任意数量的已知形式。

图12示出了由系统基于人类模型1002来呈现的示例性界面1200。界面1200可包括控制或选择部分1225和所呈现的场景1230。在一个实施例中，可在所呈现的场景的选择部分1225中提供诸如滚动条1227、具有可选择衣服的衣服货架1235、以及购物车1260等控制元素。人类模型1002的动作被传送到屏幕上表示1050。该界面可包括例如虚拟物品，包括虚拟服装货架1235，和/或各件衣服1242、1244、1246、1248，以及一系列背景1052、1054，可将任意数量的这些虚拟物品提供给用户。面向屏幕1200的用户1002可往高处伸手、从货架上抓取衣服、将其置于衣服阵列1060和/或将衣服放到虚拟模型1050上。如图12所示，虚拟模型1050的外观将模拟附加了适当的服装物品时的用户1002的大小。

在使用界面1200时，用户1002可作出适当的姿势来从衣服货架1235上选择衣服、将衣服放到保持区域中(衣服1242、1244、1246和1248)、以及将衣服移到虚拟模型1050上。用户1002可使用滚动界面1227来移动通过虚拟货架1235上的衣服。用户可选择将衣服放到虚拟购物车1260中，用户然后可使用交易界面(未示出)来购买这些衣服。使用系统来购买商品可包括使用系统20所提供的用户1002可使用姿势来与其交互的购买界面，或者可包括通过例如呈现在界面1200中的浏览器窗口来提供销售商专用界面。

用户可以选择背景图标1052、1054中的一个或多个来提供用户1002的虚拟表示1050背后的场景专用背景。图13示出了将背景应用于图12中所示的场景。在图13的应用中，界面的其他元素已被移除，但是在其他应用中可保留界面1025的元素。当将背景应用于场景时，可移除该界面的选择部分。或者，可显示选择部分。当不显示选择部分时。背景1052、1054的应用允许用户确定一具体物品在具体情形中将看上去如何。

背景1052、1054可包括用户使用捕捉设备20来存储的所扫描的场景，或零售商或第三方所提供的库存场景。在一个实施例中，该界面将用户呈现在呈现给捕捉设备的场景中。用户可在该界面中使用并选择其他所存储的场景。

可提供其他界面元素来允许用户改变屏幕上表示的外观。例如，光照控件可允许用户改变场景上的光源的类型和位置。诸如灯等特定物品可在与该模型相关联的元数据中包括信息，该信息允许系统从该物品生成光源以便允许用户确定来自灯的源光将如何改变场景的外观。每一元素可由合适的屏幕上控件表示在界面中。

另一界面元素可包括用户大小调整控件。大小调整控件可被应用于物品(如服装)或所跟踪的用户的人类模型的表示。例如，用户可能希望确定其外观如何随着体重增长或减轻而变化。大小调整控件还可允许选择不同大小的物品，从而允许用户确定小或中等大小的物品是否更适合屏幕上表示。

图14示出了对购物应用的替换使用，其中用户可将诸如长椅1402等物理物体放置在显示画面16上的场景1410中。在不同的实施例中，购物应用180可呈现与服装或家具不同类型的虚拟物品。

图15是随界面1425一起提供的、适用于在房间建模应用中使用的购物应用的示例性场景1410的放大视图。界面1525包括例如多个物品(该示例中是椅子)1540、1542、1544和1546，以及可应用于场景1410的多个绘画颜色1532和1534。

场景1410可以是用户的房间或捕捉设备20所扫描的场景(或用户选择的另一背景)的表示。该场景中被确定为是对象的元素可从该场景中移除，或者可在该场景中通过用户运动用其他对象来替换。例如，如果用户1002伸到了诸如物品1544等物品并抓取该物品且将其移到场景中，则用户可通过用手闭合运动抓取该物品并用手张开运动释放该物品来将该物品定位在场景1410中所需位置处。类似地，用户可通过抓取两个图标1532和1534之一并将其应用于场景1410来对房间涂色。可从第三方销售商提供任何数量的不同类型的物品。

场景1410可通过扫描用户的环境(如图9中的区域1001)来创建。场景1410将维持房间的透视以及大小调整信息来允许其中呈现的物品具有相对于场景的正确大小。可使用专用于呈现和购物应用的姿势。例如，如果物品是小地毯且用户希望将小地毯放在椅子下面而非椅子前面，则一特定姿势允许相对于椅子1544来定位小地毯。

在另一替换方案中，购物应用180可提供使用不同系统20的两个用户(用户A、用户B)，或场景中使用两个计算环境12A和10B之间的直接连接或设备之间的联网连接的两个用户之间的交互式体验。

图16示出了可用于向一个或多个计算通信环境12A和12B上的购物应用提供服务的互联系统的概览。计算环境12A和12B可经由网络1600耦合到游戏服务1604和一个或多个第三方销售商站点1602。等效于关于图2所示的每一计算环境12所示的元素的元素子集在图16中仅作为说明来示出。然而，应理解，可在环境12A和12B中提供其他元素190、191、192、194、195、196、198。

第三方销售商站点可以包括具有供销售给用户的物品且与计算环境12A、12B直接交互或与游戏服务1604交互以允许操作购物应用180的用户使用应用180来购买商品的销售商。在一个实施例中，销售商1602可将关于可从该销售商获得的物品的3-D模型或2-D产品信息直接提供给计算环境12A、12B。附加到该模型或信息的元数据可包括大小调整信息、定价信息和购买条款。应用180可以支持直接与销售商1602提供的产品信息1612、图像库1614、模型1616和交易接口1618的接口。

游戏服务1604可以包括从各种不同销售商1602收集的3-D模型的全球聚集库，从而允许用户经由单个服务来访问可用商品的聚集集合。同样，物品模型可被提供给游戏服务1604，游戏服务1604可存储可由游戏服务1604聚集以便在多个计算环境12上使用的3-D模型。游戏服务可提供其自己的3-D模型，或者3-D模型可由计算环境本身来生成。另外，游戏服务1604可维护用户账户信息1675，包括财务支付信息，以允许用户直接从游戏服务或该服务1604担当用户和销售商1602之间的中介之处购买商品。游戏服务中的交易接口1670经由网络1600与交易接口1618通信来允许用户通过游戏服务1604向销售商进行购买。

或者，销售商维护用户账户信息1620，以允许计算环境12A和12B直接耦合到销售商并直接向销售商发起购买交易。

在另一替换方案中，两个用户可经由联网环境在购物应用180中通信并协作。如图17和18所示，使用不同计算环境、各自执行应用180的两个用户A和B可进行交互，从而允许例如用户A向用户B的屏幕上表示应用改变。在图17中，生成用户B(1702)的屏幕上表示1750，并将其连同用户A(1704)的屏幕上表示1755一起表示在显示画面1712中。与计算环境12A交互的用户A可以与界面1725进行交互来选择要应用于用户B的屏幕上表示1750的物品，该物品然后在用户B的界面1712中显示给用户B。用户B在其环境1701内的移动被显示给用户A，使得两个用户都观看相同的场景。万一用户B希望改变该场景，则她的动作被发回到用户A的显示画面1725。

该过程在图18中示出。图18示出了应用180在两个不同处理设备12A和12B上操作的过程。在1800和1802分别生成用户A和用户B的各自的屏幕上模型。在步骤1802，跟踪用户A的动作，并在1804将该动作应用于用户A的屏幕上模型。这些动作在1816被发送到计算环境12B并应用于用户A的屏幕上模型。类似地，在1812跟踪用户B的移动，并在1814将其应用于用户B的屏幕上表示，且在1806将其发送到计算环境12A以便应用于用户B的屏幕上表示。在1808和1818分别检测每一用户的姿势。在该示例中，用户A在1810处的动作被应用于用户B模型，并在1820发送到计算环境12B以便应用于用户B模型的屏幕上表示。然而，在替换实施例中，用户A的姿势可同样被应用于用户B。

如上所述，可提供人类的屏幕上表示，并且同样，在图18的方法中使用物品的屏幕上表示。

以此方式，各个用户可以更改彼此的界面、模型、所呈现的场景或屏幕上显示的任何元素。在替换实施例中，图17和18中表示的两个用户可通过网络直接连接、直接通过因特网连接、或通过诸如游戏服务1604等中间服务来连接。可根据本发明的技术使用多种不同类型的应用中的任一种。该技术允许将虚拟环境在外观上个性化地自适应于用户的现有环境。

姿势不必被拖放。它们可对用户正在做的事情，例如穿衣服或脱衣服，是更有机的。虚拟对象不限于包括化妆品和其他对象在内的服装。

另外，可采用建议逻辑来扫描用户的外观，并建议可被相关到用户可获得的真实物理对象的附加类型的虚拟对象。该系统可以在家中或在商店中使用。元数据可被附加到对象来帮助元素性判定，如对象是紧贴地适合还是宽松地适合。另外，对象可被叠加在其他对象上以确定例如对象在房间中有多适合，或者衬衫如何与现有的裤子相配。可实时地将实时数据提取到3-D，或者可从场景中剪切图像并在场景内操纵该图像。

该系统可基于这些用户特性的标识来为用户推荐服装。服装推荐可基于用户的衣柜中的服装，或来自可供在虚拟世界市场中购买的服装。例如，用户可能具有个人衣柜，该衣柜具有特定虚拟表示所拥有且关联的商品的储存库。个人衣柜可包括允许用户查看并修改应用于用户的虚拟表示的服装和其他商品的界面。例如，可修改饰品、鞋子等。用户的性别可基于所捕捉的数据或作为访问与用户相关联的简档的结果来确定。

对该技术的另一种替换使用允许用户与另一用户或化身的屏幕上表示进行交互。如图19所示，用户1902可具有表示不同个人的屏幕上表示1950。在图19所示的示例中，女性用户1902可以与男性屏幕上表示进行交互。该屏幕上表示可从其他用户的所存储的简档信息或从模型库提供。用户1902的动作可由屏幕上表示来模拟，或者该模型可由用户1902基于用户1902所执行的姿势来摆姿态。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。本技术的范围旨在由所附权利要求书来定义。

Claims (15)

1.一种计算机实现的方法，包括：

使用捕捉设备来捕捉(402)场景，所述场景包括人类目标；

将所述场景和所述人类目标的表示呈现(420)在显示设备上；

呈现允许所述人类目标在所述显示设备上的所述表示中选择并定位表示可供购买的真实物品的多个虚拟物品中的一个或多个的界面(422)；

跟踪所述场景中的所述人类目标的移动(410)；

将所述人类目标的移动应用于(430)所述人类目标的表示；

当所述场景中的所述人类目标的移动指示物品操纵姿势时，将所述人类目标的移动应用(450、1126)于所述表示中的至少一个虚拟物品；以及

当所述场景中的所述人类目标的移动指示交易操纵姿势时，将所述人类目标的移动应用(450、1132)于购买界面。

2.如权利要求1所述的计算机实现的方法，其特征在于，所述应用人类目标的移动的步骤包括响应于所述物品操纵姿势将所述至少一个虚拟物品定位在所述人类目标的表示上。

3.如权利要求2所述的计算机实现的方法，其特征在于，将所述虚拟物品定位在所述人类目标的表示上包括将所述人类目标的移动应用于所述人类目标的表示和所述表示上的模型。

4.如权利要求1所述的计算机实现的方法，其特征在于，所述应用人类目标的移动包括选择所述虚拟物品，将所述虚拟物品定位在所述场景中的一位置处，以及在所述场景内释放所述虚拟物品。

5.如权利要求4所述的计算机实现的方法，其特征在于，定位包括以维护所述虚拟物品对所述人类目标和所述场景的表示的比例的表示来呈现所述虚拟物品。

6.如权利要求1所述的计算机实现的方法，其特征在于，还包括提供允许所述人类目标购买对应于显示画面中所呈现的虚拟物品的真实世界物品的购买界面。

7.如权利要求1所述的计算机实现的方法，其特征在于，还包括从第三方销售商接收要包括在所述场景的表示中的虚拟物品的三维模型的步骤。

8.如权利要求1所述的计算机实现的方法，其特征在于，还包括从所述场景中所捕捉的信息中生成虚拟物品的三维模型。

9.如权利要求1所述的计算机实现的方法，其特征在于，还包括通过收集图像信息和深度信息，并构建所述人类目标的身体的网格模型，来生成所述人类目标的表示。

10.如权利要求9所述的计算机实现的方法，其特征在于，所述人类目标的表示是与所述人类目标不同的个体的表示。

11.一种允许用户执行购买交易的计算机实现的方法，包括：

在显示设备上呈现(420)场景中的人类目标用户的表示；

在所述显示设备上演示(422、1104)所述场景中的一个或多个虚拟物品，所述虚拟物品对应于真实世界物品；

跟踪所述场景中的所述人类目标用户的移动(410)，并将所述移动应用于所述人类目标的表示和所述表示中的一个或多个虚拟物品；

识别(440、1114)所述人类目标的至少一个物品操纵姿势，所述物品操纵姿势指示相对于所述人类目标的表示操纵至少一个虚拟物品的指令；

将所述物品操纵姿势应用(450、1126)于所述表示；

识别(440、1128)至少一个交易操纵姿势，所述交易操纵姿势包括相对于对应于所述人类目标用户选择的虚拟物品的物品执行交易的指令；以及

应用(450、1132)所述至少一个交易操纵姿势。

12.如权利要求11所述的计算机实现的方法，其特征在于，还包括使用第一捕捉设备和第一处理设备来捕捉人类目标的移动，并在第二处理设备上执行所述呈现和演示步骤。

13.如权利要求12所述的计算机实现的方法，其特征在于，所述第一处理设备和第二处理设备通过网络来耦合。

14.如权利要求13所述的计算机实现的方法，其特征在于，所述第一和第二处理设备经由网络耦合到销售商，且所述方法还包括以下步骤：

提供购买接口，所述购买接口响应于所述交易姿势，所述交易姿势向所述销售商发起对应于所述虚拟物品的真实世界物品的购买。

15.如权利要求14所述的计算机实现的方法，其特征在于，还包括从第三方销售商接收要包括在所述场景的表示中的虚拟物品的三维模型的步骤。

Images