CN102289815A - 检测多功能传感器设备的运动 - Google Patents

检测多功能传感器设备的运动 Download PDF

Info

Publication number
CN102289815A
CN102289815A CN2011101252044A CN201110125204A CN102289815A CN 102289815 A CN102289815 A CN 102289815A CN 2011101252044 A CN2011101252044 A CN 2011101252044A CN 201110125204 A CN201110125204 A CN 201110125204A CN 102289815 A CN102289815 A CN 102289815A
Authority
CN
China
Prior art keywords
axle
short
degree
average
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101252044A
Other languages
English (en)
Other versions
CN102289815B (zh
Inventor
S·阿德曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102289815A publication Critical patent/CN102289815A/zh
Application granted granted Critical
Publication of CN102289815B publication Critical patent/CN102289815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

为了检测运动捕捉系统中的深度相机的移动，处理来自深度相机中的加速计的读数以提供x轴、y轴、以及z轴中的每一个轴的短期和长期移动平均。对于每一个轴，获得短期和长期平均之间的差。通过对所有三个轴上的每一个差的绝对值求和来获取差的总和。随后将差的总和与阈值进行比较以确定是否检测到移动。在另一种方法中，加速计读数的短期和长期平均被转换成俯仰和摇晃值，并且俯仰和摇晃值与阈值分开比较以确定是否检测到移动。在检测到移动时可以临时暂停跟踪算法。在垂直方向上的读数可通过缩放因子来削弱。

Description

检测多功能传感器设备的运动
技术领域
本发明涉及运动捕捉系统，尤其涉及检测运动捕捉系统中的运动。
背景技术
运动捕捉系统获得关于人或其他主体在物理空间中的位置和移动的数据，并可使用该数据作为计算系统中的某一应用的输入。可能有许多应用，如出于军事、娱乐、体育和医疗目的。例如，人的运动可被映射到三维(3-D)人类骨架模型并用于创建动画人物或化身。运动捕捉系统可包括包含使用可见和不可见(例如，红外)光的系统在内的光学系统，运动捕捉系统使用相机来检测视野中的人的存在。然而，这样的系统受到可影响音频和视觉性能的振动、颠簸、摇晃、以及其他移动和扰动的损害。需要用于检测并对这些移动进行响应的技术。
发明内容
提供了一种用于检测运动捕捉系统中的3-D深度相机的运动的处理器实现的方法、运动捕捉系统和有形计算机可读存储。这样的深度相机例如被用来检测用户在视野中的移动，并将这些移动解释成对运动捕捉系统中的应用程序的控制输入。例如，用户可作出手的姿势来导航菜单、在浏览或购物体验中交互、选择要玩的游戏、或访问诸如向朋友发送消息等通信特征。或者，用户可以使用手、腿、或整个身体来控制3-D虚拟世界中的化身的移动。
深度相机在跟踪用户时的性能可被与该深度相机所处的环境相关的各种源扰乱。扰乱可包括振动，例如由于扬声器/亚低音扬声器、卡车、火车或飞机在附近经过、地震或打雷、对诸如深度相机所处的小船或轮船等交通工具的扰动、以及用户移动，如在深度相机所处的房间内跳跃、跑步、以及玩耍。扰乱还可包括深度相机的非有意移动，如在用户或家养宠物意外地扫过并移动了深度相机的情况下，以及有意移动，如在用户尝试重新定位深度相机的情况下。为了检测并考虑这些扰乱，可以使用用于高效准确地检测深度相机的移动的技术来处理来自深度相机中的加速计的信号。
在一个实施例中，提供了一种用于检测3-D深度相机的运动的处理器实现的方法。该方法包括在连续的时间点从3-D深度相机中的三轴加速计获取x-轴、y-轴、以及z-轴方向上的加速度读数的处理器实现的步骤。该方法还包括，对于每一时间点：(a)获取在x-轴、y-轴、以及z-轴中的每一个轴方向上的加速计读数的短期和长期行进平均。短期行进平均是在N1个时间点上求取的，而长期行进平均是在N2个时间点上求取的。在一种方法中，N2＝N1x1.5。在另一种方法中，1.3xN1＜N2＜1.7x N1。短期和长期平均的特定定义可造成在检测移动时的最优准确度。
该方法还包括：(b)获取x-轴、y-轴、以及z-轴中的每一个轴的加速度读数的短期和长期行进平均之间的差，(c)获取与x-轴、y-轴、以及z-轴中的每一个轴有关的差的绝对值，以及(d)基于这些绝对值来获取总和。该方法还包括(e)确定该总和是否超过阈值水平。阈值水平的特定设置可造成在检测移动时的最优准确度。如果该总和超过阈值水平，则该方法包括(f)提供检测到3-D深度相机的移动的指示。类似地，如果该总和没有超过阈值水平，则该方法还包括(g)提供没有检测到3-D深度相机的移动的指示。
在一种可能的方法中，运动跟踪过程响应于检测到3-D深度相机的移动的指示而暂停，并且运动跟踪过程随后响应于不再检测到3-D深度相机的移动的指示而恢复。响应于检测到3-D深度相机的移动的指示，经由用户界面提供指示3-D深度相机已被扰动的消息也是可能的。
提供本发明内容以用简化形式介绍在下面的说明书中进一步描述的精选概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图说明
在附图中，附图标记相同的元素彼此对应。
图1描绘了运动捕捉系统的示例实施例。
图2A描绘了图1的运动捕捉系统的示例框图。
图2B描绘图2A的运动捕捉系统的处理器的各处理框的示例。
图2C描绘图2A的运动捕捉系统的处理器的各处理框的另一示例。
图3描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。
图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一示例框图。
图5描绘了用于检测运动捕捉系统中的相机移动的方法。
图6描绘了用于如图5的步骤500所述地跟踪个人的移动的示例方法。
图7A描绘了用于如图5的步骤502所述地处理当前时间段的加速计读数的示例方法。
图7B描绘了用于如图5的步骤502所述地处理当前时间段的加速计读数的另一示例方法。
图8描绘了如图6的步骤608所述的用户的示例模型。
图9描绘用于如图7A和7B中所述的那样来处理加速计读数的示例坐标系统。
图10A描绘了其中玩家正在跳跃的场景中的示例原始加速计读数。
图10B基于图10A描绘了长期和短期平均俯仰(pitch)值。
图10C描绘了图10B的长期和短期平均俯仰值之间的差。
图10D基于图10A中描绘的轴数据的平均值描绘了差的总和以及与阈值的比较，从而指示何时检测到不满足阈值并且被过滤出的移动。
图11A描绘了其中传感器正在移动的场景中的示例原始加速计读数。
图11B基于图11A描绘了长期和短期平均俯仰值，以及长期和短期平均俯仰值之间的差。
图11C基于图11A中描绘的轴数据的平均值来描绘了差的总和以及与阈值的比较，从而指示在检测到移动时满足或超过阈值并且被指示为检测到移动的总和。
具体实施方式
提供了一种用于在配备有加速计的传感器被扰动时准确地进行检测的技术。在一示例中，传感器是运动跟踪系统中的深度相机。在一种方法中，处理来自三轴加速计的读数以提供x轴、y轴、以及z轴中的每一个轴的短期和长期移动平均。对于每一个轴，获得短期和长期平均之间的差。通过对所有三个轴上的每一个差的绝对值求和来获取差的总和。随后将差的总和与阈值进行比较以确定是否检测到移动。在另一种方法中，加速计读数的短期和长期平均被转换成俯仰和摇晃(roll)值，并且俯仰和摇晃值单独与阈值比较以确定是否检测到移动。
此外，尽管具体结合运动跟踪系统中的深度相机解释了对加速计的使用，但所提供的技术一般适用于检测任何音频或视觉传感器外围设备的移动以供计算机主机的需要，该传感器外围设备可将它的与可影响音频或视觉性能的振动、颠簸或其他物理位移等有关的物理状态通信传递给主机。从该设备到主机的输入可被用来确定何时自动地重新校准传感器，警告用户可影响性能的过度振动或移动，或提供用户已经完成设置传感器所需的特定任务的独立确认。
图1描绘了其中个人8与应用交互的运动捕捉系统10的示例实施例。这示出了运动捕捉系统诸如在用户家中的真实世界部署。运动捕捉系统10包括显示器196、深度相机系统20、以及计算环境或装置12。深度相机系统20可包括图像相机组件22，其具有红外(IR)光发射器24、红外相机26和红-绿-蓝(RGB)相机28。也称为个人或玩家的用户8站在深度相机的视野6中。线2和4表示视野6的边界。在该示例中，深度相机系统20和计算环境12提供了其中显示器196上的化身197跟踪用户8的移动的应用。例如，当用户举起手臂时，化身可举起手臂。化身197在3-D虚拟世界中站在路198上。可定义笛卡尔世界坐标系，其包括沿着深度相机系统20的焦距(例如水平)延伸的z轴、垂直延伸的y轴、以及横向且水平延伸的x轴。附图的透视被修改成简化表示，显示器196在y轴方向上垂直延伸，z轴垂直于y轴和x轴且与用户8所站立的地平面平行地从深度相机系统延伸出来。
一般而言，运动捕捉系统10用于识别、分析和/或跟踪人类目标。计算环境12可包括计算机、游戏系统或控制台等，以及执行应用的硬件组件和/或软件组件。
深度相机系统20可以包括相机，相机用于在视觉上监视诸如用户8等的一个或多个人，从而可以捕捉、分析并跟踪用户所执行的姿势和/或移动，来执行应用中的一个或多个控制或动作，如使化身或屏幕上人物活动起来或选择用户界面(UI)中的一菜单项。
运动捕捉系统10可以连接到诸如显示器196等可向用户提供视觉和音频输出的视听设备，如电视机、监视器、高清电视机(HDTV)等，或甚至是墙或其他表面上的投影。音频输出也可经由单独的设备来提供。为驱动显示器，计算环境12可包括提供与应用相关联的视听信号的诸如图形卡等视频适配器，和/或诸如声卡等音频适配器。显示器196可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
用户8可使用深度相机系统20来跟踪，使得用户的姿势和/或移动被捕捉并用于使化身或屏幕上人物活动起来，和/或被解释为对计算机环境12所执行的应用的输入控制。
用户8的某些移动可被解释为可对应于除控制化身之外的动作的控制。例如，在一实施例中，玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。玩家可使用移动来从主用户界面选择游戏或其他应用，或以其他方式导航选项菜单。由此，用户8的全范围运动可以用任何合适的方式来获得、使用并分析以与应用进行交互。
个人可在与应用交互时抓握诸如道具等物体。在此类实施例中，个人和物体的移动可用于控制应用。例如，可以跟踪并利用玩家手持球拍的运动来控制模拟网球游戏的应用中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持诸如塑料剑等玩具武器的运动来控制提供海盗船的应用的虚拟世界中对应的武器。
运动捕捉系统10还可用于将目标移动解释为游戏和出于娱乐和休闲目的的其他应用范围之外的操作系统和/或应用控制命令。例如，操作系统和/或应用的基本上任何可控方面可由用户8的移动来控制。
图2A描绘了图1的运动捕捉系统的示例框图。深度相机系统20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等，捕捉带有包括深度图像的深度信息的视频，该深度图像可包括深度值。深度相机系统20可将深度信息组织为“Z层”，或可与从深度相机沿其视线延伸的Z轴垂直的层。
深度相机系统20可包括图像相机组件22，如捕捉物理空间中的场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每一像素具有代表距离图像相机组件22的线性距离的相关联的深度值。
图像相机组件22可包括可用于捕捉场景的深度图像的红外(IR)光发射器24、红外相机26、以及红-绿-蓝(RGB)相机28。3-D相机由红外发射器24和红外相机26的组合来形成。例如，在飞行时间分析中，IR光发射器24将红外光发射到物理表面上，并且红外相机26检测来自物理空间中的一个或多个目标和物体的表面的反向散射光。在某些实施例中，可以使用脉冲式红外光，从而可以测量出射光脉冲与相应的入射光脉冲之间的时间并将其用于确定从深度相机系统20到物理空间中的目标或对象上的特定位置的物理距离。可将传出光波的相位与传入光波的相位进行比较来确定相移。然后可以使用相移来确定从深度相机系统到对象或目标上的特定位置的物理距离。
飞行时间分析也可用于通过经由包括例如快门式光脉冲成像等各种技术来分析反射光束随时间的强度，来间接地确定从深度相机系统20到目标或对象上的特定位置的物理距离。
在另一示例实施例中，深度相机系统20可使用结构化光来捕捉深度信息。在这一分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光发射器24被投影到场景上。在撞击到场景中的一个或多个目标或物体的表面时，作为响应，图案可变形。图案的这种变形可由例如红外相机26和/或RGB相机28来捕捉，然后可被分析以确定从深度相机系统到目标或对象上的特定位置的物理距离。
深度相机系统20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。
深度相机系统20还可包括话筒30，话筒30包括例如接收声波并将其转换成电信号的换能器或传感器。另外，话筒30可用于接收由个人提供的诸如声音等音频信号，来控制由计算环境12运行的应用。音频信号可包括诸如说出的单词、口哨、叫声和其他话语等个人的口声，以及诸如拍手或跺脚等非口声。
深度相机系统20可包括与图像相机组件22进行通信的处理器32。处理器32可包括可执行指令的标准化处理器、专用处理器、微处理器等，这些指令包括例如用于接收深度图像的指令；用于基于深度图像来生成三维像素网格的指令；用于移除包括在三维像素网格中的背景以便隔离与人类目标相关联的一个或多个三维像素的指令；用于确定隔离的人类目标的一个或多个骨端的位置或定位的指令；用于基于一个或多个骨端的位置或定位来调整模型的指令；或任何其他合适的指令，这些将在下文中更详细描述。
深度相机系统20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、以及存储3-D相机或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的有形计算机可读存储组件。存储器组件34可以是经由总线21与图像捕捉组件22和处理器32进行通信的单独组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
深度相机系统20可包括用于将相机重新定位的定位电动机35以及用于检测深度相机的移动的加速计33。关于电动机35，相机可以使用该电动机来在各种情况下自动地重新定位自己。例如，相机可具有调整上下/俯仰(即相机看得有多高)的倾斜电动机。例如，在不同玩家开始与运动捕捉系统中的应用进行交互时，在游戏应用程序的开始时，或在运动捕捉系统启动并开始搜索以找出房间中的人时，可以发生这一重新定位。相机可以基于其自己的控制逻辑和/或从诸如计算环境12中的外部控制逻辑接收用于激活电动机的命令。相机可包括一个或多个加速计33。例如，加速计可被安装到其上安装有相机的其他电路的印刷电路板。本文提供的技术可用于两轴加速计，其中第三轴被固定以防止移动。一般而言，加速计可以是检测三个正交轴(例如，x轴、y轴、z轴)上的移动的三轴加速计。典型的现代加速计使用只对管芯的平面中的方向敏感的微机电系统(MEMS)。通过将两个器件垂直地集成在单个管芯上，可以造出两轴加速计。通过添加附加的平面外器件，可以测量在三个轴方向上的加速度。加速计可以按指定的采样速率来提供数据样本。
深度相机系统20可以经由通信链路36与计算环境12进行通信。通信链路36可以是有线和/或无线连接。根据一实施例，计算环境12可经由通信链路36向深度相机系统20提供时钟信号，该信号指示何时从位于深度相机系统20的视野中的物理空间捕捉图像数据。
另外，深度相机系统20可经由通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉的图像，和/或可由深度相机系统20生成的骨架模型。计算环境12然后可使用该模型、深度信息和捕捉的图像来控制应用。例如，计算环境12可包括诸如姿势过滤器集合等姿势库190，每一姿势过滤器具有关于可由骨架模型(在用户移动时)执行的姿势的信息。例如，可为各种手姿势提供姿势过滤器，如手的挥击或投掷。通过将检测到的运动与每一过滤器进行比较，可标识个人执行的指定姿势或移动。也可确定执行移动的范围。
可将由深度相机系统20捕捉的骨架模型形式的数据以及与其相关联的移动与姿势库190中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个特定移动。那些移动可与应用的各种控制命令相关联。
计算环境还可包括用于执行存储在存储器194中的指令以向显示设备196提供音频-视频输出信号并实现如此处所描述的其他功能的处理器192。
图2B描绘图2A的运动捕捉系统的处理器的各处理框的示例。例如，处理器32和/或192可处理来自加速计33的读数。这些读数可包括分别在x、y、z方向上的加速度读数Ax、Ay、Az。这些读数可以具有加速度单位，例如米/平方秒，或具有对应于加速度单位的其他单位，如电压或电流。这一对应关系可以是线性的。加速度读数Ax、Ay、Az是来自加速计的在读数被如本文所述地处理之前的原始数据。处理器可包括如通过使用当前时间点和前N2-1个时间点来确定N2个时间点上的长期行进平均计算的功能框200。行进平均基本上是移动平均。框200的输出包括x、y、z长期平均，也被称为长平均。类似地，处理器可包括如通过使用当前时间点和前N1-1个时间点来确定N1个时间点上的短期行进平均计算的功能框202。框202的输出包括x、y、z短期平均，也被称为短平均。框204基于长平均和短平均来确定差的总和。具体而言，总和可以基于x轴、y轴、z轴中的每一个轴的短平均和长平均之间的差。在框206将总和与阈值进行比较，以确定是否检测到移动并提供对应的输出信号来作为移动决策。输出信号可由采取指定动作的过程来使用，该指定动作诸如临时暂停运动跟踪算法和/或经由显示器向用户提供指示已经检测到相机的扰动的消息。样本数N1和N2或相关联的时间段可基于在实验期间从相机计算得到的数据值来设置。
图2C描绘图2A的运动捕捉系统的处理器的各处理框的另一示例。框210和212分别类似于图2B中的框200和202。在俯仰计算框214和摇晃计算框222处理长平均和短平均两者。俯仰计算框214向差框216提供俯仰长期平均和俯仰短期平均，框216确定每一时间点的俯仰长期平均和俯仰短期平均之间的差并将这一差提供给比较框218。类似地，摇晃计算框222向差框220提供摇晃长期平均和摇晃短期平均，框220确定每一时间点的摇晃长期平均和摇晃短期平均之间的差并将这一差提供给比较框218。比较框218基于这些差中的一个或两者来确定是否检测到移动，并提供对应的输出信号作为移动决策。图9描绘俯仰和摇晃的示例定义。
图3描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。计算环境可用于解释一个或多个姿势或其他移动并作为响应来更新显示器上的视觉空间。上面描述的诸如计算环境12等计算环境可以是诸如游戏控制台等多媒体控制台100。多媒体控制台100包括具有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此的附加的一级和二级高速缓存102和104。诸如闪存ROM等存储器106可存储在多媒体控制台100通电时在引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其他显示器。存储器控制器110连接到GPU 108以便于处理器访问各种类型的存储器112，诸如RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口(NW IF)124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143来存储在引导进程期间加载的应用数据。提供媒体驱动器144且其可包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器。媒体驱动器144对于多媒体控制台100可以内置或外置的。应用数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU101、GPU108、存储器控制器110、和多媒体控制台100内的各个其他组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维持有关焦点切换的状态信息。控制台100可从包括相机26和28的图2A的深度相机系统20接收附加输入。
图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一示例框图。
在运动捕捉系统中，该计算环境可用于解释一个或多个姿势或其他移动并作为响应更新显示器上的视觉空间。计算环境420包括计算机441，计算机441通常包括各种有形计算机可读存储介质。这可以是能由计算机441访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器422包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)423和随机存取存储器(RAM)460。基本输入/输出系统424(BIOS)包括如在启动时帮助在计算机441内的元件之间传输信息的基本例程，它通常储存在ROM 423中。RAM 460通常包含处理单元459可以立即访问和/或目前正在操作的数据和/或程序模块。图形接口431与GPU 429进行通信。提供了操作系统425、应用程序426、其他程序模块427和程序数据428。
计算机441还可包括其他可移动/不可移动、易失性/非易失性计算机存储介质，如从不可移动、非易失性磁介质读取或对其写入的硬盘驱动器438，从可移动、非易失性磁盘454读取或对其写入的磁盘驱动器439，以及从诸如CDROM或其他光介质等可移动、非易失性光盘453读取或对其写入的光盘驱动器440。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性有形计算机可读存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器438通常由诸如接口434等不可移动存储器接口连接至系统总线421，磁盘驱动器439和光盘驱动器440通常由诸如接口435等可移动存储器接口连接至系统总线421。
以上讨论并在图4中描绘的驱动器及其相关联的计算机存储介质为计算机441提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如，硬盘驱动器438被描绘为存储操作系统458、应用程序457、其他程序模块456和程序数据455。这些组件可以与操作系统425、应用程序426、其他程序模块427，以及程序数据428相同，也可以不同。操作系统458、应用程序457、其他程序模块456和程序数据455在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘451和定点设备452(通常被称为鼠标、跟踪球或触摸垫)，向计算机441输入命令和信息。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口436连接至处理单元459，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)，来连接。包括相机26和28的图2A的深度相机系统20可为控制台100定义附加输入设备。监视器442或其他类型的显示器也经由接口，诸如视频接口432连接至系统总线421。除监视器以外，计算机也可以包括其他外围输出设备，诸如扬声器444和打印机443，它们可以通过输出外围接口433连接。
计算机441可使用至一个或多个远程计算机，诸如远程计算机446的逻辑连接在网络化环境中操作。远程计算机446可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括许多或所有以上相对于计算机441描述的元件，但是在图4中仅示出了存储器存储设备447。逻辑连接包括局域网(LAN)445和广域网(WAN)449，但也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机441通过网络接口或适配器437连接至LAN 445。当在WAN联网环境中使用时，计算机441通常包括调制解调器450或用于通过诸如因特网等WAN 449建立通信的其他装置。调制解调器450可以是内置或外置的，它可以经由用户输入接口436或其他适当的机制连接至系统总线421。在网络化环境中，相对于计算机441所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图4示出了远程应用程序448驻留在存储器设备447上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。
该计算环境可包括其上具体化了计算机可读软件的有形计算机可读存储，该计算机可读软件用于对至少一个处理器进行编程来执行此处描述的方法。该有形计算机可读存储可包括例如，组件422、434、435、430、453、454中的一个或多个。此外，该计算环境的一个或多个处理器可提供一种处理器实现的方法，包括如本文所述的处理器实现的步骤。处理器可包括例如组件429和459中的一个或多个。
图5描绘了用于检测运动捕捉系统中的相机移动的方法。步骤500包括跟踪深度相机系统的视野中的用户。参见例如图6来获得更多细节。步骤502包括处理加速计读数。参见例如图7A和7B来获得进一步的细节。决策步骤504确定是否检测到相机移动。如果决策步骤504为真，则在步骤506采取适当的动作，如临时暂停对用户的跟踪。这避免在尽管检测到移动而继续跟踪的情况下发生的错误的跟踪结果。有效的跟踪一般需要相机基本上不动。当相机当前正在移动或当相机最近移动了的时侯，如在取平均的时间段期间(如结合图2B和2C描述的)，决策步骤504将为真。如果决策步骤504为假，则在步骤508，允许对用户继续进行跟踪。步骤510包括基于该跟踪来向应用提供控制输入。例如，该控制输入可被用来更新化身在显示器上的位置，其中该化身表示该用户。步骤512包括基于该跟踪来更新显示。
在跟踪算法临时暂停时，数据不可用于基于正常更新速率来更新显示器。一种方法是在检测到移动之前继续显示最后图像。当在步骤504检测到移动时要采取的另一可能的动作是经由显示器向用户提供指示已检测到相机的扰动的消息。这一消息可被显示成文本，和/或如通过讲出“请重新定位相机”或“相机被扰动了”等合成说出的声音来可听地显示。还可在检测到移动的时间段期间且可任选地在检测到移动之后的预定时间期间启动诸如嘟嘟声或蜂鸣声等警报声。该消息可以向用户指示将来如何避免进一步扰动。
例如可以通过关闭对深度相机的供电、或通过保持对深度相机的供电但在逻辑中提供一控制信号以临时挂起特定跟踪过程，来实现跟踪算法的临时暂停。
图6描绘了用于如图5的步骤500所述地跟踪个人的移动的示例方法。该示例方法可以使用例如结合图2A-4讨论的深度相机系统20和/或计算环境12、100或420来实现。可以扫描一个或多个人来生成模型，如骨架模型、网格人类模型、或个人的任何其他合适的表示。在骨架模型中，每个身体部位可被表征为定义骨架模型的关节和骨骼的数学向量。身体部位可以在关节处相对于彼此移动。
该模型然后可用于与由计算环境执行的应用交互。进行扫描来生成模型可以在启动或运行应用程序时发生，或如所扫描的个人的应用程序所控制的在其他时间发生。
可扫描个人来生成骨架模型，可跟踪该骨架模型使得用户的物理移动或运动可用作调整和/或控制应用的参数的实时用户接口。例如，所跟踪的个人的移动可用于在电子角色扮演游戏中移动化身或其他屏幕上人物；在电子赛车游戏中控制屏幕上车辆；在虚拟环境中控制物体的构成或组织；或执行应用的任何其他合适的控制。
根据一个实施例，在步骤600，例如从深度相机系统接收深度信息。深度相机系统可以捕捉或观察可包括一个或多个目标的视野。在一示例实施例中，如所讨论的，深度相机系统可使用诸如飞行时间分析、结构化光分析、立体视觉分析等任何合适的技术来获得与捕捉区域中的一个或多个目标相关联的深度信息。如所讨论的，深度信息可包括具有多个所观察的像素的深度图像或图，其中每一所观察的像素具有所观察的深度值。
深度图像可以被降采样到较低处理分辨率，以使其可被更容易地使用且以更少的计算开销来处理。另外，可从深度图像中移除和/或平滑掉一个或多个高变度和/或含噪声的深度值；可填入和/或重构缺少的和/或移除的深度信息的部分；和/或可对所接收的深度信息执行任何其他合适的处理，使得该深度信息可用于生成也结合图8讨论的诸如骨架模型等模型。
在判定步骤604，判定深度图像是否包括人类目标。这可包括对深度图像中的每一目标或对象进行泛色填充，将每一目标或对象与模式进行比较来确定该深度图像是否包括人类目标。例如，可以比较深度图像的所选区域或点中的像素的各种深度值来确定可定义如上所述的目标或对象的边。可基于所确定的边来对Z个层的可能的Z个值进行泛色填充。例如，与所确定的边相关联的像素以及边内的区域的像素可互相关联来定义可与图案进行比较的捕捉区域中的目标或对象，这将在下文中更详细描述。
如果判定步骤604为真，则执行步骤606。如果判定步骤604为假，则在步骤600接收附加深度信息。
对照其来比较每一目标或对象的模式可包括具有共同定义典型的人类身体的一组变量的一个或多个数据结构。与例如视野中的人类目标和非人类目标的像素相关联的信息可以与各变量进行比较来标识人类目标。在一个实施例中，该组中的每一变量可基于身体部位来加权。例如，模式中诸如头和/或肩等各个身体部位可具有与其相关联的、可大于诸如腿等其他身体部位的权重值。根据一个实施例，可在将目标与变量进行比较来确定目标是否以及哪一目标可以是人类时使用权重值。例如，变量与目标之间的具有较大权重值的匹配可产生比具有较小权重值的匹配更大的该目标是人类的可能性。
步骤606包括扫描人类目标来寻找身体部位。可以扫描人类目标来提供与个人的一个或多个身体部位相关联的诸如长度、宽度等度量，以提供该个人的准确模型。在一示例实施例中，可隔离该人类目标，并且可创建该人类目标的位掩模来扫描一个或多个身体部位。该位掩模可通过例如对人类目标进行泛色填充，使得该人类目标可以与捕捉区域元素中的其他目标或对象分离来创建。随后可分析该位掩模来寻找一个或多个身体部位，以生成人类目标的模型，如骨架模型、网格人类模型等。例如，根据一实施例，可使用由所扫描的位掩模确定的度量值来定义骨架模型中的一个或多个关节。该一个或多个关节可用于定义可对应于人类的身体部位的一根或多根骨。
例如，人类目标的位掩模的顶部可以与头的顶部的位置相关联。在确定了头的顶部之后，可以向下扫描该位掩模来随后确定颈的位置、肩的位置等等。例如，在所扫描的位置处的位掩模的宽度可以与和例如颈、肩等相关联的典型宽度的阈值进行比较。在替换实施例中，可以使用离位掩模中先前扫描的并与身体部位相关联的位置的距离来确定颈、肩等的位置。诸如腿、脚等的某些身体部位可基于例如其他身体部位的位置来计算。在确定了身体部位的值之后，可创建包括身体部位的度量值的数据结构。该数据结构可包括从深度相机系统在不同时间点提供的多个深度图像中平均的扫描结果。
步骤608包括生成人类目标的模型。在一实施例中，可使用由所扫描的位掩模确定的度量值来定义骨架模型中的一个或多个关节。该一个或多个关节用于定义可对应于人类的身体部位的一根或多根骨。
可调整一个或多个关节，直到这些关节在人类的关节和身体部位之间的典型距离范围之内，以生成更准确的骨架模型。该模型可基于例如与人类目标相关联的高度来进一步调节。
在步骤610，通过每秒若干次更新个人的位置来跟踪该模型。当用户在物理空间中移动时，使用来自深度相机系统的信息来调整骨架模型，使得该骨架模型表示一个人。具体地，可向该骨架模型的一个或多个受力方面施加一个或多个力，来将该骨架模型调整成更接近地对应于物理空间中的人类目标的姿态的姿态。
一般而言，可使用用于跟踪个人的移动的任何已知技术。
图7A描绘了用于如图5的步骤502所述地处理当前时间段的加速计读数的示例方法。步骤700包括分别获取x、y、和z轴的当前时间点的加速计读数Ax、Ay、Az。例如，对于当前时间点或样本索引t＝i，样本可由Ax(i)、Ay(i)、Az(i)来表示。可以使用诸如15毫秒等采样时间间隔，其中对每一采样的时间点获取附加样本。所描绘的步骤应用于一个时间点并且对每一后续时间点重复。所描绘的步骤不必一定离散地发生，而是可至少部分地并发地发生。例如，步骤702、704、和706可至少部分地并发地发生。对于x轴读数，步骤702获取N1个时间点上的短期行进平均和N2个时间点上的长期行进平均。例如，x轴的短期行进平均可以是
Figure BSA00000496639900161
x轴的长期行进平均可以是
Figure BSA00000496639900162
对于y轴读数，步骤704获取N1个时间点上的短期行进平均和N2个时间点上的长期行进平均。对于z轴读数，步骤706获取N1个时间点上的短期行进平均和N2个时间点上的长期行进平均。在该示例中，对于不同的轴，短期平均和长期平均是类似地定义的。然而，对于这三个不同的轴中的每一个轴，对短期平均和长期平均使用不同数量的时间点/求平均时间段也是可能的。
对于特定实现，对于每一轴并且对于长平均和短平均，可以使用实验来确定最优数量个时间点或求平均时间点。此外，对于特定实现，可以使用实验来确定N2/N1的最优比率。在一些实现中，已发现N2/N1＝1.5的比率是成功的。即，N2超过N1大约50％。一般而言，可以使用1.3xN1＜N2＜1.7x N1。此外，在15毫秒采样时间间隔的情况下，成功地使用了N1＝40和N2＝60，使得求取短平均和长平均的时间间隔(求平均时间段)分别是600毫秒和900毫秒。N1和N2是正整数，并且N2＞N1。这是示例实现，并且如上所述，特定实现的最优值可通过实验来确定。一般而言，如果N2超过N1太多，则移动的指示被延迟的过长。如果N2和N1过于接近，使得N2不充分超过N1，则将丢失一些移动的指示。进一步的考虑事项是短平均的最小长度应当生成足够稳定的时间线来消除大多数伪振动。
步骤708基于：|x轴长平均-x轴短平均|+|y轴长平均-y轴短平均|×缩放因子+|z-轴长平均-z轴短平均|来确定差的总和。|x轴长平均-x轴短平均|表示当前时间点的x轴长期平均与x轴短期平均之间的差的绝对值。|y轴长平均-y轴短平均|表示当前时间点的y轴长期平均与y轴短期平均之间的差的绝对值。Y轴可表示垂直方向。在决定是否指示相机移动时，缩放因子可被用来缩小或削弱垂直移动的效果。由于诸如靠近相机的扬声器、人在相机附近走路或跳跃等源而引起的振动或可通过相机所处的表面传递的任何其他扰动，大多数都表现在垂直轴上。使用缩放因子，相对于表示x轴或z轴方向上的移动的加速计数据，表示在垂直轴方向上的移动的加速计数据被削弱。这可通过避免由于常见y轴振动而引起的假移动检测而得到更好的结果。另一方面，由于相机被其电动机移动(如向上或向下倾斜)或被外部源移动(如由用户)而引起的移动，往往在x轴和z轴方向上表现得更多或在这两个方向上大致相等。缩放因子可以与在垂直方向上的重力效果的校正分开，或与这一校正相组合。缩放因子可以是例如大约20％(0.2)，或例如大约10-33％(0.10-0.33)。缩放因子可以通过实验来优化。
|z轴长平均-z轴短平均|表示当前时间点的z轴长期平均与z轴短期平均之间的差的绝对值。运动一般作为在所有三个轴方向上的振动来出现，使得来自所有三个轴的平均读数有利地减少加速计内在的振动噪声。此外，本文提供的技术不需要相机是水平的来进行移动检测。基于超出在单个轴方向上的阈值的移动来指示运动的技术可能提供不一致的结果。
在决策步骤710，如果总和大于阈值，则步骤712提供检测到移动的指示。另一方面，在决策步骤710，如果总和不大于阈值，则步骤714提供未检测到移动的指示。可任选地，可以在步骤712处不提供指示，直至对于一个或多个样本中的指定数量的样本检测到移动为止。类似地，可以在步骤714处不提供指示，直至对于一个或多个样本中的指定数量的样本检测到移动为止。决策步骤710中的最优阈值可以基于实验来确定。该阈值应当足够高，使得在移动水平可接受的情况下检测不到移动并且跟踪算法可以继续在性能可接受的情况下跟踪用户。另一方面，该阈值应当足够低，使得在移动水平不可接受的情况下检测到移动并且跟踪算法不能继续在性能可接受的情况下跟踪用户。被用来确定最优阈值水平的实验可以使用跟踪性能的度量。
参见图10A-11C可看到基于图7A生成的示例数据。
图7B描绘了用于如图5的步骤502所述地处理当前时间段的加速计读数的另一示例方法。步骤720、722、724、以及726分别对应于图7A的步骤700、702、704、以及706。步骤728基于步骤724和726的长期平均值来确定俯仰角度。使用图9的约定，相机的俯仰角度等于z除以y的反正切，其中z和y分别是样本索引i处的Az(i)和Ay(i)。因而，步骤728确定长俯仰＝atan(z轴长平均/y轴长平均)。长俯仰是基于当前样本的Az和Ay的长期平均的当前样本的俯仰。atan是反正切。类似地，步骤730确定短俯仰＝atan(z轴短平均/y轴短平均)。短俯仰是基于当前样本的Az和Ay的短期平均的当前样本的俯仰。俯仰角度的变化Δ俯仰(Δpitch)可基于分别是步骤728和730的长期俯仰和短期俯仰之间的差来确定，Δ俯仰＝|长俯仰-短俯仰|。
类似地，使用图9的约定，相机的摇晃角度等于x除以y的反正切，其中x和y分别是样本索引i处的Ax(i)和Ay(i)。Ay(i)可被缩放以移除重力效果和/或削弱常见垂直运动。步骤734确定长摇晃＝atan(x轴长平均/y轴长平均)。长摇晃是基于当前样本的Ax和Ay的长期平均的当前样本的摇晃。类似地，步骤736确定短摇晃＝atan(x轴短平均/y轴短平均)。短摇晃是基于当前样本的Ax和Ay的短期平均的当前样本的摇晃。摇晃角度的变化Δ摇晃(Δroll)可基于分别是步骤734和736的长期摇晃角度和短期摇晃角度之间的差来确定，Δ摇晃＝|长摇晃-短摇晃|。
在一个实现中，决策步骤740将Δ俯仰和Δ摇晃两者与角度阈值进行比较，以度或弧度为单位(与图7A的步骤710不同)。如果Δ俯仰和Δ摇晃之一或两者超过阈值，则在步骤742提供检测到移动的指示。如果Δ俯仰和Δ摇晃没有一个超过阈值，则在步骤744提供未检测到移动的指示。在另一可能的实现中，只有在Δ俯仰和Δ摇晃两者都超过阈值的情况下才指示移动。又一可能的实现将Δ俯仰与一个阈值进行比较并将Δ摇晃与另一阈值进行比较。在超过这些阈值之一或更多的情况下指示移动。可以使用实验来设置最优阈值。这一方法将加速度读数转换成角度，以便基于角度而非原始加速度读数(如图7A中)来进行与阈值的比较。可任选地，可以在步骤742处不提供指示，直至对于一个或多个样本中的指定数量的样本检测到移动为止。类似地，可以在步骤744处不提供指示，直至对于一个或多个样本中的指定数量的样本检测到移动为止。
在又一可能的实现中，决策步骤740将Δ俯仰和Δ摇晃的绝对值的总和与角度阈值进行比较，例如|Δ俯仰|+|Δ摇晃|。
如结合图2提到的，相机具有用于对自身进行重新定位的电动机。又一方法整合了指示相机是否正在使用来自加速计的数据对自身进行重新定位的控制信号。一般而言，在定位电动机正在操作时，加速计将指示移动。在一些情况下，在定位电动机不在操作时，加速计也将指示移动。例如，在电动定位完成时，控制信号指示电动机不在操作。控制信号可以基于例如对定位电动机不在操作进行检测的传感器。然而，在控制信号指示电动机不再操作之后，由于定位电动机的某种运转或由于它附连到相机，相机可能继续移动一小段时间，例如几分之一秒。在这种情况下，加速计可检测这一移动并提供适当的动作，如延迟运动跟踪。
因而，定位电动机和加速计会提供相反的指示。在一种方法中，在检测到定位电动机不在操作时，提供定位电动机不在操作的指示。即使在指示定位电动机不在操作期间，这一方法也响应于加速计检测到深度相机的移动的指示而暂停运动跟踪过程。因此，加速计指示有优先级。
在另一种情况下，在检测到定位电动机正在操作时，提供定位电动机正在操作的指示。即使在指示加速计没有检测到深度相机的移动期间，这一方法也响应于定位电动机正在操作的指示而暂停运动跟踪过程。因此，定位电动机有优先级。一般而言，如果定位电动机和加速计之一或两者指示存在移动，则可以断定存在相机移动。这是寻求避免丢失实际移动的保守方法。
又一可能的方法使用多个加速计。一个实现跨该多个加速计来集体处理来自每一轴的读数。例如，假定使用两个加速计。对于每一时间点，从两个加速计获取Ax、Ay、和Az样本，例如Ax1(i)、Ax2(i)、Ay1(i)、Ay2(i)、Az1(i)、以及Az2(i)。两个Ax样本Ax1(i)和Ax2(i)可被求平均以获取单个Ax(i)样本，该单个Ax(i)样本同在单个加速计的情况下那样同等对待。类似地，两个Ay样本Ay1(i)和Ay2(i)可被求平均，并且两个Az样本Az1(i)和Az2(i)可被求平均。因而，通过跨来自多个三轴加速计的读数来求平均，短期行进平均和长期行进平均是从来自该多个三轴加速计的读数获取的。
在又一可能的实现中，来自每一加速计的读数被用来确定是否检测到运动，并且采取多数投票来确定是否提供运动的指示。例如，在这种情况下可以使用三个加速计，使得多数投票是决定性的。因而，如果这些加速计中的两个或三个指示移动，则指示移动；否则，不指示移动。
图8描绘了如图6的步骤608所述的用户的示例模型。模型800在z方向上面向深度相机，使得所示的截面是x-y平面。注意，垂直的是y轴和横向的是x轴。在其他附图中提供了类似的标记法。该模型包括多个参考点，如头802的顶部、头的底部或下巴813、右肩804、右肘806、右腕808、和由例如指尖区域表示的右手810。右侧和左侧是从面向相机的用户的观点定义的。该模型还包括左肩814、左肘816、左腕818、以及右手820。还描绘了腰部区域822，以及右臀824、右膝826、右脚828、左臀830、左膝832和左脚834。肩线812是在肩804和814之间的通常为水平的线。例如，还描绘了在点822和813的之间延伸的上躯干中心线825。
图9描绘如图7A和7B中所述的那样用于处理加速计读数的示例坐标系。可以使用任何所需坐标系。在该示例中，y轴是垂直轴，z轴与相机的轴(例如相机所看的方向)平行，并且x轴同相机轴横向地延伸。从原点伸出的向量表示给定读数的加速度向量，其中加速度向量具有分别沿x、y、z方向的分量Ax、Ay、Az。俯仰角度可以基于Az/Ay的正切来定义。摇晃角度可以基于Ax/Ay的正切来定义。偏航角度可以基于Ax/Az的正切来定义。在一种方法中，x轴在相机侧面水平地延伸，y轴是垂直的，而z轴从相机的前方到后方水平地延伸。一般而言，可以检测到俯仰、摇晃、以及偏航的变化。
图10A描绘了其中玩家正在跳跃的场景中的示例原始加速计读数。例如，一个或多个玩家可能正在深度相机所处的房间中跳跃、跑步、或进行其他游戏。在玩家跳跃时，相机处于接收来自该房间的地板的振动的表面上。波形1000、1002、以及1004分别描绘x、y、以及z轴上的连续时间点的原始加速计读数。水平轴指示从左到右进展的时间，而垂直轴指示幅度。在该示例中，Ay基本上比Ax和Az更高，因为尚未对重力进行校正。可以看到，存在三个分开的扰动。在其他时间存在一些噪声。
图10B基于图10A分别在波形1008和1006处描绘了长期和短期平均俯仰值。可以看到，波形1008中的各峰值中的一些由于长期平均对短期平均的性质而相对于波形1006的对应峰值出现得更晚。
图10C描绘了图10B的长期和短期平均俯仰值之间的差。摇晃和/或偏航的对应数据未被描绘，但在本质上将类似于图10C的波形。波形1010描绘波形1008和1006之间的差，并且阈值1016是诸如图7B的步骤740中的角度阈值。波形1010不超过角度阈值1016，从而指示未检测到运动。比较图10C和图10D可以看到，这些结果在使用任一技术都未检测到移动方面是一致的。
图10D基于图10A描绘差的总和以及与阈值的比较，从而指示在何时检测到移动。波形1012描绘差的总和(图7A，步骤708)。这是|x轴长平均-x轴短平均|+|y轴长平均-y轴短平均|×缩放因子+|z-轴长平均-z轴短平均|。在该示例中，波形1012不超过阈值水平1014(图7A，步骤710)，所以在所描绘的时间段未检测到移动。因而，在一种方法中，波形1012是三个波形的总和，这三个波形基于由波形1000、1002、以及1004所表示的各单独轴的平均。图10A-D在时间上彼此大致对齐。
图11A描绘了其中玩家正在移动的场景中的示例原始加速计读数。例如，用户可能在深度相机正在运作时手动地更改深度相机的位置。波形1100、1102、以及1104分别描绘x、y、以及z轴上的连续时间点的原始加速计读数。水平轴指示进展的时间，而垂直轴指示幅度。如前所述，在该示例中，Ay基本上比Ax和Az更高，因为尚未对重力进行校正。
图11B基于图11A分别在波形1110和1108处描绘了长期和短期平均俯仰值，以及在波形1106处描绘了长期和短期平均俯仰值之间的差。摇晃和/或偏航的对应数据未被描绘，但类似于图11B的波形。波形1108和1110被示为在波形开始处在左手侧稍微偏离零，以便可以看到它们的细节。还描绘了角度阈值1107(图7B，步骤740)。波形1106的一部分1117超过阈值1107，从而指示检测到移动。
图11C基于图11B和摇晃和/或偏航的对应数据来描绘差的总和以及与阈值的比较，从而指示在何时检测到移动。波形1012描绘差的总和(图7A，步骤708)。波形1112在波形部分1116、1118、1120、以及1122处超过阈值水平1114(图7A，步骤710)，所以对于这些波形部分和相应的时间范围而言检测到移动。因而，在一种方法中，波形1112是三个波形的总和，这三个波形基于由波形1100、1102、以及1104所表示的各单独轴的平均。图11A-C在时间上彼此大致对齐。
比较图11B和图11C可以看到，这些结果在检测到不同的时刻处的移动方面不同。但是，摇晃和/或偏航的效果未被分开描绘。
图10A-11C是图7A的实现的示例。可以通过根据图7B的步骤处理图10A或11A的原始数据来提供图7B的实现的对应波形。
在此所述技术的上述详细描述是为了说明和描述而提供的。并非旨在穷举本技术或将其限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择上述实施例来最好地解释本技术的原理及其实践应用，从而使本领域其他人能够在各种实施例中并用各种适于所构想的特定用途的修改一起最好地利用本技术。本发明的范围旨在由所附权利要求书来限定。

Claims (10)

1.一种用于检测3-D深度相机中的运动的处理器实现的方法，包括以下处理器实现的步骤：
在连续时间点上从所述3-D深度相机(20)中的三轴加速计(33)获取x轴、y轴、以及z轴方向上的加速度读数(Ax、Ay、Az)，并且对于每一时间点：
获取在x-轴、y-轴、以及z-轴中的每一个轴方向上的加速计读数的短期和长期行进平均；
获取在x-轴、y-轴、以及z-轴中的每一个轴的加速计读数的短期和长期行进平均之间的差；
获取x-轴、y-轴、以及z-轴中的每一个轴的差的绝对值；
基于所述绝对值来获取总和；
确定所述总和是否超过阈值水平；
如果所述总和超过所述阈值水平，则提供检测到所述3-D深度相机的移动的指示；以及
如果所述总和未超过所述阈值水平，则提供未检测到所述3-D深度相机的移动的指示。
2.如权利要求1所述的处理器实现的方法，其特征在于，还包括：
所述总和是从|x轴长平均-x轴短平均|+{缩放因子×|y轴长平均-y轴短平均|}+|z轴长平均-z轴短平均|，其中0＜缩放因子＜1并且y轴是垂直轴，使得在所述垂直轴方向上的移动相对于在x轴或z轴方向上的移动而言被削弱。
3.如权利要求1或2所述的处理器实现的方法，其特征在于，还包括：
响应于指示检测到所述3-D深度相机的移动来暂停运动跟踪过程；以及
随后响应于指示不再检测到所述3-D深度相机的移动来恢复所述运动跟踪过程。
4.如权利要求1至3中的任一项所述的处理器实现的方法，其特征在于：
对于每一时间点，并且对于x-轴、y-轴、以及z-轴中的至少一个轴，在N1个时间点上求取短期行进平均，并且在N2个时间点上求取长期行进平均，其中1.3xN1＜N2＜1.7x N1。
5.如权利要求1至4中的任一项所述的处理器实现的方法，其特征在于：
对于每一时间点，并且对于x-轴、y-轴、以及z-轴中的每一个轴，在N1个时间点上求取短期行进平均，并且在N2个时间点上求取长期行进平均，其中1.3xN1＜N2＜1.7x N1。
6.如权利要求1至5中的任一项所述的处理器实现的方法，其特征在于，还包括：
响应于检测到所述3-D深度相机的移动的指示，经由用户界面提供指示所述3-D深度相机已被扰动的消息。
7.如权利要求1至6中的任一项所述的处理器实现的方法，其特征在于：
x轴、y轴、以及z轴中的一个轴是垂直轴；
所述绝对值之一是对于所述一个轴的；以及
在获取所述总和之前使用缩放因子来缩减所述绝对值中的所述一个。
8.如权利要求1至7中的任一项所述的处理器实现的方法，其特征在于，所述3-D深度相机包括定位电动机(35)，所述方法还包括：
在检测到所述定位电动机不在操作时，提供所述定位电动机不在操作的指示；以及
即使在指示所述定位电动机不在操作期间，也响应于检测到所述深度相机的移动的指示而暂停运动跟踪过程。
9.如权利要求8所述的处理器实现的方法，其特征在于，还包括：
在检测到所述定位电动机正在操作时，提供所述定位电动机正在操作的指示；以及
即使在指示未检测到所述3-D深度相机的移动期间，也响应于所述定位电动机正在操作的指示而暂停运动跟踪过程。
10.一种其上包含有计算机可读软件的有形计算机可读存储，所述计算机可读软件用于对至少一个处理器编程来执行用于检测3-D深度相机的运动的一种方法，所述方法包括：
从所述3-D深度相机(20)中的三轴加速计获取x轴、y轴、以及z轴方向上的加速度读数(Ax、Ay、Az)的各时间点，并且对于每一时间点：
获取在x-轴、y-轴、以及z-轴中的每一个轴方向上的加速计读数的短期和长期行进平均；
基于所述加速度读数的短期和长期行进平均：获取所述3-D深度相机的俯仰值的短期和长期变化以及所述3-D深度相机的摇晃值的短期和长期变化；
获取俯仰值的短期和长期变化之间的差(Δ俯仰)；
获取俯仰值的短期和长期变化之间的差的绝对值；
获取摇晃值的短期和长期变化之间的差(Δ摇晃)；
获取摇晃值的短期和长期变化之间的差的绝对值；
确定(a)俯仰值的短期和长期变化之间的差的绝对值以及(b)摇晃值的短期和长期变化之间的差的绝对值中的至少一个是否超过阈值；以及
在超过所述阈值时提供检测到所述3-D深度相机的移动的指示。
CN201110125204.4A 2010-05-03 2011-05-03 检测多功能传感器设备的运动 Active CN102289815B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/772,735 US8284847B2 (en) 2010-05-03 2010-05-03 Detecting motion for a multifunction sensor device
US12/772,735 2010-05-03

Publications (2)

Publication Number Publication Date
CN102289815A true CN102289815A (zh) 2011-12-21
CN102289815B CN102289815B (zh) 2014-07-16

Family

ID=44857950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110125204.4A Active CN102289815B (zh) 2010-05-03 2011-05-03 检测多功能传感器设备的运动

Country Status (2)

Country Link
US (1) US8284847B2 (zh)
CN (1) CN102289815B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102879610A (zh) * 2012-09-29 2013-01-16 广州网文三维数字技术有限公司 一种基于加速度的安全监控方法及相关装置
CN104641633A (zh) * 2012-10-15 2015-05-20 英特尔公司 用于组合来自多个深度相机的数据的系统和方法
CN105164726A (zh) * 2013-01-24 2015-12-16 微软技术许可有限责任公司 用于3d重构的相机姿态估计
CN110050221A (zh) * 2016-12-12 2019-07-23 微软技术许可有限责任公司 用于传感器子系统的虚拟刚性框架
US11215711B2 (en) 2012-12-28 2022-01-04 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US11710309B2 (en) 2013-02-22 2023-07-25 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2569411T3 (es) 2006-05-19 2016-05-10 The Queen's Medical Center Sistema de seguimiento de movimiento para imágenes adaptativas en tiempo real y espectroscopia
US8441388B2 (en) * 2009-01-06 2013-05-14 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Remote control devices and methods
US9414051B2 (en) 2010-07-20 2016-08-09 Memory Engine, Incorporated Extensible authoring and playback platform for complex virtual reality interactions and immersive applications
US9977874B2 (en) 2011-11-07 2018-05-22 Nike, Inc. User interface for remote joint workout session
US9223936B2 (en) 2010-11-24 2015-12-29 Nike, Inc. Fatigue indices and uses thereof
US9457256B2 (en) 2010-11-05 2016-10-04 Nike, Inc. Method and system for automated personal training that includes training programs
US9852271B2 (en) * 2010-12-13 2017-12-26 Nike, Inc. Processing data of a user performing an athletic activity to estimate energy expenditure
US9283429B2 (en) 2010-11-05 2016-03-15 Nike, Inc. Method and system for automated personal training
US20220262486A1 (en) * 2010-11-05 2022-08-18 Nike, Inc. User interface for remote joint workout session
WO2012061804A1 (en) 2010-11-05 2012-05-10 Nike International Ltd. Method and system for automated personal training
TWI439947B (zh) * 2010-11-11 2014-06-01 Ind Tech Res Inst 辨識人體移動行為之方法及系統
US10420982B2 (en) 2010-12-13 2019-09-24 Nike, Inc. Fitness training system with energy expenditure calculation that uses a form factor
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
US9811639B2 (en) 2011-11-07 2017-11-07 Nike, Inc. User interface and fitness meters for remote joint workout session
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
CN104508669B (zh) 2012-06-04 2019-10-01 耐克创新有限合伙公司 一种综合健身-竞技分数的系统和方法
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US10321873B2 (en) 2013-09-17 2019-06-18 Medibotics Llc Smart clothing for ambulatory human motion capture
US10602965B2 (en) 2013-09-17 2020-03-31 Medibotics Wearable deformable conductive sensors for human motion capture including trans-joint pitch, yaw, and roll
US10716510B2 (en) 2013-09-17 2020-07-21 Medibotics Smart clothing with converging/diverging bend or stretch sensors for measuring body motion or configuration
US9588582B2 (en) 2013-09-17 2017-03-07 Medibotics Llc Motion recognition clothing (TM) with two different sets of tubes spanning a body joint
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9286717B2 (en) 2013-07-30 2016-03-15 Hewlett-Packard Development Company, L.P. 3D modeling motion parameters
CN111258378A (zh) 2013-08-07 2020-06-09 耐克创新有限合伙公司 具有姿态识别和功率管理的腕戴式运动装置
US9581612B2 (en) * 2013-08-26 2017-02-28 EveryFit, Inc. Systems and methods for a power efficient method for detecting wear and non-wear of a sensor
TWI530909B (zh) 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
US10725550B2 (en) * 2014-01-07 2020-07-28 Nod, Inc. Methods and apparatus for recognition of a plurality of gestures using roll pitch yaw data
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
CN106572810A (zh) 2014-03-24 2017-04-19 凯内蒂科尔股份有限公司 去除医学成像扫描的预期运动校正的系统、方法和装置
US9414115B1 (en) 2014-03-28 2016-08-09 Aquifi, Inc. Use of natural user interface realtime feedback to customize user viewable ads presented on broadcast media
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
EP3284078B1 (en) * 2015-04-17 2024-03-27 Tulip Interfaces Inc. Augmented interface authoring
GB2539387B (en) * 2015-06-09 2021-04-14 Oxford Metrics Plc Motion capture system
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10716515B2 (en) 2015-11-23 2020-07-21 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10565889B2 (en) 2016-03-21 2020-02-18 Ying Chieh Mitchell Method and system for authoring animated human movement examples with scored movements
US10064332B1 (en) * 2017-03-06 2018-09-04 Cnh Industrial America Llc Monitor for slip clutches
US11436839B2 (en) * 2018-11-02 2022-09-06 Toyota Research Institute, Inc. Systems and methods of detecting moving obstacles
AU2021221525A1 (en) * 2020-08-25 2022-03-24 Viotel Limited A device and method for monitoring status of cable barriers

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1723848A (zh) * 2004-07-24 2006-01-25 三星电子株式会社 使用加速度传感器测量体育运动量的设备和方法
CN1928567A (zh) * 2005-09-06 2007-03-14 索尼株式会社 速度检测、位置检测和导航系统

Family Cites Families (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US7202898B1 (en) 1998-12-16 2007-04-10 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6360602B1 (en) 1999-07-29 2002-03-26 Litton Systems, Inc. Method and apparatus reducing output noise in a digitally rebalanced accelerometer
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US20050149299A1 (en) * 2002-04-24 2005-07-07 George Bolt Method and system for detecting change in data streams
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
KR100526535B1 (ko) 2003-07-22 2005-11-08 삼성전자주식회사 가속도계를 이용한 이동체의 속력측정장치 및 그 방법
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7180500B2 (en) 2004-03-23 2007-02-20 Fujitsu Limited User definable gestures for motion controlled handheld devices
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US8684839B2 (en) 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
WO2006028013A1 (ja) * 2004-09-07 2006-03-16 Vodafone K.K. 加速度推定方法、加速度推定装置及び移動端末装置
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
HUE049974T2 (hu) 2005-01-07 2020-11-30 Qualcomm Inc Képeken lévõ objektumok észlelése és követése
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
WO2006099597A2 (en) 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
KR101403172B1 (ko) 2005-05-17 2014-06-03 퀄컴 인코포레이티드 방위-감응 신호 출력
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US20070260398A1 (en) 2006-03-08 2007-11-08 David Stelpstra Portable navigation device with accelerometer
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US20080048980A1 (en) 2006-08-22 2008-02-28 Novell, Inc. Detecting movement of a computer device to effect movement of selected display objects
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
CN101980659B (zh) * 2008-03-31 2012-08-29 夏普株式会社 体动测定装置、体动测定装置的控制方法
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8010313B2 (en) * 2008-06-27 2011-08-30 Movea Sa Hand held pointing device with roll compensation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1723848A (zh) * 2004-07-24 2006-01-25 三星电子株式会社 使用加速度传感器测量体育运动量的设备和方法
CN1928567A (zh) * 2005-09-06 2007-03-14 索尼株式会社 速度检测、位置检测和导航系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102879610A (zh) * 2012-09-29 2013-01-16 广州网文三维数字技术有限公司 一种基于加速度的安全监控方法及相关装置
CN102879610B (zh) * 2012-09-29 2014-06-11 广州网文三维数字技术有限公司 一种基于加速度的安全监控方法及相关装置
CN104641633A (zh) * 2012-10-15 2015-05-20 英特尔公司 用于组合来自多个深度相机的数据的系统和方法
US11215711B2 (en) 2012-12-28 2022-01-04 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
CN105164726A (zh) * 2013-01-24 2015-12-16 微软技术许可有限责任公司 用于3d重构的相机姿态估计
CN105164726B (zh) * 2013-01-24 2018-01-09 微软技术许可有限责任公司 用于3d重构的相机姿态估计
US11710309B2 (en) 2013-02-22 2023-07-25 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
CN110050221A (zh) * 2016-12-12 2019-07-23 微软技术许可有限责任公司 用于传感器子系统的虚拟刚性框架

Also Published As

Publication number Publication date
CN102289815B (zh) 2014-07-16
US20110267456A1 (en) 2011-11-03
US8284847B2 (en) 2012-10-09

Similar Documents

Publication Publication Date Title
CN102289815B (zh) 检测多功能传感器设备的运动
CN102184009B (zh) 跟踪系统中的手位置后处理精炼
TWI469813B (zh) 在動作擷取系統中追踪使用者群組
CN102193624B (zh) 用于基于姿势的用户界面的物理交互区
CN102665838B (zh) 用于确定和跟踪目标的肢端的方法和系统
US9086727B2 (en) Free space directional force feedback apparatus
CN102129292B (zh) 在运动捕捉系统中识别用户意图
CN103608844B (zh) 全自动动态关节连接的模型校准
CN102448562B (zh) 用于跟踪模型的系统和方法
CN102448560B (zh) 经由屏幕上化身进行用户移动反馈的系统和方法
CN102549619B (zh) 人类跟踪系统
CN102332090B (zh) 划分在视野内的焦点区域
CN102129551B (zh) 基于关节跳过的姿势检测
CN102207771A (zh) 推断参与运动捕捉系统的用户意图
US20100302253A1 (en) Real time retargeting of skeletal data to game avatar
CN102449576A (zh) 姿势快捷方式
CN102301315A (zh) 姿势识别器系统架构
US8878656B2 (en) Providing directional force feedback in free space
CN102576466A (zh) 用于跟踪模型的系统和方法
CN102306051A (zh) 复合姿势-语音命令
CN102947777A (zh) 用户跟踪反馈
CN102301398A (zh) 身体扫描
CN102947774A (zh) 用于驱动交互式故事的自然用户输入
CN102135798A (zh) 仿生学运动
CN102163324A (zh) 深度图像的去混叠

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150424

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150424

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.