CN102163324B

CN102163324B - 深度图像的去混叠

Info

Publication number: CN102163324B
Application number: CN201110081374.7A
Authority: CN
Inventors: A·阿德莱尔; S·凯茨; G·吉勒博阿; J·塔迪夫
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2010-03-26
Filing date: 2011-03-24
Publication date: 2014-07-02
Anticipated expiration: 2031-03-24
Also published as: US8514269B2; US20110234756A1; CN102163324A

Abstract

提供了用于对深度图像去混叠的技术。深度图像可以基于所发射的和所接收的已调制光束之间的相位差来生成。该方法包括访问深度图像，该深度图像中具有关于其中的多个位置的深度值。每一位置具有一个或多个邻居位置。基于深度图像中关于位置的深度值和深度图像中的潜在混叠为多个位置中的每一个确定潜在深度值。基于每一位置与其相邻位置的潜在深度值之间的差异来确定成本函数。确定成本函数包括为相邻位置之间的潜在深度值的较大差异分配较高成本。该成本函数被充分最小化来为每一位置选择一个潜在深度值。

Description

深度图像的去混叠

技术领域

本发明涉及图像处理，尤其涉及深度图像的去混叠。

背景技术

深度相机系统获得关于物理空间内人或其他对象的位置的数据。该信息可被称为“深度信息”。深度信息可被输入到计算系统内的应用来用于各种各样的应用。可能有许多应用，如出于军事、娱乐、体育和医疗目的。例如，关于人的深度信息可被映射到三维(3-D)人类骨架模型并用于创建动画人物或化身。

为了确定深度信息，深度相机可以将光投影到相机的视野中的对象上。光反射离开对象并返回到相机，在相机处光被处理以确定深度信息。一种用于确定到对象的距离的技术基于光的往返飞行时间。某些技术调制该光并基于所发射和所接收的光之间的相位差来确定距离。

然而，由于所调制的光的周期性，对于某些飞行时间技术会发生混叠。发生混叠是因为从两个不同距离处的对象返回的光可能相对于所发射的光具有相同的相移。换言之，从某些对象反射的光的相移可能大于360度，该大于360度的相移无法与小于360度的相移区分。术语“深度窗”可用于指代可在没有遇到混叠效应的情况下检测到的深度。例如，对于给定相机，深度窗可以是2.5米。

一种去混叠技术是以若干不同频率来调制光。对于每一调制的频率，该测量指示对象可能在若干可能的距离之一处。距离之一是正确的，其他的则是混叠引起的。然而，通过对所有调制的频率分析可能距离集，可确定正确的距离。然而，该技术需要以若干不同的频率调制光。因此，需要额外的时间来收集数据。并且，电路需要更为复杂以便能够以不同频率来调制光。此外，即使是只有几个不同的已调制频率，也不能保证可去除混叠效应。

因此，需要进一步的改进以允许对深度相机的视野内对象的深度进行更准确的确定。需要用于在执行深度检测时去混叠的改进的技术。该技术应与现有的深度检测相机兼容。

发明内容

提供了用于对深度图像去混叠的技术。此处描述的技术提供了对深度相机的视野内的对象的深度的准确确定。此处描述的技术与现有的深度检测相机兼容。

一个实施例包括对深度图像去混叠的机器实现的方法。该方法包括访问深度图像，该深度图像中具有关于其中的多个位置的深度值。每一位置具有一个或多个邻居位置。基于深度图像中关于位置的深度值和深度图像中的潜在混叠为多个位置中的每一个确定潜在深度值。基于每一位置与其邻居位置的潜在深度值之间的差异来确定成本函数。确定成本函数包括为邻居位置之间的潜在深度值的较大差异分配较高成本。该成本函数被充分最小化来为每一位置选择一个潜在深度值。

一个实施例包括一种包括处理器和耦合到该处理器的计算机可读存储介质的装置。该计算机可读存储介质具有指令，该指令当在处理器上执行时使得该处理器访问包括多个位置的深度值的深度图像。每一位置具有一个或多个邻居位置。该指令还使得处理器基于深度图像中的深度值和深度图像中的潜在混叠为多个位置中的每一个确定潜在深度值。该指令还使得处理器基于每一位置与其一个或多个邻居位置的潜在深度值之间的差异来确定成本函数。为了确定成本函数，该处理器为一对邻居位置之间的潜在深度值的较大差异分配较高成本。该指令还使得处理器充分最小化该成本函数以便为每一位置选择一个潜在深度值。

一个实施例包括一种机器实现的方法，该方法包括以下步骤。生成包括多个像素的深度图像。每一像素具有一个或多个相邻像素且具有深度值。该深度图像具有深度窗。基于该深度窗以及深度图像中关于多个像素中的每一个像素的深度值为该像素确定潜在深度值。生成包括多层节点的图。每一像素由每一层中的一个节点来表示。给定像素的潜在深度值由不同层中的节点来表示。对应于相邻像素的节点由边连接。向每一条边分配成本。给定边的成本基于由该边连接的两个节点的潜在深度值之间的深度差。将该图缩减到充分最小化剩余边的成本的单一层。每一像素在该缩减的图中有一个节点。

提供本概要以便用简化形式介绍在下面的说明书中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

附图说明

图1描绘了运动捕捉系统的示例实施例。

图2描绘了图1的运动捕捉系统的示例框图。

图3是对深度图像去混叠的过程的一个实施例的流程图。

图4是形成成本函数的过程的一个实施例的流程图。

图5A描绘深度图像中的像素的邻居关系的一个示例。

图5B描绘了可以在图4的过程中形成的示例图。

图5C描绘了分配给像素之间的边的成本的示例。

图5D示出了分配给每一对节点之间的边的成本。

图6是确定成本函数的过程的一个实施例的流程图。

图7是基于亮度来确定每像素成本的过程的一个实施例的流程图。

图8是基于边缘信息来修改两个相邻像素之间的成本的过程的一个实施例的流程图。

图9是描述基于飞行时间差来形成深度图像的过程的一个实施例的流程图。

图10是将原始深度图像划分成各段的过程的一个实施例的流程图。

图11描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。

图12描绘了可以在图1的运动捕捉系统中使用的计算环境的另一示例框图。

具体实施方式

提供了用于对深度图像去混叠的技术。深度图像可以基于所发射的和所接收的已调制光束之间的相位差来生成。作为示例，所发射的光束可从深度相机射出，从一个或多个对象反射，并接收回到深度相机。混叠可以由所发射的光的调制频率来决定。

在某些实施例中，在运动捕捉系统中使用深度图像的去混叠。该运动捕捉系统可生成原始深度图像，其具体化了去混叠。去混叠的深度图像可由运动捕捉系统10用于各种目的。将理解，对深度图像去混叠不限于在运动捕捉系统中使用。图1描绘了其中个人与应用交互的运动捕捉系统10的示例。运动捕捉系统10包括显示器196、深度相机系统20、以及计算环境或装置12。深度相机系统20可包括图像相机组件22，其具有深度检测光发射器24、深度检测光接收器25和红-绿-蓝(RGB)相机28。在一实施例中，深度检测光发射器24发射准直光束。准直光束的示例可包括但不限于，红外(IR)和激光。在一实施例中，深度检测光组件是LED。从视野内的对象8反射离开的光由深度检测光接收器25检测。

也称为个人或玩家的用户站在深度相机系统20的视野6中。线2和4表示视野6的边界。在该示例中，深度相机系统20和计算环境12提供了其中显示器196上的化身197追随对象8(例如，用户)的移动的应用。例如，当用户举起手臂时，化身197可举起手臂。化身197在3-D虚拟世界中站在路198上。可定义笛卡尔世界坐标系，其包括沿着深度相机系统20的焦距(例如水平)延伸的z轴、垂直延伸的y轴、以及横向且水平延伸的x轴。注意，附图的透视被修改成简化表示，显示器196在y轴方向上垂直延伸，z轴垂直于y轴和x轴且与用户所站立的地平面平行地从深度相机系统20延伸出来。

一般而言，运动捕捉系统10用于识别、分析和/或跟踪对象。计算环境12可包括计算机、游戏系统或控制台等，以及执行应用的硬件组件和/或软件组件。

深度相机系统20可以包括相机，相机用于在视觉上监视诸如用户等的一个或多个对象8，从而可以捕捉、分析并跟踪用户所执行的姿势和/或移动，来执行应用中的一个或多个控制或动作，如使化身或屏幕上人物活动起来或选择用户界面(UI)中的一菜单项。

运动捕捉系统10可以连接到诸如显示器196等可向用户提供视觉和音频输出的视听设备，如电视机、监视器、高清电视机(HDTV)等，或甚至是墙或其他表面上的投影。音频输出也可经由单独的设备来提供。为驱动显示器，计算环境12可包括提供与应用相关联的视听信号的诸如图形卡等视频适配器，和/或诸如声卡等音频适配器。显示器196可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。

可使用深度相机系统20来跟踪对象8，使得用户的姿势和/或移动被捕捉并用于使化身或屏幕上人物活动起来，和/或被解释为对计算机环境12所执行的应用的输入控制。

对象8的某些移动可被解释为可以和除控制化身之外的动作相对应的控制。例如，在一实施例中，玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。玩家可使用移动来从主用户界面选择游戏或其他应用，或以其他方式导航选项菜单。由此，对象8的全范围运动可以用任何合适的方式来获得、使用并分析以与应用进行交互。

个人可在与应用交互时抓握诸如道具等物体。在此类实施例中，个人和物体的移动可用于控制应用。例如，可以跟踪并利用玩家手持球拍的运动来控制模拟网球游戏的应用中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持诸如塑料剑等玩具武器的运动来控制提供海盗船的应用的虚拟世界中对应的武器。

运动捕捉系统10还可用于将目标移动解释为游戏和出于娱乐和休闲目的的其他应用范围之外的操作系统和/或应用控制命令。例如，操作系统和/或应用的实际上任何可控方面可由对象8的移动来控制。

图2描绘了图1a的运动捕捉系统10的示例框图。深度相机系统20可被配置以捕捉具有深度信息的视频，深度信息包括可包括深度值的深度图像。此处描述了用于对深度图像去混叠的技术。深度相机系统20可将深度信息组织为“Z层”，或可与从深度相机系统20沿其视线延伸的Z轴垂直的层。

深度相机系统20可包括图像相机组件22，如捕捉物理空间中的场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每一像素具有代表距离图像相机组件22的线性距离(径向距离)的或由像素观察的3D位置的Z分量(垂直距离)的相关联的深度值。

图像相机组件22可包括深度检测光发射器24和深度检测光接收器25来捕捉深度信息。例如，深度相机系统20可使用深度检测光发射器24将光发射到物理空间上并使用深度检测光接收器25来检测从物理空间内一个或多个对象的表面所反射的光。

在某些实施例中，深度检测光发射器24发送脉冲式红外光，从而可以测量出射光脉冲与相应的入射光脉冲之间的时间并将其用于确定从深度相机系统20到物理空间中的对象上的特定位置的物理距离。光可以按所需频率来调制。可将传出的已调制光波的相位与传入光波的相位进行比较来确定相位差。然后可以使用该相位差来确定从深度相机系统20到目标或对象上的特定位置的物理距离。

深度相机系统20可具有深度窗，该深度窗是由用于确定深度的光的调制频率来决定的。例如，对于给定相机，深度窗可以是2.5米。在某些实施例中，混叠是由深度窗决定的。例如，具有实际深度“x+n×深度窗”的不同对象可能都被确定为在距离x处。在该示例中，“n”可以是任何正整数。

图像相机组件22还可生成亮度信息(例如，亮度图像)，该亮度信息可用于帮助对深度图像进行去混叠。在一个实施例中，基于飞行时间信息来生成深度图像的同一过程也生成亮度信息。

红-绿-蓝(RGB)相机28可用于捕捉可见光图像。深度相机系统20还可包括话筒30，话筒30包括例如接收声波并将其转换成电信号的换能器或传感器。另外，话筒30可用于接收由个人提供的诸如声音等音频信号，来控制由计算环境12运行的应用。音频信号可包括诸如说出的单词、口哨、叫声和其他话语等个人的口声，以及诸如拍手或跺脚等非口声。

深度相机系统20可包括与图像相机组件22进行通信的处理器32。处理器32可包括可执行包括例如用于接收深度图像和对深度图像去混叠的指令等指令的标准化处理器、专用处理器、微处理器等等。

深度相机系统20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、以及存储RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的有形计算机可读存储组件。存储器组件34可以是经由总线21与图像捕捉组件22和处理器32进行通信的单独组件。根据另一实施方式，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。

深度相机系统20可以经由通信链路36与计算环境12进行通信。通信链路36可以是有线和/或无线连接。根据一实施例，计算环境12可经由通信链路36向深度相机系统20提供时钟信号，该信号指示何时从位于深度相机系统20的视野中的物理空间捕捉图像数据。

此外，深度相机系统20可通过通信链路36向计算环境12提供深度信息和由RGB相机28捕捉的图像。计算环境12然后可使用深度信息和所捕捉的图像来控制应用。例如，如图2所示，计算环境12可包括诸如姿势过滤器集合等姿势库190，每一姿势过滤器具有关于可(在用户移动时)执行的姿势的信息。例如，可为各种手姿势提供姿势过滤器，如手的挥击或投掷。通过将检测到的运动与每一过滤器进行比较，可标识个人执行的指定姿势或移动。也可确定执行移动的范围。

计算环境还可包括用于执行存储在存储器194中的指令以向显示设备196提供音频-视频输出信号并实现其他功能的处理器192。

图3是对深度图像去混叠的过程300的一个实施例的流程图。过程300可在诸如图1的示例系统10等运动捕捉系统10中使用。例如，过程300可由深度相机系统20或计算环境12来执行。在步骤302，访问深度图像。该深度图像包括不同位置的深度值。每一位置具有一个或多个邻居位置。在一个实施例中，该深度图像包括多个像素，每一像素与一个或多个相邻像素是邻居。由此，深度图像中的位置可对应于像素。每一像素具有由例如深度相机20确定的深度值。

图5A描绘了深度图像中的像素的邻居关系的一个示例。在该示例中，有9个像素，每一像素具有最多4个邻居，如连接像素的线所指示的。在该示例中，深度图像值被组织为像素矩阵。为便于说明，仅示出了矩阵的3x3部分。注意，并不要求深度图像被组织为矩阵。在该示例中，像素可具有在上方、下方、左边和右边的邻居。在其他实施例中，像素可具有对角邻居。例如，像素5可以是像素1、像素3、像素7和像素9的邻居。每一像素具有如由标签指示的深度值，诸如对像素1的深度值DV P1。

注意，并不要求深度图像中的每一位置都对应于一像素。例如，深度图像中的位置可对应于一组像素。在一个实施例中，位置是具有相似深度值的一组邻接的像素。

深度图像可由深度相机20来生成。由于生成深度图像的方式，深度图像可具有混叠。在一个实施例中，深度图像是基于飞行时间信息来生成的。混叠可以是由于深度相机20的有限“深度窗”引起的。换言之，由于深度是基于所发射的和所接收的光之间的相位差来确定的，用于确定深度的光的调制频率可导致特定的深度窗。在一个实施例中，调制频率或深度窗是对过程300的输入。

在步骤304，基于深度图像中的可能混叠为原始深度图像中的每一位置确定潜在深度值。例如，如果位置具有深度值2.0米，且深度窗是2.5米，则潜在深度值可包括集合：{2.0，4.5，7.0，9.5}米。注意，原始深度图像中的深度值是潜在深度值之一。

在步骤306，基于每一位置与其一个或多个邻居位置的潜在深度值之间的差异来形成成本函数。确定成本函数可包括为一对邻居位置之间的潜在深度值的较大差异分配较高成本。以下描述进一步的详细内容。

在步骤308，充分最小化该成本函数来为每一位置选择一个潜在深度值。为每一位置的该所选深度值用于形成去混叠的图像。例如，值4.5m可从集合：{2.0，4.5，7.0，9.5}中选出作为给定像素的最终深度值。在某些实施例中，该成本函数可被称为“能量函数”。充分最小化成本函数可包括最小化该能量函数。在一个实施例中，最小化成本函数平滑了邻居位置之间的差异。

图4是形成成本函数的过程400的一个实施例的流程图。过程400是过程300的步骤306的一实施例。出于讨论的目的，将使用其中深度图像中的位置对应于深度图像中的像素的示例。注意，不要求位置对应于单个像素。在步骤402，构造包括多层节点的图。在该示例中，每一像素由每一层中的一个节点来表示。给定像素的潜在深度值由不同层中的节点来表示。

图5B描绘了可在步骤402中形成的示例图。注意，图5B的图使用了图5A的结构作为起始点。由此，该图用于来自图5A的相同的9个像素。每一像素由该图的每一层中的一个节点来表示。该示例图具有三层。每一层对应于不同的潜在深度值。该图的底层中的每一节点对应于来自原始深度图像的一个像素的深度值。例如，一个节点具有来自原始图像的像素1的深度值，另一节点具有来自原始图像的像素2的深度值，又一节点具有来自原始图像的像素3的深度值，以此类推。该图的底层等价于图5A的深度图像。注意，底层的原始深度值被称为“潜在”深度值，因为由于混叠，某些原始深度值将被改变来对深度图像去混叠。

图中的两个较高层基于每一像素的其他潜在深度值来形成。例如，第二层可通过向较低层处的每一深度值增加2.5m(假定深度窗是2.5m)来形成。第三(较高)层可通过向较低层处的每一深度值增加5.0m来形成。由此，像素1可具有从最低到最高层的深度值2.0m、4.5m和7.0m。注意，不要求给定像素存在于每一层。在某些实施例中，该图是马尔可夫随机场(MRF)图。并且，某些层可具有低于原始值的深度值。

在步骤404，基于由边连接的两个节点的潜在深度值之间的深度差来向该图的各边分配成本。图5C描绘了分配给像素1和像素2之间的边的成本的示例。实线指示图中的边。虚线示出表示同一像素的不同节点。由此，在该示例中，对应于给定像素的每一节点具有到其邻居像素的每一节点的边。

图5C示出了在最低层处，像素1具有值2.0m，且像素2具有值0.3m。这些值可以来自原始深度图像。像素1在第二和第三层分别被分配到4.5m和7.0m的值。这些值基于深度窗的大小。像素2在第二和第三层分别被分配到2.8m和5.3m的值。这些值也基于深度窗的大小。

边被分配到一成本，该成本基于每一节点的潜在深度值的差异。例如，连接最低层处的节点的边被标记为1.7，这对应于在该层的像素1和像素2的潜在深度值之间的差异。在某些实施例中，该成本随着邻居节点之间的潜在深度值的差异增大而增加。然而，该成本不需要如本示例中那样等于潜在深度值的差异。

再次返回到图5B的图，像素1也是像素4的邻居。同样，像素2是像素3和5的邻居。因此，为到这些邻居节点的边确定额外的成本。可处理对应于所有像素的节点，使得所有边被分配到成本。注意，图5B中并未描绘所有连接节点的边，以便不使该图模糊不清。

在步骤406，基于最小化剩余边的成本来将该图缩减到单层。每一像素在该缩减的图中有一个节点。图5D描绘了其中图5B的图被缩减到对应于每一像素的单个节点的结果。每一节点的深度值来自不同层之一。例如，像素2由在图5B的图的第二层的潜在深度值来表示。图5D的结构示出每一对节点之间的边被分配到一成本。这是基于最终深度值的成本。例如，像素1和像素2之间的边的成本基于像素1和像素2的最终深度值之间的差异。在一个实施例中，图5D的结构基于最小化所有边成本的和来生成。例如，图5D中的所有成本的和可以是可从将图5B的图缩减到单层获得的最小值。然而，注意，可使用其他因素来缩减该图。如将在下文讨论的，该图也可基于分配给各个节点的成本来缩减。在某些实施例中，步骤406可通过MRF能量最小化方法来实现。

图6是确定成本函数的过程600的一个实施例的流程图。过程600是过程300的步骤306的一实施例。在过程600中，所处理的位置是像素。如所提到的，一种变型是从邻接像素的组来形成位置。

在步骤602，为每一像素确定每像素成本。该每像素成本是分配给像素的成本。在一个实施例中，每像素成本是基于像素本身的特性(如其亮度)的成本。在一个实施例中，像素基于其亮度而被分配每像素成本。基于像素的亮度来分配每像素成本的进一步细节在下文中描述。

每像素成本可由等式1来表达。

等式1：d_p(l_p)

在等式1中，像素数为“p”。每一像素可取决于例如它在图中的哪一层中而被实际上分配不同的值。参考图5B，每像素成本可被认为是向图中的节点分配成本。因此，每像素成本也可被称为每节点成本。例如，像素1可具有在最高层的成本“0”，在中间层的成本“-1”，以及在最低层的成本“-1”。由此，可对深度图像中的每一位置(例如，像素)的每一潜在深度值确定个别成本。在等式1中，项“l_p”指示每像素成本是由图中的层来决定的。

在步骤604，为每一对邻居确定相邻像素之间的成本。在一个实施例中，该成本基于第一位置(例如，像素)的潜在深度值与邻居位置的潜在深度值之间的深度差。这已经相对于图5C的示例描述了。

两个邻居像素之间的成本可由等式2来表达。

等式2：v_p，q(l_p，l_q，)＝|l_p-l_q|

在等式2中，“p”和“q”指一对邻居节点。例如，图5C描绘了9对邻居节点。像素1的三个节点可对应于“l_p”，而像素2的三个节点可对应于“l_q”。函数v_p，q(l_p，l_q，)可被称为平滑度函数，其是两个邻居像素之间的成本。例如，图5C中的图的边上的成本是一对邻居像素之间的成本。如等式2中所描绘的，该平滑度函数可以是两个邻居像素的潜在深度值之间的差异的绝对值。该平滑度函数可具有许多其他形式。

在一个实施例中，该成本基于惩罚一对邻居像素之间的大的潜在深度值差异。例如，其真实深度可能大约相同的一对邻居像素可对它们之间的某些成本作出惩罚。参考图5C，作为一个示例，可惩罚像素1和像素2之间的某些边的成本。惩罚邻居像素之间的某些成本的进一步细节在下文中描述。

在步骤606，从每像素成本和邻居像素之间的成本的和形成函数。等式3示出了该成本函数的一个实施例。

等式3：E＝E_d+λE_s

在等式1中，E_d是数据项，E_s是平滑度项，λ是缩放因子。等式4示出了数据项的一个示例。等式5描绘了平滑度项的一个示例。

等式4：E_d＝∑_pd_p(l_p)

等式5：E_s＝∑_{p，q}∈Nv_p，q(l_p，l_q，)

注意，等式4是通过对所有像素的每像素成本求和来形成的。等式5是通过对“N”的邻居像素之间的成本求和来形成的，N是所有邻居对的集合。以上等式中的成本函数可被认为是能量函数。在某些实施例中，最小化该成本函数(步骤308，过程300)的步骤可被认为是能量最小化问题。

在某些实施例中，使用额外的提示来确定成本函数。其一个示例是使用亮度信息。在一个实施例中，使用像素的亮度来调整每像素值。注意，像素的亮度可对应于其真实深度。例如，可以预期较亮的像素是较接近的，而较暗的像素则是较远的。因此，在成本函数中可使用亮度。作为具体示例，如果一像素被确定为是暗的，则可向图中其像素具有较大潜在深度的节点分配较低成本。

图7是基于亮度来确定每像素成本的过程700的一个实施例的流程图。过程700是过程600的步骤602的一实施例。过程700描述了处理一个像素，且可以对其他像素重复。在步骤702，访问像素的亮度值。在一个实施例中，亮度值由生成深度图像的同一过程生成。例如，亮度图像从也可在基于飞行时间生成深度图像的过程中使用的光检测器收集的数据中生成。因此，来自亮度图像的亮度值可以与深度图像相关来确定该深度图像中的像素的亮度值。

在步骤704，将像素的亮度值与阈值进行比较。如果亮度值小于阈值，则在步骤706减小对应于远的深度的每像素成本。对应于其他深度的每像素成本可保留为默认值。例如，可设置阈值，使得期望像素相对远离深度相机。因此，相对于相对小的深度值，应偏向相对远的深度值。作为一个示例，如果潜在深度值大于4.5m，则每像素成本可被设为-1。如果潜在深度值小于4.5m，则每像素成本可被设为0。在一个实施例中，步骤704包括向给定像素的每一节点分配成本。例如，图5B的图中像素1的所有节点可被分配一成本。在一个实施例中，步骤704包括对给定像素确定等式1的值。

如果亮度值大于阈值，则在步骤708减小附近像素的每像素成本。对应于其他深度的每像素成本可保留为默认值。例如，如果潜在深度值小于4.5m，则每像素成本可被设为-1。如果潜在深度值大于4.5m，则每像素成本可被设为0。过程700可具有许多变型。例如，可以不执行减小附近像素的成本的步骤708。或者，可以不执行减小远像素的成本的步骤706。每像素成本可基于诸如亮、中和暗像素等其他类别来分配。注意，可使用除了亮度值以外的其他因素来调整每像素成本。回头参考等式1和2，可以看到，减小每像素成本的像素效应是在最终的解中偏向具有较低成本的节点。

在成本函数中使用附加提示的另一示例是使用边缘信息。在一个实施例中，边缘信息来自亮度图像中的边缘。如果两个邻居像素不靠近边缘，则这意味着它们应具有相似的深度值。在一个实施例中，使用边缘信息来修改两个邻居像素之间的成本。图8是基于边缘信息来修改两个邻居像素之间的成本的过程800的一个实施例的流程图。过程800是过程600的步骤604的一实施例。过程800描述了处理一个像素，且可以对其他像素重复。

在步骤802，访问像素的边缘信息。在一个实施例中，亮度值由生成深度图像的同一过程生成。例如，亮度图像从也可在基于飞行时间生成深度图像的过程中使用的光检测器收集的数据中生成。因此，来自亮度图像的亮度值可以与深度图像相关来确定该深度图像中的像素的亮度值。

在步骤804，检查该边缘信息来确定在像素附近是否存在强边缘。如果在像素附近存在强边缘，则可忽略深度值的大差异(步骤806)。例如，如果像素与其邻居之间的成本很高，则可减小该成本。

如果没有强边缘，则在步骤808对像素与其邻居像素之间的成本进行惩罚。以下等式6示出了对以上等式2的一种可能的修改，以便在像素不接近强边缘时对两个像素之间的成本应用惩罚。

等式6：

其中0＜b＜a

在等式6中，r_p、r_q是像素的亮度值，a、b是常量，其中a＞b以便为不具有相似亮度值的节点提供较低成本。如果像素与其邻居之间的亮度差大于阈值(亮度差由|r_p-r_q|给出)，则对给定像素对(p，q)的成本乘以值“b”。如果像素与其邻居之间的亮度差小于或等于阈值，则对给定像素对(p，q)的成本乘以值“a”。值“a”可以大于值“b”以便在像素不接近强边缘时增加成本。

在一个实施例中，在过程300中处理的深度图像是基于飞行时间差来形成的。图9是描述基于飞行时间差来形成深度图像的过程900的一个实施例的流程图。过程900可由深度相机20来执行。在步骤902，以某一频率调制光。该频率将影响相机的深度窗。因此，可选择该频率来实现所需深度窗。调制可包括但不限于，调幅、调频和调相。

在步骤904，将已调制光从相机20发射到相机20的视野中的对象8中。例如，相机20中的深度检测光发射器24发射光。在步骤906，接收从对象8反射的光。例如，相机20中的检测光接收器25接收反射的光。在某些实施例中，光由CCD或CMOS器件检测，该器件可包括多个像素。

在步骤908，基于所发射和所接收的光之间的相位差来确定深度图像。在某些实施例中，为多个像素确定深度值。例如，CCD和CMOS器件可具有像素阵列。因此，可生成诸如图5A中的示例所表示的深度图像。

在一个实施例中，原始深度图像在去混叠之前被划分成段。段可包括具有大致相同的深度值的邻接像素。图10是将原始深度图像划分成各段的过程1000的一个实施例的流程图。过程1000是过程300的步骤302的一实施例。在步骤1002，访问原始深度图像。例如，访问由过程900创建的深度图像。

在步骤1004，将该深度图像划分成段。在一个实施例中，每一段包括这样的像素：对这些像素，在每一像素与其邻居之间没有大深度差。注意，具有最小和最高深度值的像素之间的差在它们不是邻居像素的情况下可能很大。参考其中处理“位置”的过程300，每一段可对应于一位置。在一个实施例中，可执行泛色填充算法来通过向组中的所有像素应用相同的偏置值来改变一组邻接像素的深度值。

图11描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。该计算环境可用于对深度图像去混叠。上面描述的诸如计算环境12等计算环境可以是诸如游戏控制台等多媒体控制台100。多媒体控制台100包括具有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此的附加的一级和二级高速缓存102和104。诸如闪存ROM等存储器106可存储在多媒体控制台100通电时在引导过程的初始阶段期间加载的可执行代码。

图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其他显示器。存储器控制器110连接到GPU 108以便于处理器访问各种类型的存储器112，诸如RAM(随机存取存储器)。

多媒体控制台100包括可在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口(NW IF)124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。

提供系统存储器143来存储在引导进程期间加载的应用数据。提供媒体驱动器144且其可包括DVD/CD驱动器、硬盘驱动器、或其它可移动媒体驱动器。媒体驱动器144对于多媒体控制台100可以内置或外置的。应用数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其它高速连接等总线连接到I/O控制器120。

系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。

前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其它指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。

CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其它组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。

当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其它媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。

多媒体控制台100可通过将该系统连接到电视机或其它显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。

当多媒体控制台100通电时，保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用而言是不存在的。

具体地，存储器保留可以是足够大以包含启动内核、并发系统应用和驱动程序。CPU保留可为恒定，使得若所保留的CPU使用不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图可与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。

在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用可被调度为在预定时间并以预定时间间隔在CPU 101上运行，以为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。

当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。

输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器可控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维持有关焦点切换的状态信息。控制台100可从包括相机28的图2的深度相机系统20接收附加输入。

图12描绘了可以在图1的运动捕捉系统中使用的计算环境的另一示例框图。该计算环境可用于对深度图像解混叠。计算环境220包括计算机241，计算机241通常包括各种有形计算机可读存储介质。这可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。图形接口231与GPU 229进行通信。作为示例而非局限，图12描绘了操作系统225、应用程序226、其它程序模块227和程序数据228。

计算机241还可包括其他可移动/不可移动、易失性/非易失性计算机存储介质，如从不可移动、非易失性磁介质读取或对其写入的硬盘驱动器238，从可移动、非易失性磁盘254读取或对其写入的磁盘驱动器239，以及从诸如CDROM或其他光介质等可移动、非易失性光盘253读取或对其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性有形计算机可读存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由诸如接口234等不可移动存储器接口连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至系统总线221。

以上讨论并在图12中描绘的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如，硬盘驱动器238被描绘为存储操作系统258、应用程序257、其它程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。操作系统258、应用程序257、其他程序模块256和程序数据255在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和定点设备252(通常被称为鼠标、跟踪球或触摸垫)，向计算机241输入命令和信息。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)，来连接。包括相机28的图2的深度相机系统20可为控制台100定义附加输入设备。监视器242或其他类型的显示器也经由接口，诸如视频接口232连接至系统总线221。除监视器以外，计算机也可以包括其它外围输出设备，诸如扬声器244和打印机243，它们可以通过输出外围接口233连接。

计算机241可使用至一个或多个远程计算机，诸如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括许多或所有以上相对于计算机241描述的元件，但是在图12中仅示出了存储器存储设备247。逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其它网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。

当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图12描绘了远程应用程序248驻留在存储器设备247上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。

在此所述技术的上述详细描述是为了说明和描述而提供的。并非旨在穷举本技术或将其限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择上述实施例来最好地解释本技术的原理及其实践应用，从而使本领域其他人能够在各种实施例中并用各种适于所构想的特定用途的修改一起最好地利用本技术。本技术的范围旨在由所附权利要求书来定义。

Claims

1.一种对深度图像去混叠的机器实现的方法，包括：

访问深度图像，所述深度图像包括所述深度图像中的多个位置的每一个位置的深度值，每一位置具有一个或多个邻居位置（302）；

基于所述深度图像中的位置的深度值和所述深度图像中的潜在混叠为所述多个位置中的每一个位置确定多个潜在深度值（304）；

基于每一位置与其一个或多个邻居位置的潜在深度值之间的差异来确定成本函数，确定成本函数包括为一对邻居位置之间的潜在深度值的较大差异分配较高成本（306），其中确定成本函数包括：确定一对邻居位置是否在对应于所述深度图像的场景中可能具有大致相同的深度，以及对被确定为可能具有大致相同的深度的邻居位置对之间的潜在深度值的大差异进行惩罚；并且，确定一对邻居位置是否在对应于所述深度图像的场景中可能具有大致相同的深度包括：

访问对应于所述深度图像的场景的亮度图像；

检测所述亮度图像中的边缘；以及

基于所检测的边缘来确定所述一对邻居位置是否可能在大致相同的深度处，所述对被确定为可能具有大致相同的深度的邻居位置对之间的潜在深度值的大差异进行惩罚包括增加不接近强边缘的邻居位置对的成本，还包括忽略接近强边缘的像素的大深度差；以及

充分最小化所述成本函数来为每一位置从为该位置确定的多个潜在深度值中选择一个潜在深度值（308）。

2.如权利要求1所述的机器实现的方法，其特征在于，所述确定成本函数包括：

对所述深度图像中的第一位置的每一潜在深度值，为每一邻居位置的每一潜在深度值确定成本，所述成本基于所述第一位置的潜在深度值与所述邻居位置的潜在深度值之间的深度差；以及

对所述深度图像中的每一位置重复为每一邻居位置的每一潜在深度值确定成本。

3.如权利要求2所述的机器实现的方法，其特征在于，所述确定成本函数还包括：

为所述深度图像中的每一位置的每一潜在深度值确定个别成本。

4.如权利要求3所述的机器实现的方法，其特征在于，所述为所述深度图像中的每一位置的每一潜在深度值确定个别成本包括基于所述深度图像中的第一位置处的亮度值向所述第一位置的每一潜在深度值分配个别成本。

5.如权利要求1所述的机器实现的方法，其特征在于，访问包括多个位置的深度值的深度图像包括：

访问所述深度图像中的多个像素的深度值；以及

将所述深度图像划分成多个段，每一段包括具有带有大致相同的深度值的邻居像素的多个像素，每一段是所述多个位置中的一个位置。

6.如权利要求1所述的机器实现的方法，其特征在于，所述多个位置中的每一个对应于所述深度图像中的一像素。

7.一种对深度图像去混叠的系统，包括：

用于访问深度图像的装置，所述深度图像包括所述深度图像中的多个位置的每一个位置的深度值，每一位置具有一个或多个邻居位置；

用于基于所述深度图像中的位置的深度值和所述深度图像中的潜在混叠为所述多个位置中的每一个位置确定多个潜在深度值的装置；

用于基于每一位置与其一个或多个邻居位置的潜在深度值之间的差异来确定成本函数的装置，该用于确定成本函数的装置包括用于为一对邻居位置之间的潜在深度值的较大差异分配较高成本的装置，其中用于确定成本函数的装置包括：用于确定一对邻居位置是否在对应于所述深度图像的场景中可能具有大致相同的深度的装置，以及用于对被确定为可能具有大致相同的深度的邻居位置对之间的潜在深度值的大差异进行惩罚的装置；并且，用于确定一对邻居位置是否在对应于所述深度图像的场景中可能具有大致相同的深度的装置包括：

用于访问对应于所述深度图像的场景的亮度图像的装置；

用于检测所述亮度图像中的边缘的装置；以及

用于基于所检测的边缘来确定所述一对邻居位置是否可能在大致相同的深度处的装置，用于对被确定为可能具有大致相同的深度的邻居位置对之间的潜在深度值的大差异进行惩罚的装置包括用于增加不接近强边缘的邻居位置对的成本的装置，还包括用于忽略接近强边缘的像素的大深度差的装置；以及

用于充分最小化所述成本函数来为每一位置从为该位置确定的多个潜在深度值中选择一个潜在深度值的装置。

8.如权利要求7所述的系统，其特征在于，用于确定成本函数的装置包括：

用于对所述深度图像中的第一位置的每一潜在深度值为每一邻居位置的每一潜在深度值确定成本的装置，所述成本基于所述第一位置的潜在深度值与所述邻居位置的潜在深度值之间的深度差；以及

用于对所述深度图像中的每一位置为每一邻居位置的每一潜在深度值确定成本的装置。

9.如权利要求8所述的系统，其特征在于，用于确定成本函数的装置还包括：

用于为所述深度图像中的每一位置的每一潜在深度值确定个别成本的装置。

10.如权利要求9所述的系统，其特征在于，用于为所述深度图像中的每一位置的每一潜在深度值确定个别成本的装置包括用于基于所述深度图像中的第一位置处的亮度值向所述第一位置的每一潜在深度值分配个别成本的装置。

11.如权利要求8所述的系统，其特征在于，用于访问包括多个位置的深度值的深度图像的装置包括：

用于访问所述深度图像中的多个像素的深度值的装置；以及

用于将所述深度图像划分成多个段的装置，每一段包括具有带有大致相同的深度值的邻居像素的多个像素，每一段是所述多个位置中的一个位置。