CN102663722A - 使用深度图像的活动对象分割 - Google Patents

使用深度图像的活动对象分割 Download PDF

Info

Publication number
CN102663722A
CN102663722A CN2012100215837A CN201210021583A CN102663722A CN 102663722 A CN102663722 A CN 102663722A CN 2012100215837 A CN2012100215837 A CN 2012100215837A CN 201210021583 A CN201210021583 A CN 201210021583A CN 102663722 A CN102663722 A CN 102663722A
Authority
CN
China
Prior art keywords
depth image
depth
image
previous
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100215837A
Other languages
English (en)
Other versions
CN102663722B (zh
Inventor
R·纽科姆
S·伊扎迪
O·希利格斯
D·金
D·莫利尼奥克斯
J·D·J·肖顿
P·科利
A·费茨吉本
S·E·豪杰斯
D·A·巴特勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102663722A publication Critical patent/CN102663722A/zh
Application granted granted Critical
Publication of CN102663722B publication Critical patent/CN102663722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

描述了使用深度图像的活动对象分割。在一示例中，活动对象被从接收自移动深度相机的场景的深度图像的背景中分割出来。检索该场景的先前深度图像，并使用迭代最接近点算法来将其与当前深度图像进行比较。迭代最接近点算法包括确定当前深度图像与先前深度图像之间相对应的一组点。在确定该组点期间，检测在这两个深度图像之间不相对应的一个或多个局外点，并且这些局外点处的图像元素被标记为属于活动对象。在各示例中，迭代最接近点算法是作为用于跟踪移动深度相机的算法的一部分来执行的，并且因此不增加大量附加计算复杂度。

Description

使用深度图像的活动对象分割
技术领域
本发明涉及对象分割，尤其涉及使用深度图像的活动对象分割。
背景技术
真实世界环境的三维计算机模型在各种各样的应用中是有用的。例如，这样的模型可以用在诸如沉浸式游戏、增强现实、建筑/规划、机器人技术、以及工程原型制作等应用中。深度相机(也称为z相机)可以生成真实世界环境的实时深度图。这些深度图中的每一像素与由相机从环境中的3D点捕捉到的离散的距离测量相对应。这意味着这些相机以实时的速率来提供包括未经排序的一组点(称为点云)的深度图。
除了创建真实世界环境的深度图表示之外，能够执行对环境中的各单独对象进行区分的分割操作是有用的。例如，置于桌子上的咖啡杯是与独立于该桌子的对象，但深度图不能单独地区分这一点，因为它不能将置于桌子上的对象以及作为该桌子本身的一部分的某些事物区分开。
存在着各种分割算法，如基于机器学习分类器或计算机视觉技术的分割算法。这些算法能够区分图像中的某些对象，并且相应地对相关联的像素进行标记。然而，这些算法在计算上是复杂的并且因此需要大量计算资源来尤其是用于对实时深度图执行分割。
以下描述的各实施例不限于解决已知分割技术的缺点中的任一个或全部的实现。
发明内容
下面呈现了本发明的简要概述，以便向读者提供基本理解。本发明内容不是本发明的详尽概述，并且不标识本发明的关键/重要元素，也不描述本发明的范围。其唯一的目的是以简化形式呈现此处所公开的一些概念，作为稍后呈现的更详细的描述的序言。
描述了使用深度图像的活动对象分割。在一示例中，活动对象被从接收自移动深度相机的场景深度图像的背景中分割出来。检索该场景的先前深度图像，并使用迭代最接近点算法来将其与当前深度图像进行比较。迭代最接近点算法包括确定当前深度图像与先前深度图像之间相对应的一组点。在确定该组点期间，检测在这两个深度图像之间不相对应的一个或多个局外点，并且这些局外点处的图像元素被标记为属于活动对象。在各示例中，迭代最接近点算法是作为用于跟踪移动深度相机的算法的一部分来执行的，因此分割不增加大量附加计算复杂度。
通过结合附图参考以下详细描述，可更易于领会并更好地理解许多附带特征。
附图说明
根据附图阅读以下具体实施方式，将更好地理解本发明，在附图中：
图1示出房间中的持有移动深度相机的人的示意图，该移动深度相机被用于生成该房间的3D模型或图；
图2示出由持有移动深度相机的人来探测的建筑物某层的平面视图；
图3示出连接到实时相机跟踪系统、密集3D模型形成系统、以及游戏系统的移动深度相机的示意图；
图4示出用于从深度图像中分割出活动对象的过程的流程图；
图5示出迭代最接近点算法的对应点的示例确定；
图6示出在迭代最接近点算法的执行期间局外点的示例确定；
图7示出可在其中实现对象分割技术的各实施例的示例性的基于计算的设备。
在各个附图中使用相同的附图标记来指代相同的部件。
具体实施方式
下面结合附图提供的具体实施方式旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。
虽然在本文中将本发明的示例描述并示出为在计算机游戏系统中实现，但所描述的系统只是作为示例而非限制来提供的。本领域的技术人员将理解，本示例适于在使用3D模型的各种不同类型的计算系统中应用。
图1是站在房间中并持有移动深度相机102的人100的示意图。该房间包含各种对象106，如椅子、门、窗、植物、灯、另一个人104、以及一只猫108。对象106中的许多是静态的，但这些对象中的一些可以移动，如人104和猫108。当人在房间中四处移动时，移动深度相机捕捉该房间和各对象的深度图像。
实时相机跟踪系统112监视相机在房间中的位置和定向。实时相机跟踪系统112可以与移动深度相机102集成在一起，或可以处于另一位置，只要它能够(直接或间接)接收来自移动深度相机102的通信。例如，实时相机跟踪系统112可以在房间中的个人计算机、专用计算机游戏装置、或其他计算设备处提供，并与移动深度相机102进行无线通信。在其他实施例中，实时相机跟踪系统112可以处于建筑物中的别处或处于使用任何合适类型的通信网络与移动深度相机102进行通信的另一远程位置。
活动对象分割系统114接收移动深度相机102捕捉到的深度图像，并执行分割操作来标识深度图像中的活动的或被操纵的并且独立于相对不变的背景的对象。例如，人104或猫108可以移动，并且因此被分割为前景活动对象，并与诸如门和窗等背景对象相区分。另外，可以操纵静态对象。例如，人100可以移动椅子，这触发分割系统检测该移动并将椅子从深度图像中分割出来作为前景对象。这可例如允许对象被分割并包括在游戏系统的游戏中。
实时相机跟踪系统112向活动对象分割系统114提供输入。来自实时相机跟踪系统112的输入允许实时地执行对象分割，而不需要过多的计算资源，如在下文更详细地描述的。
任选地，移动深度相机102与密集3D环境建模系统110进行通信(在该情况下，环境是该房间)。在该示例中，“密集”指的是模型的高精度和分辨率。例如，当人在房间中四处移动时，移动深度相机102捕捉到的图像被用来形成和构建环境的密集3D模型。
实时相机跟踪系统112向密集3D建模系统提供输入，以允许各单独的深度图像被构建到总体3D模型中。活动对象分割系统114也可向密集3D模型提供输入，使得3D模型中的对象被分割并被加标记。实时相机跟踪系统112还可跟踪相机相对于环境的3D模型的位置。相机跟踪和3D建模的组合被称为同时定位和绘图(SLAM)。
实时相机跟踪系统112、活动对象分割系统114、以及密集3D建模系统110的输出可由游戏系统或其他应用来使用，但这不是必须的。例如，如上所述，经建模和分割的真实世界对象可被包括在游戏环境中。
作为另一示例，图2示出建筑物某层200的平面视图。持有移动深度相机204的人202正如虚线箭头208所示在该层四处移动。该人沿走廊206走过各个房间和家具210。实时相机跟踪系统112能够在移动深度相机204移动时跟踪它的位置，并且3D建模系统生成该层的3D模型或图。活动对象分割系统114检测前景对象并将在深度图中对它们进行标记，从而使得这些对象可按需来分开处理。人202不必须携带移动深度相机204。在其他示例中，移动深度相机204被安装在机器人或运载工具上。这也适用于图1的示例。
图3是移动环境捕捉设备300的示意图，该设备300与实时跟踪器316、深度图像分割系统334一起使用以及可任选地与密集模型生成系统324和游戏系统332一起使用。移动环境捕捉设备300包括被安排成捕捉场景的深度图像序列的深度相机302。每一深度图像314(即，深度图帧)包括二维图像，该二维图像中的每一图像元素(即，像素)包括诸如从相机到所捕捉的场景中的造成了该图像元素的对象的长度或距离等深度值。这一深度值可以是以指定测量单位(如米或厘米)来提供的绝对值，或可以是相对深度值。在每一捕捉到的深度图像314中，存在大约300000个或更多个图像元素，每一图像元素具有深度值。深度相机302的帧速率足够高，使得深度图像能够被用于机器人技术、计算机游戏、或其他应用。例如，帧速率范围可以是每秒20或更多帧。
深度信息可以使用任何合适的技术来获得，包括但不限于飞行时间、结构化光、以及立体图像。移动环境捕捉设备300还可包括被安排成以可由深度相机302查明深度信息的方式来照亮该场景的发光器304。
例如，在深度相机302是红外(IR)飞行时间相机的情况下，发光器304将IR光发射到该场景上，并且深度相机302被安排成检测从该场景中的一个或多个对象的表面反向散射的光。在一些示例中，可以从发光器304发出脉冲红外光，使得出射光脉冲与对应的入射光脉冲之间的时间可由深度相机来检测和测量，并被用来确定从环境捕捉设备300到场景中的对象上的位置的物理距离。另外，在一些示例中，可将来自发光器304的出射光波的相位与入射光波的相位在深度相机302处进行比较来确定相移。随后经由包括例如快门式光脉冲成像的各种技术通过分析发射光束随时间的强度来将相移用于确定从移动环境捕捉设备300到各对象上的位置的物理距离。
在另一示例中，移动环境捕捉设备300可使用结构化光来捕捉深度信息。在这种技术中，可使用发光器304将图案化光(例如，显示为诸如斑点、网格、或条形图案等已知图案的光，它也可随时间变化)投影到场景上。在到达场景中各对象的表面之后，该图案变形。深度相机302捕捉图案的这种变形并对其进行分析来确定从深度相机302到场景中的对象的绝对或相对距离。
在另一示例中，深度相机302包括一对立体相机，以便获得并解析视觉立体数据来生成相对深度信息。在这种情况下，发光器304可被用来照亮场景或可被省略。
在一些示例中，除深度相机302之外，移动环境捕捉设备300包括称为红绿蓝(RGB)相机306的彩色视频相机。RGB相机306被安排成捕捉场景的可见光频率处的图像序列。
移动环境捕捉设备300可包括定向传感器308，诸如惯性测量单元(IMU)、加速计、陀螺仪、指南针、或其他定向或移动传感器308。但是，并非必须使用定向或移动传感器。移动环境捕捉设备300可包括诸如GPS等位置跟踪设备，但这不是必须的。
可任选地，移动环境捕捉设备还包括一个或多个处理器、存储器、以及通信基础结构，如下文更详细地描述的。移动环境捕捉设备可以在外壳中提供，该外壳的形状和大小被制定成由用户手持或由用户佩戴。在其他示例中，移动环境捕捉设备的大小和形状被制定成被包括或安装在运载工具、玩具、或其他可移动装置上。
移动环境捕捉设备300连接到实时跟踪器316。这一连接可以是物理有线连接或可以使用无线通信。在一些示例中，移动环境捕捉设备300通过诸如因特网等一个或多个通信网络间接连接到实时跟踪器316。
实时跟踪器316可以使用控制一个或多个图形处理单元(GPU)的通用微处理器来用计算机实现。它包括帧对齐引擎318并且可任选地包括环闭合引擎320和重新定位引擎322实时跟踪器316从深度相机302获得深度图像帧，并还可任选地从移动环境捕捉设备300获得输入，并可任选地获得地图数据334。实时跟踪器316可用于使深度图像帧在空间对齐，以产生深度相机302的六自由度(6DOF)姿势估计的实时系列328。它还产生各对深度图像帧之间的变换的变换参数。在一些示例中，实时跟踪器操作来自深度相机的各对深度图像帧314。在其他示例中，实时跟踪器216获取单个深度图像314并将它与该环境的密集3D模型326对齐而非与另一深度图像对齐。
实时跟踪器的帧对齐引擎318被安排成对齐各对深度图像帧，或深度图像帧和来自密集3D模型的深度图像帧的估计。它使用可以用一个或多个图形处理单元来实现以使帧对齐引擎实时操作的迭代过程。环闭合引擎230被安排成检测移动环境捕捉设备何时环形移动，使得当前深度图像帧中描绘的场景至少部分与先前深度帧的场景相重叠。例如，这可在用户在图2中的建筑物的整层四处走动并再次到达起始点时发生。这也可以在用户在房间四处移动至某家具背后并再次出来到原始起始位置或接近该原始起始位置时发生。重新定位引擎322被安排成处理以下情况：实时跟踪器失去移动环境捕捉设备300的当前位置并且重新定位或再次找出当前位置。
实时跟踪器316的帧对齐引擎318向深度图像分割系统334提供输出。深度图像分割系统334使用实时跟踪器316的算法的至少一部分来检测对象在深度图像内何时移动，并在深度图像中将这些对象分割成前景对象。深度图像分割系统334的输出是深度图像的一组加标记的图像元素336，从而指示哪些图像元素对应于经分割的前景对象。用于使用实时相机跟踪的结果来执行分割的过程将在下文参考图4到6更详细地描述。注意，如下文更详细地描述的，在其他示例中，通过实现跟踪算法的一部分，该分割可在没有来自相机跟踪系统的输入的情况下执行。
实时跟踪器316还可将相机姿势作为输出提供给可任选密集3D模型生成系统324，模型生成系统324使用该信息和深度图像帧来形成并存储移动环境捕捉设备300在其中移动的场景或环境的密集3D模型326。例如，在图1的情况下，3D模型将是房间中的各表面和各对象的3D模型。在图2的情况下，3D模型将是建筑物的该层的3D模型。密集3D模型可以被存储在图形(GPU)存储器中。
移动环境捕捉设备300可结合游戏系统332来使用，游戏系统332连接到显示设备330。例如，游戏可以是FPS(第一人称射击)游戏、高尔夫游戏、拳击游戏、赛车游戏、或其他类型的计算机游戏。经分割的深度图像(或可任选的密集3D模型和分割信息)可被提供给游戏系统332，并且该模型的各方面被合并到游戏中。例如，3D模型可被用来确定房间中各对象的形状和位置，这可与基于相机的游戏一起使用来改进背景移除或合并到游戏本身中(例如，作为玩家可与之交互的游戏中对象)。来自游戏系统332的数据(如与游戏相关的游戏状态或元数据)也可被提供给实时跟踪器316。
如上所述，在一个示例中，实时跟踪器316和/或密集3D模型生成系统324所执行的处理可以在移动环境捕捉设备300的远程位置处执行。例如，移动环境捕捉设备300可被连接到(或包括)具有相对低处理能力并且通过通信网络将深度图像流传送到服务器的计算设备。服务器具有相对高的处理能力，并且执行实时跟踪器316和/或密集3D模型生成系统324的在计算上复杂的任务。服务器可以按帧返回密集重构的已渲染图像以向用户提供交互体验，并且在模型完成时还返回最终密集3D重构以供后续本地使用(例如，用于游戏中)。这样的安排避免了用户需要拥有高能力本地计算设备。
现在参考图4，它示出用于从深度图像中分割出活动对象的过程的流程图；图4中示出的分割操作重新利用在上述实时相机跟踪期间执行的算法的一部分，并且这允许以很少额外计算开销执行分割操作的至少一部分。在替换示例中，在此描述的分割操作可以在没有相机跟踪系统的情况下实现，在这种情况下，分割系统实现图4所示的跟踪算法的相关部分。
首先，接收400场景的要被分割的深度图像(如移动深度相机所捕捉的)。如果分割操作利用相机跟踪结果，则这一当前深度图像是在帧对齐引擎318处接收的。当前深度图像也被称为目的地深度图像。随后检索402场景的至少一部分的先前深度图像。先前深度图像也被称为源深度图像。在一些示例中，先前深度图像可以是深度相机捕捉到并存储在存储设备处的前导帧。在替换示例中，可通过向GPU请求先前深度图像来从存储在图形存储器中的密集3D模型中生成该先前深度图像。GPU可以通过确定来自虚拟相机的在最后已知位置处的视图和真实深度相机看向密集3D模型内的定向来从存储在图形存储器上的密集3D模型生成先前深度图像。对密集3D模型的使用提供了更高分辨率的先前深度图像。
还检索404先前深度图像的捕捉姿势(即，位置和定向)。如果先前深度图像是深度相机所捕捉的前导帧，则捕捉姿势是深度相机在捕捉该前导帧时的姿势，如实时相机跟踪器所确定的。或者，如果先前深度图像是从密集3D模型(网格模型的一种表现)或其他3D表示生成的，则捕捉姿势是虚拟相机的位置和定向。
一旦接收到当前深度图像，并且检索到先前深度图像和捕捉姿势，则帧对齐引擎318执行一种算法来确定先前深度图像与当前深度图像之间的变换，并且因此确定移动深度相机在这两个深度图像之间是如何移动的。根据先前深度图像的捕捉姿势，这使得能够确定当前深度相机姿势。这一变换可由实时跟踪器316的帧对齐引擎318使用迭代最接近点(ICP)算法来确定。一般而言，ICP算法是如下迭代过程：确定两个深度图像之间的一组对应点、确定使得这些对应点上的误差度量最小化的变换、以及使用所确定的变化来重复该过程直至达到收敛为止。
当ICP算法在每次迭代确定两个深度图像之间的对应点时，可发现在图像间显著不同的各点。这些点被称为“局外点”。在相机跟踪操作期间，这些局外点可被忽略或拒绝。然而，这些局外点被用作对分割操作的有用输入。
ICP算法的与局外点的确定相关的各部分在图4中由括号406来指示。注意，出于相机跟踪目的的ICP算法的执行可涉及图4中未示出的进一步附加操作。
应用407对用于将当前深度图像和先前深度图像对齐的变换的初始估计。这一初始估计是用任何合适的方式形成的。例如，可以从先前确定的相机姿势估计中确定深度相机的运动路径，并将其与预测模型一起使用来提供对当前时间的姿势的粗略估计(例如，使用恒定速度或加速度预测模型)。作为补充或替换，在其他示例中，以下信息源中的一个或多个可被用来形成初始估计：游戏状态、游戏元数据、地图数据、RGB相机输出、定向传感器输出、以及GPS数据。
选择408先前深度图像中的一组源点(即，像素)来进行分析。在一些示例中，该组源点可以全是先前深度图像中的像素。在其他示例中，可以选择先前深度图像中的像素的代表性子集来降低复杂度。随后对源点中的每一个执行框410所示的操作。注意，因为对每一源点执行相同操作，所以在ICP算法的执行中存在大量并行性。这使得ICP算法能够在GPU上高效地执行，如在下文参考图7讨论的。
参考图5和6中示出的示例示出了在框410中执行的操作。为简明起见，图5和6仅以二维示出了示例先前(源)深度图像和当前(目的地)深度图像。这些示例示出如何确定这两个深度图像上的点是对应点(在图5的情况下)还是局外点(在图6的情况下)。
图5和6两者示出所考虑的先前深度图像500和源点502。再次参考图4的框410，首先，ICP算法将当前深度图像上的目的地点映射到先前深度图像上的源点。这是通过将目的地点投影412穿过先前深度图的源点的相机投影来完成的。这由图5和6中的相机投影504来示出，它从先前深度图像的捕捉姿势(例如，从在捕捉先前深度图像时深度相机102的位置和定向)投影穿过源点502。这一投影过程可被称为“投影数据关联”。
在图5中，相机投影504与当前深度图像506在目的地点508处相交。在图6中，相机投影504与当前深度图像600在目的地点602处相交。在一些示例中，多个目的地点可被选成接近投影点，并且这些目的地点中的每一个是单独地考虑的。然而，出于该示例的目的，对于每一源点只选择单个目的地点。注意，在其他示例中，当前深度图像(并且因此目的地点)可以处于源点与深度相机102之间。
随后，对源点和目的地点执行两个兼容性测试以确定它们是对应点还是局外点。在第一兼容性测试中，确定源点与目的地点之间的欧几里得距离414。这在图5中示为距离510，而在图6中被示为距离604。随后，将该欧几里得距离与预定义距离阈值进行比较416。如果目的地点距源点过远，则对于ICP算法的目的而言，认为它是局外点(即，非对应点)并将它标记418为局外点。在一个示例中，预定义距离阈值是15cm，但可以使用任何合适的值。
图5的示例示出了源点与目的地点之间的距离510很小并且小于预定义距离阈值(并且因此在这一阶段未被标记为局外点)的情况。相反，图6的示例示出了以下情况：先前深度图像500与当前深度图像600(例如，由于新的对象或活动对象)之间的差异造成了源点与目的地点之间的距离604大于预定义的距离阈值，并且因此目的地点被标记为局外点。
如果发现欧几里得距离处于预定义距离阈值内，则执行第二兼容性测试。为了执行这一测试，计算419源点和目的地点处的表面法线。例如，对于给定点，通过找出深度图像中的4个(或更多)个最接近的邻居点并计算将这些邻居点及该点本身合并在一起的表面片来实现这一点。随后计算该表面片在该点的位置处的法线。图5示出源点502的表面法线512和目的地点508的表面法线514。图6示出目的地点602的不同表面法线606。
随后确定420源点与目的地点的表面法线之间的角度。在替换示例中，可以计算与角度有关的不同的度量(如点积)。
随后，将计算得到的角度(或其他度量)与预定义角度阈值进行比较422。如果角度大于预定义角度阈值，则认为目的地点是局外点，并将它标记418为局外点。相反，如果角度不大于预定义角度阈值，则目的地点被选作424源点的对应点。在一个示例中，预定义角度阈值是30度，但可以使用任何合适的值。
参考图5，源表面法线512与目的地表面法线514之间的角度很小，并且因此在该示例中它们被认为是相对应的点。相反，在图6中，源表面法线512与目的地表面法线606之间的角度较大，且在该示例中大于预定义角度阈值，并且因此目的地点被标记为局外点(忽略这一目的地点已由于超过距离阈值而被标记为局外点)。
在以上概括的这两个兼容性测试之后，ICP算法继续426来确定相机跟踪变换。例如，ICP算法找出使得所选对应点的误差度量最小化的变换，并随后在给定该变换的情况下对找出对应点的过程进行重复直至达到收敛为止。
然而，并非丢弃局外点，这些点被存储并作为输入提供给对象分割系统。局外点指示深度图像中的自先前深度图像以来有点变化的点。这样的变化可能是由于动态或非刚性对象造成不同的深度测量而引起的。在一个示例中，对象分割可以简单地分割428所有局外点，并将这些点标记为深度图像中的前景对象。这提供了对深度图像的非常快速的分割，除为了相机跟踪无论如何都要执行的计算之外，该分割使用非常少的附加计算。
注意，在以上参考图4描述的示例中，在实时相机跟踪期间找出的所有局外点被用作对象分割操作的输入。然而，在替换示例中，只使用检测到的局外点的子集。例如，只使用在ICP算法的最终迭代(或最终的一小部分迭代)期间找出的那些局外点。
在一些示例中，在对图像进行分割之前可以对检测到的局外点执行进一步测试。例如，场景的RGB图像(由RGB相机306在深度图像的同时捕捉)可被用于进一步比较。可比较ICP局外点处的与当前深度图像和先前深度图像相对应的两个RGB图像以寻找RGB相似性。如果这一比较指示RGB值的差大于预定义值，则这是对象在此位置已移动的进一步指示并触发对图像的分割。
在其他示例中，可以执行其他附加处理来对深度图像进行分割，该分割利用局外点作为输入。例如，局外点可被用作已知分割算法的输入。这样的分割算法包括基于计算机视觉技术的分割算法，如图切割算法、对象边界检测算法(如边缘检测)、GrabCut、或诸如腐蚀/膨胀/中值过滤器等其他形态运算、和/或诸如分类器等基于机器学习的运算(例如，决策树或森林)。注意，许多已知分割算法被配置成作用于图像中的RGB或灰度值。在该示例中，这些可被修改以作用于3D空间体表示(例如，根据3D表面的变化率或曲率)。
局外点提供对这些算法有用的信息，因为它们指示其中发生了深度图像变化的感兴趣区域。这允许这些较高级的分割算法集中于局外点的区域，从而相对于分析整个深度图像而言节省了计算复杂度。例如，分割算法可以分析包围局外点的预定义区域。在其他示例中，通过提示用户手动地指示局外点所检测到的对象是否是独立的、可与背景分开的对象，用户输入也可被用来增强分割。
在另一示例中，局外点可结合场景的RGB图像(例如，由RGB相机306在深度图像的同时捕捉)来使用。例如，可以定位RGB图像中与局外点相对应的位置，并且将较高级分割算法(如GrabCut或边缘检测)应用于局外点的位置处的RGB图像。在RGB图像揭示了比深度图像局外点更多的关于对象的信息时，这可以是有用的。例如，如果对象绕与深度相机的视线基本上平行的轴旋转，则检测到该对象的边缘周围的局外点，但检测不到该对象的中心处的局外点(因为在两个深度图像之间该点没有移动)。然而，通过分析局外点的位置处的RGB图像，可以区分对象的全部，并且对象的中心也被正确地分割。
在其他示例中，在分割了深度图像之后，还可以对它进行处理以向其中使用该深度图像的系统(例如，游戏系统)提供附加数据。例如，对活动对象的分割使得这些活动对象能够被与背景分开且独立地跟踪。这可以通过对被分割系统标识为活动对象的深度图像部分执行进一步ICP算法来实现。以此方式，活动对象的运动可与背景分开跟踪和监视。
在非刚性的可变形活动对象的情况下，使用ICP算法对对象的独立跟踪变得更复杂，因为对象本身的形状可以变化并且因此ICP不能找出该对象的与该形状变化相匹配的移动变换。在这种情况下，可以使用片级刚体近似，使得可变形对象由多个刚性对象来表示。这样的片级刚体近似可以动态且实时地执行，通过假定所有对象是刚性的来开始并随后在这一假定失败时将对象分成各片级部分(例如，在ICP算法未能找出变换时)。这可以被表示成上述分割算法的递归版本：其中对所有像素执行ICP算法，随后只对经分割像素(局外点)再次执行，随后只对次经分割的像素再次执行，以此类推，直至找不出更多经分割像素(或达到某一限度)为止。
像独立地跟踪深度图像中的活动对象一样，还可生成该对象的独立的密集3D模型。这可以用与如以上概述的生成场景的总体密集3D模型的方式相类似的方式来执行。例如，图形存储器的一部分可被分配来表示该对象并被安排成3D空间体。由于活动对象是独立地跟踪的，所以与该对象(被分割的)相关的深度图像数据可以与该对象的先前测量对齐并组合在该空间体中。以此方式，构造了活动对象的更详细的3D模型，该模型例如可在将该对象的表示显示在屏幕上时或用于对象识别目的时使用。
所分割出的对象的密集3D模型的创建可以用多种方式来执行。在第一示例中，在检测到局外点之后(如上所述)，如果局外点在与先前深度图像比较时(其自身可从密集3D模型生成，如上所述)沿相机光线位于表面前方，则它们被集成到存储器中的单独的3D空间体中。这一技术使得一旦所分割出的对象被充分集成到单独的3D空间体中ICP算法就能够跟踪该对象，并且向被添加到场景的新对象提供良好性能。在第二示例中，在检测到局外点之后(如上所述)，相机的平截头体内的密集3D模型中的每一体素(即，不仅是相机看到的前脸)被投影到当前深度图中。如果给定体素被投影到局外点并且如果该局外点的深度值大于投影体素的深度值，则分割系统知道该体素是活动对象的一部分(因为它突然看到该体素后面的深度点)。这一技术使得对象能够在从场景中移除时被立即分割，并且对活动对象表现良好。
在其他示例中，取决于已分割对象(例如，新的或已移动的对象)的特性，用于生成该对象的密集模型的上述两种方法可被组合或选择性地使用。
在其他示例中，已从深度图像分割出的对象可被输入到对象识别系统中。这样的对象识别系统可以是机器学习分类器的形式，例如使用经训练的决策树。这可被用来对对象进行实时地自动识别和分类。例如，参考图1，对象识别系统可被安排成识别出已被分割的活动对象是猫108。在一些示例中，用户可以将对象(如椅子)“扫描”到密集3D重构中，并且这一扫描的对象可被用作对象识别系统的一部分以对其他类似对象进行检测和分类。
在一些示例中，检测到的点不根据它们所表示的事物(猫、椅子等)而根据它们在场景中的行为来分类。例如，相对于场景中的其他对象，咖啡杯是分开的、独立的刚性对象。相反，门是分开的可活动对象，但被附连到墙上，并且因此其活动是受限的。ICP局外点所指示的点的更高级分析可使这些点被分类成例如独立的、附连的、或静态的。
一旦标识了已分割对象，这一信息就可被用来控制该系统的操作的其他方面。例如，一些对象可被安排成直接在计算机游戏环境内交互，而其他对象可被故意忽略。对象标识也可被用来控制对象的显示(例如，在显示设备330上)。例如，在标识了对象时，该对象的低分辨率深度(即RGB)图像可被替换成该对象的高分辨率模型(即该对象的各刻面)。
在一个示例中，可以标识该系统的用户的脸，并且用这些用户的脸的高分辨率图像来进行替换，并且将用户的脸映射到深度图像上。在其他示例中，用户脸的这些高分辨率图像可被参数化，使得他们的脸部表情在计算机控制之下。以此方式，可以生成准确地追随用户的移动的详细且生动的化身。类似地，可根据参数化的模型来生成用户身体的3D表示，并且这一3D身体表示可代入从深度相机(和/或从RGB相机)捕捉到的脸部表情。
在其他示例中，在分割之后，密集3D模型的先前“接合”到新移动的对象的区域可被标记(例如，已移动咖啡杯座在桌子上先前所处的位置)。这一标记可指示模型中的这一区域是可能的“边界表面”。标记可包括将附加数据与模型中的指示潜在表面的这些点相关联。通过这样做，如果在将来某一时刻，一些未知对象被置于该区域上(或至少部分在该区域上)，则该系统已经知道它们可能是仅仅彼此接触并且可分离的两个分开的对象(例如，桌子和接触该区域的对象)，因为它们之间存在“边界表面”。
以此方式加上“边界表面”标记在以下情况下是有用的：各相机帧不够快以致不能跟踪场景中快速移动的对象。在这种情况下，快速移动的对象只“出现”在模型中。在对象移动得小于上述预定距离或角度阈值时，观察到类似场景，在这种情况下可能未检测到移动。然而，如果对象接触已标记的边界表面，则这可触发更详细的分析/处理，由此尽管不满足基本距离或角度阈值也可以假定该对象是可分开/可分离的对象。
现在参考图7，它示出了可以实现为任何形式的计算和/或电子设备并且可由在其中实现上文所描述的活动对象图像分割的各实施例的示例性基于计算的设备700的各种组件。
基于计算的设备700包括一个或多个处理器702，这些处理器702可以是用于处理计算可执行指令以控制设备的操作来执行活动对象图像分割的微处理器、控制器或任何其他合适类型的处理器。在一些示例中，例如在使用片上系统架构的示例中，处理器702可以包括一个或多个固定功能块(亦称加速器)，这些块以硬件(而非软件或固件)来实现建模方法的一部分。
基于计算的设备700还包括经由接口706与处理器702进行通信的图形处理系统704，并包括被安排成以快速且高效的方式执行并行的、线程化的操作的一个或多个图形处理单元708。图形处理系统704还包括被安排成启用自图形处理单元708的快速并行访问的图形存储器710。在各示例中，图形存储器710可以存储密集3D模型，并且图形处理单元708可以执行上述ICP算法/相机跟踪以及密集模型生成操作。
基于计算的设备700还包括被安排成接收来自诸如移动环境捕捉设备(包括深度相机)等一个或多个设备的输入以及可任选地接收来自一个或多个用户输入设备(例如，游戏控制器、鼠标、和/或键盘)的输入的通信接口712。通信接口712还可作为被安排成与一个或多个通信网络(例如，因特网)进行通信的网络接口来操作。
还提供了显示器接口714并且它被安排成向与该基于计算的设备集成在一起或与该基于计算的设备进行通信的显示系统提供输出。显示系统可提供图形用户界面，或任何合适类型的其他用户界面，但这不是必需的。
可以使用可由基于计算的设备700访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器716等计算机存储介质和通信介质。诸如存储器716等计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。虽然在基于计算的设备700中示出了计算机存储介质(存储器716)，但将明白，该存储可以是分布式的或位于远处并经由网络或其他通信链路(例如，使用通信接口712)来访问。
可以在基于计算的设备处提供包括操作系统718或任何其他合适的平台软件的平台软件以使得能够在该设备上执行应用软件720。存储器716可以存储用于实现相机跟踪引擎722(例如被安排成使用ICP来跟踪深度相机的位置和定向)、对象分割引擎724(例如，被安排成使用ICP局外点来从深度图像中分割活动对象)的功能的可执行指令，并可任选地存储用于实现密集模型生成引擎726(例如，被安排成在图形存储器中生成场景或各对象的密集3D模型)的功能的可执行指令。存储器716还可提供数据存储728，数据存储728可被用来在执行分割技术时提供对处理器702所使用的数据的存储，如用于存储先前捕捉的深度图像和捕捉姿势。
此处所使用的术语‘计算机’是指带有处理能力使得它可以执行指令的任何设备。本领域的技术人员将认识到，这样的处理能力被集成到许多不同的设备中，因此，术语‘计算机’包括PC、服务器、移动电话、个人数字助理和许多其他设备。
本文描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形(或非暂态)存储介质的示例可包括盘、拇指型驱动器、存储器等并且不包括传播信号。软件可以适合于在并行处理器或串行处理器上执行，使得各方法步骤可以以任何合适的顺序或同时实现。
这确认了软件可以是有价值的、可单独交易的商品。它旨在包含运行于或者控制“哑”或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。
本领域的技术人员将认识到，用来存储程序指令的存储设备可以分布在网络上。例如，远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。
如本领域技术人员将清楚的，此处给出的任何范围或者设备值都可以被扩展或者改变而不失去所寻求的效果。
可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不限于解决所述问题中的任一个或全部的实施例或具有所述好处和优点中的任一个或全部的实施例。进一步可以理解，对‘一个’项目的引用是指那些项目中的一个或多个。
此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。
此处使用了术语“包括”旨在包括已标识的方法的框或元素，但是这样的框或元素不构成排它性的列表，方法或设备可以包含额外的框或元素。
可以理解，上文对优选实施例的描述是只作为示例给出的，本领域的技术人员可以作出各种修改。上面的说明、示例和数据提供了对本发明的示例性实施例的结构和使用的完整的描述。虽然上文以一定的详细度或参考一个或多个单个实施例描述了本发明的各实施例，但是，在不偏离本发明的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。

Claims (10)

1.一种从深度图像的背景部分分割活动对象(104，108)的方法，包括：
从移动深度相机(102)接收(400)所述深度图像，所述深度图像包括每一图像元素处的深度值，每一深度值与从所述深度相机到该深度相机(102)所捕捉的场景中的表面的距离相关；
检索(402)所述场景的至少一部分的先前深度图像；
使用所述深度图像和所述先前深度图像来执行迭代最接近点算法(406)，其中所述迭代最接近点算法(406)包括确定所述深度图像和所述先前深度图像中的多个对应点；以及
在确定所述多个对应点期间检测一个或多个局外点，并将所述深度图像中处于所述局外点处的那些图像元素标记为(418)活动对象(104，108)图像元素。
2.如权利要求1所述的方法，其特征在于，执行所述迭代最接近点算法的步骤还包括使用所述对应点来确定用于将所述深度图像与所述先前深度图像对齐的变换，使用所述变换来跟踪所述深度相机的位置和定向，以及与所述深度图像相关联地存储所述位置和定向。
3.如权利要求1所述的方法，其特征在于，在确定所述多个对应点期间检测一个或多个局外点的步骤包括：
从所述先前深度图像中选择源点；以及
将所述源点映射到所述深度图像中的目的地点。
4.如权利要求3所述的方法，其特征在于，在确定所述多个对应点期间检测一个或多个局外点的步骤还包括：
确定所述源点处的第一表面法线和所述目的地点处的第二表面法线；
计算与所述第一表面法线和第二表面法线之间的角度相关的度量；以及
确定所述度量是否大于预定义的角度阈值。
5.如权利要求3所述的方法，其特征在于，在确定所述多个对应点期间检测一个或多个局外点的步骤还包括：
访问与所述深度图像相对应的第一红-绿-蓝图像和与所述先前深度图像相对应的第二红-绿-蓝图像；以及
确定所述第二红-绿-蓝图像的所述源点处的红-绿-蓝值与所述第一红-绿-蓝图像的所述目的地点处的红-绿-蓝值之间的差是否大于预定义值；
确定所述源点与所述目的地点之间的距离是否大于预定义的距离阈值；以及
如果确定所述距离不大于所述预定义的距离阈值，则：确定所述源点处的第一表面法线和所述目的地点处的第二表面法线，计算所述第一表面法线与第二表面法线之间的角度，以及确定所述角度是否大于预定义的角度阈值。
6.如权利要求3所述的方法，其特征在于，还包括检索所述先前深度图像的先前捕捉位置和定向；以及
其中将所述源点映射到所述目的地点的步骤包括从所述先前捕捉位置和定向以及所述源点投影到所述目的地点。
7.如权利要求1所述的方法，其特征在于，还包括使用在所述局外点处加标记的图像元素来执行分割算法以标识所述深度图像中属于所述活动对象的其他图像元素，以及
其中所述分割算法是对所述场景的与所述深度图像并发地捕捉的红-绿-蓝图像执行的，并且包括以下至少一个：GrabCut算法；机器学习分类器；对象边界检测算法；以及形态运算。
8.一种图像分割系统，包括：
通信接口(712)，它被安排成从移动深度相机(102)接收(400)深度图像，所述深度图像包括每一图像元素处的深度值，每一深度值与从所述深度相机(102)到该深度相机(102)所捕捉的场景中的表面的距离相关；
存储器(710)，它被安排成存储所述场景的至少一部分的先前深度图像；以及
处理器(702)，它被安排成：使用所述深度图像和所述先前深度图像来执行迭代最接近点算法，其中所述迭代最接近点算法(406)包括确定所述深度图像和所述先前深度图像中的多个对应点；在确定所述多个对应点期间检测一个或多个局外点；以及将所述深度图像中所述局外点处的那些图像元素标记(418)为活动对象(104，108)图像元素。
9.如权利要求8所述的方法，其特征在于，所述先前深度图像由所述深度相机在先前捕捉，在所述通信接口处接收到，以及被存储在所述存储器处。
10.如权利要求8所述的方法，其特征在于，还包括图形处理单元和被安排成存储所述场景的密集3D模型的相关联的图形存储器，以及
其中所述处理器被安排成通过向所述图形处理单元请求所述先前深度图像来检索所述先前深度图像，并且所述图形处理单元被安排成根据存储在所述图形存储器上的所述密集3D模型来生成所述先前深度图像，在所述图形存储器中创建只表示所述活动对象的另一密集3D模型，以及使用所述活动对象的加标记的图像元素来扩充所述另一密集3D模型。
CN201210021583.7A 2011-01-31 2012-01-31 使用深度图像的活动对象分割 Active CN102663722B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/017,626 2011-01-31
US13/017,626 US8401225B2 (en) 2011-01-31 2011-01-31 Moving object segmentation using depth images

Publications (2)

Publication Number Publication Date
CN102663722A true CN102663722A (zh) 2012-09-12
CN102663722B CN102663722B (zh) 2018-04-24

Family

ID=46577394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210021583.7A Active CN102663722B (zh) 2011-01-31 2012-01-31 使用深度图像的活动对象分割

Country Status (2)

Country Link
US (1) US8401225B2 (zh)
CN (1) CN102663722B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236053A (zh) * 2013-04-07 2013-08-07 南京理工大学 一种移动平台下运动目标检测的mof方法
CN104036483A (zh) * 2013-03-06 2014-09-10 北京三星通信技术研究有限公司 图像处理系统和图像处理方法
US20160026242A1 (en) 2014-07-25 2016-01-28 Aaron Burns Gaze-based object placement within a virtual reality environment
CN105378796A (zh) * 2013-06-12 2016-03-02 微软技术许可有限责任公司 可伸缩体积3d重构
US9363499B2 (en) 2013-11-15 2016-06-07 Htc Corporation Method, electronic device and medium for adjusting depth values
CN106575155A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 沉浸在虚拟现实环境中时的防绊倒
CN106796656A (zh) * 2014-10-14 2017-05-31 微软技术许可有限责任公司 距飞行时间相机的深度
CN106887032A (zh) * 2015-12-15 2017-06-23 中国电信股份有限公司 三维场景渲染方法和系统以及相关设备
CN106998459A (zh) * 2017-03-15 2017-08-01 河南师范大学 一种连续变焦技术的单摄像头立体图像生成方法
CN107836109A (zh) * 2015-08-21 2018-03-23 三星电子株式会社 电子设备自动聚焦于感兴趣区域的方法
CN108427940A (zh) * 2018-04-04 2018-08-21 浙江安精智能科技有限公司 基于深度相机的饮水机出水智能控制装置及其控制方法
CN108701376A (zh) * 2016-02-09 2018-10-23 英特尔公司 三维图像的基于识别的对象分割
CN109983504A (zh) * 2016-09-07 2019-07-05 诺基亚技术有限公司 通过使用多层移动来促进立体视觉的方法和装置
CN110052020A (zh) * 2017-01-18 2019-07-26 上海诠视传感技术有限公司 便携式装置或机器人系统中运行的设备、控制设备和方法
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
CN111122602A (zh) * 2020-01-03 2020-05-08 重庆大学 基于三维相机的跨座式单轨指形板异常检测系统及方法
US10649212B2 (en) 2014-07-25 2020-05-12 Microsoft Technology Licensing Llc Ground plane adjustment in a virtual reality environment
CN112292711A (zh) * 2018-05-03 2021-01-29 祖克斯有限公司 关联lidar数据和图像数据
CN112446384A (zh) * 2019-12-06 2021-03-05 黑芝麻智能科技(上海)有限公司 快速实例分割
CN112524772A (zh) * 2020-11-30 2021-03-19 珠海格力电器股份有限公司 空调的控制方法和装置、存储介质、电子装置

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8878905B2 (en) 2009-06-17 2014-11-04 3Shape A/S Focus scanning apparatus
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US8725476B1 (en) * 2010-05-04 2014-05-13 Lucasfilm Entertainment Company Ltd. Applying details in a simulation
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US20130271584A1 (en) * 2011-02-17 2013-10-17 Orcam Technologies Ltd. User wearable visual assistance device
US8970592B1 (en) 2011-04-19 2015-03-03 Lucasfilm Entertainment Company LLC Simulating an arbitrary number of particles
CN103782321B (zh) 2011-07-15 2017-05-10 3形状股份有限公司 当3d扫描刚性对象时可移动对象的检测
US8666145B2 (en) * 2011-09-07 2014-03-04 Superfish Ltd. System and method for identifying a region of interest in a digital image
US20130063556A1 (en) * 2011-09-08 2013-03-14 Prism Skylabs, Inc. Extracting depth information from video from a single camera
US8861893B2 (en) * 2011-09-27 2014-10-14 The Boeing Company Enhancing video using super-resolution
US9198737B2 (en) * 2012-11-08 2015-12-01 Navigate Surgical Technologies, Inc. System and method for determining the three-dimensional location and orientation of identification markers
US9072929B1 (en) * 2011-12-01 2015-07-07 Nebraska Global Investment Company, LLC Image capture system
CN103988503B (zh) * 2011-12-12 2018-11-09 英特尔公司 使用预捕获图像运动的场景分割
US20130250048A1 (en) * 2012-01-13 2013-09-26 Joshua Victor Aller Method of capture, display and sharing of orientation-based image sets
KR101929451B1 (ko) * 2012-02-03 2018-12-14 삼성전자주식회사 로봇의 제어 장치 및 방법
WO2013121267A1 (en) * 2012-02-15 2013-08-22 Mesa Imaging Ag Time of flight camera with stripe illumination
CN102761768A (zh) * 2012-06-28 2012-10-31 中兴通讯股份有限公司 一种实现立体成像的方法及装置
EP2779107B1 (en) * 2012-07-20 2018-05-16 Rakuten, Inc. Moving-image processing device, moving-image processing method, and information recording medium
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
EP2956891B1 (en) 2013-02-18 2019-12-18 Tata Consultancy Services Limited Segmenting objects in multimedia data
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US20140278210A1 (en) * 2013-03-13 2014-09-18 International Business Machines Corporation Real-time Spatial Path Comparison
US9142034B2 (en) 2013-03-14 2015-09-22 Microsoft Technology Licensing, Llc Center of mass state vector for analyzing user motion in 3D images
US10247822B2 (en) 2013-03-14 2019-04-02 Navico Holding As Sonar transducer assembly
US9159140B2 (en) 2013-03-14 2015-10-13 Microsoft Technology Licensing, Llc Signal analysis for repetition detection and analysis
US9304594B2 (en) 2013-04-12 2016-04-05 Microsoft Technology Licensing, Llc Near-plane segmentation using pulsed light source
WO2014204330A1 (en) * 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
KR102137264B1 (ko) * 2013-07-09 2020-07-24 삼성전자주식회사 카메라 포즈 추정 장치 및 방법
DE102013217915A1 (de) * 2013-09-09 2015-03-12 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Objekterkennung aus tiefenaufgelösten Bilddaten
US10156937B2 (en) 2013-09-24 2018-12-18 Hewlett-Packard Development Company, L.P. Determining a segmentation boundary based on images representing an object
EP3049899A4 (en) 2013-09-24 2017-07-05 Hewlett-Packard Development Company, L.P. Identifying a target touch region of a touch-sensitive surface based on an image
KR102184766B1 (ko) 2013-10-17 2020-11-30 삼성전자주식회사 3차원 모델 복원 시스템 및 방법
KR20150047397A (ko) 2013-10-24 2015-05-04 삼성전자주식회사 전면 객체 추출을 위한 영상 처리 장치 및 그것의 영상 처리 방법
US9704295B2 (en) 2013-11-05 2017-07-11 Microsoft Technology Licensing, Llc Construction of synthetic augmented reality environment
JP6329642B2 (ja) 2013-12-10 2018-05-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ センサ融合
CN104731784B (zh) * 2013-12-18 2019-03-26 中兴通讯股份有限公司 视觉搜索方法、系统以及移动终端
US10010387B2 (en) 2014-02-07 2018-07-03 3Shape A/S Detecting tooth shade
EP3120294A1 (en) 2014-03-20 2017-01-25 Telecom Italia S.p.A. System and method for motion capture
US9427867B2 (en) 2014-04-02 2016-08-30 The Boeing Company Localization within an environment using sensor fusion
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9521830B2 (en) 2014-08-21 2016-12-20 Identiflight, Llc Bird or bat detection and identification for wind turbine risk mitigation
EP3183687B1 (en) 2014-08-21 2020-07-08 IdentiFlight International, LLC Avian detection system and method
JP6278539B2 (ja) 2014-09-05 2018-02-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 状況に基づく飛行モード選択
JP6181300B2 (ja) 2014-09-05 2017-08-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機の速度を制御するシステム
CN110174903B (zh) * 2014-09-05 2023-05-09 深圳市大疆创新科技有限公司 用于在环境内控制可移动物体的系统和方法
US9361524B2 (en) 2014-10-20 2016-06-07 King Abdullah University Of Science & Technology System and method for crowd counting and tracking
DE102014017910B4 (de) * 2014-12-04 2023-02-16 Audi Ag Verfahren zur Auswertung von Umfelddaten eines Kraftfahrzeugs und Kraftfahrzeug
US11209543B2 (en) 2015-01-15 2021-12-28 Navico Holding As Sonar transducer having electromagnetic shielding
US10597130B2 (en) 2015-01-15 2020-03-24 Navico Holding As Trolling motor with a transducer array
CN104598037B (zh) * 2015-03-02 2018-08-31 联想(北京)有限公司 信息处理方法及装置
US10481696B2 (en) * 2015-03-03 2019-11-19 Nvidia Corporation Radar based user interface
US10018719B2 (en) 2015-03-05 2018-07-10 Navico Holding As Systems and associated methods for producing a 3D sonar image
US9639166B2 (en) 2015-03-11 2017-05-02 Microsoft Technology Licensing, Llc Background model for user recognition
US9984519B2 (en) * 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
US20160321838A1 (en) * 2015-04-29 2016-11-03 Stmicroelectronics S.R.L. System for processing a three-dimensional (3d) image and related methods using an icp algorithm
WO2016204740A1 (en) 2015-06-17 2016-12-22 United Technologies Corporation System and method for processing captured images
US10003786B2 (en) 2015-09-25 2018-06-19 Intel Corporation Method and system of 3D image capture with dynamic cameras
US20170171525A1 (en) 2015-12-14 2017-06-15 Sony Corporation Electronic system including image processing unit for reconstructing 3d surfaces and iterative triangulation method
CA3008886A1 (en) 2015-12-18 2017-06-22 Iris Automation, Inc. Real-time visual situational awareness system
US20180286130A1 (en) * 2016-01-06 2018-10-04 Hewlett-Packard Development Company, L.P. Graphical image augmentation of physical objects
US10257505B2 (en) * 2016-02-08 2019-04-09 Microsoft Technology Licensing, Llc Optimized object scanning using sensor fusion
EP3416561B1 (en) 2016-02-16 2020-05-13 Brainlab AG Determination of dynamic drrs
US10373380B2 (en) * 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US10424072B2 (en) * 2016-03-01 2019-09-24 Samsung Electronics Co., Ltd. Leveraging multi cues for fine-grained object classification
EP3438925A4 (en) * 2016-03-30 2019-04-17 Sony Corporation INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING DEVICE
US10579860B2 (en) 2016-06-06 2020-03-03 Samsung Electronics Co., Ltd. Learning model for salient facial region detection
US10114454B2 (en) * 2016-06-22 2018-10-30 Microsoft Technology Licensing, Llc Velocity and depth aware reprojection
US10237531B2 (en) 2016-06-22 2019-03-19 Microsoft Technology Licensing, Llc Discontinuity-aware reprojection
US10129523B2 (en) 2016-06-22 2018-11-13 Microsoft Technology Licensing, Llc Depth-aware reprojection
EP3264371B1 (en) 2016-06-28 2021-12-29 Nokia Technologies Oy Apparatus for sharing objects of interest and associated methods
US10573018B2 (en) 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
US10739142B2 (en) 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor
US10719077B2 (en) 2016-10-13 2020-07-21 Navico Holding As Castable sonar devices and operations in a marine environment
US10298914B2 (en) * 2016-10-25 2019-05-21 Intel Corporation Light field perception enhancement for integral display applications
US10957068B2 (en) 2017-01-06 2021-03-23 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
JP6894707B2 (ja) * 2017-01-06 2021-06-30 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
US10302764B2 (en) 2017-02-03 2019-05-28 Microsoft Technology Licensing, Llc Active illumination management through contextual information
JP6782433B2 (ja) * 2017-03-22 2020-11-11 パナソニックＩｐマネジメント株式会社 画像認識装置
US10304251B2 (en) 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
US11158036B2 (en) * 2017-08-31 2021-10-26 Sony Group Corporation Methods, devices, and computer program products for checking environment acceptability for 3D scanning
KR102117050B1 (ko) * 2017-09-08 2020-05-29 삼성전자주식회사 이미지 내 휴먼 분리를 위한 전자 장치 및 방법
WO2019068095A1 (en) * 2017-09-29 2019-04-04 The Regents Of The University Of California HAPTIC EXOSQUELET DEVICE FOR A COMPLETE BODY
US11582383B2 (en) * 2017-11-10 2023-02-14 Koninklijke Kpn N.V. Obtaining image data of an object in a scene
EP3496037A1 (en) 2017-12-06 2019-06-12 Koninklijke Philips N.V. Device, system and method for detecting body movement of a patient
US10957072B2 (en) 2018-02-21 2021-03-23 Cognex Corporation System and method for simultaneous consideration of edges and normals in image features by a vision system
CN111238465B (zh) * 2018-11-28 2022-02-18 台达电子工业股份有限公司 地图建置设备及其地图建置方法
US11600049B2 (en) 2019-04-24 2023-03-07 Magic Leap, Inc. Perimeter estimation from posed monocular video
US10930012B2 (en) * 2019-05-21 2021-02-23 International Business Machines Corporation Progressive 3D point cloud segmentation into object and background from tracking sessions
TR201910049A2 (tr) 2019-07-05 2021-01-21 Karinca Teknoloji Ve Ilet San Tic Ltd Sti Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇
CN110473245A (zh) * 2019-07-25 2019-11-19 中山市奥珀金属制品有限公司 一种深度图像文件筛选方法及系统
US11244193B2 (en) 2019-08-07 2022-02-08 Here Global B.V. Method, apparatus and computer program product for three dimensional feature extraction from a point cloud
CN110738251B (zh) * 2019-10-11 2023-11-28 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
US11017595B2 (en) * 2019-10-29 2021-05-25 Microsoft Technology Licensing, Llc Object segmentation using high-level structural meshes
US11109586B2 (en) 2019-11-13 2021-09-07 Bird Control Group, Bv System and methods for automated wildlife detection, monitoring and control
CN113129361B (zh) * 2020-01-14 2024-03-15 北京地平线机器人技术研发有限公司 一种可移动设备的位姿确定方法及装置
US11640692B1 (en) 2020-02-04 2023-05-02 Apple Inc. Excluding objects during 3D model generation
US20210279967A1 (en) * 2020-03-06 2021-09-09 Apple Inc. Object centric scanning
US11043038B1 (en) 2020-03-16 2021-06-22 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method of three-dimensional interaction for augmented reality remote assistance
WO2022075649A1 (ko) * 2020-10-06 2022-04-14 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2022187251A1 (en) * 2021-03-01 2022-09-09 Waymo Llc Generating scene flow labels from point clouds using object labels
US20230083302A1 (en) * 2021-09-12 2023-03-16 Sony Interactive Entertainment Inc. Local environment scanning to characterize physical environment for use in vr/ar

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738426A (zh) * 2005-09-09 2006-02-22 南京大学 一种视频运动目标分割与跟踪方法

Family Cites Families (182)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5696591A (en) 1996-01-05 1997-12-09 Eastman Kodak Company Apparatus and method for detecting longitudinally oriented flaws in a moving web
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6504569B1 (en) 1998-04-22 2003-01-07 Grass Valley (U.S.), Inc. 2-D extended image generation from 3-D data extracted from a video sequence
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US20040075738A1 (en) 1999-05-12 2004-04-22 Sean Burke Spherical surveillance system architecture
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6735387B1 (en) 2001-01-10 2004-05-11 Tim Schnell Motion detector camera
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6940538B2 (en) 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
US7023432B2 (en) 2001-09-24 2006-04-04 Geomagic, Inc. Methods, apparatus and computer program products that reconstruct surfaces from data point sets
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US7162338B2 (en) 2002-12-17 2007-01-09 Evolution Robotics, Inc. Systems and methods for computing a relative pose for global localization in a visual simultaneous localization and mapping system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP3196805A3 (en) 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7366325B2 (en) 2003-10-09 2008-04-29 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7831094B2 (en) 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7697748B2 (en) 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
CN103257684B (zh) 2005-05-17 2017-06-09 高通股份有限公司 方向敏感的信号输出方法及装置
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7944454B2 (en) 2005-09-07 2011-05-17 Fuji Xerox Co., Ltd. System and method for user monitoring interface of 3-D video streams from multiple cameras
US7440615B2 (en) 2005-10-27 2008-10-21 Nec Laboratories America, Inc. Video foreground segmentation method
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
WO2008013568A2 (en) 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9348463B2 (en) 2006-08-03 2016-05-24 New York University Retroreflection based multitouch sensor, method and program
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
JP5380789B2 (ja) 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
BRPI0917864A2 (pt) 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US9245382B2 (en) 2008-10-04 2016-01-26 Microsoft Technology Licensing, Llc User-guided surface reconstruction
US8610706B2 (en) 2008-10-04 2013-12-17 Microsoft Corporation Parallel surface reconstruction
US8855819B2 (en) 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738426A (zh) * 2005-09-09 2006-02-22 南京大学 一种视频运动目标分割与跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANNALISA MILELLA等: "Stereo-Based Ego-Motion Estimation Using Pixel Tracking and Iterative Closest Point", 《PROCEEDINGS OF THE FOURTH IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION SYSTEMS(ICVS 2006)》 *
P.H.S. TORR等: "Outlier Detection and Motion Segmentation", 《OUTLIER DETECTION AND MOTION SEGMENTATION》 *
徐帆: "无组织多视图图像的自动化三维场景重建", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036483B (zh) * 2013-03-06 2021-01-15 北京三星通信技术研究有限公司 图像处理系统和图像处理方法
CN104036483A (zh) * 2013-03-06 2014-09-10 北京三星通信技术研究有限公司 图像处理系统和图像处理方法
CN103236053B (zh) * 2013-04-07 2016-08-31 南京理工大学 一种移动平台下运动目标检测的mof方法
CN103236053A (zh) * 2013-04-07 2013-08-07 南京理工大学 一种移动平台下运动目标检测的mof方法
CN105378796B (zh) * 2013-06-12 2018-12-18 微软技术许可有限责任公司 可伸缩体积3d重构
CN105378796A (zh) * 2013-06-12 2016-03-02 微软技术许可有限责任公司 可伸缩体积3d重构
US9363499B2 (en) 2013-11-15 2016-06-07 Htc Corporation Method, electronic device and medium for adjusting depth values
CN106575155A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 沉浸在虚拟现实环境中时的防绊倒
US10649212B2 (en) 2014-07-25 2020-05-12 Microsoft Technology Licensing Llc Ground plane adjustment in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US20160026242A1 (en) 2014-07-25 2016-01-28 Aaron Burns Gaze-based object placement within a virtual reality environment
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
CN106796656B (zh) * 2014-10-14 2020-07-17 微软技术许可有限责任公司 距飞行时间相机的深度
CN106796656A (zh) * 2014-10-14 2017-05-31 微软技术许可有限责任公司 距飞行时间相机的深度
CN107836109A (zh) * 2015-08-21 2018-03-23 三星电子株式会社 电子设备自动聚焦于感兴趣区域的方法
CN106887032B (zh) * 2015-12-15 2020-09-29 中国电信股份有限公司 三维场景渲染方法和系统以及相关设备
CN106887032A (zh) * 2015-12-15 2017-06-23 中国电信股份有限公司 三维场景渲染方法和系统以及相关设备
CN108701376A (zh) * 2016-02-09 2018-10-23 英特尔公司 三维图像的基于识别的对象分割
CN108701376B (zh) * 2016-02-09 2023-07-18 英特尔公司 三维图像的基于识别的对象分割
CN109983504A (zh) * 2016-09-07 2019-07-05 诺基亚技术有限公司 通过使用多层移动来促进立体视觉的方法和装置
CN110052020A (zh) * 2017-01-18 2019-07-26 上海诠视传感技术有限公司 便携式装置或机器人系统中运行的设备、控制设备和方法
CN110052020B (zh) * 2017-01-18 2022-07-22 上海诠视传感技术有限公司 便携式装置或机器人系统中运行的设备、控制设备和方法
CN110052020B8 (zh) * 2017-01-18 2023-06-06 上海诠视传感技术有限公司 便携式装置或机器人系统中运行的设备、控制设备和方法
CN106998459A (zh) * 2017-03-15 2017-08-01 河南师范大学 一种连续变焦技术的单摄像头立体图像生成方法
CN108427940A (zh) * 2018-04-04 2018-08-21 浙江安精智能科技有限公司 基于深度相机的饮水机出水智能控制装置及其控制方法
CN108427940B (zh) * 2018-04-04 2023-11-17 徐育 基于深度相机的饮水机出水智能控制装置及其控制方法
CN112292711A (zh) * 2018-05-03 2021-01-29 祖克斯有限公司 关联lidar数据和图像数据
US11816852B2 (en) 2018-05-03 2023-11-14 Zoox, Inc. Associating LIDAR data and image data
CN112292711B (zh) * 2018-05-03 2024-04-09 祖克斯有限公司 关联lidar数据和图像数据
CN112446384A (zh) * 2019-12-06 2021-03-05 黑芝麻智能科技(上海)有限公司 快速实例分割
CN111122602A (zh) * 2020-01-03 2020-05-08 重庆大学 基于三维相机的跨座式单轨指形板异常检测系统及方法
CN111122602B (zh) * 2020-01-03 2021-03-30 重庆大学 基于三维相机的跨座式单轨指形板异常检测系统及方法
CN112524772A (zh) * 2020-11-30 2021-03-19 珠海格力电器股份有限公司 空调的控制方法和装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN102663722B (zh) 2018-04-24
US20120195471A1 (en) 2012-08-02
US8401225B2 (en) 2013-03-19

Similar Documents

Publication Publication Date Title
CN102663722A (zh) 使用深度图像的活动对象分割
US11501527B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous tracking
US11842500B2 (en) Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness
US11544867B2 (en) Mapping optimization in autonomous and non-autonomous platforms
US11948369B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous mapping
US10390003B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
US10354396B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
EP3447448B1 (en) Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness
CN111328396A (zh) 用于图像中的对象的姿态估计和模型检索
CN109084746A (zh) 用于具有辅助传感器的自主平台引导系统的单目模式
JP2019532433A (ja) リアルタイムオンラインエゴモーション推定を有するレーザスキャナ
EP3408848A1 (en) Systems and methods for extracting information about objects from scene information
EP3428760B1 (en) Mapping optimization in autonomous and non-autonomous platforms
Ren et al. Change their perception: RGB-D for 3-D modeling and recognition
Kumar Rath et al. Real‐time moving object detection and removal from 3D pointcloud data for humanoid navigation in dense GPS‐denied environments
US20230400327A1 (en) Localization processing service and observed scene reconstruction service
US11969651B2 (en) Merging local maps from mapping devices
US20210187391A1 (en) Merging local maps from mapping devices
Chang et al. AUGMENTED REALITY-BASED VISITING GUIDANCE IN INDOOR ARTISTIC STATUE EXHIBITIONS BY USE OF MOBILE DEVICES

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1173829

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150728

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1173829

Country of ref document: HK