CN102638692A - 降低多个红外深度相机之间的干扰 - Google Patents

降低多个红外深度相机之间的干扰 Download PDF

Info

Publication number
CN102638692A
CN102638692A CN2012100212415A CN201210021241A CN102638692A CN 102638692 A CN102638692 A CN 102638692A CN 2012100212415 A CN2012100212415 A CN 2012100212415A CN 201210021241 A CN201210021241 A CN 201210021241A CN 102638692 A CN102638692 A CN 102638692A
Authority
CN
China
Prior art keywords
source
camera
degree
controller
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100212415A
Other languages
English (en)
Other versions
CN102638692B (zh
Inventor
S·伊扎迪
D·莫利尼奥克斯
O·希利格斯
D·金
J·D·J·肖顿
S·E·豪杰斯
D·A·巴特勒
A·费茨吉本
P·科利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102638692A publication Critical patent/CN102638692A/zh
Application granted granted Critical
Publication of CN102638692B publication Critical patent/CN102638692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/08—Optical projection comparators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Abstract

描述了用于降低多个红外深度相机之间的干扰的各系统和方法。在一个实施例中，系统包括多个红外源，其中每一红外源将结构化光图案投影到环境中。控制器用于控制这些源，以便降低由重叠光图案导致的干扰。描述的各种方法包括：在不同源之间循环，其中，所使用的循环可以是固定的或可基于使用相机所检测的场景来动态地改变；设置每一源的波长，使得重叠图案处于不同波长；以独立的运动模式移动源-相机对；以及调整所投影的光图案的形状来使重叠最小化。这些方法还可按任何方式相组合。在另一实施例中，系统包括单个源，并且使用镜像系统将所投影的结构化光图案投射到环境四处。

Description

降低多个红外深度相机之间的干扰
技术领域
本发明涉及深度相机，尤其涉及降低多个红外深度相机之间的干扰。
背景技术
红外(IR)深度相机将不可见IR结构化光图案投影到IR相机所检测的环境中。环境内的物体造成相机所见的结构化光图案中的变形，结构化光图案中的变形相比于光源是离轴的，且这些变形可用于解析关于场景的深度信息。然而，这些相机具有有限的视野，且提供来自单个视点的深度信息，使得接近于深度相机的物体可遮挡环境的很大部分。
一种扩展可被绘图的环境区域的解决方案是使用不止一个IR深度相机。这从不同角度提供了场景的视图，且使物体的360°模型能够被构建，但在结构化光图案重叠的情况下，每一IR深度相机的准确度被降级。
以下描述的各实施例不限于解决已知的IR深度相机系统的缺点中的任一个或全部的实现。
发明内容
下面呈现了本发明的简要概述，以便向读者提供基本理解。本发明内容不是本发明的详尽概述，并且不标识本发明的关键/重要元素，也不描述本发明的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。
描述了用于降低多个红外深度相机之间的干扰的各系统和方法。在一个实施例中，系统包括多个红外源，其中每一红外源将结构化光图案投影到环境中。控制器用于控制这些源，以便降低由重叠光图案导致的干扰。描述的各种方法包括：在不同源之间循环，其中所使用的循环可以是固定的或可基于使用相机所检测的场景来动态地改变；设置每一源的波长，使得重叠图案处于不同波长；以独立的运动模式来移动源-相机对；以及调整所投影的光图案的形状来使重叠最小化。这些方法还可按任何方式相组合。在另一实施例中，系统包括单个源和用于在环境四处投射所投影的结构化光图案的镜像系统。
通过结合附图参考以下详细描述，可更易于领会并更好地理解许多附带特征。
附图说明
根据附图阅读以下具体实施方式，将更好地理解本发明，在附图中：
图1示出红外深度相机系统的示意图以及示出该深度相机系统的示例部署的房间的透视图；
图2是诸如图1中所示的深度相机系统的操作的示例方法的流程图；
图3示出降低源之间的干扰的示例方法的流程图以及源-相机对的示意图；
图4示出源和/或相机的操作的三个示例时序图；
图5示出红外深度相机系统的另一示例的示意图以及示出该深度相机系统的示例部署的房间的另一透视图；
图6和7示出降低源之间的干扰的又一些示例方法的流程图；
图8示出红外深度相机系统的又一示例的示意图以及示出该深度相机系统的示例部署的房间的又一透视图；
图9示出降低源之间的干扰的另一示例方法的示意图；
图10示出包括单个源和多个相机的红外深度相机系统的示意图；以及
图11示出可在其中实现本文所描述的各控制方法的实施例的示例性的基于计算的设备；
在各个附图中使用相同的附图标记来指代相同的部件。
具体实施方式
下面结合附图提供的具体实施方式旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。
图1示出红外深度相机系统100的示意图以及示出该深度相机系统100的示例部署的房间102的透视图。图2是图1中所示的深度相机系统100的操作的示例方法的流程图。系统100包括多个红外(IR)相机104和多个IR源106(在图中作为示例仅示出四个相机和四个源)。每一IR源(或照明器)106被安排成投影结构化光图案，该结构化光图案随后由IR相机104中的一个或多个来检测。在图1中所示的示例实现中，这些源106和相机104被安排成包括一个源106和一个相机104的各个对(称为源-相机对)，这些对可被集成在单个外壳108(可被称为深度相机单元)内，但在其他实现中，这些源106和相机104可以是离散的单元，且可存在不同数量的源和相机(例如，如其中存在多个相机和单个源的图10中所示)。源106和相机104连接到控制器，该控制器为计算设备(例如，PC或游戏控制台)。源106和相机104可经由有线或无线链路来连接到控制器110，且源106和相机104可以是位置固定的或移动的(或其任意组合)。
在图1中房间102的透视图中，虚线112给出了对相机104中的每一个的视野的指示，且在这一实现中，每一相机104的视野与至少一个其他相机的视野部分地重叠。如果由IR源106投影的结构化光图案被安排成覆盖其相关联的相机的至少整个视野(例如，在源-相机对中，源投射结构化光图案，该结构化光图案覆盖相关联的相机的至少整个视野)，则来自图1中不同的源106的结构化光图案也将至少部分地重叠。在这些结构化光图案重叠的情况下，深度计算的准确度将降低，因为由相机检测到的IR图案将被假设为源自单个源(而非来自产生重叠图案的多个源)。为降低可由重叠结构化光图案引起的任何干扰(还可被称为图案之间的串扰)，控制器110控制IR源106(框202)，使得每一相机在任何时间只看见单个投影的光图案。存在可以控制源以便降低可使深度确定的准确度降级的任何干扰影响的许多方式，下文描述了各种示例。深度计算本身基于在控制器110处从每一相机接收到的信号来作出(框204)。
在可参考图3和4描述的第一示例中，控制器110控制源106，使得在任一时间只有一个源照明房间(或场景/环境)的给定部分。这具有以下效果：每一IR相机在任何时间只看见一个照明源。在所有投影的光图案重叠的情况下(例如，如图1的安排中)，控制器可在所有结构化光源之间循环(图3的框302)，且这在图4所示的示例时序图的第一部分401中示出。这一时序图示出图1所示的四个源106中的每一个的操作，且在该图的第一部分401中，源中的每一个依次(1、然后2、然后3)在一段时间内照明房间(在图4中被示为“开”)，并且在时间的任何时刻，只有源中的一个正照明房间，而其他三个源不照明房间(在图4中被示为“关”)。
与在结构化光源之间循环使得在任何时间只有一个源照明环境的给定部分(在框302中)相并行，控制器还可控制相机104的操作(框303)，使得在源-相机对中，仅在该源正投影结构化光图案时相机是可操作的，即，相机的时序图可与源的时序图相同。然而，在替换实现中，相机在所有时间都是可操作的，且可从不止一个源所生成的图案中获取深度信息，但一次只从一个源获取。在这样的实现中，图3中的框303被省略，且可在每一结构化光源和每一相机之间执行校准。在一示例中，这一校准可作为相机的任何标准校准的部分来包括，以便学习结构化光的图案。在另一示例中，其中在各对相机之间的相对变换(旋转和平移)是已知的情况下，这一信息可被用于评估来自第一源-相机对中的源的结构化光图案在第二源-相机对的相机中会如何显现，且可以不要求附加的相机校准(例如，仅要求对单个源的标准校准)。在一示例中，这一平移信息可使用移动深度相机来获取，如与本申请同日提交的题为“Using athree-dimensional environment model in gameplay(在玩游戏中使用三维环境模型)”的共同待审美国专利申请中所描述的，该申请通过引用整体结合于此。
在所有投影的结构化光图案与每一其他投影的图案都不重叠的情况下，控制器仍可在所有的源之间循环(如图4的401部分所示)，但另选地，控制器可在投影重叠图案的源之间循环或执行任何形式的时分复用，使得每一IR相机在任何时间只看见一个照明源。例如，存在四个源，即A、B、C和D，且来自A和C的图案重叠，而来自B和D的图案重叠(但来自A和C的图案不与来自B和D的图案重叠)，在这种情况下，控制器可每次操作各对的源，例如，A和B，之后是C和D，之后是A和B等等。
为了使源停止在特定时间点用结构化光图案照明房间，控制器可关闭该源内的IR发射器，该发射器例如可以是LED(发光二极管)或VECSEL(垂直外部腔表面发射激光器)。另选地，快门301可用于阻挡结构化光源的发射，如图3中的示意图300中所示。快门可仅阻挡IR源106，或另选地还可阻挡相关联的IR相机104的视野，使得在源-相机对中，相机的视野被快门301遮挡，除非源正将结构化光图案投影到环境的时候。在使用快门的情况下，这一快门在控制器110的控制下操作。在另一示例中，相机前可电子地切换的透镜可用于通过调制透镜的焦点来实现相同功能(例如，以代替快门)。例如，可使用可动态切换的透镜，该透镜可在正常的“房间焦点”与模糊的“失焦”模式之间变化。只有那些在正确聚集期间可见的图像随时间变为被集成到相机像素，而失焦部分将一般的模糊背景添加到图像。另外地或替换地，可使用这样的透镜来替换源前面的快门，因为投影完全模糊的图案与关闭投影的图案具有相同效果。这一安排在某些情况下可能比使用快门更有弹性，因为透镜没有吸收光能。使用中，快门将吸收光能，且这可导致快门变热，并且可能导致快门故障。
循环经过各源的序列可以是固定的(例如，A、B、C、D、A、B、C、D、A...等)，或另选地，控制器可响应于检测到的场景来动态地调整循环，如图3的框304和图4中上部的时序图400中所示。例如，在场景的该部分中没有东西正在移动的情况下，控制器可仅以几赫兹(Hz)来采样(即，打开结构化光源，并使用相机来检测图案)，并且可使用额外的帧来增加对增加的活动的区域的采样速率。在一示例中，感兴趣区域算法可用于确定对哪些源-相机对或场景的哪些部分应比其他对/部分更频繁地采样，且运动只提供可用于调整IR源的循环的一个示例准则(在框304中)。例如，可使用用于身体部位检测的Exemplar算法，之后是对身体上一次朝向哪里的评估以决定激活哪些相机。
在某些示例中，源-相机对可用于生成环境的密集3D模型。在这种情况下，控制器可根据所生成的密集3D模型来动态地调整循环。例如，密集3D模型的某些区域可能是不完整的，或与密集3D模型的其他区域相比较不完整。在该情况下，控制器可动态地调整循环，使得捕捉用于完成3D模型所需信息的那些源-相机对的采样速率更为频繁。所生成的3D模型质量的任何统计或指示符可用作对控制器的输入。在一示例中，环境的3D体积表示的距离变换的变化率可用作对控制器的输入。在源-相机对正捕捉与其3D模型是含噪声的、不完整的、或包括更精细细节的环境的区域有关的信息的情况下，这可用于使得这些源-相机对更活跃。
参考图4中上部的示例时序图400，在第一部分401中，控制器循环经过所有的源，因此场景的每一视图都被给予基本相同的时间量以供深度检测。然而，在第二部分402中，给予第一源(源1)优先级，并且例如这可能是因为控制器确定在第一源-相机对所检测的场景中存在移动且在其他源-相机对所检测的场景中没有移动。例如，这可能是因为用户正面朝这一源-相机对站立且在它们面前移动他们的手。在该时序图的第三部分403中，给予源3和4优先级，且源1和2较不频繁地照明该场景(例如，因为用户已经转向，使得其姿势现在对相机3和4可见而对相机1和2不可见)。
在这一示例的变型中，可仅在初始操作阶段使用多个源-相机对，来生成背景的高分辨率深度图，且在这之后，可仅使用单个源-相机对，如图4中间的时序图410中所示。在这一示例中，个人可以正在玩游戏，游戏使用源-相机对来向游戏提供用户输入，其中游戏的图形用户界面显示在诸如电视机等大显示器114上，如图1的安排中所示。在游戏的初始阶段411，所有四个源-相机对可用于通过循环经过这些源来捕捉房间的高分辨率视图(如图3的框302中)，随后在玩游戏期间412，可仅使用位于与显示器114相同墙壁的源-相机对来捕捉玩游戏的个人的运动(在图4所示的示例中为源1)。这使得背景能够以高准确度来扫描(在初始阶段411)，而在结构化光图案之间没有任何干扰，且仍然提供较高的帧速率供玩游戏期间(阶段412)的运动检测。
在又一变型中，如图4的下部示例时序图420中所示，控制器可在初始阶段411期间循环经过多个源(如上所述)以生成背景的高分辨率深度图，但在第二阶段421期间(在以上示例中为玩游戏期间)，所有的源都打开(且不采用措施来消除干扰)。这提供了较高的帧速率供第二阶段中的运动检测，且在前景物体(诸如用户)正在移动的情况下，这些前景物体较不可能被多个不同的源照明，因为它们更接近于这些源中的一个(并且因此干扰影响可能较不显著)。
在降低由重叠结构化光图案导致的干扰的第一示例方法的另一变型中，(如以上图3和4所描述的)，源和相机前的快门(例如，图3中的快门301)两者的高速伪随机调制可用于衰减相对于想要的信号(即，来自该源所投影的结构化光源的信号)的不想要的信号(即，来自其他可能重叠的结构化光图案的那些信号)。在这一变型中，对于每一源-相机对，使用不同的调制模式(或方案)，且如上所述，源内的IR发射器可被直接调制、或在发射器(或源)前面使用快门，以阻止结构化光图案的投影。如图3的示意图300中所示，在示例实现中，可在源106和相机104两者前面使用单个快门301。如以上参考先前示例方法所描述的，在可修改焦点的情况下，可在这一示例中使用可电子切换的透镜来代替快门以及描述快门的使用的任何后续示例。
对于相机，存在的另一替换方案是在相机前面具有快门。这一替换方案是在芯片级使用捕捉的电子快门，即，相机像素仅在被电子激活时才集成信号，且为此可将合适的电路合并在相机芯片中。这可以是全局函数(即，全局信号，该全局信号可交替冻结或激活相机图像中所有像素的传入光集成)，但还可被带到像素级(即，可以电子地打开或关闭对各个像素的光捕捉的集成)。
在降低由重叠结构化光图案导致的干扰的第二示例方法中，源波长可被控制，使得不同的照明图案使用不同的IR波长，(在图5的示意图中为λ1-λ4)。源所使用的供投影结构化光图案的波长可被称为其操作波长。每一相机104可以用波长选择性滤波器502来装配，使得它只看见单个照明图案，例如，源-相机对中源504-507所发射的波长的图案。在系统被安装时，对(由源504-507)所发射的波长的控制以及对相机滤波器502的波长的控制可手动地执行，或另选地，通过使用可调节元素或从以不同波长操作的元素集(例如，发射器、源、相机、和/或滤波器)中选择，波长控制可以是动态的。如图6的示例流程图中所示，一个选项是在设置时调节每一源-相机对的波长，使得重叠图案处于不同的波长(框602)，而另一选项是从单个外壳内不同波长的源和/或相机的集合中选择特定的源和/或相机(框604)。这一调节或选择可在控制器110的控制下电子地执行。图5中的系统框图示出单个外壳508，该单个外壳508包括不同波长的多个源510-513以及单个相机514，该单个相机514包括电子可调节波长滤波器。在设置阶段中，控制器可选择源510-513中的一个(框604)，并将相机514中的滤波器(框602)调节到所选择的源的波长。另选地，可能存在多个滤波器，其中每一个对应于源510-513的波长中的每一个，且安装在可移动(例如，可旋转)的外壳中，使得可以用与所选择的源相同的波长来选择滤波器，随后可将所选择的滤波器移动到相机前的位置。在另一变体中，可能存在不同波长的多个源510-513和多个相机，其中每一相机以源510-513的波长中的每一个波长来操作，且可在每一外壳508内选择特定波长的源-相机对。
图7中示出了降低由重叠结构化光图案导致的干扰的第三示例方法，该第三示例方法是图2中所示且在上文中描述的流程图的修改版本。在这一示例中，通过以与带重叠光图案的任何其他源-相机对的运动不同的方式来移动每一源-相机对，来降低投影的结构化光图案之间干扰的影响(框702)。在如图8所示的示例部署中，所有的四个光图案相重叠，且因此外壳808内每一源-相机对根据不同的运动模式801-804来移动。如图8中下部的示意图800所示，每一外壳808还包括光路移动设备810或用于生成源-相机对的所需运动的其他装置。例如，光路移动设备810可以是能够移动源-相机对的光路的马达、电机设备、电光设备、或静电设备。如果源-相机对四处移动，则它将看见环境以对应的方式移动，但照明图案相对于相机将是固定的。可能已经由投影重叠结构化光图案(无论固定的还是移动的)的其他源引起的噪声往往会被拒绝或被模糊掉，因为该噪声不会一致地相关，因为环境的3D模型是使用来自源-相机对的深度数据来构建的。该运动模式可以位于单轴或多轴。在一示例中，源-相机对可以各自以独立方式摇动，而在另一示例中，源-相机对可更慢地移动，例如，通过将它们从一侧向另一侧扫描。因此，这一示例方法使用运动来除一个照明图案之外模糊所有其他照明图案，该一个照明图案由刚性地绑定到相机且与相机(即，源-相机对中的另一半)共享相同运动的源来产生。
在该第三示例方法的实现中，每一源-相机对的运动在系统的操作期间可以是连续的，使得不存在运动死点。例如，圆周运动在时间上是连续的，而上下运动在运动上具有源-相机对在那里反转其运动的两点(在顶部和底部极端处)，因此，如果在该特定时刻另一相机对该图案进行成像，则存在小的可能性：该图案实际上没被看到在移动。
另外，针对源-相机对所使用的运动模式可在各源-相机对之间进行适应性地分配或同步，使得相邻的源-相机对不共享共同运动频率/速度。例如，可以向相邻的源-相机对分配圆周速度，该圆周速度不共享共同的可检测谐波(例如，一对可以按100Hz的圆来移动，而相邻的对可以按101Hz的圆来移动)。
在降低重叠结构化光图案所导致的干扰的第四示例方法中，控制器可使用快门或可调光圈来控制来自源中的一个或多个的投影的结构化光图案的形状。快门可以是电子的、电机的、静电的、或任何种类的电光设备。如图9的示意图所示，通过降低投射的光图案的角度，可降低或消除图案的重叠。在图9中，每一源的发射角度(且由此投影的光图案的覆盖)已经从虚线902所示的角度降低到实线904所示的角度，在实线904所示的角度没有发生重叠。然而，从图9中可见，通过降低发射角度，存在不再被任何源覆盖的场景部分，且由此在这些部分中深度信息将不可用。这可通过以下方式来解决：以协调的运动来使三个源-相机对906一起从一侧向另一侧扫描(如箭头908所指示的)，使得图案保持不重叠，但它们一起扫描通过整个感兴趣的体积(例如，整个房间)。
在该第四示例方法的变型中，图案的重叠可被最小化但不被消除。在这样的示例中，源-相机对的子集(或仅仅是源的子集)可按垂直扫描模式来移动，而源-相机对(或仅仅是源)的另一子集可按水平扫描模式来移动，这导致短时间段的小区域重叠。
上述扫描或选择性投影方法可使用诸如数字微镜设备(DMD)/数字光处理(DLP)投影仪之类的投影仪作为源来实现，因为这样的设备实际上是以像素级安排的快门。
在降低重叠结构化光图案所导致的干扰的又一示例方法中，单个照明源1004可结合多个IR相机1006来使用，如图10所示。镜子1002的安排可用于将结构化光图案反射(或投射)到房间四处(例如，以“迪斯科舞会”的样式安排)，或另选地，照明源1004可安装在可移动(例如，可旋转)底座上，使得该照明源1004在房间中四处扫描，并且在这样的实现中，相机1006的操作可与单个照明源1004的运动同步。
除了使用上述各技术中的任一个以外，每一外壳108、508、808(也可被称为深度相机单元)也可包括以可见光谱操作的相机(例如，分辨率为640x480的VGA相机)，且来自这一相机的RGB数据(假定深度相机和RGB相机彼此校准)可用于区分噪声与实际物体，从而利用RGB图像中的纹理一致性，其中在深度图中存在空洞(例如，由于干扰区域中非常差的深度数据)。例如，如果RGB图像是平滑的(在颜色或纹理上)但在深度图中存在(小)空洞，则该空洞可通过“泛色填充”或通过使用其他相似的方法来填充，这些其他相似的方法使用来自空洞轮廓点或小的局部区域的有效深度测量。空洞的存在还可提供关于信号中噪声量的信息，因为这些空洞一般是相机(由于干扰)无法与可识别的图案相关的结果。RGB信息还可用于帮助选择使用哪个相机和/或光源。
图11示出了可以实现为计算和/或电子设备的任何形式的，且可以作为如以上各示例中所描述控制器110来操作的示例性基于计算的设备1100的各种组件。
基于计算的设备1100包括一个或多个处理器1102，该一个或多个处理器可以是用于处理计算可执行指令以控制设备的操作以便控制多个红外源1104来降低从每一源所投影的结构化光图案之间的干扰的微处理器、控制器、或任何其他合适类型的处理器。在一些示例中，例如在使用片上系统架构的示例中，处理器1102可以包括一个或多个固定功能块(亦称加速器)，这些块以硬件(而非软件或固件)来实现控制方法的一部分。可以在基于计算的设备处提供包括操作系统1106的平台软件或任何其他合适的平台软件以使得应用软件1108-1114能够在该设备上执行。应用软件可包括源控制模块1110、深度计算模块1112、以及其中可使用所计算的深度信息的游戏1114或其他应用。
可以使用可由基于计算的设备1100访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器1116等计算机存储介质和通信介质。诸如存储器1116等计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。
虽然在基于计算的设备1100中示出了计算机存储介质(存储器1116)，然而应当理解，该存储可以是分布式的或位于远程并经由网络(例如，网络1118)或其他通信链路(例如，使用通信接口1120)来访问。在某些示例中，控制功能可以按跨多个基于计算的设备的分布式方式来实现，且在这样的实现中，通信接口1120可用于发现其他设备以及通过网络1118与其他设备连接。
基于计算的设备1100还包括被安排成向IR源1104发送控制信号以及从多个IR相机1124接收信号的输入/输出控制器1122。如上所述，源1104和相机1124可以按源-相机对来安排，每一源-相机对共同位于单个外壳1126中。输入/输出控制器1122还可被安排成向可与基于计算的设备1100分开或集成在一起的显示设备1128输出显示信息。该显示信息可(例如，为操作系统1106、游戏1114或其他应用软件1108-1112)提供图形用户界面。输入/输出控制器1122还可被安排成接收并处理来自一个或多个设备的输入，如用户输入设备1130(例如，游戏控制器、鼠标或键盘)。这一用户输入可用于玩游戏1114。在一实施例中，如果显示设备1128是触敏显示设备，则它还可担当用户输入设备1130。
输入/输出控制器1122还可被安排成向与源-相机对共同位于外壳1126内的马达(图11中未示出)输出控制信号，其中马达用于降低干扰(例如，如以上参考图7和8所描述的)。输入/输出控制器1122还向除显示设备之外的设备输出数据，例如，本地连接的打印设备(图11中未示出)。
可以理解，图11中的双向箭头所示的连接旨在指示计算设备的各元素之间可能的连接，以及各元素之间的通信可经由其他路线，且通信可以是单向或双向的。另外，元素之间的链接可以经由物理连接(例如，通过线缆)或可以是无线的(例如，源1104和相机1124、或源-相机对可通过WiFi或蓝牙或可使用另一无线协议来与计算设备1100通信)。
上述示例使用IR源和IR相机；然而，可以理解，在其他示例中，使用其他人类可见或不可见波长(例如，紫外线)的源和相机可用于提供结构化光图案和对该图案的相机捕捉。
虽然此处将各示例描述并示出为在基于房间的系统中实现以供游戏中使用，但是所描述的系统只是作为示例而非限制来提供的。本领域技术人员将理解，本发明的各示例适于在各种不同类型的系统中应用，且适于许多不同的应用(例如，适于任何虚拟/增强现实应用、遥现等)。
此外，尽管在以上所示的示例中，示出了单个控制器110，但控制器的功能可跨多个基于计算的设备来分布，例如，某些源的控制功能可通过一个控制器来执行，而其余的源可由第二控制器来控制。这两个控制器可进行通信以便协调其动作(例如，使用诸如无线电、有线通信或对光信号的全球调制和检测)。在这样的示例中，一个控制器可以是主设备而其他控制器可充当该主控制器的从设备，且在某实施例中，主设备的角色可以是深度相机单元中的一个的动态地分配的功能。
在另一示例中，源/相机组件可用于执行这一分布式时序/同步机制。在这样的示例中，当源-相机对通电时，它首先监视场景(不照明该场景)，从可能已经在其视野中操作的一个或多个源-相机对中寻找某一种类的帧同步图案(或清晰的广播时槽)。例如，然后源-相机对可通过光学地发信号(例如，通过照明)来通知其存在，来将其自身插入时序中。在一示例中，这一发信号通知可通过在广播时槽期间照明重叠区域来执行。已经在操作的那些源-相机对可注意到的这一“我想加入”信号触发了这些源-相机对以扩展其时序，以便容纳新通电的源-相机对的新时间槽，而广播/同步槽被保留以允许其他源-相机对进一步加入。通过使用源-相机对代替带外通信，相对独立的源-相机对的组可被标识。例如，大房间远端处的一组源-相机对将能够得出它们不会与房间近端处的一组源-相机对相干扰或重叠。
以上各示例描述了覆盖单个房间的深度相机系统；然而，在其他示例中，该系统可覆盖诸如跨整个建筑物等更大区域。在这样的示例中，可存在更多的源-相机对(或深度相机单元)，且系统可使用分布式时钟同步或集中式控制器来最小化个体相机/源时序和网络等待时间中的变型的任何影响。在一示例中，所有相机可被锁定到共同定时基准。
还可以理解，尽管各示例中的每一个在上文中分开地描述，但各技术中的任一个可与所描述的其他技术中的一个或多个组合使用。例如，可使用时分复用(以上参考图3和4描述的)与波分复用(以上参考图5和6描述的)的组合，其中存在许多带有重叠视野的源-相机对，以便降低各源之间所需循环的复杂性并增加房间的任何特定部分的帧速率。例如，参考图5所示的安排，代替以四个不同波长(λ1-λ4)操作的四个源504-507，可使用两个波长(λ1-λ2)，以及以波长中的每一个来操作的两个源，并且然后控制器可在以λ1操作的源和以λ2操作的源之间循环。
上述各方法降低了重叠结构化光图案所导致的干扰，这些结构化光图案是由IR相机在使用这些图案来在环境中检测深度时检测到的。所描述的各技术使得在存在多个深度相机的情况下每一深度相机能够以其理想的性能水平或接近其理想的性能水平来操作。
此处所使用的术语“计算机”是指带有处理能力使得它可以执行指令的任何设备。本领域的技术人员将认识到，这样的处理能力被集成到许多不同的设备中，因此，术语“计算机”包括PC、服务器、移动电话、个人数字助理和许多其他设备。
本文描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形(或非瞬态)存储介质的示例可包括盘(disk)、拇指型驱动器、存储器等，而不包括所传播的信号。软件可以适合于在并行处理器或串行处理器上执行，使得各方法步骤可以以任何适当的顺序实现，或同时实现。
这确认了软件可以是有价值的、可单独交易的商品。它旨在包含运行于或者控制“哑”或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。
本领域的技术人员将认识到，用来存储程序指令的存储设备可以分布在网络上。例如，远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。
如本领域技术人员将清楚的，此处给出的任何范围或者设备值都可以被扩展或者改变而不失去所寻求的效果。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。
可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不限于解决所述问题中的任一个或全部的实施例或具有所述好处和优点中的任一个或全部的实施例。进一步可以理解，对“一个”项目的引用是指那些项目中的一个或多个。
此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。
此处使用了术语“包括”旨在包括已标识的方法的框或元素，但是这样的框或元素不构成排它性的列表，方法或设备可以包含额外的框或元素。
可以理解，上面对一较佳实施例的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对本发明的各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单个实施例描述了本发明的各实施例，但是，在不偏离本发明的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。

Claims (10)

1.一种深度相机系统，包括：
具有至少部分地重叠的视野的多个相机(104)；
多个源(106)，每一个源被安排成投影结构化光图案；以及
控制器(110)，所述控制器被安排成控制所述多个源以降低所投影的结构化光图案之间的干扰，并从所述相机中的每一个接收信号以用于深度确定。
2.如权利要求1所述的深度相机系统，其特征在于，所述多个相机包括红外相机，且所述多个源包括红外源，每一个红外源被安排成投影红外结构化光图案。
3.如权利要求1所述的深度相机系统，其特征在于，所述控制器被安排成在具有重叠的结构化光图案的各源之间进行循环。
4.如权利要求3所述的深度相机系统，其特征在于，所述控制器被安排成基于从所述相机中的每一个接收到的信号来动态地调整所述循环。
5.如权利要求1所述的深度相机系统，其特征在于，还包括多个深度相机单元，每一单元包括至少一个源和至少一个相机，其中所述控制器被安排成设置每一深度相机单元的操作波长，使得至少某些重叠的结构化光图案处于不同的操作波长。
6.如权利要求1所述的深度相机系统，其特征在于，所述相机和源被安排成源-相机对，每一源-相机对包括相机(104)和源(106)，且其中所述控制器被安排成以一运动模式(801-804)来移动每一源-相机对，所述运动模式(801-804)与其他源-相机对的运动模式不同。
7.如权利要求1所述的深度相机系统，其特征在于，所述相机和源被安排成源-相机对，每一源-相机对包括相机和源，且其中所述控制器被安排成以不同的伪随机调制模式来调制每一源-相机对。
8.一种控制深度相机系统的计算机实现的方法，所述系统包括多个红外相机和多个红外源，且所述方法包括：
控制所述多个红外源，以降低从每一源所投影的红外结构化光图案之间的干扰(202)；以及
从所述多个红外相机接收信号以用于深度确定(204)。
9.如权利要求8所述的计算机实现的方法，其特征在于，控制所述多个红外源包括在具有重叠的结构化光图案的各红外源之间进行循环(302)。
10.如权利要求9所述的计算机实现的方法，其特征在于，控制所述多个红外源还包括基于所述深度相机系统的环境的密集3D模型来动态地调整供在各红外源之间进行循环所使用的循环，所述密集3D模型是使用来自所述多个红外相机的信号来形成的。
CN201210021241.5A 2011-01-31 2012-01-30 降低多个红外深度相机之间的干扰 Active CN102638692B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/017,518 US9247238B2 (en) 2011-01-31 2011-01-31 Reducing interference between multiple infra-red depth cameras
US13/017,518 2011-01-31

Publications (2)

Publication Number Publication Date
CN102638692A true CN102638692A (zh) 2012-08-15
CN102638692B CN102638692B (zh) 2015-05-20

Family

ID=46577049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210021241.5A Active CN102638692B (zh) 2011-01-31 2012-01-30 降低多个红外深度相机之间的干扰

Country Status (2)

Country Link
US (2) US9247238B2 (zh)
CN (1) CN102638692B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104567720A (zh) * 2015-01-12 2015-04-29 浙江大学 消除多台Kinect结构光深度摄像机相互干涉的装置
CN104702933A (zh) * 2013-11-12 2015-06-10 Lg电子株式会社 数字装置及其处理三维图像的方法
CN105229411A (zh) * 2013-04-15 2016-01-06 微软技术许可有限责任公司 稳健的立体深度系统
CN106461783A (zh) * 2014-06-20 2017-02-22 高通股份有限公司 使用时间共享的自动的多个深度相机同步
CN106683130A (zh) * 2015-11-11 2017-05-17 杭州海康威视数字技术股份有限公司 一种深度图像获得方法及装置
CN107360415A (zh) * 2017-09-05 2017-11-17 信利光电股份有限公司 一种解决3d视觉设备之间相互干扰的方法及装置
CN107407559A (zh) * 2015-03-30 2017-11-28 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
CN107709925A (zh) * 2015-03-27 2018-02-16 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
CN108955641A (zh) * 2018-04-23 2018-12-07 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
CN109996057A (zh) * 2017-12-29 2019-07-09 技嘉科技股份有限公司 深度相机的控制方法及驱动装置
CN110072044A (zh) * 2019-05-30 2019-07-30 Oppo广东移动通信有限公司 深度相机的控制方法及控制装置、终端及可读存储介质
CN114643580A (zh) * 2022-03-29 2022-06-21 杭州海康机器人技术有限公司 一种机器人控制方法、装置及设备

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
EP2537345A1 (en) * 2010-02-19 2012-12-26 Dual Aperture, Inc. Processing multi-aperture image data
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US10972680B2 (en) * 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
KR101789683B1 (ko) * 2011-06-13 2017-11-20 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법, 그리고 리모컨 장치
US9071740B1 (en) 2011-10-28 2015-06-30 Google Inc. Modular camera system
US9197686B1 (en) 2012-01-06 2015-11-24 Google Inc. Backfill of video stream
US9537968B1 (en) 2012-01-06 2017-01-03 Google Inc. Communication of socket protocol based data over a storage protocol based interface
US9625994B2 (en) * 2012-10-01 2017-04-18 Microsoft Technology Licensing, Llc Multi-camera depth imaging
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
WO2014106843A2 (en) * 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
GB2511863A (en) * 2013-03-15 2014-09-17 Infrared Integrated Syst Ltd Apparatus and method for multispectral imaging
US9953213B2 (en) * 2013-03-27 2018-04-24 Microsoft Technology Licensing, Llc Self discovery of autonomous NUI devices
US9191643B2 (en) 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
US9294758B2 (en) * 2013-04-18 2016-03-22 Microsoft Technology Licensing, Llc Determining depth data for a captured image
WO2016157601A1 (ja) * 2015-03-30 2016-10-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
US9948914B1 (en) * 2015-05-06 2018-04-17 The United States Of America As Represented By The Secretary Of The Air Force Orthoscopic fusion platform
US9945936B2 (en) 2015-05-27 2018-04-17 Microsoft Technology Licensing, Llc Reduction in camera to camera interference in depth measurements using spread spectrum
US9544485B2 (en) 2015-05-27 2017-01-10 Google Inc. Multi-mode LED illumination system
US10721420B2 (en) 2015-06-02 2020-07-21 Intel Corporation Method and system of adaptable exposure control and light projection for cameras
US9554063B2 (en) 2015-06-12 2017-01-24 Google Inc. Using infrared images of a monitored scene to identify windows
US9626849B2 (en) * 2015-06-12 2017-04-18 Google Inc. Using scene information from a security camera to reduce false security alerts
US9454820B1 (en) 2015-06-12 2016-09-27 Google Inc. Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination
US9886620B2 (en) 2015-06-12 2018-02-06 Google Llc Using a scene illuminating infrared emitter array in a video monitoring camera to estimate the position of the camera
US9613423B2 (en) * 2015-06-12 2017-04-04 Google Inc. Using a depth map of a monitored scene to identify floors, walls, and ceilings
US9235899B1 (en) 2015-06-12 2016-01-12 Google Inc. Simulating an infrared emitter array in a video monitoring camera to construct a lookup table for depth determination
US9489745B1 (en) 2015-06-12 2016-11-08 Google Inc. Using depth maps of a scene to identify movement of a video camera
US9386230B1 (en) 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
KR102427299B1 (ko) * 2015-08-13 2022-08-01 삼성전자주식회사 무선 백홀을 통해서 무선 접속망과의 연결을 제공하는 방법 및 장치
KR20170060353A (ko) 2015-11-24 2017-06-01 삼성전자주식회사 전자 장치, 거리 측정 센서 및 그 제어 방법
US10257498B2 (en) 2015-12-04 2019-04-09 Empire Technology Development Llc Coordination of multiple structured light-based 3D image detectors
US11218688B2 (en) 2016-01-04 2022-01-04 Occipital, Inc. Apparatus and methods for three-dimensional sensing
US10627494B2 (en) * 2016-09-16 2020-04-21 Analog Devices, Inc. Interference handling in time-of-flight depth sensing
TWI678121B (zh) * 2016-10-20 2019-11-21 宏達國際電子股份有限公司 用於一燈塔定位系統之輔助裝置
US10180615B2 (en) 2016-10-31 2019-01-15 Google Llc Electrochromic filtering in a camera
EP3542149A4 (en) * 2016-11-20 2020-05-20 Unispectral Ltd. MULTI-BAND IMAGING SYSTEMS
WO2018129104A1 (en) * 2017-01-03 2018-07-12 Owlii Inc. Processing holographic videos
US10554958B2 (en) * 2017-03-13 2020-02-04 Microsoft Technology Licensing, Llc Systems and methods for interleaving multiple active camera frames
US10586383B2 (en) * 2017-06-20 2020-03-10 Microsoft Technology Licensing, Llc Three-dimensional object scan using data from infrared sensor
CN107580208B (zh) * 2017-08-24 2020-06-23 上海视智电子科技有限公司 一种多深度测量设备的协同工作系统和方法
US11675048B2 (en) 2017-11-30 2023-06-13 Sony Semiconductor Solutions Corporation Time-of-flight acquisition method and time-of-flight camera
CN108089773B (zh) * 2018-01-23 2021-04-30 歌尔科技有限公司 一种基于景深投影的触控识别方法、装置及投影部件
CN108447097B (zh) * 2018-03-05 2021-04-27 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质
DE102018105219A1 (de) * 2018-03-07 2019-09-12 Ifm Electronic Gmbh Optisches Messsystem zur tiefensensitiven Messung und dessen Verwendung
CN108810245B (zh) * 2018-04-23 2020-09-01 维沃移动通信有限公司 一种深度摄像的抗干扰方法及移动终端
US10887578B2 (en) * 2018-08-30 2021-01-05 Veo Robotics, Inc. Depth-sensing computer vision system
US11747478B2 (en) * 2019-05-15 2023-09-05 Electronic Theatre Controls, Inc. Stage mapping and detection using infrared light
GB2584276B (en) * 2019-05-22 2023-06-07 Sony Interactive Entertainment Inc Capture of a three-dimensional representation of a scene
WO2021054342A1 (ja) * 2019-09-20 2021-03-25 ソニー株式会社 情報処理装置および制御方法
US11265387B2 (en) * 2019-11-13 2022-03-01 At&T Intellectual Property I, L.P. Synchronizing multiple user devices in an immersive media environment using time-of-flight light patterns
CN113542529B (zh) * 2020-04-21 2024-03-12 安霸国际有限合伙企业 用于dms和oms的940nm led闪光同步
US11758077B1 (en) * 2022-04-14 2023-09-12 Varjo Technologies Oy Employing sequences of light patterns to synchronize cameras
DE102022128245A1 (de) 2022-10-25 2024-04-25 Vitracom GmbH Verfahren zur selbsttätigen kalibrierung eines netzwerks von bildgebenden tiefensensoren

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US20040145722A1 (en) * 1998-05-25 2004-07-29 Kenya Uomori Range finder device and camera
JP2005210722A (ja) * 2004-01-21 2005-08-04 Hewlett-Packard Development Co Lp ハイブリッド・デジタルカメラ用の照明源の自動選択
US20070195173A1 (en) * 2004-09-21 2007-08-23 Nikon Corporation Portable Type Information Device

Family Cites Families (190)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5911309B2 (ja) * 1978-03-03 1984-03-14 日本ビクター株式会社 カラ−テレビジヨン信号発生装置
US4288078A (en) 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5696591A (en) 1996-01-05 1997-12-09 Eastman Kodak Company Apparatus and method for detecting longitudinally oriented flaws in a moving web
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6504569B1 (en) 1998-04-22 2003-01-07 Grass Valley (U.S.), Inc. 2-D extended image generation from 3-D data extracted from a video sequence
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US20040075738A1 (en) 1999-05-12 2004-04-22 Sean Burke Spherical surveillance system architecture
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6735387B1 (en) 2001-01-10 2004-05-11 Tim Schnell Motion detector camera
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6940538B2 (en) 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
US7023432B2 (en) 2001-09-24 2006-04-04 Geomagic, Inc. Methods, apparatus and computer program products that reconstruct surfaces from data point sets
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US7162338B2 (en) 2002-12-17 2007-01-09 Evolution Robotics, Inc. Systems and methods for computing a relative pose for global localization in a visual simultaneous localization and mapping system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US7162075B2 (en) * 2003-03-10 2007-01-09 Cranial Technologies, Inc. Three-dimensional image capture system
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
EP3196805A3 (en) 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005022900A2 (en) * 2003-08-26 2005-03-10 Redshift Systems Corporation Infrared camera system
US7366325B2 (en) 2003-10-09 2008-04-29 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7831094B2 (en) 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7697748B2 (en) 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
CN103257684B (zh) 2005-05-17 2017-06-09 高通股份有限公司 方向敏感的信号输出方法及装置
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7944454B2 (en) 2005-09-07 2011-05-17 Fuji Xerox Co., Ltd. System and method for user monitoring interface of 3-D video streams from multiple cameras
US7440615B2 (en) 2005-10-27 2008-10-21 Nec Laboratories America, Inc. Video foreground segmentation method
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
WO2008013568A2 (en) 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9348463B2 (en) 2006-08-03 2016-05-24 New York University Retroreflection based multitouch sensor, method and program
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
JP5380789B2 (ja) 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
BRPI0917864A2 (pt) 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US9245382B2 (en) 2008-10-04 2016-01-26 Microsoft Technology Licensing, Llc User-guided surface reconstruction
US8610706B2 (en) 2008-10-04 2013-12-17 Microsoft Corporation Parallel surface reconstruction
US8855819B2 (en) 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US9581739B2 (en) * 2009-12-21 2017-02-28 3M Innovative Properties Company Transflective articles and light assemblies
US8570320B2 (en) 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US20040145722A1 (en) * 1998-05-25 2004-07-29 Kenya Uomori Range finder device and camera
JP2005210722A (ja) * 2004-01-21 2005-08-04 Hewlett-Packard Development Co Lp ハイブリッド・デジタルカメラ用の照明源の自動選択
US20070195173A1 (en) * 2004-09-21 2007-08-23 Nikon Corporation Portable Type Information Device

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928420B2 (en) 2013-04-15 2018-03-27 Microsoft Technology Licensing, Llc Depth imaging system based on stereo vision and infrared radiation
CN105229411A (zh) * 2013-04-15 2016-01-06 微软技术许可有限责任公司 稳健的立体深度系统
US10928189B2 (en) 2013-04-15 2021-02-23 Microsoft Technology Licensing, Llc Intensity-modulated light pattern for active stereo
US10929658B2 (en) 2013-04-15 2021-02-23 Microsoft Technology Licensing, Llc Active stereo with adaptive support weights from a separate image
US10816331B2 (en) 2013-04-15 2020-10-27 Microsoft Technology Licensing, Llc Super-resolving depth map by moving pattern projector
CN105229411B (zh) * 2013-04-15 2019-09-03 微软技术许可有限责任公司 稳健的立体深度系统
US10268885B2 (en) 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
CN104702933A (zh) * 2013-11-12 2015-06-10 Lg电子株式会社 数字装置及其处理三维图像的方法
US9619885B2 (en) 2013-11-12 2017-04-11 Lg Electronics Inc. Digital device and method for processing three dimensional image thereof
CN106461783B (zh) * 2014-06-20 2019-10-25 高通股份有限公司 使用时间共享的自动的多个深度相机同步
CN106461783A (zh) * 2014-06-20 2017-02-22 高通股份有限公司 使用时间共享的自动的多个深度相机同步
US10419703B2 (en) 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
CN104567720A (zh) * 2015-01-12 2015-04-29 浙江大学 消除多台Kinect结构光深度摄像机相互干涉的装置
CN107709925B (zh) * 2015-03-27 2018-12-14 富士胶片株式会社 距离图像获取装置
CN107709925A (zh) * 2015-03-27 2018-02-16 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
CN107407559B (zh) * 2015-03-30 2019-10-18 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
CN107407559A (zh) * 2015-03-30 2017-11-28 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
CN106683130A (zh) * 2015-11-11 2017-05-17 杭州海康威视数字技术股份有限公司 一种深度图像获得方法及装置
CN106683130B (zh) * 2015-11-11 2020-04-10 杭州海康威视数字技术股份有限公司 一种深度图像获得方法及装置
CN107360415A (zh) * 2017-09-05 2017-11-17 信利光电股份有限公司 一种解决3d视觉设备之间相互干扰的方法及装置
CN109996057A (zh) * 2017-12-29 2019-07-09 技嘉科技股份有限公司 深度相机的控制方法及驱动装置
CN109996057B (zh) * 2017-12-29 2021-06-18 技嘉科技股份有限公司 深度相机的控制方法及驱动装置
CN108955641B (zh) * 2018-04-23 2020-11-17 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
CN108955641A (zh) * 2018-04-23 2018-12-07 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
CN110072044A (zh) * 2019-05-30 2019-07-30 Oppo广东移动通信有限公司 深度相机的控制方法及控制装置、终端及可读存储介质
CN114643580A (zh) * 2022-03-29 2022-06-21 杭州海康机器人技术有限公司 一种机器人控制方法、装置及设备
CN114643580B (zh) * 2022-03-29 2023-10-27 杭州海康机器人股份有限公司 一种机器人控制方法、装置及设备

Also Published As

Publication number Publication date
US20120194650A1 (en) 2012-08-02
US10049458B2 (en) 2018-08-14
US9247238B2 (en) 2016-01-26
CN102638692B (zh) 2015-05-20
US20160163054A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
CN102638692B (zh) 降低多个红外深度相机之间的干扰
US10499482B2 (en) Devices and methods for providing a distributed manifestation in an environment
US11778151B2 (en) Real-time mapping of projections onto moving 3D objects
KR101956810B1 (ko) 멀티 뷰 건축 조명 시스템
US10004984B2 (en) Interactive in-room show and game system
US10042244B2 (en) Performance system with multi-projection environment
CN103425354B (zh) 数据处理装置、显示装置以及数据处理装置的控制方法
CN105324995B (zh) 用于生成多投影图像的方法和系统
KR101248909B1 (ko) 3ｄ 정보 획득장치 및 이의 광원 구동방법, 그리고, 3ｄ 정보 획득 시스템
US20090134332A1 (en) Infrared Encoded Objects and Controls for Display Systems
EP3454098A1 (en) System with semi-transparent reflector for mixed/augmented reality
CN115967782A (zh) 背景显示设备、相机和显示虚拟背景的展示的方法
CN115966144A (zh) 背景显示设备
CN115966142A (zh) 背景显示设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150720

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150720

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.