CN102273191B - 门控3d照相机 - Google Patents

门控3d照相机 Download PDF

Info

Publication number
CN102273191B
CN102273191B CN201080004036.7A CN201080004036A CN102273191B CN 102273191 B CN102273191 B CN 102273191B CN 201080004036 A CN201080004036 A CN 201080004036A CN 102273191 B CN102273191 B CN 102273191B
Authority
CN
China
Prior art keywords
light source
camera
shutter
frequency spectrum
equal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080004036.7A
Other languages
English (en)
Other versions
CN102273191A (zh
Inventor
A·佩尔曼
A·I·桑德
G·叶海弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Microsoft Technology Licensing LLC
Original Assignee
3DV SYSTEMS (NL)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3DV SYSTEMS (NL) filed Critical 3DV SYSTEMS (NL)
Publication of CN102273191A publication Critical patent/CN102273191A/zh
Application granted granted Critical
Publication of CN102273191B publication Critical patent/CN102273191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Abstract

用于确定到场景的距离的照相机，该照相机包括：包括VCSEL的光源，所述光源可控制来用具有特征频谱的一串光脉冲照射该场景；光敏面；用于在该光敏面上对来自该光脉冲的由该场景反射的光进行成像的光学装置；以及可用于有选择地将该光敏面门控为对该频谱中的光打开和关闭的快门。

Description

门控3D照相机
技术领域
本发明技术涉及门控3D照相机以及用于使用门控3D照相机来获取场景的3D图像的方法和装置。
背景技术
在下文中被称为“3D照相机”的、能够提供到它们所成像的物体和物体上的点的距离测量的三维(3D)光学成像系统被用于许多不同的应用。在这些应用当中包括所制造的货物的轮廓检测、CAD验证、机器人视觉、地理调查和根据距离来有选择地对物体进行成像。
一些3D照相机向它们成像的场景中的物体的基本上所有的点提供同时测量。一般地，这些3D照相机包括被控制来提供用于照亮被成像的场景的光脉冲的光源和用于对来自光脉冲的从场景中的物体反射的光进行成像的门控成像系统，其中光源通常包括边缘发射激光二极管的阵列。门控成像系统包括具有光敏表面和门控装置的照相机，光敏表面在下文中被称为“光敏面”，例如CCD或CMOS光敏面，门控装置用于将照相机门控为打开和关闭，门控装置例如光学快门或门控图像增强器。仅当所反射的光在照相机被门控为打开的情况下到达照相机时，该所反射的光才被记录在照相机的光敏面的像素上。
为了对场景进行成像并确定从照相机到该场景中的物体的距离，光源一般地被控制为辐射出一串光脉冲以照射场景。对于该串中的每一所辐射的光脉冲，在从光脉冲被辐射的时刻开始的精确确定的延时之后，照相机在一段时间内被门控为打开，该段时间在下文中被称为“门”。如果来自光脉冲的从场景中的物体反射的光在门期间到达照相机，则它被成像在照相机的光敏面上。由于在辐射光脉冲和它随后的门之间的已消逝时间是已知的，所以被成像的光从光源传播到场景中的反射物体并回到照相机所需要的时间是可以知道的。所消逝的时间被用来确定到物体的距离。
在一些“门控”3D照相机中，仅使用在光脉冲和门之间的计时来确定从3D照相机到在该照相机的光敏面的像素上成像的场景中的点的距离。在其他“门控”3D照相机中，在照相机被门控为打开的时间期间由像素记录的光的量也被用来确定距离。用这些3D照相机进行的测量的精度是光脉冲的上升时间和下降时间以及它们的平坦度、以及照相机可以被门控为打开和关闭的速度的函数。
门控3D照相机和它们的用途的示例可见于欧洲专利EP1214609和美国专利US 6,057,909、US 6,091,905、US 6,100,517、US 6,327,073、US 6,331,911、US6,445,884和US 6,794,628，这些专利的公开内容通过引用合并于此。在以下文献中描述了使用脉冲照明源和门控成像系统的3D照相机：“S.Christie等人，Design andDevelopment of a Multi-detecting two Dimensional Ranging Sensor(多检测二维测距传感器的设计和开发”，Measurement Science and Technology(测量和科学与技术)6(1995年9月)，第1301-1308页；Yates等人，“Range-gated Imaging for NearField Target Identification(用于近场目标识别的距离门控成像)”，SPIE第2869卷，第374-385页，这些文献通过引用合并于此。在授予Medina的美国专利5,081,530中描述了另一3D照相机，该专利通过引用合并于此。在这一专利中描述的3D照相机记录在一对门中的每一个门期间到达照相机的成像系统的、从目标反射的光脉冲的能量。根据在两个门的每一个期间记录的能量的量之间的差与在两个门的每一个期间记录的能量的量的总和的比率来确定到目标的距离。
增强由3D照相机提供的测量精度的研究开发努力通常被投资在开发用于减少所发射的照射场景的光脉冲的上升时间、下降时间和宽度以及对应的门(在此期间对来自脉冲的从场景反射的光进行成像)的方法和设备中。
概述
本发明技术的一些实施方式的一个方面涉及提供改进的门控3D照相机。
本发明技术的一些实施方式的一个方面涉及提供具有用于定位由照相机成像的场景中的特征的改进的空间精度的门控3D照相机。
本发明技术的一些实施方式的一个方面涉及提供具有用于照射由照相机成像的场景的改进的光源的门控3D照相机。
本发明技术的一些实施方式的一个方面涉及提供具有光源与照相机快门的改进的匹配的门控3D照相机，该光源被用来照射由照相机成像的场景，该照相机快门对照相机光敏面进行门控，该照相机光敏面在其上对来自光源的由场景反射的光进行成像。
根据本发明技术的一些实施方式的一个方面，光源包括具有相对于典型的VCSEL结构而修改的、其特征为相对宽的激光腔的结构的VCSEL。
发明人已经确定，由门控3D照相机提供的距离的精度取决于照相机光源的频谱和照相机快门的对比率(CR)函数的卷积。对比率CR定义照相机快门的对比率相对于光学波长的依赖性。对于给定的波长，CR是在快门打开时在该波长处快门的相对高的透明度与在快门关闭时在该波长处快门的相对低的透明度之间的比率。快门可以实际上被用来遮蔽光的波长是其CR函数大于1且通常显著大于1的波长。对于一快门而言，CR大于1的波长的频段被称为该快门的“工作频段”。
对于光脉冲和门的给定的上升时间、下降时间和宽度，通过将快门CR函数与光源频谱相匹配以便使得CR函数和频谱的卷积最大化，可以有利地改进由3D门控照相机提供的距离测量的精度。一般地，将光源频谱与快门相匹配基本上会将该频谱置于快门的工作频段的中心。为便于呈现，在快门CR和光源频谱之间的卷积被称为对比亮度(CI)。归一化对比亮度(CIN)，即相对于由光源提供的光脉冲中的总的光能量来归一化的CI，被方便地用作在光源与快门之间的匹配的度量。
一般地，在光源被激活来照射由照相机成像的场景的时间段期间，相对于照相机的环境工作温度来生成门控3D照相机光源的温度的周期性短期变化。对于通常包括边缘发射激光二极管的常规门控3D照相机光源，温度变化引起光源频谱相对于照相机快门的CR函数的波长偏移。相对于快门的CR工作频段的频谱宽度通常使得波长偏移会造成频谱与CR函数基本上不对准，这减少了照相机的归一化对比亮度CIN并由此增加距离测量的偏移误差。
尽管其特征为相对窄的频谱的诸如垂直腔表面发光激光器(VCSEL)等常规光源是已知的，但这样的光源通常被用于诸如通信系统等低功率应用。它们一般不产生足够的光量来使它们有利地用于3D门控照相机。
然而，发明人已经确定，可以通过加宽其激光腔来修改VCSEL以便增加其光输出。尽管加宽VCSEL激光腔引起VCSEL频谱宽度增加，但该频谱通常基本上仍然比通常由常规的边缘发射激光二极管提供的频谱窄。此外，VCSEL的输出频谱在温度的每度变化下的波长偏移基本上小于常规的边缘发射激光二极管的输出频谱在温度的每度变化下的波长偏移。结果，根据本发明技术的一种实施方式的用于门控3D照相机的包括经修改的VCSEL的光源，提供该光源与照相机快门的相对改进的匹配。经修改的VCSEL光源得到相对大的并且对光源的温度变化相对不敏感的照相机CIN。在本发明技术的一种实施方式中，光源包括经修改的VCSEL的阵列。
因此，根据技术的一种实施方式，提供用于确定到场景的距离的照相机，该照相机包括：包括VCSEL的光源，所述光源可控制来用具有特征频谱的一串光脉冲来照射场景；光敏面；用于在光敏面上对来自光脉冲的由场景反射的光进行成像的光学装置；以及可用于有选择地将光敏面门控为对频谱中的光打开和关闭的快门。可选地，特征频谱具有等于或大于约1.5nm的FWHM宽度。可选地，特征频谱具有等于或大于约2.0nm的FWHM宽度。可选地，特征频谱具有等于或大于约2.5nm的FWHM宽度。
在本发明技术的一些实施方式中，VCSEL具有其特征为直径约等于或大于20微米的激光腔。在本发明技术的一些实施方式中，VCSEL具有其特征为直径约等于或大于25微米的激光腔。在本发明技术的一些实施方式中，对于在快门和光源之间的温度差异少于或等于约20℃的情况，快门CR和特征频谱的归一化卷积大于或等于约10。在本发明技术的一些实施方式中，对于在快门和光源之间的温度差异少于或等于约20℃的情况，快门CR和特征频谱的归一化卷积大于或等于约12。
在本发明技术的一些实施方式中，光源以约等于或大于12瓦特的功率水平工作来用光脉冲串照射场景。可选地，功率水平约等于或大于15瓦特。可选地，功率水平约等于或大于18瓦特。
附图简述
下面参考此处的附图描述本发明技术的各实施方式的非限制性示例，各图在这一段后面列出。出现在多于一个附图中的相同的结构、元素或部分一般地在它们在其中出现的所有附图中用相同的数字来标记。各附图中所示出的组件和功能部件的尺寸是出于呈现的方便和清晰起见而选择的，且并不一定按比例示出。
图1示意性地示出根据现有技术的用于确定到场景的距离的3D门控照相机；
图2示出根据现有技术的分别被包含在图1中示出的照相机中的快门和激光二极管光源的示意性CR函数和频谱的图；
图3示出根据现有技术的阐释3D照相机的门控的时间线的图；
图4示出根据现有技术的、阐释由光源的局部加热引起的、激光二极管光源的频谱相对于图1中所示出的快门的CR函数的波长偏移的图；
图5示出根据现有技术的由图1中所示出的照相机提供的到场景的距离测量的偏移误差的图；
图6示意性地示出根据本发明技术的一个实施方式的包括VCSEL光源的3D门控照相机；
图7示出根据本发明技术的一种实施方式的、阐释由光源的局部加热引起的、图6中所示出的照相机的VCSEL光源的频谱的波长偏移的图；
图8示出由根据本发明技术的一种实施方式的阐释由图6中所示出的照相机提供的对到场景的距离测量的偏移误差的改进的图。
详细描述
图1示意性地示出被用来获取具有由物体31和物体32示意性地表示的物体的场景30的3D图像的门控3D照相机20。
被非常示意性地表示的照相机20包括由透镜21表示的透镜系统和具有透镜系统在其上对场景进行成像的像素23的光敏面22。照相机包括用于将光敏面22门控为打开或关闭的快门25，快门可控制来有选择地具有低透射率或高透射率。在快门25对于其工作频段中的光具有低透射率且将光敏面22门控为关闭时，快门25被称为“关闭”，且在快门25对于其工作频段中的光具有高透射率且将光敏面22门控为打开时，快门25被称为“打开”。“门”是指如下时间段：在该时间段期间光敏面22被快门25门控为打开且光敏面接收到通过快门传送的光。
照相机20可选地包括光源26，光源26通常是可控制来用快门工作频段中的波长的一串所发射的光脉冲照射场景30的边缘发光激光二极管27的阵列。在图1中由帽形脉冲(hat pluse)41的串40来示意性地表示光脉冲串，其中每一脉冲与离开光源26的架空箭头相关联。可选地，快门工作频段是光的IR频段。控制器24控制光源26的脉冲化和快门25的操作以便对光敏面22进行门控。下面讨论光脉冲串40和光脉冲41在提供到场景30的距离测量的数据时的作用。
通常，在照相机20的操作期间，光源26被控制来用一串光脉冲40重复地照射场景30。在每一光脉冲串40期间，光源26生成热量并耗散在照相机中，且光源温度在最小温度和最大温度之间循环。因为热量生成和耗散的重复循环，快门25被加热到升高的工作温度，该升高的工作温度大于照相机环境的环境温度，且处于最小光源温度和最大光源温度之间。对于约30℃的环境温度，快门工作温度可以是约50℃，且在光脉冲串40的生成期间光源温度可以在低于快门工作温度约20℃到高于快门工作温度约20℃之间循环。
由于快门的工作频段和光源的频谱两者随它们操作的温度的变化而变化，所以在光脉冲串40期间，由于光源26的温度相对于快门25的工作温度而变化，因此来自光源的光频谱相对于CR发生波长偏移。结果，快门25和光源26的CIN在每一光脉冲串期间改变。为了使得照相机20可靠地工作，使得CIN最大化以及由光源26和快门25的工作温度的差异引起的CIN相对于其最大值的方差相对小是有利的。为达到这一目的，使光源和快门相匹配，以使得来自光源的光是在快门的工作频段的波长处，且一般地至少在光源加热循环的中间温度，照相机的CIN是最大值。而且，光源和快门通常从相同的半导体材料形成，使得它们具有相似的温度相关性。
附图2示出作为波长的函数的、用虚线示出的快门25的示意性对比率(即CR)函数70以及和用实线示出的包括边缘发射激光二极管27的光源26的频谱80的图60。假设快门25和激光二极管27两者由GaAs制成，且被匹配为可选地在以约50℃的相同温度操作时具有最大CIN。沿着图60的横坐标指示波长，且沿着该图的左边的纵坐标61指示CR的值。频谱80关于其最大值来归一化，且沿着该图的右边的纵坐标62指示频谱的相对值。快门CR 70和光源频谱80的在50℃C处的归一化对比亮度CIN等于约13.4。对于GaAs，通常，频谱80和CR函数70偏移约0.25nm/℃。
为了用图1中所示出的照相机20获取场景30的3D图像，控制器24控制光源26用一串40光脉冲41照射场景30，这些脉冲被假设为具有脉冲宽度τ。来自每一光脉冲41的光被场景中的一些特征反射，且所发射的光中的一些入射在照相机20上并被透镜21收集。在图1中以虚线示出且与指向照相机22的架空箭头相关联的帽形脉冲50示意性地表示来自所发射脉冲41的到达照相机20的反射光。跟随着至少一个光脉冲41中的每一个的发射，控制器24将快门25控制为在相对于发射光脉冲的时间的合适的时间将光敏面22门控打开，以便在光敏面光50上接收和成像来自所发射的光脉冲的被透镜21收集的反射光50。在照相机20的门期间在光敏面的像素23上成像的光50的量被用来确定到场景30的被成像在像素上的特征的距离，且由此提供该场景的3D图像。
在上面引用的专利中以及在PCT专利申请PCT/IL2007/001571中了描述对3D照相机进行门控并获取到场景30中的特征的距离的各种方法，PCT专利申请PCT/IL2007/001571的公开内容通过引用合并于此。附图3示出时间线101、102和103的图100，这些时间线阐释用一串40光脉冲41照射场景30且快门25根据相对简单的门控方案对光敏面22进行门控以获取到场景中的特征的距离。时间线101、102和103用图形示出快门25的门相对于由光源26辐射以便照射场景30的脉冲串40中的任意光脉冲41的辐射时间to的计时。单个光脉冲由带有沿着时间线101指向右侧的架空箭头的加阴影的帽形脉冲41表示。时间线102和103用图形示出快门25的门。通常对脉冲串40中的每一脉冲41重复图3中所阐释的门控轮廓(profile)。
令场景30中的被成像在光敏面22中对应的像素23(图1)上的给定特征位于距照相机20的距离Df处。由给定特征反射的来自所辐射的光脉冲41的光脉冲50中的光子首先在时刻tγ1(Df)到达照相机20，该时刻取决于距离Df。反射光脉冲50具有与所辐射的光脉冲41相同的宽度τ，且反射光脉冲50中的最后的光子在时刻tγ2(Df)＝tγ1(Df)+τ从给定特征到达照相机。反射光脉冲50沿着时间线101、102和103由以虚线示出的带有沿着时间线指向左侧的架空箭头的加阴影的帽形脉冲50表示。
沿着时间线102的帽形脉冲110示意性地表示门，在下文中称为“计时门110”，在该门期间，控制器24(图1)将快门25控制为将光敏面22门控为打开并记录到达照相机20的光。计时门110可选地相对短且具有等于τ的门宽度，在to后的时刻tgs开始且在时刻tge＝(tgs+τ)结束。为方便清晰地示出在反射脉冲50和计时门110之间的时间关系，沿着时间线102示出反射脉冲50。反射脉冲50与计时门110在门的部分时间T期间重叠。假设在时间T期间，对给定特征进行成像的像素23(图1)响应于来自给定特征的入射到该像素上的光而记录了电荷量“Q”。还假设如果反射脉冲50在时间上与门110一致(即，如果反射脉冲中的最先的光子和最后的光子分别在时刻tgs和tge到达照相机20)，则对给定特征进行成像的像素将记录光的总量“Qo”。然后，T＝τQ/Qo且如果c表示光的速度，则该特征距照相机20的距离Df可以由以下表达式给出：：
Df＝(c/2)[tgs-(τ)(1-Q/Qo)]如果tgs≤tγ2(Df)≤tge；以及(1)
Df＝(c/2)[tgs+(τ)(1-Q/Qo)]如果tgs≤tγ1(Df)≤tge。    (2)
从等式(1)和等式(2)，应注意，对于分别具有开始时间tgs和结束时间tge的门100，提供场景30中的位于该场景的“成像片”中的特征的距离，该“成像片”宽度为cτ且以距照相机20的距离(c/2)tgs处为中心。
为便于呈现，令成像片的中心的距离(c/2)tgs由“DC”表示，且在等式(1)和等式(2)中被加到DC或从DC减去以提供特征的Df的距离(c/2)tgs(1-Q/Qo)由ΔDf表示。那么，等式(1)和等式(2)可以写成：
Df＝DC-ΔDf如果tgs≤tγ2(Df)≤tge；以及                  (3)
Df＝DC+ΔDf如果tgs≤tγ1(Df)≤tge。                      (4)
可选地，通过将照相机20在相对长的门期间门控为打开来确定Qo，该相对长的门在下文中称为“归一化门”并由沿着时间线103的帽形脉冲112来表示。门112可选地具有等于3τ的门宽度且在光脉冲的串40中的脉冲41的发射时间to之后的时刻(tgs-τ)开始。确定归一化门的宽度和计时，使得对于在计时门10期间在光敏面22的像素上记录场景30中的每一特征的光，归一化门112将提供Qo的值。沿着时间线103示出由在距照相机20的距离Df处的给定特征反射的反射脉冲50，以便示出该反射脉冲与归一化门112的相对计时。反射脉冲完全落在归一化门112的时间界限内，且反射脉冲中的所有光都被像素记录，并提供Qo的度量。应注意，响应于辐射不同的光脉冲的时刻，照相机20可以在计时门100和归一化门112期间被门控为打开，并且因而记录来自不同的反射光脉冲50的光。
存在用于确定对给定的反射脉冲50应用等式(1)还是等式(2)的各种方式。例如，计时门110可以可选地被分成两个连续的门，即“前”门和“后”门，这两个连续的门中的每一个都具有等于τ/2的门宽度。如果在前门或后门期间像素记录了较大的光量，则对于场景30中的在像素上成像的特征，分别适用等式(1)或等式(2)。
等式(1)和等式(2)假设由光源26提供的光的CR是无限的，且在快门25关闭时，来自光源26的光不通过快门发射到光敏面22。然而，如以上所描述的且如图2中所示出的，快门25的CR是有限的，且作为示例，在图2中，CR具有约16的最大值。结果，来自场景30中的特征的、当快门关闭时到达照相机20的反射光脉冲50的光通过快门泄露，且“污染”由光敏面22中的对该特征进行成像的像素所记录的Q值。该污染一般地在由等式(1)或等式(2)确定的特征的距离Df中生成误差，且该误差随着CR降低而增加。
例如，如上面所提到的，(τ)Q/Qo是重叠时间T的持续时间，在此期间，来自场景30中的给定特征的反射脉冲50中的光子在计时门110期间到达照相机20，且快门25具有最大的透明度。时间段(τ)(1-Q/Qo)因此是在快门25关闭且快门将透明度从最大值按因子1/CR来减小时来自反射脉冲的光子到达照相机的时刻的持续时间。
令在计时门110期间用来自脉冲50的光对给定特征进行成像的像素23所收集的光的总量由Q*表示。Q*可以根据以下表达式相当精确地估计
Q*＝Q+[Qo/CIN](1-Q/Qo)，                        (5)
其中CIN是快门25的CR和反射光脉冲50频谱的归一化对比亮度CI。
令Df *表示使用由对给定特征进行成像的像素记录的光的量Q*来确定的给定特征的距离。那么，等式(1)和等式(2)给出
Df *＝(c/2)[tgs-(τ)(1-[Q+[Qo/CIN](1-Q/Qo)]/Qo)]如果tgs≤tγ2≤tge；(6)
以及
Df *＝(c/2)[tgs+(τ)(1-[Q+[Qo/CIN](1-Q/Qo)]/Qo)]如果tgs≤tγ1≤tge。(7)
或者
Df *＝DC-ΔDf+(c/2)(τ)(1-Q/Qo)/CIN)]如果tgs≤tγ2≤tge；以及       (8)
Df *＝DC+ΔDf-(c/2)(τ)(1-Q/Qo)/CIN)]如果tgs≤tγ1≤tge。           (9)
等式(8)和等式(9)指示，对于与计时门110相关联的成像片中的特征，从由对给定特征进行成像的像素23记录的电荷确定的到该给定特征的距离被错误地向成像片的中心偏移了偏移误差“δD”，“δD”量级为
δD＝(c/2)(τ)/CIN)(1-Q/Qo)，                                      (10)
在等式(10)中，Q是在快门25的CR等于无穷大时将由对特征进行成像的像素记录的电荷的量。
尽管对于有限的CR且因此对于有限的CIN，一般地可以修正所确定的距离Df *，但难以精确地做出这样的修正，这是因为，如上面所提到的，在光源26辐射一串40(图1)光脉冲41时，光源经历它辐射的每一脉冲的局部循环加热。局部加热产生在光源26工作的温度和快门25操作的工作温度之间的循环温度差异。该温度差异可以高达20℃。结果，在照相机20工作以判断到场景30中的特征的距离期间，图2中示出的频谱80可以偏移高达5nm。因温度差异产生的偏移可以导致快门25的CIN的显著减小和偏移误差δD的伴随的增加。
作为示例，附图4示出图120，图120示出图60(附图2)中所示出的在50℃的工作温度操作的照相机20的快门25的CR函数70和光源的频谱80，以及因光源的操作所导致的局部加热而偏移的光源的频谱81和频谱82。频谱81和82被假设为分别在30℃和70℃的温度下占优。从图120中，通过注意到频谱曲线81和82与CR曲线70重叠的量，可以容易地看出频谱81和82的CIN相对于最大CIN显著减少，最大CIN发生在频谱80。频谱80、81和82的CIN分别具有等于约13.4、6和5的值。
附图5示出到场景30的给定特征的距离的偏移误差δD的图130，该图130可以是在假定CIN等于约6时生成的，该CIN即在光源26和快门25之间的温度差异等于约20℃发生的CIN。图130假设光脉冲41(附图1和附图3)的脉冲宽度τ等于10ns且门110(附图3)的门宽度等于脉冲宽度。场景30的成像片因此具有等于约2.7m的宽度。在图130中，曲线131将δD示出为距成像片的中心的位移ΔDf的函数。从该图中，可以看出，对于成像片的中心处的特征，误差偏置δD基本上等于0，误差偏置δD随着离开片中心的距离增大而线性增加，且等于ΔDf的约17％。
根据本发明技术的一种实施方式，门控3D照相机包括具有VCSEL阵列的光源，该官员提供光源与照相机快门的改进匹配并降低了δD。VCSEL具有相比于激光二极管的频谱对温度变化基本上较不敏感的相对窄的频谱。典型的边缘发射激光二极管可以具有大约4nm(FWHM)宽的频谱，且如上面所提到的，可以显示出约0.25nm/℃的频谱偏移。另一方面，典型的VCSEL通常具有在约0.5nm和1nm宽之间的、约0.07nm/℃偏移的频谱。然而，通常被用于相对低的能量的通信应用的VCSEL一般地不提供足够的光学能量来用于门控3D照相机的光源。
根据本发明技术的一种实施方式，修改光源中的VCSEL以便通过加宽它们的激光腔来增加它们的光学能量输出。然而，加宽VCSEL的激光腔引起VCSEL的频谱宽度增加，但该频谱一般地仍然基本上窄于通常由常规的边缘发射激光二极管提供的频谱。结果，根据本发明技术的一种实施方式的光源中的经修改的VCSEL，提供足够的功率来有利地用于门控3D照相机和对照相机快门的改进匹配两者。
常规的VCSEL通常具有直径约等于或少于15微米的激光腔横截面。可选地，根据本发明技术的一种实施方式的门控3D照相机光源中的VCSELS包括具有其特征为宽度(例如直径)大于或约等于20微米的横截面的相对大的激光腔。可选地，VCSEL激光腔宽度大于或约等于25微米。可选地，频谱宽大于或约等于2.5nm。在本发明技术的一些实施方式中，频谱宽度大于或约等于3nm。
图6示意性地示出根据本发明技术的一种实施方式的具有包括VCSEL 227的光源226的门控3D照相机220。作为示例，除了光源226包括VCSEL 227而非激光二极管27之外，门控3D照相机220类似于图1中所示出的门控3D照相机220。VCSEL 227具有其特征为可选地圆形的、直径等于约20微米的横截面的相对大的激光腔。可选地，VCSEL可用于生成其特征为具有在约2.5nm到约3nm之间的FWHM、在50℃下操作时以约855nm的波长为中心的频谱的IR光。
在光源226中，作为示例，VCSELS 227被配置在间距约55微米的16行和16列的矩形阵列中，该阵列被安装到合适的散热封装228上。本领域中已知的各种封装中的任何一种都可以是适合的并用于本发明技术的实践中，以便耗散由VCSEL 227在它们的操作期间生成的热量。发明人已经确定包括VCSEL 227和合适的散热封装228的光源226可以在约等于或大于12瓦特的功率水平操作，以生成适于照射场景以便确定到场景的距离的一串光脉冲。在本发明技术的一些实施方式中，照相机被配置为使得光源可以在约等于或大于15瓦特的功率水平操作。在本发明技术的一些实施方式中，功率水平约等于或大于18瓦特。
对于在光源操作以便提供一串光脉冲期间产生的光源226与快门25之间的温度差异，由光源提供的光的频谱展示出相对小的波长偏移和相对大的CIN值。结果，根据本发明技术的一种实施方式，照相机220可以提供具有基本上小于图4中所示出的照相机20(图1)的偏移误差的偏移误差的场景的距离测量。
附图7示出图250，图250是由GaAs形成的VCSEL 227在温度为30℃、50℃和70℃处的频谱251、频谱252和频谱253以及附图4的图120中所示出的快门25在50℃处的CR曲线70的图。从图250可以看出，对于在光源的操作期间在光源226和快门25之间可以产生的20℃的温度差异，频谱以相对于CR曲线70的相对小的量来偏移。假定对于VCSEL 227(图6)的工作温度中的每一摄氏度，VCSEL频谱偏移0.07nm，频谱251和频谱253相对于CR曲线70偏移约1.4nm。光源226所展示出来的频谱251和频谱253相对于CR曲线70的偏移基本上小于附图4中所示出的光源26的频谱81和频谱82在相同的温度差异下分别展示出来的那些偏移。VCSEL 227的经偏移的频谱251和频谱253与CR曲线70的CIN值也显著大于激光二极管光源26的对应的频谱80和频谱82与CR曲线的那些CIN值。
光源226的频谱251、252和253与CR曲线70的CIN值被估计为分别约等于12.5、13.8和12.7。相比于在快门25为约50℃时激光二极管光源26在温度约30℃或约70℃处的那些CIN值，在快门25为约50℃时VCSEL光源226在约30℃或约70℃处的CIN值要大上约大于2的因子。VCSEL光源频谱251和253分别相对于激光二极管光源频谱81和82的CIN值的比率是大的，这是因为VCSEL频谱相对窄，且对于相对于快门25的温度的相同的温度差异，它们以基本上小于激光二极管的频谱的量来偏移。
图8示出根据本发明技术的一种实施方式的可以由VCSEL光源226和照相机220提供的对偏移误差δD的有利改进。附图8示出根据本发明技术的一个实施方式的图260，图260等于图5中示出的图130加上将δD示出为包括VCSEL光源226的3D照相机220的ΔDf的函数的δD曲线261。曲线261假设在VCSEL光源226和快门25之间的20℃的相同的温度差异，对在激光二极管光源26和快门25之间的δD曲线131也是这样假设。图260示出3D照相机220的δD基本上小于3D照相机20的δD，且约为3D照相机20的δD一半。根据本发明技术的一种实施方式，尽管对于激光二极管光源26和照相机20，偏移误差δD等于ΔDf的约17％，但对于VCSEL光源226和照相机220，偏移误差减少约1/2且等于ΔDf的约8％。
在本申请的说明书以及权利要求书中，词语“包含”、“包括”和“具有”中的每一个及其各个形式都不一定限于与该词语相关联的列表中的成员。
已经使用本发明实施例的各种详细描述来描述了本发明技术，这些实施例是以示例的形式来提供的并且不旨在限制本发明技术的范围。所描述的实施例可包括不同特征，并非所有特征都是本发明技术的所有实施例所需的。本发明技术的一些实施例只利用这些特征中的一些或这些特征的可能组合。本领域的技术人员会想到所描述的本发明技术的各实施例的变型以及本发明技术包括在所描述的各实施例中记录的特征的不同组合的各实施例。本发明技术的范围旨在只由权利要求书来限定，并且权利要求书旨在被解释成包括所有这样的变型和组合。

Claims (15)

1.一种用于确定到场景的距离的照相机，所述照相机包括：
包括至少一个垂直腔表面发光激光器的光源，所述光源可控制来用具有特征频谱的一串光脉冲照射所述场景；
光敏面；
用于在所述光敏面上对来自所述光脉冲的由所述场景反射的光进行成像的光学装置；以及
可用于有选择地将所述光敏面门控为对所述频谱中的光打开和关闭的快门；
其中，对于在所述快门和光源之间的少于或等于20℃的温度差异，快门对比率CR和特征频谱的归一化卷积大于或等于10。
2.如权利要求1所述的照相机，其特征在于，所述光源具有带有等于或大于1.5nm的FWHM宽度的特征频谱。
3.如权利要求1所述的照相机，其特征在于，所述特征频谱具有等于或大于2.0nm的FWHM宽度。
4.如权利要求1所述的照相机，其特征在于，所述特征频谱具有等于或大于2.5nm的FWHM宽度。
5.如权利要求1所述的照相机，其特征在于，所述垂直腔表面发光激光器具有其特征为直径等于或大于20微米的激光腔。
6.如权利要求1所述的照相机，其特征在于，所述垂直腔表面发光激光器具有其特征为直径等于或大于25微米的激光腔。
7.如权利要求1所述的照相机，其特征在于，对于在所述快门和光源之间的少于或等于20℃的温度差异，快门对比率CR和特征频谱的归一化卷积大于或等于12。
8.如权利要求1所述的照相机，其特征在于，所述光源以等于或大于12瓦特的功率水平操作以便用所述光脉冲串照射所述场景。
9.如权利要求8所述的照相机，其特征在于，所述功率水平等于或大于15瓦特。
10.如权利要求8所述的照相机，其特征在于，所述功率水平等于或大于18瓦特。
11.一种用于确定到场景的距离的装置，所述装置包括：
具有垂直腔表面发光激光器阵列的光源，所述光源提供所述光源与快门的改进匹配并减小偏移误差，所述光源可控制来用具有特征频谱的一串光脉冲照射所述场景；
光敏面；
用于在所述光敏面上对来自所述光脉冲的由所述场景反射的光进行成像的透镜系统；以及
可用于有选择地将所述光敏面门控为对所述频谱中的光打开和关闭的快门；
其中，对于在所述快门和光源之间的少于或等于20℃的温度差异，快门对比率CR和特征频谱的归一化卷积大于或等于10。
12.如权利要求11所述的装置，其特征在于，所述光源具有带有等于或大于1.5nm的FWHM宽度的特征频谱。
13.如权利要求12所述的装置，其特征在于，所述垂直腔表面发光激光器具有其特征为直径等于或大于20微米的激光腔。
14.如权利要求11所述的装置，其特征在于，所述光源以等于或大于12瓦特的功率水平操作以便用所述光脉冲串照射所述场景。
15.一种用于确定到场景的距离的照相机，所述照相机包括：
具有垂直腔表面发光激光器阵列的光源，所述光源提供所述光源与快门的改进匹配，所述光源可控制来用具有特征频谱的一串光脉冲照射所述场景，所述光源具有带有等于或大于1.5nm的FWHM宽度的特征频谱以及其特征为直径等于或大于20微米的激光腔；
被耦合到所述光源的控制器；
包括CCD或CMOS光敏表面在内的光敏面；
用于在所述光敏面上对来自所述光脉冲的由所述场景反射的光进行成像的透镜系统；以及
可用于有选择地将所述光敏面门控为对所述频谱中的光打开和关闭的快门；
其中，对于在所述快门和光源之间的少于或等于20℃的温度差异，快门对比率CR和特征频谱的归一化卷积大于或等于10。
CN201080004036.7A 2009-01-04 2010-01-04 门控3d照相机 Active CN102273191B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14236109P 2009-01-04 2009-01-04
US61/142,361 2009-01-04
US12/651,022 2009-12-31
US12/651,022 US8681321B2 (en) 2009-01-04 2009-12-31 Gated 3D camera
PCT/IB2010/000002 WO2010076775A2 (en) 2009-01-04 2010-01-04 Gated 3d camera

Publications (2)

Publication Number Publication Date
CN102273191A CN102273191A (zh) 2011-12-07
CN102273191B true CN102273191B (zh) 2014-03-26

Family

ID=42310281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080004036.7A Active CN102273191B (zh) 2009-01-04 2010-01-04 门控3d照相机

Country Status (8)

Country Link
US (2) US8681321B2 (zh)
EP (1) EP2374282A4 (zh)
JP (1) JP5555256B2 (zh)
KR (1) KR101645054B1 (zh)
CN (1) CN102273191B (zh)
BR (1) BRPI1006121A2 (zh)
RU (1) RU2534933C2 (zh)
WO (1) WO2010076775A2 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8681321B2 (en) 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
US20120154535A1 (en) * 2010-12-15 2012-06-21 Microsoft Corporation Capturing gated and ungated light in the same frame on the same photosurface
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
US20130235160A1 (en) * 2012-03-06 2013-09-12 Microsoft Corporation Optical pulse shaping
KR101412892B1 (ko) 2012-05-16 2014-06-26 삼성전기주식회사 거리 측정 장치 및 방법
JP2014174136A (ja) * 2013-03-13 2014-09-22 Panasonic Corp 受光装置、空間情報検出装置
US20150260830A1 (en) * 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
US9568604B2 (en) * 2014-06-04 2017-02-14 Apple Inc. Optically gated detector arrangement
US9945936B2 (en) 2015-05-27 2018-04-17 Microsoft Technology Licensing, Llc Reduction in camera to camera interference in depth measurements using spread spectrum
JP6849371B2 (ja) 2015-10-08 2021-03-24 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 側面発光レーザ光源、及びそれを含む三次元映像取得装置
KR102496479B1 (ko) 2015-10-22 2023-02-06 삼성전자주식회사 3차원 카메라와 투과도 측정방법
KR102372087B1 (ko) 2015-10-28 2022-03-08 삼성전자주식회사 깊이 영상 촬영장치 및 방법
US11300666B2 (en) 2016-04-13 2022-04-12 Oulun Yliopisto Distance measuring device and transmitter, receiver and method thereof
US10386486B2 (en) * 2016-06-21 2019-08-20 Microsoft Technology Licensing, Llc Systems and methods for time of flight laser pulse engineering
US20180100928A1 (en) * 2016-10-09 2018-04-12 Innoviz Technologies Ltd. Methods circuits devices assemblies systems and functionally associated machine executable code for active scene scanning
US10718923B2 (en) * 2016-11-10 2020-07-21 Ams Sensors Singapore Pte. Ltd. Thermally tunable optoelectronic modules
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10721393B2 (en) 2017-12-29 2020-07-21 Axis Ab Laser ranging and illumination
WO2019228097A1 (zh) 2018-05-29 2019-12-05 Oppo广东移动通信有限公司 验证系统、电子装置、验证方法、计算机可读存储介质及计算机设备
JP7130544B2 (ja) * 2018-12-20 2022-09-05 三星電子株式会社 ３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラム
CN113126105A (zh) * 2019-12-30 2021-07-16 睿镞科技(北京)有限责任公司 三维测距方法和装置
CN114567772A (zh) * 2022-02-23 2022-05-31 西北核技术研究所 一种像增强器光学门控时间特性的测量方法及测量系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169797A1 (en) * 2002-03-07 2003-09-11 Aldaz Rafael I. Monolithically integrated mode-locked vertical cavity surface emitting laser (vcsel)
US20040013157A1 (en) * 2002-07-18 2004-01-22 Hongyu Deng High power single mode vertical cavity surface emitting laser
US20060244809A1 (en) * 2005-04-28 2006-11-02 Canon Kabushiki Kaisha Optical scanning apparatus and image-forming apparatus using the same
US20070091175A1 (en) * 1998-09-28 2007-04-26 3Dv Systems Ltd. 3D Vision On A Chip

Family Cites Families (193)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5081530A (en) 1987-06-26 1992-01-14 Antonio Medina Three dimensional camera and range finder
US5054891A (en) 1988-04-15 1991-10-08 Casio Computer Co., Ltd. Liquid crystal shutter with substrates having an optical anisotropy caused by temperature gradient
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US6736321B2 (en) 1995-12-18 2004-05-18 Metrologic Instruments, Inc. Planar laser illumination and imaging (PLIIM) system employing wavefront control methods for reducing the power of speckle-pattern noise digital images acquired by said system
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5563710A (en) 1994-10-28 1996-10-08 The Schepens Eye Research Institute, Inc. Imaging system with confocally self-detecting laser
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
AU6135996A (en) 1995-06-22 1997-01-22 3Dv Systems Ltd. Improved optical ranging camera
US6445884B1 (en) 1995-06-22 2002-09-03 3Dv Systems, Ltd. Camera with through-the-lens lighting
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
EP0970502A1 (en) 1997-03-07 2000-01-12 3DV Systems Ltd. Optical shutter
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US5877851A (en) * 1997-09-24 1999-03-02 The United States Of America As Represented By The Secretary Of The Army Scannerless ladar architecture employing focal plane detector arrays and FM-CW ranging theory
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
EP1055146B1 (en) 1998-02-08 2003-01-22 3DV Ltd. Large aperture optical image shutter
US6117699A (en) * 1998-04-10 2000-09-12 Hewlett-Packard Company Monolithic multiple wavelength VCSEL array
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6327293B1 (en) * 1998-08-12 2001-12-04 Coherent, Inc. Optically-pumped external-mirror vertical-cavity semiconductor-laser
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
JP4157223B2 (ja) 1999-04-13 2008-10-01 Ｈｏｙａ株式会社 ３次元画像入力装置
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
ATE285079T1 (de) 1999-09-08 2005-01-15 3Dv Systems Ltd 3d- bilderzeugungssystem
FR2857756B1 (fr) 1999-11-16 2008-07-11 Onera (Off Nat Aerospatiale) Dispositif d'imagerie et/ou de mesure a distance, de type ladar
US6794628B2 (en) 2000-01-03 2004-09-21 3Dv Systems, Ltd. Solid state optical shutter
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
JP3448281B2 (ja) * 2001-02-05 2003-09-22 三菱重工業株式会社 レーザレーダ装置及びこれを用いる撮像方法
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
DE10124160B4 (de) 2001-05-17 2006-04-06 Sick Ag Verfahren zur Erzeugung eines entfernungsauflösenden Bildes und optoelektronischer Sensor
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
JP4339693B2 (ja) 2002-02-14 2009-10-07 ダンマークス テクニスク ユニバーシテット 光学変位センサ
AU2003225029A1 (en) * 2002-04-15 2003-11-03 Toolz, Ltd. Distance measurement device
AU2003212211A1 (en) 2002-04-19 2003-11-03 Iee International Electronics And Engineering S.A. Safety device for a vehicle
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
JP4255763B2 (ja) * 2003-06-30 2009-04-15 株式会社半導体エネルギー研究所 撮像装置
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
JP4590914B2 (ja) 2004-04-21 2010-12-01 ブラザー工業株式会社 画像表示装置
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
EP1622200A1 (en) * 2004-07-26 2006-02-01 CSEM Centre Suisse d'Electronique et de Microtechnique SA Solid-state photodetector pixel and photodetecting method
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074290A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Optical flow based tilt sensor
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
EP3693889A3 (en) 2005-01-07 2020-10-28 QUALCOMM Incorporated Detecting and tracking objects in images
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
EP1851727A4 (en) 2005-02-23 2008-12-03 Craig Summers AUTOMATIC SCENES MODELING FOR 3D CAMERA AND 3D VIDEO
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
US7282691B2 (en) * 2005-04-13 2007-10-16 Clifton Labs, Inc. Method for determining wavelengths of light incident on a photodetector
US7560679B1 (en) 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
US7389591B2 (en) 2005-05-17 2008-06-24 Gesturetek, Inc. Orientation-sensitive signal output
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7511800B2 (en) 2005-11-28 2009-03-31 Robert Bosch Company Limited Distance measurement device with short range optics
US7738795B2 (en) 2006-03-02 2010-06-15 Finisar Corporation VCSEL with integrated optical filter
DE502006005461D1 (de) * 2006-07-04 2010-01-07 Pepperl & Fuchs Verfahren und Vorrichtung zur optoelektronischen berührungslosen Distanzmessung nach dem Laufzeitprinzip
WO2008005516A2 (en) * 2006-07-06 2008-01-10 Canesta, Inc. Method and system for fast calibration of three-dimensional (3d) sensors
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
CN102099703A (zh) 2007-12-19 2011-06-15 微软国际控股私有有限公司 3d照相机及其选通方法
JP2009204691A (ja) * 2008-02-26 2009-09-10 Toyota Central R&D Labs Inc 光走査装置、レーザレーダ装置、及び光走査方法
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8681321B2 (en) 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070091175A1 (en) * 1998-09-28 2007-04-26 3Dv Systems Ltd. 3D Vision On A Chip
US20030169797A1 (en) * 2002-03-07 2003-09-11 Aldaz Rafael I. Monolithically integrated mode-locked vertical cavity surface emitting laser (vcsel)
US20040013157A1 (en) * 2002-07-18 2004-01-22 Hongyu Deng High power single mode vertical cavity surface emitting laser
US20060244809A1 (en) * 2005-04-28 2006-11-02 Canon Kabushiki Kaisha Optical scanning apparatus and image-forming apparatus using the same

Also Published As

Publication number Publication date
US20100171813A1 (en) 2010-07-08
RU2011127188A (ru) 2013-01-10
JP5555256B2 (ja) 2014-07-23
WO2010076775A2 (en) 2010-07-08
CN102273191A (zh) 2011-12-07
US9641825B2 (en) 2017-05-02
RU2534933C2 (ru) 2014-12-10
KR101645054B1 (ko) 2016-08-02
KR20110112813A (ko) 2011-10-13
WO2010076775A3 (en) 2010-09-30
JP2012514884A (ja) 2012-06-28
US20140160254A1 (en) 2014-06-12
BRPI1006121A2 (pt) 2016-06-28
EP2374282A4 (en) 2014-04-16
EP2374282A2 (en) 2011-10-12
US8681321B2 (en) 2014-03-25

Similar Documents

Publication Publication Date Title
CN102273191B (zh) 门控3d照相机
JP6882461B2 (ja) 飛行時間深度測定のためのリアルタイム較正
US10063844B2 (en) Determining distances by probabilistic time of flight imaging
US8451450B2 (en) Near real time optical phase conjugation
US8797512B2 (en) Automatic range corrected flash ladar camera
JP5512675B2 (ja) ローリングカメラシステム
CN104470757A (zh) 立体选通成像系统和方法
CN102265125A (zh) 具有杂散辐射屏蔽的非接触式医用温度计
TWI741098B (zh) 點形狀檢測裝置
Brahm et al. Non-destructive 3D shape measurement of transparent and black objects with thermal fringes
TWI617221B (zh) 具有光學切換器之用於返回射束度量的系統與方法
CN102099703A (zh) 3d照相机及其选通方法
WO2005071941A3 (en) Iiilumination method and apparatus
CN106454334B (zh) 一种x射线分幅相机曝光时间的测量装置
KR20200077208A (ko) 3차원 거리측정 카메라
EP3204730B1 (en) Optical position encoder
KR20200083037A (ko) 열화상 장치
US10317285B2 (en) System and method for measuring optical resolution with an optical resolution target assembly
KR20210122190A (ko) 온도 측정 장치 및 이를 이용한 사물의 온도 측정 방법
US20090014656A1 (en) Wavelength-conversion system with a heated or cooled wavelength-conversion target
US20230071288A1 (en) Method and apparatus for contactless measuring of an object surface
Kujime et al. Method to Form Uniform Aerial Thermal Image
JP2015226078A (ja) 撮像装置
CN114353689A (zh) 一种基于双目单探测器的水下三维成像系统
Kholopov et al. Radiometric unit for collimators used to reproduce differential radiances and differential radiation temperatures

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191022

Address after: Washington State

Patentee after: MICROSOFT TECHNOLOGY LICENSING, LLC

Address before: Washington State

Patentee before: Microsoft Corp.

Effective date of registration: 20191022

Address after: Washington State

Patentee after: Microsoft Corp.

Address before: Amsterdam, The Netherlands

Patentee before: MICROSOFT INTERNATIONAL HOLDINGS B.V.