CN101305401A - 用于游戏的立体视频 - Google Patents

用于游戏的立体视频 Download PDF

Info

Publication number
CN101305401A
CN101305401A CNA2006800422346A CN200680042234A CN101305401A CN 101305401 A CN101305401 A CN 101305401A CN A2006800422346 A CNA2006800422346 A CN A2006800422346A CN 200680042234 A CN200680042234 A CN 200680042234A CN 101305401 A CN101305401 A CN 101305401A
Authority
CN
China
Prior art keywords
computer
readable medium
pixel
image
physical object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800422346A
Other languages
English (en)
Other versions
CN101305401B (zh
Inventor
T·K·加尔皮特
A·布雷克
R·赫伯齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN101305401A publication Critical patent/CN101305401A/zh
Application granted granted Critical
Publication of CN101305401B publication Critical patent/CN101305401B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

接收具有物理前景对象和物理背景的捕捉场景的实时立体视频信号。以实时方式，对实时立体视频信号使用前景/背景分离算法以标识来自立体视频信号的表示物理前景对象的像素。通过基于所标识的物理前景对象的像素渲染3d虚拟现实来产生视频序列。

Description

用于游戏的立体视频
背景
三维(3d)图形，尤其是模拟3d领域或世界，有时被称为3d虚拟现实，它是周知的计算机图形领域，一般涉及在3d坐标空间中渲染3d模型和景物的二维图象。大多数现代游戏控制台专门设计成能够实时处理3d图形，并且游戏控制台的许多游戏基于模拟3d或虚拟现实。
游戏控制台通常使用游戏控制器如操纵杆、按钮手柄等等来操作。对于许多玩家，在能熟练使用游戏控制之前必须花费大量时间。由于缺乏灵巧性，许多人不经常使用游戏控制台。尽管游戏控制台已经变得强大并且可以处理来自用户的高级控制输入，但难以提供使用典型的游戏控制器如触摸板、操纵杆、鼠标等来提供高级控制输入。而且，游戏控制器常常不能以符合用户思维模型或对游戏的直观理解的方式物理地进行操作。换言之，3d游戏可包括使游戏角色(avatar)跑、跳、持有不同的对象、射击、闪避等等，并且有可能同时进行。然而，游戏控制器通常一次只输出一个或少量输入信号，并且双手在同时控制不同类型的动作如同时移动游戏角色、拾取对象、瞄准等时不太有效率。
游戏控制台在它们所显示的图像类型方面也受到限制。通常，由游戏控制台显示的图形是由游戏在内部生成的或者预先提供的。例如，用于使子图形(sprite)动起来的图象可以是游戏的嵌入内容或程序数据的一部分。对象的实时捕捉视频还没有被插入或映射到3d虚拟现实中。
概述
包括下面的概述以介绍下面详细描述中讨论的一些概念。本发明内容不是全面的并且不是要描绘由所附权利要求书阐述的要求保护主题的范围。
接收具有物理前景对象和物理背景的捕捉场景的实时立体视频信号。以实时方式，对实时立体视频信号使用前景/背景分离算法以标识来自立体视频信号中表示物理对象的像素。通过基于所标识的物理前景对象的像素渲染3d虚拟现实来产生视频序列。
通过结合附图考虑下面的详细描述，将更容易地了解许多伴随的特征。
附图简述
在附图中相同的标号用于指示相同的部件。
图1示出连接到游戏控制台的立体照相机。
图2示出被配置为结合立体照相机操作的游戏控制台的高级系统图。
图3示出游戏控制台的示例。
图4示出另一示例游戏控制台。
图5示出设备驱动程序如何从立体视频信号中提取有关场景的信息。
图6示出如何结合游戏和VR引擎使用立体导出的对象信息。
图7示出如何使用基于立体的前景/背景分离来控制3d游戏中的模型或游戏角色的示例。
图8示出用于使用立体前景/背景分离来识别控制游戏的姿势的过程。
图9示出将前景对象的分离图象映射到随后进行渲染和显示的模型的示例。
图10示出如何对3d游戏使用基于立体的对象识别。
详细描述
用于处理立体视频数据的立体照相机和算法已经发展到有可能可靠地实时获得有关所捕捉对象的某些图象信息的阶段。可参考许多出版物。例如，“Bi-layer segmentation of binocular stereo video(双目立体视频的双层分割)”(Vladimir Kolmogorov，Antonio Criminisi，Andrew Blake，Geoffrey Cross，Carsten Rother，2005年，美国加利福尼亚圣迭戈，Proc.IEEE Computer Vision andPattern Recognition(IEEE计算机视觉和模式识别会刊))讨论通过将颜色/对比度分析与立体模式匹配相融合来将前景对象从其背景分离的技术。有关基本立体匹配，还可参阅Y.Ohta和T.Kanade的Stereo by intra-and inter-scan linesearch using dynamic programming(使用动态编程的帧内和帧间扫描行搜索的立体)，IEEE Trans.on PAMI(关于PAMI的IEEE学报)，1985年7(2)；I.J.Cox，S.L.Hingorani和S.B.Rao的A maximum likelihood stereo algorithm(最大可能性立体算法)，CVIU，1996年63(3)：542-567；D.Scharstein和R.Szeliski的A taxonomy and evaluation of dense two-frame stereo correspondencealgorithms(稠密两帧立体对应算法的分类与评估)，IJCV，2002年47(1-3)。有关处理对象边界上的遮蔽，参阅P.N.Belhumeur的A Bayesian-approach tobinocular stereopsis(双目立体影像的贝叶斯方法)，Int.J.Computer Vision(计算机视觉)，1996年八月，19(3)：237-260；D.Geiger，B.Ladendorf和A.Yuille的Occlusions and binocular stereo(遮蔽和双目立体)，Int.J.Computer Vision(计算机视觉)，1995年，14：211-226；以及A.Criminisi，J.Shotton，A.Blake和P.H.S.Torr的Gaze manipulation for one to one teleconferencing(一对一电信会议的注视操纵)，ICCV学报，2003年。
总之，立体视频处理算法可以实时、准确且健壮地将捕捉场景前景中的对象从场景的背景中分离出来。可处理立体照相机信号以获得信息，诸如对象的深度或离照相机或距离、对象图象中像素的深度、对象的身份、无论背景的颜色或距离而干净地移除背景的对象图象、对象的方向等等。在下述实施例中，通过处理立体视频信号获得的信息由游戏控制台或3d图形系统使用。
图1示出连接至游戏控制台52的立体照相机50。游戏控制台52连接至显示器54。立体照相机50捕捉真实对象56以及持有对象56的真实人物58的视频。捕捉的立体视频包括所捕捉场景的任何任意背景，例如景物、墙、远处的对象如家具等。在较佳实施例中，立体照相机50放在电视或显示器54的顶上。在图1所示的安排中，立体照相机50向游戏控制台52提供四拍捕捉视频的立体视频信号，游戏控制台52对其进行处理以生成例如用于控制游戏的控制信息、补充游戏或3d虚拟现实的图形的图形信息、有关场景中的对象的3d信息等等。例如，如稍后参考图7-10讨论的，人物58和/或对象56的动作和外观可被转换成由游戏控制台52渲染的3d虚拟现实中的动作和/或外观。
图2示出被配置为结合立体照相机50操作的游戏控制台52的高级系统图。在较佳实施例中，立体照相机50具有至少两个图象捕捉设备70，诸如CCD对。低级捕捉和处理电路系统72从图象捕捉设备70捕捉原始的图象数据。电路系统72可对原始图象数据执行某些基本图象处理功能，例如同步、帧速率调整、调整尺寸、颜色平衡、对比度调整等等。电路系统72输出立体视频流，并且立体照相机的通信接口74将立体视频数据传递给计算机或游戏控制台52。通信接口74可以使用任何形式的物理通信如无线电、电或光信号来与游戏控制台52通信。在一较佳实施例中，通信接口74是通用串行总线(USB)接口。
游戏控制台52经由接口76接收立体视频信号。在一较佳实施例中，立体视频信号随后由一特殊的设备驱动程序78处理。设备驱动程序78对立体视频信号执行图象处理以获得有关由立体视频信号捕捉的场景的信息。有关特殊设备驱动程序78的细节稍后讨论。设备驱动程序78是由操作系统80(它可嵌入在游戏控制台52中)管理的，并且设备驱动程序78由应用程序或游戏82调用或使用。
游戏82可使用3d游戏引擎84。在典型配置中，不同的游戏可共享共同的游戏引擎84。游戏程序一般包括内容(模型，动画，声音，纹理或纹理产生过程，以及物理)和使游戏运行的代码如人工智能、游戏和控制逻辑等等。游戏引擎84可以被视为不是专用于任何特定游戏的软件。游戏引擎一般执行各种功能，诸如渲染、存储模型和场景、照明、阴影、管理网络连接、检测冲突等等。游戏引擎84生成用于显示的帧。
可使用特殊的应用编程接口(API)来访问设备驱动程序78的功能，它具有用于执行诸如下列的高级操作的功能：返回与背景分离的对象列表；返回特定的分离对象的3d位置或方向；返回特定的分离对象的身份，这有可能从提供的候选列表中返回；返回特定的前景/背景分离对象的3d几何图形(例如，对应于对象的像素的深度)；返回所选对象的图象，该图象的背景被有效移除；等等。尽管设备驱动程序是用于封装立体处理功能的便利类型的组件，但设备驱动程序不是必需的。立体处理也可作为操作系统80的一部分或者作为游戏或应用82的一部分，甚或作为游戏控制台52的特殊硬件组件来包括。游戏82获得设备驱动程序78的高级图象处理输出并且使用它来帮助确定游戏的行为和/或外观。
在一较佳实施例中，立体照相机50最好是集成设备，其中图象捕捉设备70共享共同的电路系统和外壳。共享的处理电路系统72允许来自捕捉设备70的立体视频帧被容易地配对和同步，并且共享的外壳给出了图象捕捉设备70之间固定的几何关系，这降低了分析立体视频信号所需的计算复杂性。不过，也可使用独立的照相机对，每一个照相机输出视频信号并且有可能连接至游戏控制台52。在该情形中，通常需要进行某种形式的校准和同步。
图3示出游戏控制台52的示例。示例游戏控制台100的各个组件加有标签并且是自说明性的。图4示出另一个示例游戏控制台102。游戏控制台的另一个示例可在美国专利公开号20020138637中找到。如从这些示例中可看到的，典型的游戏控制台52具有高端组件诸如一或多个CPU、GPU、存储器，以及这些组件之间的高速通信。
图5示出设备驱动程序78可如何从立体视频信号中提取有关场景的信息。设备驱动程序78接收立体视频流，这是成对的图象流，各自来自相应的图象捕捉设备70。这些图象有时被称为左和右图象。图5示出左图象120和右图象122。尽管图象120、122在图5中显得相同，但成对的立体图象实际上由于其相应的图象捕捉设备的不同位置和方向而略有不同。两个立体图象之间的差异或视差被计算和存储为视差图124。视差图124是像素值数组，这些值表示在匹配像素处左右图象120、122之间的立体视差。为生成视差图124的视差值，可使用任何合适的稠密立体算法。例如，可使用用于动态编程的四平面模型，尽管也可使用其它图诸如三平面模型、单平面模型等等。
将视差图124与内核图象126的至少一部分相比较以确定匹配视差值。基于视差的内核图象是与视差图124进行比较的模型或模板视差图。内核图象的使用是可选的。内核图象可用于快速恢复对象的近似轮廓。在下一段讨论的更精确但代价更大的替换方案要使用优化方法来定义前景对背景点的二元掩模。内核图象126可以是像素值的数组，这些值表示要定位或搜索的对象的立体视差。更具体地，内核图象126是对要定位的对象的轮廓以及要定位的对象的表面形状例如对象的‘凹凸不平(bumpiness)’或深度的编码。以此方式，内核图象126表示要定位的对象从一视点的3d表面形状。内核图象126可以是例如一般躯干形状或任何其它形状或对象的预定视差图。可以预先计算内核图象126，或者从先前的视差图导出，或者以其它方式获得它。内核图象126可以是其表示对象的近似，换言之即对象的粗略模型。视差图124还可用于确定像素相对于立体照相机50的深度或距离。这些距离(到对象的距离)的平均值可用于在针对内核图象126搜索视差图124之前对内核图象126按比例缩放。如下讨论，有可能来自先前的视差图或先前的立体视频帧的颜色/对比度信息128可用于分离背景。
一般而言，应当注意视差可以单独作为前景/背景分离的基础，这基于在前景对象上的点更有可能具有高视差的假设。前景对象的像素可基于它们的视差程度来分离。
前景/背景分离可以通过将基于立体的分割算法与基于颜色/对比度的分割算法相融合来执行。用于单独使用颜色/对比度或立体自动分离层的算法通常易于出错。通过将颜色/对比度分析与立体匹配信息相融合，可以准确且高效地推断出各层。分层动态编程(LDP)算法可用于求解扩展6状态空间(它表示前景/背景层与被遮蔽区域两者)中的立体。随后将所得的立体-匹配似然与在运行中了解得到的对比度敏感颜色模型相融合，并且通过动态编程获得立体视差。第二个算法，分层图切割(LGC)可用于在前景与背景假设上忽略立体匹配似然以融合类似于LDP中使用的对比度敏感颜色模型。随后通过三重图切割高效地求解分割。总之，设备驱动程序78使用一或多算法来使用立体和/或颜色/对比度信息进行快速与可靠的前景/背景分离，由此产生分离的前景对象130。对于更多的细节，参阅Vladimir Kolmogorov，Antonio Criminisi，AndrewBlake，Geoffrey Cross，Carsten Rother的“Bi-layer segmentation of binocular stereovideo(双目立体视频的双层分割)”(美国Proc.IEEE Computer Vision and PatternRecognition(IEEE计算机视觉与模式识别会刊)，2005年)。
上述分离技术具有某些性质。它们对于实时使用而言是足够健壮和快速的。它们通常不产生伪影(artifact)，甚至当对象在其边缘处的颜色与毗连的背景部分相同时。这些技术能够提取在很大程度上没有伪影的对象合成图象；背景被干净地移除。轮廓可以恢复至像素(或者甚至子像素)精度，因此在将恢复的前景叠加到新背景上时，来自旧背景的颜色不会漏进去。
有了场景中一或多个对象的分离立体图象，随后可确定132有关场景中对象的不同类型的信息。例如，不同类型的对象可以通过使用不同的内核图象126来标识。如果一个对象已经从背景中分离，则该对象可以通过将它与不同的内核图象比较来标识。还可以获得基于立体的深度信息。对象的虚拟或巨大(cyclopean)的图象可以使用基于普通几何图形的技术从左右图象计算。分离对象在基于立体的图象和/或输入图象中的位置可以用任何合适的方式来指示。例如，视差数据、像素位置或者所定位对象的任何其它合适的指示可作为元数据与图象相关联。具有定位对象的图象可由显示操纵器模块使用以执行某种动作或者可被发送至另一个应用程序。生成图象中的伪影可以使用分裂补丁补丁(split-patch)搜索算法来纠正，这可包括：将候选补丁限制为位于相应(左或右)极线(epipolar line)上的那些补丁；使用严格的几何图形深度边界约束搜索区域；以及稀疏地应用基于样本的合成，其中由不一致性测试来进行标志。对于更多的细节，参阅Antonio Criminisi，Andrew Blake的“The SPS Algorithm：PatchingFigural Continuity and Transparency by Split-Patch Search(SPS算法：通过分离补丁搜索来修补形状连续性和透明性)”(美国Proc.IEEE Computer Vision andPattern Recognition(IEEE计算机视觉和模式识别会刊)，2004年)。边界修边(Border matting)是用于纠正伪影而获得像素或子像素精度的替换方法。对于其细节，参阅V Kolmogorov，A.Criminisi，A.Blake，G.Cross，C.Rother的Probabilistic fusion of stereo with color and contrast for bi-layer segmentation(用于双层分割的立体与颜色和对比度的概率融合)，2005年六月，MSR-TR-2005-35。
应当了解，上述立体图象分析可以实时地对立体视频信号的成对帧重复执行。这允许实时操作，诸如跟踪对象的改变位置，在对象移动和改变时提供对象的准确实时“切除”视频(即背景被干净地移除的对象的视频，无论背景性质如何)，以及实时地在对象移动和改变时提供对象的动态深度图。
图6示出如何结合游戏和VR引擎使用立体导出的对象信息。从立体视频信号接收150立体图象对。使用上述一或多个技术，例如融合颜色/对比度分割的立体匹配分割，执行前景/背景分离以从背景中分离152出一或多个对象。获得154有关一或多个对象的信息，例如深度信息、良好定义的对象图象、一或多个对象的身份等等。提供156该信息给游戏程序。游戏程序接收158对象信息并使用它(在下面有些示例，见图7-10)来影响或修改160游戏的行为或“玩法”和/或游戏的外观或者游戏的其它方面。如游戏程序所指令的，渲染引擎渲染162按立体导出的对象信息修改160的游戏。
图7示出如何使用基于立体的前景/背景分离来控制3d游戏中模型或游戏角色180的示例。图7左边的框表示由立体照相机捕捉的真实场景182。尽管为了讨论真实场景182被示为俯视，但实际上真实场景182是从稍微有些水平的视线的立体照相机(例如在电视顶上)捕捉的。图7的右边的框示出具有前景模型或游戏角色180的3d虚拟场景的俯视图184。从图7底部按时间顺序开始，在阶段A，手186被立体捕捉并且如上所述地从其背景中分离。获得对象的深度，在该情形中对象为手。例如，在阶段A手的深度可以是离立体照相机3米，或者手186的深度可相对于某个其它参考点或者立体识别对象如其手186正在被捕捉的个人的身体、头、躯干等来测量。使用深度通过变换游戏角色模型180以按照检测到的手186的深度放置模型的右手和手臂来修改游戏角色模型180。通过后续的阶段B和C，随着检测到的真实手186的深度改变(接近立体照相机，从其所附连的真实身体移开等等)，相应地修改游戏角色模型180，从而对于手186的运动建模。实际上，使用基于立体的前景/背景分离来控制游戏角色模型180。而且，可针对与例如模型188的冲突检测来检查游戏角色模型。
应当注意，达到像素(或更高)精度的边界恢复不仅可以允许确定对象(例如“肢体”)的位置，还可以确定其精确的外形、形状和内部纹理。因而，可另外再现对象的整体形状和纹理，并且可以服从在此过程中颜色或形状或纹理的变换。
应当了解，图7的示例不仅只涉及使用立体导出的深度信息来控制游戏角色。立体照相机通常对于获得有关像素的原始深度或距离信息是有用的。然而，准确地与其深度相关联地标识对象是一个更复杂和有用的过程。换言之，普通立体分析可提供像素的深度，然而，仅有深度信息可能不能准确地指示这些像素中的哪一些像素对应特定的对象。通过使用内核图象、颜色/对比度信息或用于前景/背景分离的其它技术，可以提供特定对象的深度信息，这可以允许将对象个别地映射到游戏或3d虚拟现实中的深度敏感动作或对象。
尽管有可能连续地改变模型以对应于物理对象连续改变的深度，但出于性能原因，有些游戏仅具有有限或者预定义的模型运动或动画集合，无论该模型是人物形象还是汽车、机器人、动物等等的模型。换言之，模型可具有一组预定义的动画诸如跳、切换项目、蹲伏、向左转、向右转等。在该情形中，可使用姿势识别而非模型的形状或位置与对象的检测深度或位置之间的直接映射。
图8示出使用立体前景/背景分离来识别控制游戏的姿势的过程。处理成对的立体图象以将对象从其背景中分割200出来。再一次，内核视差图、深度信息和颜色/对比度信息可用于准确地将对象从其背景中分割200出来。确定被分割200对象的位置，并且使用对象的先前位置跟踪202该对象的运动。例如，可以跟踪202手、手中的对象、或头或身体或任何其它真实对象的3d路径。至少包括深度信息的所跟踪的对象运动被标识204为特定的3d姿势。所标识204的3d姿势随后用作触发器来生成206相应的模型运动或动作，这可能例如对应于游戏中的动作命令。
可以用多种方法来识别姿势。例如，可将对象的跟踪路径或运动与一组预定义的运动模板相比较。预定义的运动模板可包括信息，例如诸如划分成有序子体量(sub-volume)的3d体量(volume)(用于运动路径)，每一子体量必须在给定时间段上按顺序为对象所占据。如果所跟踪的对象是手持圆柱形对象，则可将圆柱形对象的路径与各种特定的运动模板如左右扫掠运动模板、上下运动模板、插刺运动等等相比较。只要连续更新的轴最近运动路径匹配其运动模板之一，则该模板的姿势被标识204为已经发生，并且发出相应的命令。可使用更简单的姿势识别技术。例如，可将运动映射到基本方向并进而映射到游戏中对应的方向命令。对于3d导航，可以检测到真实对象向上、向下、向左、向右、向前或向后或其组合(例如向前、向上且向左)移动，并可在游戏中发出相应的移动命令。换言之，基于立体的前景/背景分离可与深度信息相组合以生成三维方向命令。
图9示出将前景物理对象的分离图象映射到随后进行渲染和显示的模型的示例。图9中框230表示由立体照相机看到的真实世界场景，在该情形中，为房间里人物的躯干。使用上述技术从场景的立体图象中提取232对象的图象。例如，人体躯干的粗略形状的内核视差图象有可能结合其它技术来用于前景/背景分离。在一个实施例中，所提取的图象可包括图象像素的深度值。换言之，即所检测对象的3d图象。在图9的示例中，通过固定面部特征，进一步处理提取图象以获得对象的特定部分——面部。原始或精炼的图象234可被标准化使得边缘像素具有为零的深度。在该示例中，面部图象也可从合适的面部形内核图象获得。
因为提取对象的图象将用于3d游戏或虚拟现实，所以提取图象234可进一步准备236用于3d渲染。例如，图象234可被重新缩放或重新调整尺度。图象234可被转换成凹凸图(bump map)或置换图(displacement map)。可使用其它操作。例如，可调整图象的颜色来匹配它将在其中出现的3d场景。最后，在一个实施例中，将图象映射238到3d模型240。这可以包括纹理映射像素的颜色值，或者使用像素的深度来置换模型240的顶点(即置换映射)，或者将图象的凹凸图映射到模型240。在一个实施例中，不使用图象的3d深度值而是将像素的颜色值映射到模型240的表面。在另一个实施例中，仅将深度值映射到模型240。而且，如果使用置换或凹凸图，则对于实时更新模型240以匹配场景中的变化而言处理时间太长，并且映射238可仅在初始化阶段发生一次。然而，在一较佳实施例中，实时重复整个过程，使得3d游戏的各帧被渲染以实时匹配如由立体照相机捕捉的场景中的变化。在任一情形中，渲染242是以使用基于立体的前景/背景分离获得的对象的图象为基础的。
在另一实施例中，不将对象的提取图象映射238到模型。用于基于立体的前景/背景分离的技术已经发展到即使在背景具有前景中对象相同的颜色的情况下也可以干净且高效地分离前景图象的地步。而且，可以用使图象基本上没有伪影的方式来分离和合成图象。换言之，可获得对象的准确轮廓；与背景的性质无关地准确移背景。提取图象通常具有比得上使用蓝或绿屏幕分离获得的图象的质量；这些图象是对象的清晰且准确的表示。因此，对象的图象可以在3d虚拟现实中直接显示，或者作为平坦表面，或者作为3d表面，有可能具有某种模型化的“衬里(backing)”以允许3d非正面查看。
在另一个实施例中，所提取的图象与3d虚拟现实一起共同显示，但并不被合并到3d虚拟现实中。例如，如果多个玩家正在参加同一3d虚拟现实(各自具有立体照相机)，则每一玩家的“平视显示(heads up display)”(用户界面)可包括每一参与者的头部/躯干的图象或实时视频。使用立体技术提取干净地与背景分离的前景图象并且使这些图象置于游戏中的一般思想可采用其它形式。例如，提取的图象或视频可显示为二维图象，无论是二维游戏还是三维游戏。如另一个示例，提取的图象可显示在虚拟监示器(在游戏内)或者即时信使类型应用程序(在游戏内或者作为游戏界面的一部分)中。可以在游戏的场景内以某种形式看到远程伙伴或对手。
在另一个实施例中，向游戏提供人工智能以识别立体提取的面部图象的面部姿势。该信息可按任意数量的方法结合到游戏中。人工智能游戏人物可编程为按照玩家的面部姿势进行响应，例如，对笑脸肯定地响应，或者对皱眉或愤怒的脸部否定地响应。
基于立体的前景/背景分离对于对象识别也是有用的。图10示出如何使用基于立体的对象识别来进行3d游戏。如上所述，可针对不同类型对象的内核图象搜索立体视频信号，从而执行一种形式的对象检测或识别；如果一内核图象匹配于捕捉场景的一部分，则认为关联于该内核图象的对象出现在场景中。考虑其中存在要搜索的三个内核图象(未示出)的示例：公文包的内核图象；手电筒或圆柱形对象的内核图象；以及不持有东西的手臂/手的内核图象。在该示例中，游戏是一种玩家控制要渲染或显示的3d游戏角色、人物、汽车等类型的游戏。在第一物理场景260 A中，真实人物拿着公文包。处理一或多对立体帧以识别262该对象(例如“公文包”)。
响应于识别262，游戏使3d人物“持有”相应的虚拟对象如虚拟公文包。持有对象可简单地实现为对人物的状态的改变(例如，设置指示虚拟对象当前正被持有的标志)，而无需在显示或渲染内容方面进行任何相应的改变。另外或者可替换地，虚拟持有可以通过使3d人物被渲染为看上去持有关联于匹配的内核图象的虚拟对象来实现，如在被渲染人物264中看到的。类似地，在场景260 B中，识别262手电筒并且相应地修改和/或渲染游戏人物。如果识别262是左右手敏感的，那么如果手电筒在与公文包的同一个手中，则使人物停止持有虚拟公文包，或者如果手电筒在真实人物的另一只手中，则可使人物虚拟地持有两个虚拟对象。在场景260 C中，识别空手臂/手并且相应地渲染游戏人物。如此，一个人以及一组真实对象可通过拾取任何相应的真实对象来控制游戏人物虚拟持有的对象。手中持有的真实对象可通过使用手臂/手的内核图象和要检测的其它对象(当前正在人手中的对象)的内核图象两者来识别。如前所述，内核视差图象可预先获得(例如内容的部分嵌入在特定游戏中的)，或者在立体照相机前持有对象的训练过程期间获得，或者从早先被处理的场景中提取的视差图获得。
可以识别其它对象。例如，可以识别真实人物穿戴的衣服、帽子等并且同样将它们转换到3d虚拟现实中。甚至可以以相似的效果识别诸如自行车、家俱等大物品或道具。
一般而言，已经示出游戏控制台和3d虚拟现实系统如何从一组更丰富的对象的视觉控制信息和实时信息(包括视频)的添加获得好处。立体视频处理可用于改善游戏系统，例如通过提供更自然的控制，提供用于导入或转换到3d虚拟现实中的实时图象，等等。有关将立体提取的前景对象图象置于或显示于3d游戏或虚拟现实中的实施例也可应用于2d游戏，其更宽泛的思想可置于并到计算机生成图形环境中。
总之，本领域技术人员将了解，用于存储程序指令的存储设备可跨网络分布。例如远程计算机可存储描述为软件的过程的示例。本地或终端计算机可访问远程计算机并下载部分或全部软件以运行程序。可替换地，本地计算机可按需下载软件，或者通过在本地终端执行部分软件指令而在远程计算机(或计算机网络)执行部分软件指令来分布式地处理。本领域的技术人员还将了解，通过使用本领域技术人员已知的常规技术，可由专用电路如DSP、可编程逻辑阵列等执行全部或部分软件指令。
上述全部实施例和特征可用存储于易失性或非易失性计算机或设备可读介质中的信息的形式来实现。这被认为至少包括诸如CD-ROM、磁介质、闪存ROM等介质，它们存储可用于使得或者配置计算设备执行上述各种实施例的机器可执行指令或源代码或任何其它信息。这还被认为至少包括易失性存储器如RAM，它存储诸如在完成实施例的程序的执行期间的CPU指令的信息，并至少包括非易失性介质，它存储允许程序或可执行体被加载和执行的信息。

Claims (43)

1.一个或多个存储使一装置执行一过程的信息的计算机可读介质，所述过程包括：
从立体照相机接收具有物理前景对象和物理背景的所捕捉场景的实时立体视频信号；
以实时方式，对所述实时立体视频信号执行前景/背景分离算法以标识从所述立体视频信号捕捉的表示所述物理对象的像素，其中所述分离基于视差；以及
通过基于所标识的物理前景对象的像素渲染虚拟现实来产生视频序列。
2.如权利要求1所述的一或多个计算机可读介质，其特征在于，所述像素形成实质上对应于所述物理前景对象的相应物理轮廓的边界。
3.如权利要求2所述的一或多个计算机可读介质，其特征在于，所述前景/背景分离算法能够标识包括任意和实质上不一致颜色的任何物理背景的像素。
4.如权利要求2所述的一或多个计算机可读介质，其特征在于，一或多个边界具有对应于仅部分地遮掩部分所述物理背景的所述物理对象一部分的部分，所述物理背景被遮掩的部分具有与所述物理对象进行遮掩的部分相同的颜色。
5.如权利要求1所述的一或多个计算机可读介质，其特征在于，所述前景/背景分离算法包括获得立体匹配似然并且将它与对比度敏感颜色模型相融合。
6.如权利要求1所述的一或多个计算机可读介质，其特征在于，通过使用所述图象中的像素的深度将内核图象与视差图相比较。
7.如权利要求2所述的一或多个计算机可读介质，其特征在于，前景/背景分离算法使用来自所述立体视频信号帧的像素的立体视差、立体匹配和颜色。
8.如权利要求1所述的一或多个计算机可读介质，其特征在于，按照如基于所标识的像素确定的所述物理对象的位置和/或方向的变化，移动和/或重新定向所述3d虚拟现实中的模型。
9.如权利要求1所述的一或多个计算机可读介质，其特征在于，所述过程还包括，使用所标识的像素确定所述物理对象相对于所述立体照相机的3d位置和/或方向以及按照所述物理对象的所述3d位置和/或方向定位和/或定向3d模型。
10.如权利要求1所述的一或多个计算机可读介质，其特征在于，所述像素用于在所述3d虚拟现实中显示所述物理对象的图象。
11.如权利要求1所述的一或多个计算机可读介质，其特征在于，所述物理对象包括至少人物的面部，并且在所述3d虚拟现实中显示至少所述人物面部的图象，使得所述人物面部的图象改变以反映所述物理面部的改变。
12.如权利要求11所述的一或多个计算机可读介质，其特征在于，将所述人物面部的图象映射到包括游戏角色的3d模型。
13.如权利要求1所述的一或多个计算机可读介质，其特征在于，所述物理对象包括至少人物的面部，并且所标识的像素用于控制所述3d虚拟现实中模型的外观。
14.如权利要求13所述的一或多个计算机可读介质，其特征在于，所述控制外观包括，使用所标识的像素标识面部表情并且改变所述模型的几何图形或纹理图以具有所标识的面部表情的外观。
15.如权利要求13所述的一或多个计算机可读介质，其特征在于，所述控制外观包括，改变在所述3d虚拟现实中表示所述人物的游戏角色的所述外观。
16.如权利要求1所述的一或多个计算机可读介质，其特征在于，所述处理还包括，识别和分析所述像素以将所述物理对象的运动映射到用于控制所述3d虚拟现实的预定义命令。
16.如权利要求1所述的一或多个计算机可读介质，其特征在于，所述像素用于确定哪一对象显现为由所述3d虚拟现实中的游戏角色持有、穿戴或使用。
17.如权利要求16所述的一或多个计算机可读介质，其特征在于，所述确定哪一对象将显现为被持有包括：识别何时人物手中的第一物理对象为所述人物手中的第二物理对象代替，并且作为响应使所述游戏角色从显现为持有、穿戴或使用关联于所述第一物理对象的模型转变为显现为持有、使用或穿戴关联于所述第二物理对象的模型。
18.如权利要求1所述的一或多个计算机可读介质，其特征在于，确定和使用所述像素的深度值以控制所述3d虚拟现实。
19.如权利要求18所述的一或多个计算机可读介质，其特征在于，所述深度值用于控制所述3d虚拟现实中模型或视点的运动和/或方向。
20.如权利要求1所述的一或多个计算机可读介质，其特征在于，所述装置包括游戏控制台。
21.如权利要求1所述的一或多个计算机可读介质，其特征在于，所述游戏控制台包括一或多个多核处理器以及图形处理单元。
22.包括如权利要求1所述的一或多个计算机可读介质的游戏控制台。
23.一或多个存储使一计算设备执行一过程的信息的易失性或非易失性计算机可读介质，所述过程包括：
接收具有物理前景对象和物理背景的捕捉场景的立体图象；
对所述立体图象实时执行前景/背景分离算法以标识表示所述物理对象的所述立体图象的像素，其中所述分离基于立体视差或者立体匹配与颜色/对比度信息的组合；以及
基于所述物理前景对象的所标识像素渲染二或三维游戏。
24.如权利要求23所述的一或多个计算机可读介质，其特征在于，所述像素形成以至少像素级准确度对应于所述物理前景对象的物理轮廓的边界。
25.如权利要求24所述的一或多个计算机可读介质，其特征在于，所述前景/背景分离算法能够标识包括任意且实质上不一致的颜色的任何物理背景的像素。
26.如权利要求24所述的一或多个计算机可读介质，其特征在于，一或多个边界具有对应于仅部分地遮掩部分所述物理背景的所述物理对象一部分的部分，所述物理背景被遮掩的部分具有与所述物理对象进行遮掩的部分相同的颜色。
27.如权利要求23所述的一或多个计算机可读介质，其特征在于，所述前景/背景分离算法包括，获得立体匹配似然并且将它与对比度敏感颜色模型相融合。
28.如权利要求23所述的一或多个计算机可读介质，其特征在于，通过使用所述图象中像素的深度将内核图象与视差图相比较。
29.如权利要求2所述的一或多个计算机可读介质，其特征在于，所述前景/背景分离算法使用来自所述立体视频信号帧的像素的立体视差、立体匹配和颜色。
30.如权利要求23所述的一或多个计算机可读介质，其特征在于，所述游戏包括3d虚拟现实，并且按照基于所标识的像素确定的所述物理对象的位置和/或方向的变化移动和/或重新定向所述3d虚拟现实中的模型。
31.如权利要求23所述的一或多个计算机可读介质，其特征在于，所述过程还包括，使用所标识的像素确定所述物理对象相对于提供所述立体图象的立体照相机的3d位置和/或方向以及按照所述物理对象的所述3d位置和/或方向定位和/或定向3d模型。
32.如权利要求23所述一或多个计算机可读介质，其特征在于，所述像素用于在所述游戏中显示所述物理对象的图象或者作为用于控制所述游戏的界面一部分显示。
33.如权利要求23所述的一或多个计算机可读介质，其特征在于，所述物理对象包括至少人物的面部，并且在所述游戏中显示至少所述人物的面部图象，使得所显示的人物面部的图象改变以反映所述物理面部的变化。
34.如权利要求33所述的一或多个计算机可读介质，其特征在于，将所述人物面部的图象映射到作为所述游戏一部分的3d模型。
35.如权利要求23所述的一或多个计算机可读介质，其特征在于，所述过程还包括，识别和分析所述像素以将所述物理对象的运动映射到用于控制所述游戏的预定义命令。
36.如权利要求23所述的一或多个计算机可读介质，其特征在于，所述像素用于确定哪一对象显现为由所述游戏中的人物持有、穿戴或使用。
37.如权利要求36所述的一或多个计算机可读介质，其特征在于，所述确定哪一对象将显现为被持有包括：识别何时人物手中的第一物理对象为所述人物手中的第二物理对象代替，以及作为响应使所述游戏角色从显现为持有、穿戴或使用关联于所述第一物理对象的模型转变为显现为持有、使用或穿戴关联于所述第二物理对象的模型。
38.如权利要求23所述的一或多个计算机可读介质，其特征在于，确定和使用所述像素的深度值来控制所述游戏。
39.如权利要求38所述的一或多个计算机可读介质，其特征在于，所述深度值用于控制所述游戏中模型或视点的运动和/或方向。
40.如权利要求23所述的一或多个计算机可读介质，其特征在于，所述装置包括游戏控制台。
41.一种包括如权利要求23所述的一或多个计算机可读介质的游戏控制台。
42.一种被配置为能够执行一过程的游戏控制台，所述过程包括：
接收包含物理前景对象和物理背景的场景的立体视频；
在所述立体视频中标识实质上对应于所述物理前景对象的区域和所述区域的轮廓边缘的像素；以及
使用所述像素显示所述物理前景的所述区域。
CN2006800422346A 2005-11-14 2006-10-10 用于处理游戏的立体视频的方法 Expired - Fee Related CN101305401B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/272,950 US8094928B2 (en) 2005-11-14 2005-11-14 Stereo video for gaming
US11/272,950 2005-11-14
PCT/US2006/040043 WO2007055865A1 (en) 2005-11-14 2006-10-10 Stereo video for gaming

Publications (2)

Publication Number Publication Date
CN101305401A true CN101305401A (zh) 2008-11-12
CN101305401B CN101305401B (zh) 2012-12-19

Family

ID=38023570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800422346A Expired - Fee Related CN101305401B (zh) 2005-11-14 2006-10-10 用于处理游戏的立体视频的方法

Country Status (6)

Country Link
US (3) US8094928B2 (zh)
EP (1) EP1960970B1 (zh)
KR (1) KR101251701B1 (zh)
CN (1) CN101305401B (zh)
AT (1) ATE540732T1 (zh)
WO (1) WO2007055865A1 (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102047669A (zh) * 2008-06-02 2011-05-04 皇家飞利浦电子股份有限公司 具有深度信息的视频信号
CN102184009A (zh) * 2010-04-26 2011-09-14 微软公司 跟踪系统中的手位置后处理精炼
CN102223555A (zh) * 2010-04-19 2011-10-19 Lg电子株式会社 图像显示装置及其控制方法
CN102289564A (zh) * 2010-06-03 2011-12-21 微软公司 来自多个视听源的信息的合成
CN102317977A (zh) * 2009-02-17 2012-01-11 奥美可互动有限责任公司 用于姿势识别的方法和系统
CN102458594A (zh) * 2009-04-07 2012-05-16 美国索尼电脑娱乐公司 模拟虚拟照相机的性能
CN102470274A (zh) * 2009-07-29 2012-05-23 微软公司 自动生成视觉表示
CN102549527A (zh) * 2010-06-28 2012-07-04 英特尔公司 用于便携式有形交互的系统
CN102549507A (zh) * 2009-10-02 2012-07-04 皇家飞利浦电子股份有限公司 选择视点用于在3d视频中生成附加视图
CN102609942A (zh) * 2011-01-31 2012-07-25 微软公司 使用深度图进行移动相机定位
CN102740094A (zh) * 2011-03-29 2012-10-17 索尼公司 方法、装置和系统
CN102737368A (zh) * 2011-03-29 2012-10-17 索尼公司 图像处理设备、方法和程序
CN103038780A (zh) * 2010-03-04 2013-04-10 唐格有限责任公司 用于创建、存储三维扫描图像及提供对三维扫描图像的访问的方法
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
WO2014108799A2 (en) * 2013-01-13 2014-07-17 Quan Xiao Apparatus and methods of real time presenting 3d visual effects with stereopsis more realistically and substract reality with external display(s)
CN104145479A (zh) * 2012-02-07 2014-11-12 诺基亚公司 从图像去除对象
CN105611267A (zh) * 2014-11-21 2016-05-25 罗克韦尔柯林斯公司 现实世界和虚拟世界图像基于深度和色度信息的合并
CN105678696A (zh) * 2014-11-20 2016-06-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN105791796A (zh) * 2014-12-25 2016-07-20 联想(北京)有限公司 图像处理方法和图像处理装置
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
CN106095094A (zh) * 2016-06-10 2016-11-09 北京行云时空科技有限公司 增强现实投影与现实交互的方法和装置
US9619561B2 (en) 2011-02-14 2017-04-11 Microsoft Technology Licensing, Llc Change invariant scene recognition by an agent
CN107154197A (zh) * 2017-05-18 2017-09-12 河北中科恒运软件科技股份有限公司 沉浸式飞行模拟器
US9910498B2 (en) 2011-06-23 2018-03-06 Intel Corporation System and method for close-range movement tracking
CN107979754A (zh) * 2016-10-25 2018-05-01 百度在线网络技术（北京）有限公司 一种基于摄像头应用的测试方法和装置
CN105791796B (zh) * 2014-12-25 2018-08-31 联想(北京)有限公司 图像处理方法和图像处理装置
CN108734774A (zh) * 2018-05-18 2018-11-02 网易（杭州）网络有限公司 虚拟肢体构建方法及装置、人机交互方法
CN109690386A (zh) * 2016-10-01 2019-04-26 英特尔公司 用于运动补偿虚拟现实的技术
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
CN113709439A (zh) * 2017-04-11 2021-11-26 杜比实验室特许公司 分层的增强型娱乐体验
US11215711B2 (en) 2012-12-28 2022-01-04 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US11710309B2 (en) 2013-02-22 2023-07-25 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2602091T3 (es) * 2005-06-23 2017-02-17 Koninklijke Philips N.V. Intercambio combinado de datos de imagen y relacionados
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
WO2008014826A1 (en) * 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US20080038701A1 (en) * 2006-08-08 2008-02-14 Charles Booth Training system and method
US7894662B2 (en) * 2006-10-11 2011-02-22 Tandent Vision Science, Inc. Method for using image depth information in identifying illumination fields
WO2008050904A1 (fr) * 2006-10-25 2008-05-02 Tokyo Institute Of Technology Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
JP4670803B2 (ja) * 2006-12-04 2011-04-13 株式会社デンソー 操作推定装置およびプログラム
US8117137B2 (en) 2007-04-19 2012-02-14 Microsoft Corporation Field-programmable gate array based accelerator system
JP4909176B2 (ja) 2007-05-23 2012-04-04 キヤノン株式会社 複合現実感提示装置及びその制御方法、コンピュータプログラム
US20080310707A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Virtual reality enhancement using real world data
DE102007045834B4 (de) 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045835B4 (de) 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
EP2051208A3 (en) * 2007-10-17 2017-05-24 Sony Interactive Entertainment Inc. Generating an asset for interactive entertainment using digital image capture
WO2009078957A1 (en) 2007-12-14 2009-06-25 Flashfoto, Inc. Systems and methods for rule-based segmentation for objects with full or partial frontal view in color images
US8264505B2 (en) 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
US8073243B2 (en) * 2008-05-30 2011-12-06 General Instrument Corporation Replacing image information in a captured image
US8311275B1 (en) 2008-06-10 2012-11-13 Mindmancer AB Selective viewing of a scene
US20120246585A9 (en) * 2008-07-14 2012-09-27 Microsoft Corporation System for editing an avatar
US8446414B2 (en) * 2008-07-14 2013-05-21 Microsoft Corporation Programming APIS for an extensible avatar system
US8384719B2 (en) * 2008-08-01 2013-02-26 Microsoft Corporation Avatar items and animations
US20100035692A1 (en) * 2008-08-08 2010-02-11 Microsoft Corporation Avatar closet/ game awarded avatar
WO2010026519A1 (en) * 2008-09-03 2010-03-11 Koninklijke Philips Electronics N.V. Method of presenting head-pose feedback to a user of an interactive display system
US8301638B2 (en) 2008-09-25 2012-10-30 Microsoft Corporation Automated feature selection based on rankboost for ranking
US8131659B2 (en) 2008-09-25 2012-03-06 Microsoft Corporation Field-programmable gate array based accelerator system
JP5035195B2 (ja) * 2008-09-25 2012-09-26 Ｋｄｄｉ株式会社 画像生成装置及びプログラム
KR101381594B1 (ko) * 2008-12-22 2014-04-10 한국전자통신연구원 가상현실을 이용한 교육 장치 및 방법
KR101547151B1 (ko) * 2008-12-26 2015-08-25 삼성전자주식회사 영상 처리 방법 및 장치
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US8448094B2 (en) 2009-01-30 2013-05-21 Microsoft Corporation Mapping a natural input device to a legacy system
US8773355B2 (en) * 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
GB2469342A (en) * 2009-04-09 2010-10-13 Sony Comp Entertainment Europe A system and method of image transmission using stereographic images
US8942428B2 (en) * 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8379101B2 (en) * 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US9400559B2 (en) * 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
JP5127787B2 (ja) * 2009-07-30 2013-01-23 富士フイルム株式会社 複眼撮影装置及びその制御方法
US10354302B2 (en) 2009-08-23 2019-07-16 Joreida Eugenia Torres Methods and devices for providing fashion advice
US8121400B2 (en) * 2009-09-24 2012-02-21 Huper Laboratories Co., Ltd. Method of comparing similarity of 3D visual objects
US8670615B2 (en) * 2009-09-30 2014-03-11 Flashfoto, Inc. Refinement of segmentation markup
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
KR101636370B1 (ko) 2009-11-10 2016-07-05 삼성전자주식회사 영상 처리 장치 및 방법
US8643701B2 (en) 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
US20110150271A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
KR20110071213A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 스테레오 비젼과 얼굴 검출기를 이용한 3ｄ 아바타 얼굴 생성 장치 및 그 방법
CN102195894B (zh) * 2010-03-12 2015-11-25 腾讯科技（深圳）有限公司 即时通信中实现立体视频通信的系统及方法
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US8818028B2 (en) 2010-04-09 2014-08-26 Personify, Inc. Systems and methods for accurate user foreground video extraction
US9311567B2 (en) 2010-05-10 2016-04-12 Kuang-chih Lee Manifold learning and matting
JP5574852B2 (ja) * 2010-06-30 2014-08-20 キヤノン株式会社 情報処理装置、情報処理方法、システム及びプログラム
US8630455B2 (en) * 2010-07-20 2014-01-14 SET Corporation Method and system for audience digital monitoring
US8447098B1 (en) * 2010-08-20 2013-05-21 Adobe Systems Incorporated Model-based stereo matching
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
JP5652097B2 (ja) * 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
TWI528224B (zh) * 2010-11-15 2016-04-01 財團法人資訊工業策進會 三維動態操控方法及裝置
WO2012078636A1 (en) 2010-12-07 2012-06-14 University Of Iowa Research Foundation Optimal, user-friendly, object background separation
JP5170226B2 (ja) * 2010-12-10 2013-03-27 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
JP6005663B2 (ja) 2011-01-20 2016-10-12 ユニバーシティ オブ アイオワ リサーチ ファウンデーション 血管画像における動静脈比の自動測定
WO2012100225A1 (en) * 2011-01-20 2012-07-26 University Of Iowa Research Foundation Systems and methods for generating a three-dimensional shape from stereo color images
US20120200667A1 (en) * 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content
JP2012215852A (ja) * 2011-03-25 2012-11-08 Semiconductor Energy Lab Co Ltd 画像処理方法、表示装置
JP5158223B2 (ja) * 2011-04-06 2013-03-06 カシオ計算機株式会社 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
US9594430B2 (en) * 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
CN103635240B (zh) * 2011-07-01 2015-12-16 英派尔科技开发有限公司 基于姿势的游戏的安全方案
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US9390318B2 (en) 2011-08-31 2016-07-12 Empire Technology Development Llc Position-setup for gesture-based game system
CN102385752B (zh) * 2011-11-01 2013-06-12 清华大学深圳研究生院 一种基于距离和色彩差异的立体匹配方法
US9672609B1 (en) * 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9041819B2 (en) 2011-11-17 2015-05-26 Apple Inc. Method for stabilizing a digital video
US20130129192A1 (en) * 2011-11-17 2013-05-23 Sen Wang Range map determination for a video frame
US8611642B2 (en) * 2011-11-17 2013-12-17 Apple Inc. Forming a steroscopic image using range map
US8657681B2 (en) 2011-12-02 2014-02-25 Empire Technology Development Llc Safety scheme for gesture-based game system
US8958631B2 (en) 2011-12-02 2015-02-17 Intel Corporation System and method for automatically defining and identifying a gesture
WO2013103523A1 (en) * 2012-01-04 2013-07-11 Audience, Inc. Image enhancement methods and systems
US9223404B1 (en) * 2012-01-27 2015-12-29 Amazon Technologies, Inc. Separating foreground and background objects in captured images
TWI584222B (zh) * 2012-02-17 2017-05-21 鈺立微電子股份有限公司 立體影像處理器、立體影像互動系統、與相關立體影像顯示方法
US8790179B2 (en) 2012-02-24 2014-07-29 Empire Technology Development Llc Safety scheme for gesture-based game system
US9558575B2 (en) * 2012-02-28 2017-01-31 Blackberry Limited Methods and devices for selecting objects in images
GB2511668A (en) * 2012-04-12 2014-09-10 Supercell Oy System and method for controlling technical processes
US9545196B2 (en) 2012-05-04 2017-01-17 University Of Iowa Research Foundation Automated assessment of glaucoma loss from optical coherence tomography
CN103546736B (zh) * 2012-07-12 2016-12-28 三星电子株式会社 图像处理设备和方法
DE102012212774A1 (de) * 2012-07-20 2014-01-23 Siemens Aktiengesellschaft Verfahren zur Korrektur von Metallartefakten und Röntgeneinrichtung
US9466121B2 (en) 2012-09-11 2016-10-11 Qualcomm Incorporated Devices and methods for augmented reality applications
US11823499B2 (en) * 2012-11-14 2023-11-21 Golan Weiss Methods and systems for enrollment and authentication
US10249321B2 (en) 2012-11-20 2019-04-02 Adobe Inc. Sound rate modification
US10455219B2 (en) 2012-11-30 2019-10-22 Adobe Inc. Stereo correspondence and depth sensors
US10249052B2 (en) * 2012-12-19 2019-04-02 Adobe Systems Incorporated Stereo correspondence model fitting
KR20140099098A (ko) * 2013-02-01 2014-08-11 한국전자통신연구원 능동 스테레오 매칭 방법 및 그 장치
US9538081B1 (en) * 2013-03-14 2017-01-03 Amazon Technologies, Inc. Depth-based image stabilization
US20160042475A1 (en) * 2013-03-15 2016-02-11 William F. Tapia Social networking for surfers
WO2014143891A1 (en) 2013-03-15 2014-09-18 University Of Iowa Research Foundation Automated separation of binary overlapping trees
US9460543B2 (en) * 2013-05-31 2016-10-04 Intel Corporation Techniques for stereo three dimensional image mapping
US9934451B2 (en) 2013-06-25 2018-04-03 Microsoft Technology Licensing, Llc Stereoscopic object detection leveraging assumed distance
US9055186B2 (en) * 2013-07-23 2015-06-09 Personify, Inc Systems and methods for integrating user personas with content during video conferencing
US9336440B2 (en) * 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
US9979952B2 (en) * 2013-12-13 2018-05-22 Htc Corporation Method of creating a parallax video from a still image
US9774548B2 (en) 2013-12-18 2017-09-26 Personify, Inc. Integrating user personas with chat sessions
US9485433B2 (en) 2013-12-31 2016-11-01 Personify, Inc. Systems and methods for iterative adjustment of video-capture settings based on identified persona
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
US9386303B2 (en) 2013-12-31 2016-07-05 Personify, Inc. Transmitting video and sharing content via a network using multiple encoding techniques
US9971491B2 (en) 2014-01-09 2018-05-15 Microsoft Technology Licensing, Llc Gesture library for natural user input
KR102135770B1 (ko) * 2014-02-10 2020-07-20 한국전자통신연구원 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
WO2015143435A1 (en) 2014-03-21 2015-09-24 University Of Iowa Research Foundation Graph search using non-euclidean deformed graph
US10244225B2 (en) 2014-06-12 2019-03-26 Inuitive Ltd. Method for determining depth for generating three dimensional images
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR101598706B1 (ko) * 2014-08-14 2016-02-29 주식회사 엔씨소프트 배경 그래픽의 입체적 표시를 위한 컴퓨팅 디바이스 및 컴퓨터 프로그램
KR102248404B1 (ko) * 2014-11-17 2021-05-07 삼성전자주식회사 움직임 분석 방법 및 움직임 분석 장치
US20160165207A1 (en) * 2014-12-03 2016-06-09 Kabushiki Kaisha Toshiba Electronic device, method, and computer program product
US9754416B2 (en) * 2014-12-23 2017-09-05 Intel Corporation Systems and methods for contextually augmented video creation and sharing
US9671931B2 (en) * 2015-01-04 2017-06-06 Personify, Inc. Methods and systems for visually deemphasizing a displayed persona
US9418396B2 (en) 2015-01-15 2016-08-16 Gopro, Inc. Watermarking digital images to increase bit depth
US9877036B2 (en) 2015-01-15 2018-01-23 Gopro, Inc. Inter frame watermark in a digital video
US10725297B2 (en) * 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US10726625B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
US9852546B2 (en) 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US10115194B2 (en) 2015-04-06 2018-10-30 IDx, LLC Systems and methods for feature detection in retinal images
US9563962B2 (en) 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
US9916668B2 (en) 2015-05-19 2018-03-13 Personify, Inc. Methods and systems for identifying background in video data using geometric primitives
US10244224B2 (en) 2015-05-26 2019-03-26 Personify, Inc. Methods and systems for classifying pixels as foreground using both short-range depth data and long-range depth data
US20170006219A1 (en) 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US9607397B2 (en) 2015-09-01 2017-03-28 Personify, Inc. Methods and systems for generating a user-hair-color model
US10206645B2 (en) * 2015-09-18 2019-02-19 General Electric Company Multi-perspective interventional imaging using a single imaging system
US11783864B2 (en) * 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10051206B2 (en) 2015-09-28 2018-08-14 Gopro, Inc. Automatic composition of video with dynamic background and composite frames selected based on frame and foreground object criteria
CN105373774B (zh) * 2015-10-10 2018-12-28 安徽清新互联信息科技有限公司 一种幼师体罚小孩行为的检测方法
US10558353B2 (en) 2015-11-18 2020-02-11 Samsung Electronics Co., Ltd. System and method for 360-degree video navigation
US10482681B2 (en) 2016-02-09 2019-11-19 Intel Corporation Recognition-based object segmentation of a 3-dimensional image
US10373380B2 (en) * 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US9918128B2 (en) * 2016-04-08 2018-03-13 Orange Content categorization using facial expression recognition, with improved detection of moments of interest
US9883155B2 (en) 2016-06-14 2018-01-30 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching
CN106215418B (zh) * 2016-07-06 2017-11-21 深圳超多维科技有限公司 一种应用的显示控制方法及其装置、终端
US10573018B2 (en) 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
DE202017104323U1 (de) * 2016-07-20 2017-11-30 Google Inc. Anzeige und Interaktion mit gescannter Umgebungsgeometrie in virtueller Realität
US10134114B2 (en) 2016-09-20 2018-11-20 Gopro, Inc. Apparatus and methods for video image post-processing for segmentation-based interpolation
US10313686B2 (en) 2016-09-20 2019-06-04 Gopro, Inc. Apparatus and methods for compressing video content using adaptive projection selection
US10003768B2 (en) 2016-09-28 2018-06-19 Gopro, Inc. Apparatus and methods for frame interpolation based on spatial considerations
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US9881207B1 (en) 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
US11402740B2 (en) * 2016-12-22 2022-08-02 Cherry Imaging Ltd. Real-time tracking for three-dimensional imaging
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
DE102017203721A1 (de) * 2017-03-07 2018-09-13 Bitmanagement Software GmbH Vorrichtung und Verfahren zur Darstellung eines Raumbilds von einem Objekt in einer virtuellen Umgebung
US10595039B2 (en) 2017-03-31 2020-03-17 Nvidia Corporation System and method for content and motion controlled action video generation
US10489897B2 (en) 2017-05-01 2019-11-26 Gopro, Inc. Apparatus and methods for artifact detection and removal using frame interpolation techniques
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
FR3067151B1 (fr) * 2017-05-30 2019-07-26 Fittingbox Procede d'essayage virtuel realiste d'une paire de lunettes par un individu
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
EP3680857B1 (en) * 2017-09-11 2021-04-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US20220114792A1 (en) * 2019-02-06 2022-04-14 Maxell, Ltd. Mixed reality display device and mixed reality display method
SG10201913029SA (en) * 2019-12-23 2021-04-29 Sensetime Int Pte Ltd Target tracking method and apparatus, electronic device, and storage medium
US11741675B2 (en) * 2020-03-10 2023-08-29 Niantic, Inc. Determining traversable space from single images
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
US11704864B1 (en) * 2022-07-28 2023-07-18 Katmai Tech Inc. Static rendering for a combination of background and foreground objects

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
DE69910757T2 (de) 1998-04-13 2004-06-17 Eyematic Interfaces, Inc., Santa Monica Wavelet-basierte gesichtsbewegungserfassung für avataranimation
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
GB9919381D0 (en) 1999-08-18 1999-10-20 Orad Hi Tech Systems Limited Narrow bandwidth broadcasting system
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US6806898B1 (en) 2000-03-20 2004-10-19 Microsoft Corp. System and method for automatically adjusting gaze and head orientation for video conferencing
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6975750B2 (en) * 2000-12-01 2005-12-13 Microsoft Corp. System and method for face recognition using synthesized training images
US7203356B2 (en) * 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US7164784B2 (en) * 2002-07-30 2007-01-16 Mitsubishi Electric Research Laboratories, Inc. Edge chaining using smoothly-varying stereo disparity
US20040063480A1 (en) * 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
US7224830B2 (en) * 2003-02-04 2007-05-29 Intel Corporation Gesture detection from digital video images
JP2006522411A (ja) * 2003-03-06 2006-09-28 アニメトリックス，インク． 複数の特徴を含むオブジェクトの画像データベースの生成
WO2004097612A2 (en) * 2003-05-01 2004-11-11 Delta Dansk Elektronik, Lys & Akustik A man-machine interface based on 3-d positions of the human body
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US6956469B2 (en) 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
US7263209B2 (en) * 2003-06-13 2007-08-28 Sarnoff Corporation Vehicular vision system
EP1807806B1 (en) * 2004-10-26 2011-04-06 Koninklijke Philips Electronics N.V. Disparity map
US7689010B2 (en) * 2004-12-03 2010-03-30 Invacare International Sarl Facial feature analysis system
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102047669B (zh) * 2008-06-02 2013-12-18 皇家飞利浦电子股份有限公司 具有深度信息的视频信号
CN102047669A (zh) * 2008-06-02 2011-05-04 皇家飞利浦电子股份有限公司 具有深度信息的视频信号
CN102317977A (zh) * 2009-02-17 2012-01-11 奥美可互动有限责任公司 用于姿势识别的方法和系统
CN102458594B (zh) * 2009-04-07 2015-02-25 美国索尼电脑娱乐有限责任公司 模拟虚拟照相机的性能的系统和方法
CN104580911A (zh) * 2009-04-07 2015-04-29 美国索尼电脑娱乐有限责任公司 模拟虚拟照相机的性能
CN102458594A (zh) * 2009-04-07 2012-05-16 美国索尼电脑娱乐公司 模拟虚拟照相机的性能
CN102470274A (zh) * 2009-07-29 2012-05-23 微软公司 自动生成视觉表示
CN102470274B (zh) * 2009-07-29 2014-10-29 微软公司 自动生成视觉表示
CN102549507A (zh) * 2009-10-02 2012-07-04 皇家飞利浦电子股份有限公司 选择视点用于在3d视频中生成附加视图
CN102549507B (zh) * 2009-10-02 2014-08-20 皇家飞利浦电子股份有限公司 选择视点用于在3d视频中生成附加视图
CN103038780A (zh) * 2010-03-04 2013-04-10 唐格有限责任公司 用于创建、存储三维扫描图像及提供对三维扫描图像的访问的方法
CN102223555B (zh) * 2010-04-19 2015-03-18 Lg电子株式会社 图像显示装置及其控制方法
CN102223555A (zh) * 2010-04-19 2011-10-19 Lg电子株式会社 图像显示装置及其控制方法
CN102184009B (zh) * 2010-04-26 2014-03-19 微软公司 跟踪系统中的手位置后处理精炼
CN102184009A (zh) * 2010-04-26 2011-09-14 微软公司 跟踪系统中的手位置后处理精炼
US8602887B2 (en) 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
CN102289564A (zh) * 2010-06-03 2011-12-21 微软公司 来自多个视听源的信息的合成
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US9330470B2 (en) 2010-06-16 2016-05-03 Intel Corporation Method and system for modeling subjects from a depth map
CN102549527A (zh) * 2010-06-28 2012-07-04 英特尔公司 用于便携式有形交互的系统
US9262015B2 (en) 2010-06-28 2016-02-16 Intel Corporation System for portable tangible interaction
CN102549527B (zh) * 2010-06-28 2015-05-20 英特尔公司 用于便携式有形交互的系统
CN102609942A (zh) * 2011-01-31 2012-07-25 微软公司 使用深度图进行移动相机定位
CN102609942B (zh) * 2011-01-31 2015-12-02 微软技术许可有限责任公司 使用深度图进行移动相机定位
US9619561B2 (en) 2011-02-14 2017-04-11 Microsoft Technology Licensing, Llc Change invariant scene recognition by an agent
CN102737368B (zh) * 2011-03-29 2017-03-01 索尼公司 图像处理设备和方法
US9875553B2 (en) 2011-03-29 2018-01-23 Sony Corporation Image processing apparatus, method, and program
CN102740094A (zh) * 2011-03-29 2012-10-17 索尼公司 方法、装置和系统
CN102737368A (zh) * 2011-03-29 2012-10-17 索尼公司 图像处理设备、方法和程序
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
US9910498B2 (en) 2011-06-23 2018-03-06 Intel Corporation System and method for close-range movement tracking
US9390532B2 (en) 2012-02-07 2016-07-12 Nokia Technologies Oy Object removal from an image
CN104145479A (zh) * 2012-02-07 2014-11-12 诺基亚公司 从图像去除对象
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US11215711B2 (en) 2012-12-28 2022-01-04 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
WO2014108799A2 (en) * 2013-01-13 2014-07-17 Quan Xiao Apparatus and methods of real time presenting 3d visual effects with stereopsis more realistically and substract reality with external display(s)
WO2014108799A3 (en) * 2013-01-13 2014-10-30 Quan Xiao Apparatus and methods of real time presenting 3d visual effects with stereopsis more realistically and substract reality with external display(s)
US11710309B2 (en) 2013-02-22 2023-07-25 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
CN105678696B (zh) * 2014-11-20 2019-03-29 联想(北京)有限公司 一种信息处理方法及电子设备
CN105678696A (zh) * 2014-11-20 2016-06-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN105611267A (zh) * 2014-11-21 2016-05-25 罗克韦尔柯林斯公司 现实世界和虚拟世界图像基于深度和色度信息的合并
CN105791796A (zh) * 2014-12-25 2016-07-20 联想(北京)有限公司 图像处理方法和图像处理装置
CN105791796B (zh) * 2014-12-25 2018-08-31 联想(北京)有限公司 图像处理方法和图像处理装置
CN106095094B (zh) * 2016-06-10 2019-04-16 北京行云时空科技有限公司 增强现实投影与现实交互的方法和装置
CN106095094A (zh) * 2016-06-10 2016-11-09 北京行云时空科技有限公司 增强现实投影与现实交互的方法和装置
CN109690386A (zh) * 2016-10-01 2019-04-26 英特尔公司 用于运动补偿虚拟现实的技术
CN107979754A (zh) * 2016-10-25 2018-05-01 百度在线网络技术（北京）有限公司 一种基于摄像头应用的测试方法和装置
CN113709439A (zh) * 2017-04-11 2021-11-26 杜比实验室特许公司 分层的增强型娱乐体验
CN107154197A (zh) * 2017-05-18 2017-09-12 河北中科恒运软件科技股份有限公司 沉浸式飞行模拟器
CN108734774A (zh) * 2018-05-18 2018-11-02 网易（杭州）网络有限公司 虚拟肢体构建方法及装置、人机交互方法
CN108734774B (zh) * 2018-05-18 2022-05-31 网易（杭州）网络有限公司 虚拟肢体构建方法及装置、人机交互方法

Also Published As

Publication number Publication date
US9020239B2 (en) 2015-04-28
EP1960970A1 (en) 2008-08-27
US9855496B2 (en) 2018-01-02
KR101251701B1 (ko) 2013-04-05
EP1960970B1 (en) 2012-01-11
US20150231490A1 (en) 2015-08-20
ATE540732T1 (de) 2012-01-15
US20070110298A1 (en) 2007-05-17
US20120071239A1 (en) 2012-03-22
WO2007055865A1 (en) 2007-05-18
KR20080069601A (ko) 2008-07-28
US8094928B2 (en) 2012-01-10
CN101305401B (zh) 2012-12-19
EP1960970A4 (en) 2009-03-04

Similar Documents

Publication Publication Date Title
CN101305401B (zh) 用于处理游戏的立体视频的方法
KR102197553B1 (ko) 파트 기반 키 프레임들 및 선험적 모델을 사용한 견고한 메시 트래킹 및 융합
US8781217B2 (en) Analysis of three-dimensional scenes with a surface model
CN102663722B (zh) 使用深度图像的活动对象分割
US10650222B2 (en) System and method for toy recognition
US9525862B2 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
WO2019050916A1 (en) TECHNIQUES FOR RENDERING THREE-DIMENSIONAL ANIMATED GRAPHICS FROM A VIDEO
US20200097732A1 (en) Markerless Human Movement Tracking in Virtual Simulation
CN111061374B (zh) 一种支持多人模式增强现实应用的方法及装置
WO2004012141A2 (en) Virtual reality immersion system
WO2023020327A1 (zh) 图像处理
CN114445601A (zh) 一种图像处理方法、装置、设备和存储介质
Ladikos et al. Real-time 3d reconstruction for occlusion-aware interactions in mixed reality
Wu et al. A novel augmented reality framework based on monocular semi‐dense simultaneous localization and mapping
CN115619859A (zh) 基于已有地图的稠密三维场景重建方法及系统
Holzer et al. Mobile surveillance by 3d-outlier analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150429

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150429

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121219

Termination date: 20191010

CF01 Termination of patent right due to non-payment of annual fee