CN103703489A - 对象数字化 - Google Patents

对象数字化 Download PDF

Info

Publication number
CN103703489A
CN103703489A CN201280027694.7A CN201280027694A CN103703489A CN 103703489 A CN103703489 A CN 103703489A CN 201280027694 A CN201280027694 A CN 201280027694A CN 103703489 A CN103703489 A CN 103703489A
Authority
CN
China
Prior art keywords
image
color
depth
camera
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280027694.7A
Other languages
English (en)
Other versions
CN103703489B (zh
Inventor
J·J·埃弗特
J·A·克拉克
C·H·维罗毕
M·斯卡维泽
J·蒂亚奎罗
R·马尔科维奇
J·索拉
D·哈利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN103703489A publication Critical patent/CN103703489A/zh
Application granted granted Critical
Publication of CN103703489B publication Critical patent/CN103703489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在此描述了对图片中的对象进行数字化。用户将对象呈现给相机，相机捕捉该对象的前面和背面的包括颜色和深度数据的图像。对于前面和背面图像这两者，通过分析深度数据来确定最接近相机的点。从这些最接近的点中，可以通过标注深度数据中的大的差异来找到该对象的边缘。深度数据也被用于构建该对象的前面和背面的点云构造。将各种技术应用于推断边缘、移除接缝、智能扩展颜色、过滤噪声、将骨架结构应用于该对象以及进一步优化数字化。最后，将数字表示呈现给用户并在不同的应用（例如游戏、Web等）中潜在使用。

Description

对象数字化
背景
现代游戏和因特网技术与过去的那些技术相比以更加个人的方式来与用户交互。现今的游戏系统可读取站立在相机前面的玩家的移动或玩家通过无线控制器采取的行动（例如如同棒球棒那样挥动控制器）以取代在连接到游戏控制台的控制器上简单地敲击按键。这种个人交互开拓出一个完全崭新的游戏领域。
概述
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征。本概述也不是意在帮助确定所要求的主题的范围。
一个方面旨在创建图像中对象的数字表示（“数字化”）。用户将对象呈现给相机，相机捕捉该对象的前面和背面的包括颜色和深度数据的图像。对于前面和背面图像这两者，通过分析深度数据来确定最接近相机的点。从这些最接近的点中，可以通过标注深度数据中的大的差异来找到该对象的边缘。深度数据也被用于构建该对象的前面和背面的点云构造。将各种技术应用于推断边缘、移除接缝、智能扩展颜色、过滤噪声、将骨架结构应用于该对象以及进一步优化数字化。最后，将数字表示呈现给用户并在不同的应用（例如游戏、Web等）中潜在使用。
附图说明
下面将参考附图详细描述本发明的说明性实施例，在附图中：
图1描绘了适用于实现在此讨论的各实施例的示例性计算环境的框图。
图2是根据一个实施例的呈现用于数字化的对象的用户的图示。
图3是根据一个实施例的用于将对象进行数字化的工作流程的图示。
图4A和4B是根据一个实施例的呈现用于数字化的对象的用户的相机观看视角的图示。
图5是根据一个实施例的可用于对对象进行数字化的分割深度图像的图示。
图6是根据一个实施例的深度对颜色的偏移的图示。
图7是根据一个实施例的可用于对对象进行数字化的源色彩图像的图示。
图8是根据一个实施例的所捕捉的对象的色彩分割的图示。
图9和10是根据一个实施例的用于保持要被数字化的对象的用户界面(UI)指导的图示。
图11是根据一个实施例的对象的三维(3D)点云构造的图示。
图12是根据一个实施例的对齐的点片（point sheets）的两个视图的图示。
图13是根据一个实施例的最终的点云构造的图示。
图14是根据一个实施例的显示经数字化的对象的确认图像的UI的图示，所述经数字化的对象被显示给用户。
图15是根据一个实施例的所捕捉的对象的网格输出的图示。
图16是根据一个实施例的经平滑和处理的对象的图像的图示。
图17是根据一个实施例的具有UV坐标的图像的图示。
图18是根据一个实施例的将面朝前的三角边缘绘制到最终的纹理图的截面的图示。
图19A-19E是根据一个实施例的示出要添加到所生成的骨架结构的不同骨头处的加权的图示。
图20A和20B是根据一个实施例的示出在亮度/色度处理之前和之后的图示。
图21A和21B是根据一个实施例的示出在对边缘进行滤波之后的源和输出图像的图示。
图22A和22B是根据一个实施例的示出在其中所述边缘修复滤波器查找到背景颜色和目标对象颜色的图像的图示。
图23A和23B是根据一个实施例的示出从边缘到争议区域的距离以及所计算的背景似然值的图像的图示。
图24是根据一个实施例的最终的合成纹理图的图示。
图25A和25B是根据一个实施例的屏蔽值和重度模糊化的顶点色彩的图示。
图26A和26B是根据一个实施例的仅具有纹理和具有混合了屏蔽值的顶点色彩的纹理的不同的网格的图示。
图27是根据一个实施例的经数字化的对象的最终呈现的图示。
图28是根据一个实施例的用于详细描述将对象进行数字化的工作流程的流程图。
图29是根据一个实施例的用于详细描述将对象数字化的工作流程的流程图。
详细描述
本文中用细节来描述本发明各实施例的主题以满足法定要求。然而，该描述本身并非旨在必定限制权利要求的范围。相反，所要求保护的主题可结合其他当前或未来技术按照其他方式来具体化，以包括不同的步骤或类似于本文中所描述的步骤的步骤组合。术语不应被解释为暗示本文所公开的各步骤之中或之间的任何特定次序，除非且除了在明确描述个别步骤的次序的时候。
在此所述的实施例通常涉及由相机捕捉的对象的数字表示。在一个实施例中，在相机前面用户持有对象，相机捕捉对象的图像，并且一个设备将所捕捉的对象数字化成3D呈现，所述3D呈现可以被数字化地显示—例如，作为视频游戏中的实体显示。
为了说明，考虑以下示例。用户向装备有相机的游戏设备举起玩具章鱼。使用相机，游戏设备拍摄了所述对象的前面和背面的图片，捕捉每个面的色彩和深度数据。根据深度数据，构建章鱼的3D呈现，并且，随后将色彩数据加入到3D呈现中以创建章鱼的数字化呈现（在此称为“数字化”）。随后可以将所述数字化用于在其中所述章鱼的显示是有用的游戏或任意其它软件或Web应用中。
至少一个实施例针对将对象进行数字化。用户将对象呈现给计算设备（例如游戏控制台）上的相机。设备可以指令用户定位要显示的对象以—例如通过在屏幕上放置反映由相机所看见的图像的轮廓并指示用户应该将所述对象移动到轮廓中，来优化所捕捉的图像。最终，设备捕捉对象的一个或多个图像。随后，可以指令用户将对象的背侧呈现给相机以进行捕捉。随后，设备捕捉对象的背侧的一个或多个图像。处理所捕捉的前面和背面图像以构建对象的3D数字化。
在一个实施例中，处理使用由相机捕捉的图像的深度数据。深度数据以每个像素或其它空间表示形式描述了在图像中所捕捉的事物的接近度。使用所述深度数据，可以定位图像中的对象的最接近点。这个实施例假设图像的最接近的对象是用户正期望捕捉的对象—例如，朝相机紧握章鱼的用户很可能意味着这个章鱼相对于相机而言是最接近的事物。
在已经简要描述了本发明的概述后，现在描述可以在其中实现本发明的各个方面的示例性操作环境。概括地参考附图，并首先具体参考图1，示出了用于实现本发明的各实施例的示例性操作环境，并将其概括地指定为计算设备100。计算设备100只是合适的计算环境的一个示例，并且不旨在对本发明的使用范围或功能提出任何限制。也不应该将计算设备100解释为对所示出的任一组件或其组合有任何依赖性或要求。
本发明的各实施例可以在由计算机或诸如个人数据助理或其它手持式设备之类的其它机器执行的计算机代码或机器可使用指令（包括诸如程序模块之类的计算机可执行指令）的一般上下文中描述。一般而言，包括例程、程序、对象、组件、数据结构等的程序模块指的是执行特定任务或实现特定抽象数据类型的代码。本发明的实施例可以在各种系统配置中实施，这些系统配置包括手持式设备、消费电子产品、通用计算机、更专用计算设备等等。本发明的各实施例也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实施。
继续参考图1，计算设备100包括直接或间接耦合以下设备的总线101：存储器102、一个或多个处理器103、一个或多个呈现组件104、输入/输出（I/O）端口105、I/O组件106、和说明性电源107。总线101表示可以是一条或多条总线（诸如地址总线、数据总线、或其组合）。虽然为了清楚起见利用线条示出了图1的各框，但是实际上，各组件的轮廓并不是那样清楚，并且比喻性地来说，线条更精确地将是灰色的和模糊的。例如，可以将诸如显示设备等呈现组件认为是I/O组件。另外，许多处理器具有存储器。发明人关于此点认识到这是本领域的特性，并重申，图1的图示只是可以结合本发明的一个或多个实施例来使用的示例性计算设备的例示。诸如“工作站”、“服务器”、“膝上型计算机”、“游戏控制台”、“手持式设备”等分类之间没有区别，它们全部都被认为是在图1的范围之内的并且被称为“计算设备”。
计算设备100通常包括各种计算机可读介质。计算机可读介质可以是可由计算设备100访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非局限，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、闪存或其它存储器技术、CD-ROM、数字多功能盘（DVD）或其它全息存储器、磁带盒、磁带、磁盘存储或其它磁性存储设备或可用于编码所需信息且可以由计算设备100访问的任何其它介质。
存储器102包括易失性和/或非易失性存储器形式的计算机存储介质。存储器102可以是可移动的、不可移动的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备100包括从诸如存储器102或I/O组件106等各种实体读取数据的一个或多个处理器。呈现组件104向用户或其他设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等等。
I/O组件106可以包括能够拍摄静态图片或视频的相机。在一个实施例中，当拍摄图片时，所述相机捕捉色彩数据（例如红、绿、蓝）和深度数据。深度数据（在一个实施例中在每个像素的基础上）指示由相机所捕捉的对象与相机本身的接近度。可以以许多方式来捕捉深度数据，像使用红外(IR)相机来读取发射出的红外线，读取发射出的激光等等。深度数据可以以每厘米、每米或其它空间表示的形式被存储。例如，IR点可被发射出并由IR相机读取，生成详细描述在相机前面的区域中以每米定位方式所测量的图像的深度的输出文件。另外，深度数据还可以通过对在其中测量深度的屏幕区域的像素进行记录来指示所捕捉的对象的特定部位的朝向。因为彩色相机和深度相机可以位于彼此分开的位置，可以做出变换以将所检索的色彩数据映射到对应的深度数据。
I/O端口118允许计算设备100逻辑上耦合至包括I/O组件120的其它设备，其中某些可以是内置的。说明性I/O组件120包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、打印机、无线设备等等。
如在前所述，一些实施例针对创建虚拟环境中的对象的数字呈现。图2是根据一个实施例的用于用户204的创建对象206的数字表示的环境200的图示。应当理解，此处所描述的这一和其他安排仅作为示例来阐明。附加于或替代于所示的安排和元素，可使用其他安排和元素（例如机器、接口、功能、次序、以及功能聚集等），并且可完全省略某些元素。此外，本文所描述的许多元素是可以实现为分立或分布式组件或结合其他组件的、以及以任何合适的组合和在任何合适的位置的功能实体。此处被描述为由一个或多个实体执行的各种功能可由硬件、固件和/或软件来执行。例如，各种功能可由执行存储在存储器中的指令的处理器来执行。
关注图2，环境200示出将对象206（如所示为章鱼塑像）呈现给计算设备202的用户204，该计算设备装备有两个相机：彩色相机208和深度相机210。在环境200中，计算设备202是游戏控制台，例如由微软公司创造的微软KinectTM。计算设备202上的相机捕捉包括对象206的一个或多个图像。彩色相机208捕捉图像的色彩数据，而深度相机210捕捉深度数据。在替换实施例中，计算设备202可以仅具有一个相机，该相机同时捕捉色彩和深度数据。
虽然被示为是单独的设备，计算设备202也可以被集成到或通信连接到其它的计算设备（例如游戏控制台、服务器等）。计算系统200的组件可以经由网络彼此通信，网络包括但不限于一个或多个局域网（LAN）和/或广域网（WAN）。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。应该理解一些实施例可以包括附加的计算设备202。其每个都可以包括单个设备/接口或在分布式环境中协作的多个设备/接口。
在某些实施例中，所示的一个或多个数字化技术可以由独立的应用来实现。或者，可以由跨诸如因特网的网络的不同的计算设备或由游戏系统内部的模块来实现一个或多个数字化技术。本领域的普通技术人员可以理解，图2所示的组件/模块本质和数量上是示例性的，并且不应被解释为限制。可采用任何数量的组件/模块来实现此处的实施例的范围内的所需功能。此外，组件/模块可位于任何数量的服务器或客户计算设备上。
虽然用户204在图2中被示为将对象206的前侧呈现给计算设备202，但用户204可以将对象206的背侧呈现给计算设备202，以便捕捉对象206的背侧图像。随后，可以将背侧图像与对象206的前侧图像结合起来以生成对象206的3D呈现。每个所捕捉的图像可以包括色彩和深度数据，这两者都允许计算设备202精确创建对象206的3D呈现。
在不同的实施例中还可以使用附加的对象106的图像视图以帮助数字化。可以从任意不同的角度来拍摄和录制对象106。例如，除了前面和背面视图之外或替代前面和背面视图，可以从图像106的右边、左边、底部、顶部来拍摄几张图像，以便生成更加稳健的3D数字化。例如，可以在将对象106的特定侧面进行数字化时使用几张侧面视图。至少在实施例中，使用的对象106的视图越多，3D呈现就越完整或精确。
图3是根据一个实施例的用于将对象进行数字化的工作流程300的图示。最初，用户将对象呈现给计算设备上的相机以拍摄图像，如在302所示。在一些实施例中，计算设备可以指令用户移动对象到特定区域以便捕捉图像的优化图像—例如要求在显示屏上提供轮廓、示出用户和对象的实时图像，并随后指令用户将对象移动到轮廓中。一旦拍摄了初始图像，计算设备可以指令该用户呈现对象的背侧以进行捕捉，如在304所示。同样可以由计算设备提供捕捉背侧的指导。对于每个捕捉的图像，存储色彩和深度数据并将其用于将正被呈现的对象进行数字化。而且，可以从对象的前侧和背侧视角捕捉多张图像。例如，计算设备可以被配置为捕捉10张前面图像和10张背面图像，并且可能将所述10张前面图像和10张背面图像合并在一起—或使用所有20张图像来对图像进行数字化。虽然10张图像已经被示出为是将一个对象进行数字化的理想图像数量，但其它实施例可以使用不同数量的已捕捉图像。
一旦由相机捕捉了对象的前面图像和背面图像，一个实施例开始通过—使用图像的深度数据—搜索图像中最接近相机的点来将对象数字化，如在306中所示。用户可能将要数字化的对象保持在用户的前面，这样，该对象应该比任何其它事物更接近相机。转回到图2一会，可以注意到用户204将对象206保持在他的前面，这样它更靠近计算设备202。可以使用与该图像相关联的深度数据来实现定位图像中的最接近对象，并且一些实施例在前侧和背侧图像两者上都执行该过程以标识这两者中的最接近对象。
如在308处所示，随后搜索图像中所标识的最接近对象以查找边缘以标识何处该对象结束。再次使用深度数据以定位图像中的对象的边缘。边缘搜索可以从最接近的点向外开始，查找在点的深度之间的剧烈差异。例如，图2中的章鱼的边缘可以具有比表示用户204的肩膀的邻近点更近差不多半米的一个点。这种剧烈差异表示了一个所述邻近点并不是对象的一部分且不应该被包括在进一步的数字化步骤中的可读信号。通过这种方式定位对象的所有边缘允许了计算设备标识出图像中的该对象。
一旦确定了对象，一个实施例关闭与图像的剩余部分（即图像的没有被标识为对象的部分）相关联的色彩数据。在一些实施例中，可能必需捕捉多个图像（例如对象的10个前面和10个背面的图像），因此，需要一种平滑技术以混合帧之间的所找到的边缘，如在310所示。例如，对象在帧1和帧4之间可能已经移动，因而平滑帧之间的边缘是取得对象的精确表示所必需的。另外，在深度到色彩记录（registration）中的噪声、低分辨率和瑕疵也可能需要附加的边缘平滑和/或滤波。
在一个实施例中，所得的经平滑和/或经滤波的对象被呈现给用户用于确认，如在312所示。随后，用户可以接受或拒绝所得的对象。如果接受，随后附加处理行进到将对象进行数字化。如果拒绝，实施例可以要求用户通过拍摄对象的新图片来开始处理或仅仅重新平滑或重新滤波所述对象。
最终，前面和背面的图像被用于在生成在3D中的对象的点云构造。如在图11中详细描述的“点云构造”是通过被标识的对象的每个点或像素的深度将对象的前面和/或背面的图像映射到3D空间。点云构造可以被用在对象的进一步的数字化中。但是，替换的实施例可以使用深度和色彩数据的其它表示或空间聚合来从不同的图像中创建对象的构造或其它类型的表示。
图4-26示出了在数字化处理中的各种步骤的图像，并且将在下面进一步详细讨论以说明由不同的实施例使用的处理。特别地，图4A和4B是根据一个实施例的呈现用于数字化的对象的用户的相机观看视角的图示。在所示的实施例中，捕捉对象的两个视图。彩色相机在框的中央缩放以在目标对象周围获得640x480彩色的窗口，并且随后将彩色窗口的四角变换成深度帧坐标（假设所述角位于目标对象的前面）。随后从深度帧中抓取一个匹配的160x120的窗口。在没有这种每帧窗口调整（取决于目标对象到相机的距离）的情况下，深度和彩色窗口不会充分重叠。而且，可以在不执行深度到色彩或色彩到深度的记录的情况下捕捉原始色彩和深度。所述分辨率数目和窗口仅供说明的目的，因为可以替换地使用各种其它的分辨率。
在一个实施例中，深度图像对目标对象进行分割。为了这么做，搜索并找到到相机的最接近的深度像素，假设这样的一个点在目标对象上。随后，该实施例从所找到的最接近的点开始向外泛色填充，直到碰到深度边缘（即深度离开对象的前面太远或我们不具有深度数据）。另外，可以移除在陡坡区域周围的且具有太少的邻居的点。所述结果是在目标对象上的深度像素（在此称为“被分割的深度像素”）的屏蔽，如图5所示。被分割的深度图像被存储在深度图像的环形缓冲区（装有大小为10的环形缓冲区的BAB/GOE），覆盖最旧的深度帧并将所有帧一起取平均以获得最终的深度图像。在一个实施例中，仅有已分割的深度像素对最终平均做出贡献。结果，平滑了噪声，导致更加稳定的对象边缘，并改善了在其中由于噪声或弱IR反射材料引起对象的部分的分割闪烁的情形。
图6是根据一个实施例的深度对颜色的偏移的图示。如所示，一个实施例建立了一个深度对颜色偏移表，具有绿色（在右上角中示出）、红色（在左下角中示出）以及在这之间的两种颜色的混合。每个像素的深度和色彩空间坐标之间的偏移被存储在用于在色彩分割和网格处理期间的快速查找的表中，并且有助于仅使用这两种已捕捉的色彩图像完美地再现输出网格，而不考虑特定相机的校准设置。通过在分割的边缘处向外复制偏移可以填充在对象分割外面的表的区域。在边缘处复制的偏移可以随后用于处理当在输出的网格中投射到深度图像中的顶点落在深度分割的边界之外时的情况。
图7是源色彩图像的图示，而图8是根据一个实施例的所捕捉的对象的色彩分割的图示。从在深度空间中分割开始，一个实施例使用类似星形的纵板图案（star-like splatpattern）将每个分割的深度像素放入320x240色彩分割缓冲区。随后可以对所得的图案“上采样”到640x480，并且，随后为每个分割的色彩像素计算一个“离理想的距离”值，该值描述了源深度像素离开“理想”距离有多远。理想距离表示在不与深度相机的前面剪切平面相交的情况下，用户应该持有目标对象离相机有多近，以便获得尽可能多的色彩/深度数据。这些值可以被作为给用户的反馈在捕捉过程期间呈现。距离理想更远的像素可以被模糊化，并且与离理想更近的像素相比更加重地着色。离理想的距离的值最终被复制到色彩图像的alpha通道中用于实时预览。
图9和10是根据一个实施例的用于保持要被数字化的对象的用户界面(UI)指导的图示。图9示出了所示的实施例分析所分割的像素的数目、到相机的距离、离开相机视图的中心的距离、像素稳定性以及对象大小，并给出如何最佳安置对象的用户可视的和文本反馈。所述反馈可以是以在屏幕上的轮廓的形式。图10示出使用如上所述相同的过程的目标对象的背面图像的色彩和深度数据。一个实施例使用所分割的前面捕捉的轮廓来指导用户正确确定对象的方位。所述用户不需要精确匹配轮廓，因为随后可以自动对齐前面和背面的捕捉。
图11示出根据一个实施例的点云构造。此时，两个色彩和深度数据图像已经针对目标对象进行分割。使用这些图像，可以构建在目标对象的表面上的点的点云构造，并且随后用于重新构建三角网格。在前面深度图像中的所分割的像素可以变换成3D点的“薄片（sheet）”。在一个实施例中，位置没有从深度图像空间投射到模型空间，并且原点在薄片的背面中心。通过加入附加的点以形成对象的侧面，薄片的边缘被向后挤压（extrude）。为了猜测对象有多“深”，在BAB/GOE中，可以使用固定的挤压距离值。
类似地，使用前面捕捉的背面中心作为原点来从背面深度图像中创建3D点的薄片。图12是根据一个实施例的对齐的点薄片的两个视图的图示。为了对齐薄片，计算初始变换以围绕上轴旋转该薄片180度，以便其形成点云的背面。在一个实施例中，计算另一个变换，其中将前面和背面薄片的边缘尽可能靠近对齐。对齐处理可以将背面薄片转变为背面薄片的质心与前面薄片的质心匹配。随后在转变和旋转范围上使用强力迭代以最小化“对齐错误”值，该值是作为从每个前面边缘点到其最接近的背面边缘点的距离的总和来计算的。可以以多次通过的方式来完成迭代（每个通过试图一次一个地计算每个转变和旋转轴的最佳值），并且为了效率使用两层层次结构方案来完成跨每个轴的搜索。使用3D单元格空间分隔来加速最接近的点的查找。一个实施例也实现了一种用于快速细粒度对齐的迭代最接近点(“ICP”)算法，或者替换地，对于更好控制的需求可以指示仅使用强力方法迭代。
来自前面薄片的在背面薄片中不具有对应点的点可以被挑选出以从每个前面的点向后搜索以查找最接近的背面的点。类似地，可以挑选出来自背面薄片的在前面薄片中不具有对应点的点。这移除了薄片的在前面和背面捕捉中不一致的点，这种情况在如果用户的手在所述捕捉中但在捕捉之间改变了位置时，或者在如果对象在前面和背面捕捉之间改变了形状时会出现。
在一个实施例中，将剩余的点一起合成为最终的点云，并且使用由每个点和其右下的邻居形成的平面来计算这些点的法线（normal）。图13示出根据一个实施例的最终的点云构造。
随后，将确认图像呈现给用户，如图14所示。确认图像合并了薄片对齐和点挑选的结果，允许用户检测捕捉、对齐或挑选严重失败的情况，并且在不必须经历构造过程的剩余部分的情况下重新捕捉。通过将最终的点云中的点投射并放入前面和背面色彩图像的alpha通道、基于对齐变换来旋转背面图像以及做出某些附加的图像清除，来创建所述图像。
表面重新构造步骤采用最终的点云并生成三角网格。图15示出通过表面重新构造的网格输出的图示。一个实施例使用了由在MSR-北京的通信小组中的Minmin Gong所开发的泊松（Poisson）表面重构算法的混合CPU/GPU实现，所述实现在由Kazhdan、Bolitho和Hoppe的“泊松表面重构”以及Zhou、Gong、Huang和Guo的“高度并行表面重构”中有详细描述。这可能是数字化中在存储器和时间这两方面中最计算上密集的部分，在某些实施例中，对于大约20，000个点的典型点云数据来说花费10-20秒。在重构期间可以限制洞填充的数量以保持存储器的使用率受到控制，但是，如果在点云中存在大量的洞，这样的限制可以导致非水密的网格。
图16是根据一个实施例的经平滑和处理的对象的图像的图示。构建顶点邻接列表，并且计算面和顶点法线。随后，一个实施例使用拉普拉斯算子算法来平滑某些约束。结果，对象的所述侧面变得完美，噪声被移除，并且在其中点的薄片没有完美排列起来的区域被清理。
依据点云的质量，表面重构可以创建小的几何“岛”以取代单个大的网格。一个实施例使用所连接的组件的标记来查找岛、计算它们的体积、并移除那些明显小于最大的岛的岛。
对于每个顶点，一个实施例查找在该顶点的法线和前面及背面捕捉视图方向之间的点积。前面视图方向可以沿模型空间的负Z轴，而背面视图方向可以取决于薄片对齐处理的结果而不是沿正Z轴。结果，一些顶点对于前面和背面捕捉视图两者都是可见的，而一些顶点可以对于这两个视图都不可见。如果一些顶点的法线面向前面超过背面，则它们可以被分类为“前面”，反之亦然。这也允许定位“接合”顶点（即横跨对象的前面和背面视图的顶点）。
为了创建纹理图并应用到最终的网格，一个实施例将来自所述前面捕捉的色彩图像放置在纹理的顶部，而将来自所述背面捕捉的色彩图像直接放置在前面捕捉之下。随后，将来自纹理的顶部部分的纹理像素（Texel）映射到主面向前面的三角形，并且对于主面向背面的三角形来说反之亦然。可以在正好沿前面-背面接缝的前面和背面三角形之间初始地共享顶点，并且随后，复制这些被共享的顶点以便将纹理的不同部分映射到前面对背面的三角形。
图17示出了具有UV坐标的图像的图示，而图18示出根据一个实施例将面向前面的三角形边缘绘制到最终的纹理图的一个部分中的图示。为了计算UV坐标，面向前面的三角形被映射到纹理的顶部部分，在该部分中放置有前面捕捉色彩图像，并且对于底部来说也是一样的。顶点位置在深度相机的空间中，而色彩图像位于颜色相机的空间中，因此，在将顶点投射到前面/背面深度图像上之后，一个实施例使用深度到色彩偏差表来将坐标变换到颜色相机空间。
在一个实施例中，网格参照上轴被重新居中、镜像，并且缩放以增强最大宽/高比。所捕捉的色彩和深度图像对比于实际的物理对象被镜像，因此，另一个镜像被用于将其倒转。对于较高而不是较宽的对象，可以优化骨架并且加入动画，这样，宽/高比限制在由动画不与某个骨架匹配的宽对象所引起的伪影上设置了一个限制范围。
在一个实施例中，单个骨架被用于所有动画骨架。该骨架可以具有给出良好运动范围（走路、跳跃、爬行、跳舞、看左看右等），而不是要求目标对象具有更多外形。
为了将皮肤应用到经数字化的图像，重新缩放并定位网格，这样，骨架在其内部合适，因为顶部骨头定位在离对象的顶部某个百分比（例如大约90％）（将其粗略地放置在对象的“头”内），而底部骨头在对象的底部范围。通过沿上轴查找与每个顶点最接近的骨头并使用压降曲线来对它们进行加权，可以计算骨头的索引并为骨架加入权重。图19A-19E是根据一个实施例的示出要添加到所生成的骨架结构的不同骨头处的加权的图示。
处理色彩和/或深度图像以减少噪声并改善质量。在一个实施例中独自在前面和背面图像上完成处理，并且将结果合并入最终纹理图，这可能需要附加处理。依照来自艺术家的某些实验和反馈，发现下述步骤是最佳的：将sRGB色彩转换成线性空间、应用“灰度世界”自动白平衡、修复边缘伪影、计算亮度和色度值、应用双向过滤器、直方图均衡以及对亮度锐化、对色度应用中值滤波器、转换回sRGB，并且最终，将色彩边缘向外延伸到图像的去分割区域。在不同的实施例中，可以加入其它步骤，或者删除上述某些步骤。
图20A和20B是根据一个实施例的示出在亮度/色度处理之前和之后的图像。独立处理亮度/色度允许更加强力地过滤色度同时保留亮度图像中的细节，这对去除图像噪声是有利的。可以轻度应用直方图均衡以补偿曝光欠佳的图像。
图21A和21B是根据一个实施例的示出在对边缘滤波之后的源和输出图像。在一个实施例中，“边缘修复滤波器”试图替换在目标对象边缘处的色彩，这些色彩实际来自背景而非对象自身。由于相对低的分辨率和深度图像的高噪声以及有缺陷的深度到色彩记录使得坏色彩可能蔓延。边缘修复滤波器在对象边缘周围的像素“争议区域”上直接工作。假设争议区域内的像素是目标对象的确定部分，而更外面的像素是背景部分，则计算每个争议区域像素的“背景似然值”，并将其用于向内部颜色混合高似然度背景像素。
图22A和22B是根据一个实施例的示出在其中所述边缘修复滤波器查找背景颜色和目标颜色的图像。从外面将目标颜色外插入争议区域中。
图23A和23B是示出根据一个实施例的从边缘到争议区域的距离以及计算的背景似然值的图像。而且，图24示出根据本发明的通过在非最终图像的塔（tope）上纹理化后的图像的最终合成的纹理图。
从将前面和背面图放置在一起所导致的接缝可能需要被修复。网格处理的最后一位被用于改善在前面-背面接缝附近的以及在捕捉期间对颜色相机不可见的区域中的对象的外观。首先，计算每个顶点的屏蔽值，该值表示了纹理色彩将在该顶点处有多“坏”的。该值是到接缝（其中前面和背面图像接触但通常不是排列得很好）的距离的乘积，以及一个顶点相对于任意所捕捉的图像是如何面向背面的（其中由于表面没有面对相机视野并且不足的纹理像素密度，纹理色彩分解了）。这些值可以被存储在顶点的色彩alpha通道。接着，计算表面色彩的模糊版本，并存储到顶点色彩RGB通道。这些色彩在质量上是相当好的（虽然是低细节）。需要修复的负面伪影被相对地定位，且是较高频率的，然而所述模糊化给出了更加全局、低频率的色彩。
图25A和25B是根据一个实施例的屏蔽值和重度模糊化的顶点色彩。在一个实施例中，在运行时的屏蔽值被用于在源纹理和经模糊化的顶点色彩之间混合。图26A和26B是根据一个实施例的仅具有纹理（26A）和具有由屏蔽值（26B）所混合的顶点色彩的纹理的不同的网格。
图27是根据一个实施例的用于经数字化的对象的最终呈现。在一个实施例中，一旦最终的网格和纹理是完整的，就创建并渲染虚幻引擎3网格，连同环境及轮廓照明、自屏蔽和动画。GOE应用还允许用户通过将Nui骨架映射到所述骨架上来将所述对象进行数字化。
上述步骤平衡了可用性、CPU/GPU/存储器限制、输出质量、艺术关注、传感器精度以及开发时间。做出了可能不是专用于每个场景的折衷。这样，可以加入不同的步骤或删除上述某些步骤以改善速度或最终数字化的质量。
图28是根据一个实施例的用于将对象进行数字化的工作流程2800。接收图像的色彩和深度数据，如在2802处所示。分析所述深度数据，通过基于假设用户最可能将对象呈现给用于捕捉的相机来标识离该相机的最近的图像的点，以找到感兴趣的对象。可以替换地或附加地使用确定感兴趣的对象的替换方法。可以使用不同的图像识别或算法匹配技术来定位图像中的对象，因此实施例并不是要限制于任意专门类型的用于定位图像中的对象的装置。而且，除了深度数据之外或作为深度数据的替换，实施例还可以使用图像的色彩数据来定位对象。例如，可口可乐的罐子可以包括红色的商标颜色，当试图定位图片中的罐子时，可以使得色彩数据特别相关。这样，可以以许多不同的方式来查找感兴趣的对象。
一旦定位了感兴趣的对象，就标识对象的边缘，如在2806所示。可以通过分析图像中在对象周围的色彩、深度或对比度差异来做出这样的确定。一旦定位了边缘，可以使用图像的色彩和深度数据执行对象的点云构造，如在2808处所示。为了将对象在3D中进行数字化，可以基于多个图像（例如背面、前面、顶面、底面等）的色彩和深度数据来构建对象的不同侧面的多个点云构造。一旦创建了多个点云构造，可以将它们聚合以创建对象的最终数字化，如在2810处所示。
图29是根据一个实施例的用于将对象进行数字化的工作流程2900。一旦接收到对象的图像，如在2902处所示，标识图像的最接近点，如在2904处所示。标识对象的侧面（例如左面、右面、北面、南面、顶面、底面等），如在2906处所示。创建图像的点云构造，如在2908处所示，并将其合并成单个呈现，如在2910处所示。随后，可以保存所得的呈现，如在2912处所示，并在显示设备上将其显示。
所描绘的各组件以及未示出的组件的许多不同的安排都是可能的，而不背离所附权利要求书的精神和范围。已带着说明而非限制的意图描述了本技术的各实施例。在阅读本发明之后或由于阅读了本发明，替换实施例将变得对本发明的读者显而易见。可完成实现上述的替换装置而不脱离所附权利要求书的范围。某些特征和子组合是有用的，并且可以使用而无需参考其他特征和子组合并且被认为是在权利要求书的范围之内的。

Claims (15)

1.在其上包含有计算机可执行指令的一个或多个计算机存储介质，当所述指令被执行时，对由相机捕捉的对象进行数字化，所述方法包括：
接收与图像相关联的色彩和深度数据；
标识所述图像中到所述相机最接近的点；
从所述最接近的点中标识出在所述图像中的对象的边缘；
使用所述深度数据来生成所述对象的点云构造；以及
使用所述点云构造来生成所述对象的数字化。
2.如权利要求1所述的一个或多个计算机存储介质，其特征在于，标识所述图像中到所述相机最接近的点进一步包括：
计算在所述相机的光圈和所述图像中的多个点之间的距离；以及
从所述距离中选择最短的距离。
3.如权利要求2所述的一个或多个计算机存储介质，其特征在于，还包括：
标识以所述最短距离连接到对象的一个特征；以及
存储表示所述对象到所述相机的最接近的部分的所述特征的指示。
4.如权利要求1所述的一个或多个计算机存储介质，其特征在于，还包括：
接收所述对象的第二图像的色彩和深度数据；
确定在所述第二图像中的第二最接近的点；
标识在所述第二最接近的点处的所述对象；以及
生成如在所述第二图像中取向的所述对象的第二点云构造。
5.如权利要求4所述的一个或多个计算机存储介质，其特征在于，还包括：
标识在所述点云构造和第二点云构造之间的接缝；
确定要填充所述接缝部分的填充器颜色；
用所述填充器颜色来填充所述接缝部分，以创建在所述点云构造和第二点云构造之间没有接缝的3D呈现；以及
存储所述3D呈现。
6.如权利要求1所述的一个或多个计算机存储介质，其特征在于，所述标识所述对象还包括：
在所述图像中的最接近的点的周围的空间区域中执行图像分析；
基于所述图像分析确定在所述空间区域中的两个区域之间的色彩差异；
指派所述区域之一与所述对象相关联；以及
移除具有与所述区域之一不同颜色的另一个区域。
7.如权利要求1所述的一个或多个计算机存储介质，其特征在于，还包括移除区域周围的所述图像的一个或多个点，所述区域具有少于阈值数目的与所述对象相关联的邻居点，导致所述对象的深度像素的屏蔽。
8.如权利要求7所述的一个或多个计算机存储介质，其特征在于，还包括以下述方式将深度像素的屏蔽存储在深度帧的环形缓冲区中：覆盖至少一个深度帧并将多个帧一起平均以产生最终的深度图像。
9.一种显示对象的数字表示的方法，包括：
接收从不同视角捕捉的所述对象的图像；
在两个单独的图像中，使用各自的深度数据来标识在所述图像中到一个或多个相机最接近的点；
从所述最接近的点中标识所述对象的至少两个不同的侧面；
创建捕捉所述对象的所述至少两个不同的侧面的构造；
将所述构造合并到所述对象的一个呈现中；以及
存储所述对象的所述呈现。
10.如权利要求9所述的方法，其特征在于，还包括：
确定所述构造之一的连接到另一个构造的点；以及
在所述点对齐所述构造。
11.如权利要求10所述的方法，其特征在于，至少一个所述图像从服务器接收。
12.如权利要求9所述的方法，其特征在于，还包括：
对于每个图像，标识所述对象的边界；以及
当合并所述构造时，用颜色填充在两个边界之间的至少一个缝隙以减少所述构造之间的接缝部分。
13.如权利要求9所述的方法，其特征在于，所述图像包括色彩和深度数据。
14.一种计算设备，包括：
能够捕捉或接收图像的相机，每个图像包括色彩和深度数据；
存储至少一个图像的所述色彩数据和所述深度数据的一个或多个计算机存储介质；以及
一个或多个处理器，被配置成：
(1)标识所述至少一个图像中的对象，
(2)创建在所述至少一个图像中的所述对象的数字表示，以及
(3)通过将所述数字表示与从第二图像创建的所述对象的第二数字表示进行组合，来创建所述对象的3D呈现；以及
配置为显示所述3D呈现的显示设备。
15.如权利要求14所述的一个或多个计算机存储介质，其特征在于，所述一个或多个处理器根据移动所述对象的肢体的一组规则来在所述显示设备上移动所述对象。
CN201280027694.7A 2011-06-06 2012-06-05 对象数字化 Active CN103703489B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161493844P 2011-06-06 2011-06-06
US61/493,844 2011-06-06
US13/410,907 2012-03-02
US13/410,907 US9208571B2 (en) 2011-06-06 2012-03-02 Object digitization
PCT/US2012/040954 WO2012170445A2 (en) 2011-06-06 2012-06-05 Object digitization

Publications (2)

Publication Number Publication Date
CN103703489A true CN103703489A (zh) 2014-04-02
CN103703489B CN103703489B (zh) 2016-08-17

Family

ID=47261375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280027694.7A Active CN103703489B (zh) 2011-06-06 2012-06-05 对象数字化

Country Status (6)

Country Link
US (3) US9208571B2 (zh)
EP (1) EP2718897B1 (zh)
JP (1) JP5985620B2 (zh)
KR (2) KR102121707B1 (zh)
CN (1) CN103703489B (zh)
WO (1) WO2012170445A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019242454A1 (zh) * 2018-06-21 2019-12-26 华为技术有限公司 一种物体建模运动方法、装置与设备
CN111445370A (zh) * 2019-11-01 2020-07-24 泰州市海陵区一马商务信息咨询有限公司 多功能乘坐防卫报警系统及方法

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823499B2 (en) * 2012-11-14 2023-11-21 Golan Weiss Methods and systems for enrollment and authentication
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9142034B2 (en) 2013-03-14 2015-09-22 Microsoft Technology Licensing, Llc Center of mass state vector for analyzing user motion in 3D images
US20140267698A1 (en) * 2013-03-14 2014-09-18 Daniel Rivas Method and system for interactive mobile room design
US9159140B2 (en) 2013-03-14 2015-10-13 Microsoft Technology Licensing, Llc Signal analysis for repetition detection and analysis
US9659408B2 (en) * 2013-11-27 2017-05-23 Autodesk, Inc. Mesh reconstruction from heterogeneous sources of data
EP3143774A4 (en) * 2014-05-13 2018-04-25 PCP VR Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
US9948911B2 (en) * 2014-09-05 2018-04-17 Qualcomm Incorporated Method and apparatus for efficient depth image transformation
CN105469447A (zh) * 2014-09-11 2016-04-06 富泰华工业（深圳）有限公司 点云边界直角边修补系统及方法
US20160140761A1 (en) * 2014-11-19 2016-05-19 Microsoft Technology Licensing, Llc. Using depth information for drawing in augmented reality scenes
WO2016095192A1 (en) * 2014-12-19 2016-06-23 SZ DJI Technology Co., Ltd. Optical-flow imaging system and method using ultrasonic depth sensing
USD780207S1 (en) * 2015-01-27 2017-02-28 Net Entertainment Malta Services Ltd. Display screen or portion thereof with graphical user interface
USD778934S1 (en) * 2015-01-27 2017-02-14 Netent Product Services Limited Display screen or portion thereof with graphical user interface
US10129447B2 (en) 2015-02-20 2018-11-13 Brigham Young University Mass digitization system
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US10716457B2 (en) * 2015-10-14 2020-07-21 Siemens Aktiengesellschaft Method and system for calculating resected tissue volume from 2D/2.5D intraoperative image data
CA2948761A1 (en) * 2015-11-23 2017-05-23 Wal-Mart Stores, Inc. Virtual training system
US10248839B2 (en) * 2015-11-30 2019-04-02 Intel Corporation Locating objects within depth images
US11069120B2 (en) * 2016-08-10 2021-07-20 Sony Corporation Image processing apparatus and image processing method
JP6743894B2 (ja) * 2016-08-10 2020-08-19 ソニー株式会社 画像処理装置および画像処理方法
US10828560B2 (en) * 2016-09-30 2020-11-10 Sony Interactive Entertainment Inc. Systems and methods for stereoscopic vision with head mounted display
US10410406B2 (en) * 2017-02-27 2019-09-10 Trimble Ab Enhanced three-dimensional point cloud rendering
US10237532B2 (en) 2017-03-07 2019-03-19 Trimble Ab Scan colorization with an uncalibrated camera
CN107481228B (zh) * 2017-07-28 2021-02-09 电子科技大学 基于计算机视觉的人体背部脊柱侧弯角度测量方法
CN107452032A (zh) * 2017-07-28 2017-12-08 电子科技大学 人体背部深度图像预处理方法
JP6942566B2 (ja) * 2017-08-30 2021-09-29 キヤノン株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
CN109493376B (zh) * 2017-09-13 2022-02-22 腾讯科技（深圳）有限公司 图像处理方法和装置、存储介质及电子装置
CN107845073B (zh) * 2017-10-19 2020-02-14 华中科技大学 一种基于深度图的局部自适应三维点云去噪方法
US11173411B2 (en) * 2017-12-20 2021-11-16 Tee Turtle, LLC Dual body convertible toy with flexible bottom edge
US10786746B2 (en) 2017-12-20 2020-09-29 Tee Turtle, LLC Reversible toy
US10671862B2 (en) * 2018-01-30 2020-06-02 Wipro Limited Method and system for detecting obstacles by autonomous vehicles in real-time
CN108731615B (zh) * 2018-03-19 2020-12-25 苏州玻色智能科技有限公司 曲面玻璃面板的检测用设备及方法
US10380803B1 (en) * 2018-03-26 2019-08-13 Verizon Patent And Licensing Inc. Methods and systems for virtualizing a target object within a mixed reality presentation
KR102477031B1 (ko) * 2018-04-20 2022-12-14 삼성전자주식회사 3차원 데이터를 프로세싱하기 위한 방법 및 장치
WO2019205499A1 (zh) * 2018-04-28 2019-10-31 苏州玻色智能科技有限公司 一种玻璃面板检测设备及检测图像拼接方法
EP3573021B1 (de) * 2018-05-22 2020-07-08 Sick Ag Visualisieren von 3d-bilddaten
US10883823B2 (en) * 2018-10-18 2021-01-05 Cyberoptics Corporation Three-dimensional sensor with counterposed channels
CN109603155B (zh) * 2018-11-29 2019-12-27 网易（杭州）网络有限公司 合并贴图的获取方法、装置、存储介质、处理器及终端
WO2021191499A1 (en) * 2020-03-26 2021-09-30 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
KR102577135B1 (ko) * 2020-12-15 2023-09-12 광운대학교 산학협력단 시퀀스의 압축을 위한 스켈레톤 기반의 동적 포인트 클라우드 추정 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1567384A (zh) * 2003-06-27 2005-01-19 史中超 三维空间物体图像获取、数字化测量及重建方法和设备
US20100033617A1 (en) * 2008-08-05 2010-02-11 Qualcomm Incorporated System and method to generate depth data using edge detection
CN101650834A (zh) * 2009-07-16 2010-02-17 上海交通大学 复杂场景下人体表面三维重建方法
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
CN102067165A (zh) * 2008-06-18 2011-05-18 微软公司 跨计算应用程序和设备可用的用户化身

Family Cites Families (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
KR100454989B1 (ko) 1997-06-02 2004-11-06 가부시키가이샤 고켄 바운더리 스캔소자 및 이를 사용한 통신장치
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6721446B1 (en) * 1999-04-26 2004-04-13 Adobe Systems Incorporated Identifying intrinsic pixel colors in a region of uncertain pixels
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
CA2278108C (en) 1999-07-20 2008-01-29 The University Of Western Ontario Three-dimensional measurement method and apparatus
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6750873B1 (en) 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
CA2327894A1 (en) 2000-12-07 2002-06-07 Clearview Geophysics Inc. Method and system for complete 3d object and area digitizing
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7003136B1 (en) 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
JP2003345840A (ja) * 2002-05-24 2003-12-05 Honda Motor Co Ltd 三次元モデル作成方法
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
EP1567988A1 (en) * 2002-10-15 2005-08-31 University Of Southern California Augmented virtual environments
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP3196805A3 (en) 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
JP2006098256A (ja) * 2004-09-30 2006-04-13 Ricoh Co Ltd ３次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
JP2006214893A (ja) * 2005-02-04 2006-08-17 Iwate Univ 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
CN103257684B (zh) 2005-05-17 2017-06-09 高通股份有限公司 方向敏感的信号输出方法及装置
US7586489B2 (en) 2005-08-01 2009-09-08 Nvidia Corporation Method of generating surface defined by boundary of three-dimensional point cloud
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
DE102006005044B4 (de) 2006-02-03 2011-01-27 Metaio Gmbh Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
EP2584530A2 (en) * 2006-08-03 2013-04-24 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
JP4387429B2 (ja) 2007-07-25 2009-12-16 株式会社スクウェア・エニックス 画像生成装置及び方法、並びにプログラム及び記録媒体
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US9245382B2 (en) 2008-10-04 2016-01-26 Microsoft Technology Licensing, Llc User-guided surface reconstruction
US8334893B2 (en) * 2008-11-07 2012-12-18 Honeywell International Inc. Method and apparatus for combining range information with an optical image
IL196162A (en) * 2008-12-24 2013-02-28 Rafael Advanced Defense Sys A system that uses 3D models to enable image comparison regardless of the source of the images
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
CN101989326B (zh) * 2009-07-31 2015-04-01 三星电子株式会社 人体姿态识别方法和装置
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
RU2426172C1 (ru) * 2010-01-21 2011-08-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US9336625B2 (en) 2011-10-25 2016-05-10 Microsoft Technology Licensing, Llc Object refinement using many data sets

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1567384A (zh) * 2003-06-27 2005-01-19 史中超 三维空间物体图像获取、数字化测量及重建方法和设备
CN102067165A (zh) * 2008-06-18 2011-05-18 微软公司 跨计算应用程序和设备可用的用户化身
US20100033617A1 (en) * 2008-08-05 2010-02-11 Qualcomm Incorporated System and method to generate depth data using edge detection
CN101650834A (zh) * 2009-07-16 2010-02-17 上海交通大学 复杂场景下人体表面三维重建方法
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019242454A1 (zh) * 2018-06-21 2019-12-26 华为技术有限公司 一种物体建模运动方法、装置与设备
US11436802B2 (en) 2018-06-21 2022-09-06 Huawei Technologies Co., Ltd. Object modeling and movement method and apparatus, and device
CN111445370A (zh) * 2019-11-01 2020-07-24 泰州市海陵区一马商务信息咨询有限公司 多功能乘坐防卫报警系统及方法

Also Published As

Publication number Publication date
US20150379719A1 (en) 2015-12-31
US10460445B2 (en) 2019-10-29
KR102121707B1 (ko) 2020-06-10
KR20190118207A (ko) 2019-10-17
JP5985620B2 (ja) 2016-09-06
US20180225829A1 (en) 2018-08-09
EP2718897B1 (en) 2018-12-05
CN103703489B (zh) 2016-08-17
JP2014519132A (ja) 2014-08-07
WO2012170445A2 (en) 2012-12-13
KR102031302B1 (ko) 2019-10-11
US9953426B2 (en) 2018-04-24
WO2012170445A3 (en) 2013-04-25
KR20140043379A (ko) 2014-04-09
US20120307010A1 (en) 2012-12-06
EP2718897A2 (en) 2014-04-16
EP2718897A4 (en) 2014-12-31
US9208571B2 (en) 2015-12-08

Similar Documents

Publication Publication Date Title
CN103703489A (zh) 对象数字化
US9336625B2 (en) Object refinement using many data sets
CN103597516B (zh) 控制虚拟环境中的对象
CN102685533B (zh) 对2d电影进行转换用于立体3d显示的方法和系统
CN100514367C (zh) 基于彩色分割的立体3d重构系统和方法
Müller et al. Image-based procedural modeling of facades
RU2642167C2 (ru) Устройство, способ и система для реконструкции 3d-модели объекта
US7889948B2 (en) Image stitching using partially overlapping views of a scene
Goesele et al. Ambient point clouds for view interpolation
US8395618B2 (en) Method of capturing, processing, and rendering images
CN107407866A (zh) 用于六自由度的360°体虚拟现实视频的激光雷达立体融合真人实景三维模型视频重建
US20080211809A1 (en) Method, medium, and system with 3 dimensional object modeling using multiple view points
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
US20200258309A1 (en) Live in-camera overlays
CN104272377A (zh) 运动图片项目管理系统
US7209136B2 (en) Method and system for providing a volumetric representation of a three-dimensional object
US20210209776A1 (en) Method and device for depth image fusion and computer-readable storage medium
Zhang et al. As‐consistent‐As‐possible compositing of virtual objects and video sequences
Helala et al. Constructing image mosaics using focus based depth analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150728

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant