CN103597518A - 生成反映玩家外观的化身 - Google Patents

生成反映玩家外观的化身 Download PDF

Info

Publication number
CN103597518A
CN103597518A CN201280027693.2A CN201280027693A CN103597518A CN 103597518 A CN103597518 A CN 103597518A CN 201280027693 A CN201280027693 A CN 201280027693A CN 103597518 A CN103597518 A CN 103597518A
Authority
CN
China
Prior art keywords
player
hair
described player
clothes
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280027693.2A
Other languages
English (en)
Other versions
CN103597518B (zh
Inventor
J·J·埃弗特
J·A·克拉克
Z·T·米德顿
M·J·普尔斯
M·T·米赫利趣
D·奥斯本
A·R·坎贝尔
C·E·马汀
D·M·希尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN103597518A publication Critical patent/CN103597518A/zh
Application granted granted Critical
Publication of CN103597518B publication Critical patent/CN103597518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

用于生成反映玩家的当前外观的化身的系统、方法和计算机介质。接收描述该玩家的当前外观的数据。该数据包括玩家的可见频谱图、包括玩家和当前背景两者的深度图、和玩家的骨架数据。骨架数据指示玩家骨架的轮廓。至少部分地基于接收到的数据，捕捉以下各项中的一个或多个：玩家的面部外观、玩家的头发外观、玩家的衣服外观；和玩家的肤色。通过将捕捉到的面部外观、头发外观、衣服外观、和/或肤色与预定的化身特征组合来生成类似于玩家的3D化身。

Description

生成反映玩家外观的化身
背景
视频游戏在最近几年中发展迅猛。处理能力、图像处理、和图形、以及其他领域中的进步已允许游戏具有日益增加的概念和图形复杂度。常规地，玩家选择默认角色，或选择一组简单的预定义角色中的一个角色。由于视频游戏已进化了，使用玩家化身而非简单角色已变得日益普通。某些游戏允许玩家在一组预定义化身之中进行选择，或定制化身的各个特征。玩家可尝试通过手动定制诸如头发颜色、性别、高度、眼镜之类的特征来创建类似于他自身的化身。这样的手动定制是耗时的，并且仍没有导致实际上类似于该玩家的外观的化身。
概述
本发明的各实施例涉及用于生成反映玩家的当前外观的化身的系统、方法和计算机介质。描述该玩家的当前外观的数据被接收。该数据包括玩家的可见频谱图、包括玩家和当前背景两者的深度图、和玩家的骨架数据。骨架数据指示玩家骨架的轮廓。至少部分地基于接收到的数据，捕捉以下各项中的一个或多个：玩家的面部外观、玩家的头发外观、玩家的衣服外观；以及玩家的肤色。衬衫袖子、裤子或短裤的裤脚、或者裙子或衣服的摺边也可被检测到。类似于玩家的3D化身通过将捕捉到的面部外观、头发外观、衣服外观、肤色、和/或检测到的衬衫袖子、裤子或短裤的裤脚、或者裙子或衣服的摺边与预定的化身特征组合而被生成。
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的选择的概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图简述
下面参考附图详细描述本发明，其中：
图1是适用于实现本发明的各实施例的示例性计算环境的框图；
图2是根据本发明的各实施例的玩家的头的可见频谱图的透视图；
图3是根据本发明的各实施例的玩家的可见频谱图的透视图；
图4是根据本发明的各实施例的类似于图2和图3中的玩家的3D化身的透视图；
图5是根据本发明的一实施例的用于生成反映玩家的当前外观的化身的示例性方法的流程图；
图6是根据本发明的一实施例的示例性化身生成系统；
图7是根据本发明的一实施例的用于生成反映玩家的当前外观的化身的示例性方法的流程图，其中示出了用于面部外观捕捉、头发外观捕捉、衣服捕捉、和肤色捕捉的子步骤。
图8是根据本发明的各实施例的玩家的可见频谱图的透视图；
图9是根据本发明的各实施例的玩家的头的可见频谱图的透视图；
图10是根据本发明的各实施例的玩家的头的可见频谱图的部分透视图，该频谱图示出了头的面部和其他部分。
图11是根据本发明的各实施例的示有对齐点的图10的图像。
图12是根据本发明的各实施例的具有目的地点的模板纹理图；
图13是由通过使各对齐点与图12中的目的地点匹配来变形图11中的图像而导致的面部纹理图；
图14是反映出图8-11和图13中的图像中的玩家的当前外观的3D化身；
图15是根据本发明的各实施例的玩家的可见频谱图的透视图；以及
图16是其中已标识出简化骨架的图15中示出的玩家的深度图。
详细描述
此处用细节来描述本发明的各实施方式以满足法定要求。然而，该描述本身并非旨在限制本专利的范围。相反，发明人已设想所要求保护的主题还可结合其它当前或未来技术以其它方式来实施，以包括不同的步骤或类似于本文中所描述的步骤的步骤组合。此外，尽管术语“步骤”和/或“框”或“模块”等可在此处用于指示所采用的方法或系统的不同组件，但除非而且仅当明确描述了各个步骤的顺序时，该术语不应被解释为意味着此处公开的各个步骤之中或之间的任何特定顺序。
本发明的各实施例涉及用于生成反映玩家的当前外观的化身的系统、方法和计算机介质。根据本发明的各实施例，化身是从描述玩家的当前外观的数据生成的。基于该数据捕捉玩家外观的各个方面，并将玩家外观的各个方面与预定的化身特征组合，以生成类似于该玩家的3D化身。
如上所述，玩家可尝试通过手动定制某些特征来创建类似于他自身的化身，但得到的化身实际上仍没有反映出该玩家的外观。
然而，各种传感器可用于收集描述玩家的当前外观的数据。这些传感器提供包含描述玩家外观的细节信息的可见频谱图、深度图、和骨架数据以及其他数据，并可用于生成准确地反映该玩家的外观的化身。可见频谱数据、深度数据和骨架数据的组合允许捕捉之前不可能捕捉到的玩家外观的细节方面。此外，获取了传感器数据后，可自动生成类似于玩家的化身，而无需玩家选择各种特征。
在本发明的一个实施例中，接收描述玩家的当前外观的数据。该数据包括：玩家的可见频谱图、包括玩家和当前背景两者的深度图、以及玩家的骨架数据。骨架数据指示玩家的骨架的轮廓。至少部分地基于该接收到的数据来捕捉玩家的面部外观。通过以下方式来捕捉面部外观：标识出玩家的脸；标识出玩家的脸的面部特征；以及，基于标识出的面部特征将接收到的可见频谱图中包括玩家的脸的一部分变形成脸部纹理图。至少部分地基于该接收到的数据来捕捉玩家的头发外观。通过以下方式来捕捉头发外观：标识出玩家头发的范围；使标识出的玩家头发的范围与预定的发型模板匹配；以及，标识出玩家头发的颜色。生成反映玩家的捕捉到的面部外观和头发外观的3D化身，使得该3D化身类似于该玩家。通过将脸部纹理图、匹配标识出的玩家头发的范围的发型模板、及标识出的玩家头发颜色与预定的化身特征组合来生成3D化身。
在另一实施例中，数据获取组件接收描述玩家的当前外观的数据。该数据包括：玩家的可见频谱图、包括玩家和当前背景两者的深度图、以及玩家的骨架数据。骨架数据指示玩家骨架的轮廓。脸部捕捉组件至少部分地基于该接收到的数据来捕捉玩家的面部外观。头发捕捉组件至少部分地基于该接收到的数据来捕捉玩家的头发外观。衣服捕捉组件至少部分地基于该接收到的数据来捕捉玩家的衣服外观。化身生成组件通过将捕捉到的面部外观、头发外观、及衣服外观与预定的化身特征组合来生成类似于玩家的3D化身。
在又一实施例中，接收描述该玩家的当前外观的数据。该数据包括：玩家的可见频谱图、包括玩家和当前背景两者的深度图、以及玩家的骨架数据。骨架数据指示玩家骨架的轮廓。至少部分地基于该接收到的数据来捕捉玩家的面部外观。通过以下方式来捕捉面部外观：标识玩家的脸；标识玩家的脸的面部特征；以及，基于标识出的面部特征将接收到的可见频谱图中包括玩家的脸的一部分变形成脸部纹理图。至少部分地基于该接收到的数据来捕捉玩家的头发外观。通过以下方式来捕捉头发外观：标识出玩家头发的范围；使标识出的玩家头发的范围与预定的发型模板匹配；以及，标识出玩家头发的颜色。
至少部分地基于该接收到的数据来捕捉玩家的衣服外观。使用接收到的包括玩家和当前背景两者的深度图以及接收到的玩家的可见频谱图，使用边缘检测确定衣服外边界来捕捉衣服外观。也可通过以下方式来捕捉衣服外观：使用接收到的玩家的可见频谱图，通过基于确定的颜色梯度将衣服与皮肤相区分来确定至少一个衣服内边界。还可通过以下方式来捕捉衣服外观：将玩家衣服标识为至少部分地由衣服外边界和至少一个衣服内边界界定的区域。
至少部分地基于该接收到的数据来捕捉玩家的肤色。通过以下方式来捕捉肤色：对接收到的可见频谱图的处于与玩家的脸相对应的各区域中的一个或多个区域的颜色进行采样，并混合采样到的一个或多个区域的颜色以确定玩家肤色。计算设备的处理器被用于生成反映所捕捉到的玩家的面部外观、头发外观、衣服外观和肤色的3D化身，使得该3D化身类似于该玩家。通过将脸部纹理图、匹配标识出的玩家头发的范围的发型模板、及标识出的玩家头发颜色与预定的化身特征组合来生成3D化身。
在简要描述了本发明的某些实施方式的概览之后，以下描述其中可实现本发明的各实施方式的示例性操作环境，以便为本发明各方面提供通用上下文。首先具体参考图1，示出了用于实现本发明的各实施方式的示例性操作环境，并将其概括地指定为计算设备100。计算设备100只是合适的计算环境的一个示例，并且不旨在对本发明的各实施例的使用范围或功能提出任何限制。也不应该将计算设备100解释为对所示出的任一组件或其组合有任何依赖性或要求。
本发明的各实施例可以在由计算机或诸如个人数据助理或其它手持式设备之类的其它机器执行的计算机代码或机器可使用指令的一般上下文中描述，该机器可使用指令包括诸如程序模块之类的计算机可执行指令。一般而言，包括例程、程序、对象、组件、数据结构等的程序模块指的是执行特定任务或实现特定抽象数据类型的代码。本发明的各实施例可以在各种系统配置中实施，这些系统配置包括手持式设备、消费电子产品、通用计算机、专用计算设备等等。本发明也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实施。
参考图1，计算设备100包括直接或间接耦合以下设备的总线110：存储器112、一个或多个处理器114、一个或多个呈现组件116、输入/输出（I/O）端口118、输入/输出（I/O）组件120、和说明性电源122。总线110表示可以是一条或多条总线（诸如地址总线、数据总线、或其组合）。虽然为了清楚起见利用线条示出了图1的各框，但是实际上，各组件的轮廓并不是那样清楚，并且比喻性地来说，线条更精确地将是灰色的和模糊的。例如，可以将诸如显示设备等呈现组件认为是I/O组件。而且，处理器具有存储器。可以认识到，这是本领域的特性，并且重申，图1的图示只是例示可结合本发明的一个或多个实施方式来使用的示例性计算设备。诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等分类之间没有区别，它们全部都被认为是在图1的范围之内的并且被称为“计算设备”。
计算设备100通常包括各种计算机可读介质。计算机可读介质可以是可由计算设备100访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁存储设备、或能用于存储所需信息且可以由计算设备100访问的任何其他介质。
通信介质通常将计算机可读指令、数据结构、程序模块或者其它数据包含在已调制数据信号中，如载波。术语“已调制数据信号”指的是传播信号，其一个或多个特性被设置或改变以在该信号中编码信息。作为示例而非限制，通信介质包括有线介质，诸如有线网络或直接线连接，以及无线介质，诸如声学、RF、红外、无线电、微波、扩展频谱和其它无线介质。以上介质的组合被包括在计算机可读介质的范围内。
存储器112包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移动的、不可移动的、或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备100包括从诸如存储器112或I/O组件120等各种实体读取数据的一个或多个处理器。呈现组件116向用户或其他设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等等。
I/O端口118允许计算设备100逻辑上耦合至包括I/O组件120的其他设备，其中某些设备可以是内置的。说明性组件包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、打印机、无线设备等等。
如先前所讨论的，本发明的各实施例涉及用于生成类似于玩家的当前外观的化身的系统、方法以及计算机介质。本发明的各实施例将参考图2-16讨论。
图2-4示出了本发明的一实施例的用于获取描述玩家的数据并生成类似于该玩家的当前外观的化身的实现。图2示出了玩家201的可见频谱图200。图像200包括玩家201的脸202、头发204、和衣服206。在一个实施例中，玩家200根据便于捕捉图像201的向导标记208将她自身定位在相机的前面。图3示出了玩家201的另一可见频谱图300。玩家201的基本上整个身体被包括在图像300中。图3还包括便于捕捉图像300的向导标记308。
除了可见频谱图200和300外，传感器还收集玩家201的一个或多个深度图。深度图指示图像中的每一像素的深度，其允许将图像的背景与该图像中的人或对象区分开，并且还允许基于该深度而标识出人的各个身体特征，诸如面部特征。人可被识别为包括图像的前景中具有类似深度的像素，而背景则被确定为具有较大深度的像素。
如本领域所公知的，深度数据还允许创建骨架数据。在一个实施例中，可使用深度信息将图像的表示人的部分与该图像的背景区分开。随后，可将图像的表示人的部分与姿势数据库进行比较以标识与所标识出的人的姿势的匹配。一旦标识出了匹配，就可标识出与该匹配相对应的简化骨架结构。简化骨架结构可指示玩家骨架的轮廓，并可包括表示关节的点以及连接这些点的线，以表示附肢或其他身体特征。还可预想用于从深度数据标识出简化玩家骨架的其他方法。
将可见频谱图200和300以及骨架数据和深度图与预定的化身特征组合以生成图4中示出的类似于玩家201的化身400。在某些实施例中，所生成的化身具有某些预定的比例（诸如高度和宽度）以及某些预定的特征（诸如，手、脚、眼睛、手臂和腿宽或其他特征）。化身400反映了玩家201的脸202、头发204和衣服206，从而获得了与手动选择各种特征所能实现的相比，准确地多的表示玩家201的化身。
图5示出了生成反映玩家的当前外观的化身的方法。在步骤502，接收描述玩家的当前外观的数据。该数据包括：玩家的可见频谱图、包括玩家和当前背景两者的深度图、以及玩家的骨架数据。骨架数据指示玩家骨架的轮廓。在步骤504，至少部分地基于该接收到的数据来捕捉玩家的面部外观。同样至少部分地基于该接收到的数据：在步骤506和508中捕捉头发外观和衣服外观；在步骤510中检测袖子、裤腿、或摺边；以及在步骤512，捕捉肤色。在步骤514，通过将捕捉到的面部外观、头发外观、衣服外观、袖子/裤腿/摺边、和肤色与预定的化身特征组合来生成类似于玩家的3D化身。
图6示出了根据本发明的一实施例的系统600。数据获取组件602从传感器604接收描述玩家的当前外观的数据。该数据包括：玩家的可见频谱图、包括玩家和当前背景两者的深度图、以及玩家的骨架数据。骨架数据指示玩家骨架的轮廓。传感器604可包括RGB相机、以及红外或其他深度传感器。在一个实施例中，玩家站在各个偏好位置中的传感器604的路径中，以便于传感器数据的获取。数据获取组件602将接收到的数据提供给脸部捕捉组件606、头发捕捉组件608、衣服捕捉组件610、袖子检测组件612和肤色捕捉组件614。组件606、608、610、612和614捕捉或检测信息，并将该信息提供给化身生成组件616，化身生成组件616使用该信息来生成类似于玩家的3D化身。
在各个实施例中，包括组件606、608、610、612和614的任何组合。脸部捕捉组件606至少部分地基于接收到的数据来捕捉玩家的面部外观。头发捕捉组件608至少部分地基于接收到的数据来捕捉玩家的头发外观。衣服捕捉组件610至少部分地基于接收到的数据来捕捉玩家的衣服外观。袖子检测组件612至少部分地基于接收到的数据来标识以下各项中的至少一个：（1）衬衫袖子，（2）裤子或短裤的裤脚，（3）裙子或衣服的摺边。肤色捕捉组件614至少部分地基于接收到的数据来标识玩家的肤色。化身生成组件616通过将捕捉到的面部外观、头发外观、及衣服外观与预定的化身特征组合来生成类似于玩家的3D化身。可预想，组件602、606、608、610、612、614和616的功能可驻留在分开的物理组件或设备上，或者可以被实现在一起。
图7示出了生成反映玩家的当前外观的化身的方法700。方法700的各步骤可以由图6的系统600的各组件来实现。在步骤702，接收描述玩家的当前外观的数据。该数据包括至少一幅玩家的可见频谱图702A、至少一幅包括玩家和当前背景两者的深度图702B、和玩家的骨骼数据702C。骨架数据702C指示玩家的骨架的轮廓，并可从至少一幅深度图702B中导出。
在步骤704，至少部分地基于接收到的数据来捕捉玩家的面部外观。步骤704可以用步骤704A-704C来实现。在子步骤704A，标识出玩家的脸。在子步骤704B，标识出玩家的脸的面部特征。在子步骤704C，基于标识出的面部特征将接收到的可见频谱图的包括玩家的脸的一部分变形成脸部纹理图。脸部纹理图是标识如何将各2D图像点映射成3D模型的UV空间图。
在步骤706，至少部分地基于接收到的数据来捕捉玩家的头发外观。步骤706可以用子步骤706A-704C来实现。在子步骤706A，标识出玩家头发的范围。在子步骤706B，使标识出的玩家头发的范围与预定的发型模板匹配。在子步骤706C，标识出玩家头发的颜色。
在步骤708，至少部分地基于接收到的数据来捕捉玩家的衣服外观。步骤708可以用子步骤708A-708C来实现。在子步骤708A，使用接收到的包括玩家和当前背景两者的深度图以及接收到的玩家的可见频谱图，使用边缘检测来确定衣服外边界。在子步骤708B，使用接收到的玩家的可见频谱图，通过基于所确定的颜色梯度将衣服与皮肤相区分来确定至少一个衣服内边界。在子步骤708C，将玩家衣服标识成至少部分地由衣服外边界和至少一个衣服内边界界定的区域。
在步骤710，捕捉玩家的肤色，该捕捉至少部分地基于接收到的数据。步骤710可以用子步骤710A-710B来实现。在子步骤710A，对接收到的可见频谱图的处于与玩家的脸相对应的各区域中的一个或多个区域的颜色进行采样。在子步骤710B，混合采样到的一个或多个区域的颜色以确定玩家肤色。
在步骤712，通过将脸部纹理图、匹配标识出的玩家头发的范围的发型模板、及标识出的玩家头发颜色与预定的化身特征组合来生成反映捕捉到的玩家的面部外观、头发外观、衣服外观和肤色的3D化身，使得该3D化身类似于玩家。
现将参考图5-7更详细的讨论面部外观捕捉、头发外观捕捉、衣服外观捕捉、及袖子/裤腿/摺边检测。
面部外观捕捉
如上所述，可见频谱图、深度图、骨架数据可被用于捕捉玩家的面部外观。随后，捕捉到的面部外观可被合并到3D化身中。在一个实施例中，可以通过分析接收到的玩家的骨架数据来标识出玩家的头。随后，可标识出接收到的可见频谱图中对应于玩家的头的头部分。因此，可首先用骨架数据标识出玩家的头和脸的大概位置，还可分析可见频谱图中对应于该位置的那部分。在一个实施例中，脸部检测算法可被应用于接收到的可见频谱图的头部分。在一个特定算法中，使用将该脸与已知脸的数据库进行比较的机器学习技术。
可从标识出的脸中标识出各种面部特征。在某些实施例中，确定与标识出的面部特征相对应的脸部对齐点。使标识出的脸部对齐点与模板纹理图上的目的地点匹配。将接收到的可见频谱图的包括玩家的脸的部分变形成脸部纹理图，使得该脸部纹理图包括已映射到模板纹理图的目的地点的、与标识出的玩家的脸的面部特征相对应的脸部对齐点。通过这么做，玩家的脸的图像为了适合于目的地模板而略微失真。本申请中使用的纹理图处于UV空间，并包含允许将它们映射成3D模型的信息。因此，通过标识出面部特征及相应的对齐点，并将这些对齐点映射到模板纹理图的目的地点，现在可以创建玩家的脸的3D模型。
这在图8-13中示出。图8示出了玩家802的可见频谱图800。图9示出了玩家802的第二可见频谱图900。图8和图9中示出的向导标记被示出以促进特征检测—如果玩家802将他的身体定位在系统预期的位置，则特征检测变得更准确。图10示出了玩家802的脸1000。脸1000在此与头发以及玩家的衣服的一部分一起被示出。图11示出了与标识出的面部特征相对应的示例性脸部对齐点1102。面部特征可包括眼睛、下巴、耳朵、鼻子、嘴巴、眉毛、颌和其他特征。在一个实施例中，99个脸部对齐点被如下使用：0-7用于左眼、8-15用于右眼、16-25用于左眉、26-35用于右眉、36-47用于鼻子、48-59用于嘴巴外部、60-67用于嘴巴内部、68-86用于颌线、87用于左眼中心、88用于右眼中心、89用于鼻子中心、且90-99用于眉毛上部。
图12示出了定义目的地点1202和3D模型之间的关系的模板纹理图1200。UV空间中的纹理图是本领域公知的。脸部对齐点1102用作到目的地点1202的来源点。模板纹理图1200可以是艺术家创建的图，以映射到特定的样式化3D头部模型。可以使用各种模板纹理图。在某些实施例中，并非所有对齐点都需要与目的地点对齐。例如，眼睛和嘴巴对齐点可以不被匹配以更好的保留玩家的表情。图13示出了得到的脸部纹理图1300。与图10的图像1000相比，脸部纹理图1300略微失真。可以将脸部纹理图1300变形成基于表示玩家802的头的3D头部模型，该3D头部模型被包括为反映玩家802的当前外观的3D化身的一部分。图14示出了类似于玩家802的具有脸和头1402的化身1400。
在某些实施例中，仅接收针对玩家的前面的、描述玩家的当前外观的数据。针对玩家的侧面和背面的数据被推理出。在其他实施例中，接收来自多个角度或多侧的玩家图像，并针对玩家的头和身体的每一侧执行特征识别。
还可以经历各种过滤和处理步骤。在一个实施例中，以下过滤器和值被应用：RGB图像的双向过滤器（核半径为3个像素、边缘阈值（0-225）为20）；色噪减少（双向过滤器、HSV色彩空间），核半径为5个像素、边缘阈值（0-255）为42；自动对比度调整（HSV空间），重设中心值（0-1）为0.54，重设标准偏差值（0-1）为0.15，且与原图的混合程度（0-1）为0.5；调整亮度曲线（HSV空间），曲线点1为0.6，1.0，与原图的混合程度（0-1）为0.5。
在某些实施例中，在将脸部纹理图变形成3D头部模型之前，分析各对齐点，并计算出相应面部特征的大小。基于该脸部纹理图以及多个标识出面部特征的计算出的大小，多个预定的头部模型被组合以创建经变形的3D头部模型。
在一个实施例中，这些测量被规范化，以考虑玩家的头在可见频谱图中的实际大小，以说明该图像是靠近的还是遥远的头。随后通过将经规范化的值与平均值和标准偏差值进行比较来确定每一特征的变形配置。这有效地提供了有关特定特征与平均数相比有多大/多小/多宽/多窄等的信息。存在各种艺术家创建的3D头部模型，并且来自各个模型的合适特征根据该变形配置被组合。因此，经规范化的脸部大小被转换成变形配置，并且变形配置指定了如何混合各个头部模型以反映玩家的特征。
在一个特定实施例中，变形配置被如下分类：宽、窄、长、短的颌/下巴；以及窄、宽、短、长的鼻子；宽间隔、窄间隔、位置较高和位置较低的眼睛区。
头发外观捕捉
除了捕捉玩家的脸外，玩家的头发外观也可被捕捉。头发外观包括头发颜色以及大致发型。在一个实施例中，玩家的头发的各个方面（诸如，留海、顶部的量、每一侧的量、下巴上方的量、前额覆盖区等）被分析并组合，以匹配预定义的发型模版。
在一个实施例中，通过确定头发内边界和头发外边界来标识出玩家头发的范围。使用接收到的包括玩家和当前背景两者的深度图，头发外边界通过将背景的深度与玩家头发的深度相区分来确定。使用接收到的玩家的可见频谱图，头发内边界通过将玩家的皮肤和/或衣服与玩家的头发相区分来确定。在一个实施例中，头发内边界通过以下方式来确定：将外界的头发与玩家所穿的衣服区分开，并使用在捕捉玩家的面部外观时标识出的面部特征来确定玩家前额的范围。知道玩家前额的位置帮助缩小要分析头发的可见频谱图的位置。
玩家的头发被标识为至少部分地由头发外边界和头发内边界界定的区域。在某些实施例中，玩家头发的多个头发属性被标识出，所述多个头发属性中的每一个描述玩家头发的部分或特性。头发属性包括但不限于留海、顶部的量、每一侧的量、下巴上方的量、前额覆盖区等。随后，可将标识出的多个头发属性与预定发型模板库进行比较以找到最佳匹配。在某些实施例中，该库包含10和20个之间的预定发型。在其他实施例中，距玩家的头的距离会影响特定像素被归类为头发与否的可能性——与玩家的头越接近，该像素越可能被认为是头发。头发外观捕捉的细节可以用各种方式来实现。以下呈现头发外观捕捉的各个方面的若干特定示例。使用深度通知背景移除、前额估计和脸部移除来将头发从颜色可见频谱图中分割出来。深度通知背景移除可以通过以下方式来实现：判定背景阈值（例如，为脸部距离＋20cm）；初始化颜色图到整个背景（具有特殊颜色或阿尔法的标签）；当所有深度像素都具有值>背景或值＝0（孔深）时，将这些像素标记为背景；将其邻接邻居先前被标记为背景（但没有从新的邻居处延伸）的所有深度像素标记为背景——这使得向内侵蚀（erode）深度边缘；将颜色像素映射成深度像素；将与非背景深度像素相对应的所有源颜色像素复制到目标颜色图中；以及，使用范围受限的泛色填充沿着背景边缘向外回填颜色图——对于与背景像素毗接的任何给定非背景颜色像素，从该边缘向外移动，并将来自源图像的像素复制到目标图像中，直到行进了特定距离或者源图像像素颜色与原始边缘像素颜色偏离过多。
前额估计可以通过以下方式来实现：使用脸部检测边界来对中央脸部颜色参考进行采样，并播种（seed）以该颜色为平均值的颜色；跨正好在双眉上方开始的前额区域的宽度进行采样并向上走查前额，以保持该颜色的移动平均值；当一行采样颜色与该平均值明显不同时，重置移动平均值，并记录过渡点；以及，当仅背景像素被采样时停止向上走查，并记录过渡点。所记录的第一个过渡点可能是发际线级，而最后一个过渡点是头发的顶部。眉毛级是前额的底部。
脸部移除可以通过以下方式来实现：计算脸部检测特征点中给出下部的脸而非前额的较好轮廓的2D凸包；使下颌轮廓点的一些反映在经过双眼的线上，并通过使用前额发际线估计以避免将所反映的点放置在发际线上来将那些点添加在凸包上；将凸包内的所有颜色像素标记为背景；以及，将在嘴和双眼之间（耳朵除外）的垂直区域内的所有颜色像素标记为背景。
在另一实施例中，通过以下方式来对头发颜色进行采样：使采样受限于围绕脸部的矩形，该矩形高到足以容纳高耸式头发，低到足以容纳披肩长发；对未被标记为背景的所有颜色像素进行采样以得到总平均值；以及，再次对所有非背景颜色像素进行采样，以将自定义尺度的HCV颜色空间中与平均色明显不同的任何像素排除。如果发型估计完成了，则可相对于从顶部收集的颜色，加强从玩家头部的各侧收集的颜色，因为这些侧趋于更少受到照明条件的影响。
在一个实施例中，发型是通过将头发采样区域划分成以下五个区域来估计：顶部中央、左上/右上和左下和右下。顶部和左上/右上之间的水平界限在双眉的边缘处，而上方和下方之间的界限为脸部的中间（其应该由于移除了双耳而成为空白）。头发颜色分类用于对每一区域中的头发像素数进行采样，并且前额估计用于测量前额高度和发顶高度。现在以获得以下五个值：前额高度、发顶高度、发顶区域、上侧区域、下侧区域。发顶高度值和发顶区域值可被混合成单个值，从而得到四个值。基于脸部检测将这些值规范化成以像素为单位的估计脸部尺寸。随后，可将每一值分类到诸如“没有”、“一些”和“许多”之类的箱中，其中各阈值是通过人类或机器学习而根据经验获得的。相对于资产矩阵来匹配经装箱的值，以选择视觉发型，以显示为特定玩家的反馈。
可以使用色调色度值（HCV）颜色空间来进行感性的颜色差异比较。该颜色空间是锥体的，其中黑色为底部的单个点，白色为顶部的单个点，并且饱和的颜色在顶部形成该锥体的最宽部分。HSV使几乎为黑的色彩跨圆柱体的底部宽范围延伸，这在图像噪音可以引发色调和饱和度中的较宽波动时引起问题。两个值之间的距离是通过使用HC平面上的极坐标距离，并添加针对V的欧几里得距离来测量。该锥体的半径和高度可以被缩放以强调颜色的不同特征。颜色空间距离阈值是要操控的另一变量，但这三个变量中的一个变量可被固定。一不同的缩放方法将该锥体的顶部保持在为1的固定半径，而非通过使色度和饱和度混合来将该锥体的底部点向外拉伸成具有距离阈值/2的半径的圆盘。该方法确保了所有暗色处于彼此的阈值距离内，而不会影响在处于伪锥体顶部的饱和色。在一个实施例中，头发的特定调整值包括：距离阈值＝0.1；H’=H;C’=lerp(S,C,距离阈值/2)[阈值=0产生纯HCV);并且V’=V*0.5
衣服外观捕捉
衣服外观也可以从描述玩家的当前外观的所接收到的数据中捕捉。所生成的3D化身随后可包括类似于玩家正穿着的衣服的衣服。
在一个实施例中，衣服外观可通过以下方式来捕捉：使用玩家的包括玩家和当前背景两者的接收到的深度图以及接收到的可见频谱图，使用边缘检测来确定衣服外边界；使用玩家的接收到的可见频谱图，通过基于颜色分析将衣服与皮肤相区分来确定至少一个衣服内边界；以及，将玩家衣服标识为至少部分地由衣服外边界和至少一个衣服内边界界定的区域。在另一实施例中，边缘检测将接收到的深度图中的背景的深度与玩家的深度区分开，并将接收到的可见频谱图中的衣服的颜色和背景的颜色区分开。
在某些实施例中，使用接收到的骨架数据来标识出玩家的身体特征。通过分析与通常穿有衣服、标识出的玩家的身体特征相对应的接收到的可见频谱图的区域和接收到的深度图中的区域来确定衣服外边界和至少一个衣服内边界。例如，可以从骨架数据中标识出手腕、肘、肩、膝、髋等，从而向系统提供用于识别衣服的缩小的分析区域。
在其他实施例中，捕捉玩家的衣服外观还包括：将玩家的骨架数据重新缩放成预定骨架大小，以形成经缩放的玩家骨架；将经缩放的玩家骨架重置为预定姿势；以及，基于经重置、经缩放的骨架和所标识出的玩家服装来创建衣服纹理图。从该衣服纹理图生成的3D身体模型随后在生成3D化身时被使用。
在某些实施例中，标识并捕捉特定衣服制品。在其他实施例中，执行全身衣服捕捉。在又一些实施例中，当衣服外观捕捉对于最小阈值无法检测到特定衣服时，则默认使用短袖衬衫和裤子或短裤。类似地，如果在玩家的躯干上没有检测到任何衣服，则短袖衬衫可被包括在化身中。
在一个实施例中，执行对在所跟踪的骨架上的所提供的捕捉到的深度图位置的蒙皮。随后，生成网格。随后通过检测皮肤像素并在可能不与皮肤配准但附属于皮肤像素的那些区域中进行智能填充来执行皮肤移除。使用Canny边缘检测并通过检测可见频谱图中与被标识为玩家的区域的边缘接近的边缘来侵蚀玩家蒙板来移除背景。随后执行骨骼缩放计算，以尝试在长度范围和宽度范围上拉伸该骨骼，以填充该蒙板。骨架数据用于将该骨架重置在所提供的2D骨架位置中。随后，使用新近重新定向的网格将可见频谱图应用于蒙板。每像素拉伸和/或简单的RGB泛色填充被用于填充蒙板的剩余白色空间。
袖子/裤腿/摺边检测
对衬衫袖子、裤子或短裤的裤腿、或裙子或衣服的摺边的检测可被认为是分开的功能，或被认为是衣服外观捕捉的一部分。在一个实施例中，使用接收到的骨架数据来标识出与玩家的手臂和腿相对应的区域。随后，沿着标识出的与玩家的手臂和腿相对应的区域来分析接收到的玩家的可见频谱图的颜色，以检测以下各项中的至少一个：（1）衬衫袖子，（2）裤子或短裤的裤脚，（3）裙子或衣服的摺边。该分析可以是例如颜色分类或梯度分析。在一个实施例中，骨架数据可用于标识沿着其来分析可见频谱图的颜色的路径。例如，由于骨架的手臂部分是已知的，因此可分析从肩部向下移动手臂的各像素的颜色，以查看袖子出现在何处。
在另一实施例中，裙子或衣服的摺边可被检测。使用接收到的骨架数据，与玩家的双腿相对应的区域被标识出。使用接收到的包括玩家和当前背景两者的深度图，在标识出的与玩家的双腿相对应的区域之间的区域被分析，以通过将背景深度与玩家深度区分开并标识出将背景深度与玩家深度隔开的基本上水平的边缘来检测裙子或衣服边缘。
已在以上公开的各个点处讨论了骨架数据。图15示出了玩家1502的可见频谱图1500，且图16示出了玩家1502的相应深度图1600。测量从传感器到被感测对象并返回的飞行时间的红外传感器可产生的深度图1600示出处于第一深度的背景部分1604和处于更接近于前面的第二深度的玩家部分1602。可基于玩家部分1602的姿势来确定简化骨架1606。在一个实施例中，将玩家部分1602与数据库中的各个玩家姿势进行比较，并在标识出匹配后，确定骨架1606是数据库中的匹配姿势的骨架。
参考各具体实施例描述了本发明，各具体实施例在所有方面都旨在是说明性的而非限制性的。不偏离本发明范围的情况下，各替换实施例对于本发明所属领域的技术人员将变得显而易见。
从前面的描述可以看出，本发明很好地适用于实现上文所阐述的所有目的和目标，并且具有对于该系统和方法是显而易见且固有的其他优点。可以理解，某些特征和子组合是有用的，并且可以在不参考其他特征和子组合的情况下使用。这由权利要求所构想的，并在权利要求的范围内。

Claims (10)

1.其上包含有计算机可执行指令的计算机可读介质，所述计算机可执行指令在由计算设备执行时，执行一种生成反映玩家的当前外观的化身的方法，所述方法包括：
接收描述所述玩家的当前外观的数据，所述数据包括：所述玩家的可见频谱图、包括所述玩家和当前背景两者的深度图、以及所述玩家的骨架数据，所述骨架数据指示所述玩家的骨架的轮廓；
至少部分地基于接收到的数据，通过以下方式来捕捉所述玩家的面部外观：
标识所述玩家的脸，
标识所述玩家的脸的面部特征，以及
基于标识出的面部特征将接收到的可见频谱图的包括所述玩家的脸的一部分变形成脸部纹理图；
至少部分地基于接收到的数据，通过以下方式来捕捉所述玩家的头发外观：
标识所述玩家的头发的范围，
使标识出的所述玩家的头发的范围与预定的发型模板匹配，以及
标识所述玩家的头发的颜色；以及
通过将所述脸部纹理图、匹配标识出的所述玩家的头发的范围的发型模板、及标识出的玩家头发颜色与预定的化身特征组合来生成反映捕捉到的所述玩家的面部外观和头发外观的3D化身，使得所述3D化身类似于所述玩家。
2.如权利要求1所述的计算机可读介质，其特征在于，标识所述玩家的脸包括：
通过分析接收到的所述玩家的骨架数据来标识所述玩家的头，
标识接收到的可见频谱图中与所述玩家的头相对应的头部分，以及
将脸部检测算法应用于接收到的可见频谱图的所述头部分。
3.如权利要求1所述的计算机可读介质，其特征在于，标识所述玩家的头发的范围包括：
使用接收到的包括所述玩家和所述当前背景的深度图，通过将所述背景的深度与所述玩家的头发的深度相区分来确定头发外边界，以及
使用接收到的所述玩家的可见频谱图，通过将所述玩家的皮肤与所述玩家的头发相区分来确定头发内边界。
4.如权利要求1所述的计算机可读介质，其特征在于，还包括至少部分地基于接收到的数据，通过以下方式来捕捉所述玩家的衣服外观：
使用接收到的包括所述玩家和所述当前背景两者的深度图以及接收到的所述玩家的可见频谱图，使用边缘检测来确定衣服外边界，
使用接收到的所述玩家的可见频谱图，通过基于所确定的颜色梯度将衣服与皮肤相区分来确定至少一个衣服内边界，以及
将玩家衣服标识成至少部分地由所述衣服外边界和所述至少一个衣服内边界界定的区域；以及
其中，所生成的3D化身具有类似于标识出的玩家衣服的衣服。
5.如权利要求1所述的计算机可读介质，其特征在于，还包括至少部分地基于接收到的数据，通过以下方式来捕捉所述玩家的肤色：
对接收到的可见频谱图中处于与所述玩家的脸相对应的区域中的一个或多个区域的颜色进行采样；以及
混合所采样的所述一个或多个区域的颜色，以确定玩家肤色；以及
其中，所生成的3D化身具有反映所确定的玩家肤色的肤色。
6.一个或多个其上包含有计算机可执行指令的计算机可读介质，所述计算机可执行指令在被执行时，执行一种用于提供依赖于查询的音频和视频剪辑预览的方法，所述系统包括：
数据获取组件，所述数据获取组件接收描述所述玩家的当前外观的数据，所述数据包括：所述玩家的可见频谱图、包括所述玩家和当前背景两者的深度图、以及所述玩家的骨架数据，所述骨架数据指示所述玩家的骨架的轮廓；
脸部捕捉组件，所述脸部捕捉组件至少部分地基于接收到的数据来捕捉所述玩家的面部外观；
头发捕捉组件，所述头发捕捉组件至少部分地基于接收到的数据来捕捉所述玩家的头发外观；
衣服捕捉组件，所述衣服捕捉组件至少部分地基于接收到的数据来捕捉所述玩家的衣服外观；
化身生成组件，所述化身生成组件通过将捕捉到的面部外观、头发外观、及衣服外观与预定的化身特征组合来生成类似于所述玩家的3D化身。
7.如权利要求6所述的计算机可读介质，其特征在于，还包括：
袖子检测组件，所述袖子检测组件至少部分地基于接收到的数据来标识以下各项中的至少一个：（1）衬衫袖子，（2）裤子或短裤的裤脚，（3）裙子或衣服的摺边；
肤色捕捉组件，所述肤色捕捉组件至少部分地基于接收到的数据来标识所述玩家的肤色；以及
其中，所述化身生成组件将标识出的以下各项中的至少一个组合：（1）衬衫袖子，（2）裤子或短裤的裤脚，和（3）裙子或衣服的摺边以及标识出的肤色，以生成类似于所述玩家的所述3D化身。
8.一种用于生成反映玩家的当前外观的化身的计算机实现的方法，所述方法包括：
接收描述所述玩家的当前外观的数据，所述数据包括：所述玩家的可见频谱图、包括所述玩家和当前背景两者的深度图、以及所述玩家的骨架数据，所述骨架数据指示所述玩家的骨架的轮廓；
至少部分地基于接收到的数据，通过以下方式来捕捉所述玩家的面部外观：
标识所述玩家的脸；
标识所述玩家的脸的面部特征，以及
基于标识出的面部特征将接收到的可见频谱图的包括所述玩家的脸的一部分变形成脸部纹理图；
至少部分地基于接收到的数据，通过以下方式来捕捉所述玩家的头发外观：
标识所述玩家的头发的范围，
使标识出的所述玩家的头发的范围与预定的发型模板匹配；以及
标识所述玩家的头发的颜色；
至少部分地基于接收到的数据，通过以下方式来捕捉所述玩家的衣服外观：
使用接收到的包括所述玩家和所述当前背景两者的深度图以及接收到的所述玩家的可见频谱图，使用边缘检测来确定衣服外边界。
使用接收到的所述玩家的可见频谱图，通过基于所确定的颜色梯度将衣服与皮肤相区分来确定至少一个衣服内边界，以及
将玩家衣服标识成至少部分地由所述衣服外边界和所述至少一个衣服内边界界定的区域；
至少部分地基于接收到的数据，通过以下方式来捕捉所述玩家的肤色：
对接收到的可见频谱图的处于与所述玩家的脸相对应的各区域中的一个或多个区域的颜色进行采样；以及
混合所采样的所述一个或多个区域的颜色，以确定玩家肤色；以及使用计算设备的处理器，通过将所述脸部纹理图、匹配标识出的所述玩家的头发的范围的发型模板、以及标识出的玩家头发颜色与预定的化身特征组合来生成反映捕捉到的所述玩家的面部外观、头发外观、衣服外观和肤色的3D化身，使得所述3D化身类似于所述玩家。
9.如权利要求8所述的方法，其特征在于，捕捉所述玩家的所述衣服外观进一步包括：
使用接收到的骨架数据，标识与所述玩家的手臂和腿相对应的区域，以及
沿着标识出的与所述玩家的手臂和腿相对应的区域来分析接收到的所述玩家的可见频谱图的颜色梯度，以检测以下各项中的至少一个：（1）衬衫袖子，（2）裤子或短裤的裤脚，以及（3）裙子或衣服的摺边。
10.如权利要求8所述的方法，其特征在于，标识所述玩家的头发的范围包括：
使用接收到的包括所述玩家和所述当前背景两者的深度图，通过将所述背景的深度与所述玩家的头发的深度相区分来确定头发外边界，
使用接收到的所述玩家的可见频谱图，通过将所述玩家的皮肤与所述玩家的头发以及所述玩家所穿的衣服相区分来确定头发内边界，
使用在捕捉所述玩家的面部外观时标识出的面部特征，确定所述玩家的前额的范围；以及
其中，使标识出的所述玩家的头发的范围与预定的发型模板匹配包括：
将所述玩家的头发标识为至少部分地由头发外边界和头发内边界界定的区域，
标识所述玩家的头发的多个头发属性，所述多个头发属性中的每一个头发属性描述所述玩家的头发的部分或特性，以及
将标识出的多个头发属性与预定的发型模板库进行比较。
CN201280027693.2A 2011-06-06 2012-06-04 生成反映玩家外观的化身 Active CN103597518B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161493839P 2011-06-06 2011-06-06
US61/493,839 2011-06-06
US13/297,890 2011-11-16
US13/297,890 US9013489B2 (en) 2011-06-06 2011-11-16 Generation of avatar reflecting player appearance
PCT/US2012/040768 WO2012170354A2 (en) 2011-06-06 2012-06-04 Generation of avatar reflecting player appearance

Publications (2)

Publication Number Publication Date
CN103597518A true CN103597518A (zh) 2014-02-19
CN103597518B CN103597518B (zh) 2016-10-26

Family

ID=47262095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280027693.2A Active CN103597518B (zh) 2011-06-06 2012-06-04 生成反映玩家外观的化身

Country Status (6)

Country Link
US (2) US9013489B2 (zh)
EP (1) EP2718902B1 (zh)
JP (1) JP5976103B2 (zh)
KR (1) KR101896137B1 (zh)
CN (1) CN103597518B (zh)
WO (1) WO2012170354A2 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021138A (zh) * 2014-04-23 2014-09-03 北京智谷睿拓技术服务有限公司 图像检索方法及图像检索装置
CN104504746A (zh) * 2014-12-24 2015-04-08 天脉聚源（北京）科技有限公司 一种生成虚拟图像的方法
CN104965707A (zh) * 2015-06-30 2015-10-07 王正豪 一种网游角色渲染处理方法
CN105023280A (zh) * 2015-08-21 2015-11-04 武汉汇思聚创信息技术有限公司 一种基于3d骨架建模的检测方法
CN105338369A (zh) * 2015-10-28 2016-02-17 北京七维视觉科技有限公司 一种在视频中实时合成动画的方法和装置
CN106807088A (zh) * 2017-02-15 2017-06-09 成都艾维拓思科技有限公司 游戏数据更新的方法及装置
CN107077750A (zh) * 2014-12-11 2017-08-18 英特尔公司 化身选择机制
CN107206281A (zh) * 2014-11-21 2017-09-26 索尼互动娱乐股份有限公司 程序及信息处理设备
CN107551549A (zh) * 2017-08-09 2018-01-09 广东欧珀移动通信有限公司 游戏形象调整方法及其装置
CN108348719A (zh) * 2015-11-10 2018-07-31 皇家飞利浦有限公司 确定关于患者的面部的信息
CN108479070A (zh) * 2018-03-30 2018-09-04 百度在线网络技术（北京）有限公司 虚拟模型生成方法和装置
CN109961478A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 一种裸眼立体显示方法、装置及设备
CN109961473A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 双眼定位方法及装置、电子设备和计算机可读存储介质
CN109961477A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 一种空间定位方法、装置及设备
CN109963140A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 裸眼立体显示方法及装置、设备和计算机可读存储介质
CN111182350A (zh) * 2019-12-31 2020-05-19 广州华多网络科技有限公司 图像处理方法、装置、终端设备及存储介质
CN112221133A (zh) * 2020-10-21 2021-01-15 Oppo（重庆）智能科技有限公司 游戏画面的定制方法、云服务器、终端及存储介质

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8694553B2 (en) * 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
JP5874325B2 (ja) * 2011-11-04 2016-03-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5994233B2 (ja) 2011-11-08 2016-09-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9350951B1 (en) * 2011-11-22 2016-05-24 Scott Dallas Rowe Method for interactive training and analysis
JP5869145B2 (ja) * 2011-12-20 2016-02-24 インテル コーポレイション 記憶済みコンテンツのローカルセンサ増補及びａｒ通信
US9367869B2 (en) * 2012-02-13 2016-06-14 Dean Stark System and method for virtual display
JP5949030B2 (ja) 2012-03-26 2016-07-06 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
US20140031118A1 (en) * 2012-07-30 2014-01-30 Michael A. Liberty Interactive virtual farming video game
JP5949331B2 (ja) * 2012-08-30 2016-07-06 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
EP2904581B1 (en) * 2012-10-01 2016-12-07 Telefonaktiebolaget LM Ericsson (publ) Method and apparatus for determining a depth of a target object
US9607441B2 (en) * 2012-10-02 2017-03-28 Autodesk, Inc. Morphological attractor for creating custom ancestors in inheritance-based character generation
JP6098133B2 (ja) * 2012-11-21 2017-03-22 カシオ計算機株式会社 顔構成部抽出装置、顔構成部抽出方法及びプログラム
US9285951B2 (en) * 2013-02-14 2016-03-15 Disney Enterprises, Inc. Avatar personalization in a virtual environment
CN103489107B (zh) * 2013-08-16 2015-11-25 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
WO2015058388A1 (zh) * 2013-10-24 2015-04-30 华为终端有限公司 一种显示图像的方法和装置
CN104637078B (zh) * 2013-11-14 2017-12-15 腾讯科技（深圳）有限公司 一种图像处理方法及装置
US20150134302A1 (en) 2013-11-14 2015-05-14 Jatin Chhugani 3-dimensional digital garment creation from planar garment photographs
KR101932956B1 (ko) 2013-12-19 2018-12-27 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 중앙 관리형 온라인 서비스에서 p2p 코드 교환 촉진
US10366439B2 (en) 2013-12-27 2019-07-30 Ebay Inc. Regional item reccomendations
US10444938B1 (en) * 2014-02-26 2019-10-15 Symantec Corporation Systems and methods for customizing user icons
US10192134B2 (en) * 2014-06-30 2019-01-29 Microsoft Technology Licensing, Llc Color identification using infrared imaging
WO2016017695A1 (ja) * 2014-07-30 2016-02-04 オリンパス株式会社 画像処理装置
US20160092956A1 (en) 2014-09-30 2016-03-31 Jonathan Su Garment size mapping
US10204375B2 (en) 2014-12-01 2019-02-12 Ebay Inc. Digital wardrobe using simulated forces on garment models
JP2016118991A (ja) * 2014-12-22 2016-06-30 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US10475113B2 (en) 2014-12-23 2019-11-12 Ebay Inc. Method system and medium for generating virtual contexts from three dimensional models
US10013796B2 (en) * 2015-01-22 2018-07-03 Ditto Technologies, Inc. Rendering glasses shadows
TW201629907A (zh) * 2015-02-13 2016-08-16 啟雲科技股份有限公司 三維頭像產生系統及其裝置、產生方法
US10310616B2 (en) 2015-03-31 2019-06-04 Ebay Inc. Modification of three-dimensional garments using gestures
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US20160371878A1 (en) 2015-06-18 2016-12-22 Facebook, Inc. Systems and methods for providing image perspective adjustment and automatic fitting
CN104950887B (zh) * 2015-06-19 2017-07-21 重庆大学 基于机器人视觉系统和自主跟踪系统的运输装置
US10019848B2 (en) 2015-07-31 2018-07-10 Adobe Systems Incorporated Edge preserving color smoothing of 3D models
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
JP6200483B2 (ja) * 2015-12-23 2017-09-20 株式会社オプティム 画像処理システム、画像処理方法、および画像処理プログラム
US10192103B2 (en) * 2016-01-15 2019-01-29 Stereovision Imaging, Inc. System and method for detecting and removing occlusions in a three-dimensional image
US9919217B2 (en) 2016-03-08 2018-03-20 Electronic Arts Inc. Dynamic difficulty adjustment
US10339365B2 (en) * 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US20170312634A1 (en) * 2016-04-28 2017-11-02 Uraniom System and method for personalized avatar generation, especially for computer games
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US11580608B2 (en) 2016-06-12 2023-02-14 Apple Inc. Managing contact information for communication applications
DK201670609A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
WO2017223530A1 (en) * 2016-06-23 2017-12-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
US10559111B2 (en) 2016-06-23 2020-02-11 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
CN106127861B (zh) * 2016-06-29 2019-02-19 黄丽英 可佩带式发型模拟装置及其模拟控制系统
CN106136559B (zh) * 2016-06-29 2019-07-16 南宁远卓新能源科技有限公司 自助发型模拟装置及其模拟控制系统
US10452896B1 (en) * 2016-09-06 2019-10-22 Apple Inc. Technique for creating avatar from image data
CN110895439A (zh) * 2016-09-23 2020-03-20 苹果公司 头像创建和编辑
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10055880B2 (en) * 2016-12-06 2018-08-21 Activision Publishing, Inc. Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional
US10384133B1 (en) 2016-12-30 2019-08-20 Electronic Arts Inc. Systems and methods for automatically measuring a video game difficulty
US10454857B1 (en) * 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US10357718B2 (en) 2017-02-28 2019-07-23 Electronic Arts Inc. Realtime dynamic modification and optimization of gameplay parameters within a video game application
KR101866407B1 (ko) 2017-03-15 2018-06-12 주식회사 한글과컴퓨터 아바타 생성 시스템 및 이를 이용한 아바타 생성 방법
US11094136B2 (en) * 2017-04-28 2021-08-17 Linden Research, Inc. Virtual reality presentation of clothing fitted on avatars
US11145138B2 (en) 2017-04-28 2021-10-12 Linden Research, Inc. Virtual reality presentation of layers of clothing on avatars
DK179867B1 (en) 2017-05-16 2019-08-06 Apple Inc. RECORDING AND SENDING EMOJI
US10521948B2 (en) 2017-05-16 2019-12-31 Apple Inc. Emoji recording and sending
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10311624B2 (en) 2017-06-23 2019-06-04 Disney Enterprises, Inc. Single shot capture to animated vr avatar
CN109325988B (zh) * 2017-07-31 2022-11-11 腾讯科技（深圳）有限公司 一种面部表情合成方法、装置及电子设备
US10653957B2 (en) 2017-12-06 2020-05-19 Universal City Studios Llc Interactive video game system
CN108171789B (zh) * 2017-12-21 2022-01-18 迈吉客科技（北京）有限公司 一种虚拟形象生成方法和系统
KR102181587B1 (ko) 2017-12-26 2020-11-20 (주)스코넥엔터테인먼트 가상 환경 제어 시스템
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
DE102018102560A1 (de) * 2018-02-06 2019-08-08 Connaught Electronics Ltd. Verfahren zum Anzeigen einer Szene von einem bestimmten Blickpunkt aus auf einer Anzeigevorrichtung eines Fahrzeugs und Fahrerassistenzsystem
KR102565755B1 (ko) * 2018-02-23 2023-08-11 삼성전자주식회사 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법
WO2019164266A1 (en) * 2018-02-23 2019-08-29 Samsung Electronics Co., Ltd. Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
CN112262363A (zh) * 2018-02-27 2021-01-22 利惠商业有限公司 激光整理设计工具
KR102577472B1 (ko) * 2018-03-20 2023-09-12 한국전자통신연구원 동작 인식을 위한 가상 학습 데이터를 생성하는 방법 및 장치
KR102068489B1 (ko) * 2018-03-30 2020-01-22 (주)온넷시스템즈코리아 3차원 객체 생성 장치
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
CN108717719A (zh) * 2018-05-23 2018-10-30 腾讯科技（深圳）有限公司 卡通人脸图像的生成方法、装置及计算机存储介质
US10198845B1 (en) 2018-05-29 2019-02-05 LoomAi, Inc. Methods and systems for animating facial expressions
US10713543B1 (en) 2018-06-13 2020-07-14 Electronic Arts Inc. Enhanced training of machine learning systems based on automatically generated realistic gameplay information
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
KR102113745B1 (ko) * 2018-10-02 2020-05-28 한국과학기술연구원 3차원 모델의 텍스처를 전이하는 방법 및 장치
US11803664B2 (en) 2018-10-09 2023-10-31 Ebay Inc. Distributed application architectures using blockchain and distributed file systems
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11182634B2 (en) * 2019-02-05 2021-11-23 Disney Enterprises, Inc. Systems and methods for modifying labeled content
CN110020520B (zh) * 2019-03-26 2021-03-26 华中科技大学 一种基于声音信号的人脸识别辅助认证方法和系统
US10953334B2 (en) 2019-03-27 2021-03-23 Electronic Arts Inc. Virtual character generation from image or video data
US11276216B2 (en) 2019-03-27 2022-03-15 Electronic Arts Inc. Virtual animal character generation from image or video data
JP7323315B2 (ja) 2019-03-27 2023-08-08 株式会社コーエーテクモゲームス 情報処理装置、情報処理方法及びプログラム
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
US11110353B2 (en) 2019-07-10 2021-09-07 Electronic Arts Inc. Distributed training for machine learning of AI controlled virtual entities on video game clients
US11551393B2 (en) 2019-07-23 2023-01-10 LoomAi, Inc. Systems and methods for animation generation
KR20210012724A (ko) 2019-07-26 2021-02-03 삼성전자주식회사 아바타를 제공하는 전자 장치 및 그의 동작 방법
CN114667530A (zh) 2019-08-29 2022-06-24 利惠商业有限公司 具有服装和精加工的虚拟预览的数字陈列室
WO2021096192A1 (en) * 2019-11-12 2021-05-20 Samsung Electronics Co., Ltd. Neural facial expressions and head poses reenactment with latent pose descriptors
CN111324253B (zh) * 2020-02-12 2021-08-03 腾讯科技（深圳）有限公司 虚拟物品交互方法、装置、计算机设备及存储介质
US11508087B2 (en) * 2020-04-27 2022-11-22 Snap Inc. Texture-based pose validation
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
KR102358854B1 (ko) * 2020-05-29 2022-02-04 연세대학교 산학협력단 얼굴 이미지 색상 합성 장치 및 방법
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
CN112017295B (zh) * 2020-08-28 2024-02-09 重庆灵翎互娱科技有限公司 一种可调节动态头模型生成方法、终端和计算机存储介质
CN112121436B (zh) * 2020-09-18 2024-02-09 网易（杭州）网络有限公司 游戏数据处理方法及装置
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112132979B (zh) * 2020-09-29 2022-04-22 支付宝(杭州)信息技术有限公司 一种虚拟资源的选取方法、装置及设备
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11863916B2 (en) * 2022-01-27 2024-01-02 Altek Semiconductor Corporation Color correction method and image correction apparatus

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010033675A1 (en) * 1998-04-13 2001-10-25 Thomas Maurer Wavelet-based facial motion capture for avatar animation
US20030053686A1 (en) * 2001-09-13 2003-03-20 Eastman Kodak Company Method for detecting subject matter regions in images
US20080225041A1 (en) * 2007-02-08 2008-09-18 Edge 3 Technologies Llc Method and System for Vision-Based Interaction in a Virtual Environment
US20090044113A1 (en) * 2007-08-07 2009-02-12 Jones Scott T Creating a Customized Avatar that Reflects a User's Distinguishable Attributes
US20100135597A1 (en) * 2005-05-09 2010-06-03 Salih Burak Gokturk System and method for enabling image searching using manual enrichment, classification, and/or segmentation
US20100220933A1 (en) * 2005-12-01 2010-09-02 Shiseido Company Ltd Face Categorizing Method, Face Categorizing Apparatus, Categorization Map, Face Categorizing Program, and Computer-Readable Medium Storing Program
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation

Family Cites Families (186)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (ja) 1991-12-03 1994-10-06 フレンチ　スポーテク　コーポレイション 対話型ビデオ式検査および訓練システム
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
WO1997041925A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
IL121138A (en) * 1997-06-23 2001-11-25 Chiaro Networks Ltd An integrated device for optical components for beam deflection
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6543052B1 (en) 1999-07-09 2003-04-01 Fujitsu Limited Internet shopping system utilizing set top box and voice recognition
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
JP2001331799A (ja) * 2000-03-16 2001-11-30 Toshiba Corp 画像処理装置および画像処理方法
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
KR20040097200A (ko) * 2002-03-26 2004-11-17 김소운 3차원 안경 시뮬레이션 시스템 및 방법
DE50302813D1 (de) 2002-04-19 2006-05-18 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
EP1359536A3 (en) * 2002-04-27 2005-03-23 Samsung Electronics Co., Ltd. Face recognition method and apparatus using component-based face descriptor
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
WO2006074289A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Detecting and tracking objects in images
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
WO2006124935A2 (en) 2005-05-17 2006-11-23 Gesturetek, Inc. Orientation-sensitive signal output
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US20070273711A1 (en) * 2005-11-17 2007-11-29 Maffei Kenneth C 3D graphics system and method
US9471924B2 (en) 2005-12-08 2016-10-18 International Business Machines Corporation Control of digital media character replacement using personalized rulesets
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US7720284B2 (en) * 2006-09-08 2010-05-18 Omron Corporation Method for outlining and aligning a face in face processing of an image
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US20100013559A1 (en) * 2007-02-02 2010-01-21 Max Lee B High frequency amplifying device
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US8398793B2 (en) * 2007-07-20 2013-03-19 Curt G. Joa, Inc. Apparatus and method for minimizing waste and improving quality and production in web processing operations
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
EP2263190A2 (en) * 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
US20110002568A1 (en) * 2008-03-21 2011-01-06 Mitsuo Kawamura Cage for ball bearing, ball bearing with the cage and method of manufacturing the cage
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8364863B2 (en) * 2008-07-11 2013-01-29 Intel Corporation Method and apparatus for universal serial bus (USB) command queuing
BRPI0917864A2 (pt) * 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal
US8406482B1 (en) * 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
JP2010066853A (ja) 2008-09-09 2010-03-25 Fujifilm Corp 画像処理装置、方法およびプログラム
JP5292415B2 (ja) * 2009-02-05 2013-09-18 寿夫 西良 似顔絵イラスト作成システム、キャラクタ作成システム及び作成似顔絵イラスト表示システム
US20100290677A1 (en) * 2009-05-13 2010-11-18 John Kwan Facial and/or Body Recognition with Improved Accuracy
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US20100302138A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
KR101604631B1 (ko) * 2009-07-21 2016-03-18 삼성전자주식회사 불 휘발성 메모리 장치 및 그것의 프로그램 방법
US9146784B2 (en) * 2009-08-03 2015-09-29 Oracle International Corporation Invocation of web services based on a policy file including processes of a workflow associated with user roles
US20110194762A1 (en) * 2010-02-04 2011-08-11 Samsung Electronics Co., Ltd. Method for detecting hair region
US8638993B2 (en) * 2010-04-05 2014-01-28 Flashfoto, Inc. Segmenting human hairs and faces
US8448056B2 (en) * 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010033675A1 (en) * 1998-04-13 2001-10-25 Thomas Maurer Wavelet-based facial motion capture for avatar animation
US20030053686A1 (en) * 2001-09-13 2003-03-20 Eastman Kodak Company Method for detecting subject matter regions in images
US20100135597A1 (en) * 2005-05-09 2010-06-03 Salih Burak Gokturk System and method for enabling image searching using manual enrichment, classification, and/or segmentation
US20100220933A1 (en) * 2005-12-01 2010-09-02 Shiseido Company Ltd Face Categorizing Method, Face Categorizing Apparatus, Categorization Map, Face Categorizing Program, and Computer-Readable Medium Storing Program
US20080225041A1 (en) * 2007-02-08 2008-09-18 Edge 3 Technologies Llc Method and System for Vision-Based Interaction in a Virtual Environment
US20090044113A1 (en) * 2007-08-07 2009-02-12 Jones Scott T Creating a Customized Avatar that Reflects a User's Distinguishable Attributes
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021138B (zh) * 2014-04-23 2017-09-01 北京智谷睿拓技术服务有限公司 图像检索方法及图像检索装置
CN104021138A (zh) * 2014-04-23 2014-09-03 北京智谷睿拓技术服务有限公司 图像检索方法及图像检索装置
CN107206281A (zh) * 2014-11-21 2017-09-26 索尼互动娱乐股份有限公司 程序及信息处理设备
CN107077750A (zh) * 2014-12-11 2017-08-18 英特尔公司 化身选择机制
CN104504746A (zh) * 2014-12-24 2015-04-08 天脉聚源（北京）科技有限公司 一种生成虚拟图像的方法
CN104504746B (zh) * 2014-12-24 2017-12-15 天脉聚源（北京）科技有限公司 一种生成虚拟图像的方法
CN104965707A (zh) * 2015-06-30 2015-10-07 王正豪 一种网游角色渲染处理方法
CN105023280A (zh) * 2015-08-21 2015-11-04 武汉汇思聚创信息技术有限公司 一种基于3d骨架建模的检测方法
CN105338369A (zh) * 2015-10-28 2016-02-17 北京七维视觉科技有限公司 一种在视频中实时合成动画的方法和装置
CN108348719B (zh) * 2015-11-10 2021-08-24 皇家飞利浦有限公司 确定关于患者的面部的信息
CN108348719A (zh) * 2015-11-10 2018-07-31 皇家飞利浦有限公司 确定关于患者的面部的信息
CN106807088A (zh) * 2017-02-15 2017-06-09 成都艾维拓思科技有限公司 游戏数据更新的方法及装置
CN107551549A (zh) * 2017-08-09 2018-01-09 广东欧珀移动通信有限公司 游戏形象调整方法及其装置
CN109961478A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 一种裸眼立体显示方法、装置及设备
CN109961473A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 双眼定位方法及装置、电子设备和计算机可读存储介质
CN109961477A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 一种空间定位方法、装置及设备
CN109963140A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 裸眼立体显示方法及装置、设备和计算机可读存储介质
CN108479070A (zh) * 2018-03-30 2018-09-04 百度在线网络技术（北京）有限公司 虚拟模型生成方法和装置
CN111182350A (zh) * 2019-12-31 2020-05-19 广州华多网络科技有限公司 图像处理方法、装置、终端设备及存储介质
CN112221133A (zh) * 2020-10-21 2021-01-15 Oppo（重庆）智能科技有限公司 游戏画面的定制方法、云服务器、终端及存储介质

Also Published As

Publication number Publication date
KR101896137B1 (ko) 2018-09-07
EP2718902B1 (en) 2017-07-26
WO2012170354A2 (en) 2012-12-13
US9013489B2 (en) 2015-04-21
EP2718902A4 (en) 2014-12-03
JP2014522536A (ja) 2014-09-04
EP2718902A2 (en) 2014-04-16
US20150190716A1 (en) 2015-07-09
US20120309520A1 (en) 2012-12-06
JP5976103B2 (ja) 2016-08-23
KR20140033088A (ko) 2014-03-17
WO2012170354A3 (en) 2013-03-28
CN103597518B (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN103597518A (zh) 生成反映玩家外观的化身
US11344102B2 (en) Systems and methods for virtual facial makeup removal and simulation, fast facial detection and landmark tracking, reduction in input video lag and shaking, and a method for recommending makeup
WO2019228473A1 (zh) 人脸图像的美化方法和装置
JP5273208B2 (ja) 画像処理装置、画像処理方法、および制御プログラム
JP6956252B2 (ja) 顔表情合成方法、装置、電子機器及びコンピュータプログラム
JP4831259B1 (ja) 画像処理装置、画像処理方法、および制御プログラム
CN109690617B (zh) 用于数字化妆镜的系统和方法
US10796480B2 (en) Methods of generating personalized 3D head models or 3D body models
CN105404392B (zh) 基于单目摄像头的虚拟穿戴方法及系统
CN107852533A (zh) 三维内容生成装置及其三维内容生成方法
CN108198130B (zh) 图像处理方法、装置、存储介质及电子设备
US9779699B2 (en) Image processing device, image processing method, computer readable medium
WO2014081394A1 (en) Method, apparatus and system for virtual clothes modelling
CN106200971A (zh) 基于手势识别的人机交互系统装置及操作方法
CN103714225A (zh) 自动彩妆的信息系统及其进行上妆方法
JP2009289210A (ja) 重要物体認識装置および重要物体認識方法ならびにそのプログラム
US20140050404A1 (en) Combining Multiple Image Detectors
CN110879946A (zh) 手势结合ar特效的方法、存储介质、设备及系统
JP2009521065A (ja) カリカチュア生成システムとその方法およびその記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150724

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150724

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant