CN101427564B - 使用快门同步进行运动捕获的系统和方法 - Google Patents

使用快门同步进行运动捕获的系统和方法 Download PDF

Info

Publication number
CN101427564B
CN101427564B CN2005800308469A CN200580030846A CN101427564B CN 101427564 B CN101427564 B CN 101427564B CN 2005800308469 A CN2005800308469 A CN 2005800308469A CN 200580030846 A CN200580030846 A CN 200580030846A CN 101427564 B CN101427564 B CN 101427564B
Authority
CN
China
Prior art keywords
light source
camera
shutter
group
phosphorescent paint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2005800308469A
Other languages
English (en)
Other versions
CN101427564A (zh
Inventor
G·拉萨勒
R·范德拉恩
S·G·佩尔曼
J·斯佩克
T·S·科特
K·A·皮尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
REARDON LLC
Stephen - G - Bai Coleman revocable trust Co.
OnLive Inc
Original Assignee
OnLive Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=36475378&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101427564(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by OnLive Inc filed Critical OnLive Inc
Publication of CN101427564A publication Critical patent/CN101427564A/zh
Application granted granted Critical
Publication of CN101427564B publication Critical patent/CN101427564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

说明了一种方法，该方法包括：在表演者面部和/或身体的指定区域加磷光涂料；选通光源接通和断开，光源接通时充电磷光涂料；以及与选通光源同步地选通第一组多个照相机的快门，以捕获磷光涂料的图像，其中当光源断开时快门打开，而当光源打开时快门关闭。

Description

使用快门同步进行运动捕获的系统和方法
技术领域
本发明一般涉及运动捕获领域。更具体地说，本发明涉及使用快门同步和/或使用磷光涂料进行运动捕获的改进设备和方法。 
背景技术
“运动捕获”一般是指跟踪和纪录人和动物的运动。运动捕获系统用于各种应用中，例如包括视频游戏和计算机生成的电影。在典型的运动捕获会话中，“表演者”的运动被捕获并翻译成计算机生成的人物。 
如图1所示，在运动捕获系统中，将多个运动跟踪“标记”(例如标记101、102)附着到表演者100身体上的各个点上。这些点是基于人体骨骼的已知局限性来选择的。不同类型的运动捕获标记用于不同的运动捕获系统。例如，在“磁性”运动捕获系统中，附着到表演者的运动标记是有源线圈，它们在磁场中产生可测量的破坏x、y、z以及偏转、倾斜、滚动。 
相反，在光学运动捕获系统中，诸如图1所示的系统中，标记101、102是由向后反射材料组成的无源球体，向后反射材料就是将光线反射回光线来自方向的材料，理想的是在各种入射角上都向后反射。放置有多个照相机102、121、122，每个都在其镜头周围有一圈LED 130、131、132，以捕获从向后反射标记101、102以及表演者身上的其它标记所反射回来的LED光。理想的是，向后反射的LED光比室内任何其它光源都亮得多。通常，由照相机120、121、122加有阈限功能以抵制低于特定亮度等级的所有光线，这就理想地隔离了反射标记从室内任何其它光线所反射出来的光，并且照相机120、121、123仅捕获 来自标记101、102以及表演者身上其它标记的光。 
对耦接到照相机的运动跟踪单元150用每个标记101、102的相对位置和/或表演者身体的已知限制进行编程。使用该信息以及从照相机120-122所提供的视觉数据，运动跟踪单元150在运动捕获会话期间产生代表表演者运动的模拟运动数据。 
图形处理单元152使用该运动数据在计算机显示器160上(或类似的显示装置上)提供表演者的动画演示。例如，图形处理单元152可将所捕获的表演者运动加到不同的动画人物上和/或将动画人物包含在不同的计算机生成场景中。在一个实现方案中，运动跟踪单元150和图形处理单元152耦接到计算机总线(如在许多个人计算机中可找到的PCI和AGP总线)的可编程卡。生产运动捕获系统的一个著名公司是Motion Analysis Corporation(见例如www.motionanalysis.com)。 
发明内容
说明了一种方法，该方法包括：在表演者面部和/或身体的指定区域加磷光涂料；选通光源接通和断开，光源接通时对磷光涂料充电；以及与选通光源同步地选通第一组多个照相机的快门，以捕获磷光涂料的图像，其中当光源断开时快门打开，而当光源打开时快门关闭。 
附图说明
从以下结合附图的详细说明中可以获得对本发明的更好理解，附图包括： 
图1示出使用向后反射标记和照相机跟踪表演者运动的现有技术的运动跟踪系统。 
图2示出采用曲线图案跟踪面部表情的一个本发明实施例。 
图3示出使光板和照相机快门同步的一个本发明实施例。 
图4是示出按照本发明一个实施例在光板和照相机快门之间同步的定时图。 
图5是示范LED阵列和用于同步信号的连接器的示意图。 
图6a示出在照亮帧期间涂在表演者面部上的一组示范照明曲线。 
图6b示出在“辉光”帧期间涂在表演者面部上的一组示范照明曲线。 
图7是示出用于捕获照亮帧和辉光帧二者的实施例中在光板和照相机快门之间同步的定时图。 
图8是示出用于捕获照亮帧和辉光帧二者的另一实施例中在光板和照相机快门之间同步的定时图。 
图9示出用于捕获照亮帧和辉光帧二者的一个系统实施例。 
图10示出与图9所示系统相关联的定时图。 
具体实施方式
以下说明的是使用快门同步和/或磷光涂料来进行运动捕获的改进设备和方法。在以下说明中，为作说明，阐述了许多具体细节以便提供对本发明的透彻理解。但对于所属领域的技术人员来说，显然不用一部分这些细节也可实践本发明。在其它实例中，众所周知的结构和装置以方框图形式示出，以免使本发明的根本原理模糊不清。 
本申请的受让人以前开发了一种执行色彩编码运动捕获的系统以及使用涂在表演者面部的一系列反射曲线来进行运动捕获的系统。在2004年9月15日提交的、题为“Apparatus and Method for Capturing theMotion and/or Expression of a Performer”、序列号为10/942,609以及序列号为10/942,413的同时待审的申请中对这些系统作了说明。这些申请都转让给本申请的受让人，并通过引用结合在本文中。 
如在这些同时待审的申请中所述，通过分析表演者面部上的曲线而不是离散的数据点，运动捕获系统能够产生比传统基于标记的跟踪系统多得多的表面数据。图2示出了在同时待审的申请中所述的示范运动捕获系统，其中预定义的面部曲线图案201调节为拟合每个表演者面部202的拓扑。在一个实施例中，基于使用三维(3-D)扫描系统 所捕获的表演者面部拓扑的3-D映像来调节3-D曲线图案。 
使用向后反射、无毒涂料或戏剧化妆品，将由曲线图案201所定义的曲线涂在表演者的面部上。如下详述，在本发明的一个实施例中，使用无毒磷光涂料来创建曲线。 
如在同时待审的申请中所述，涂在表演者面部的每条曲线都具有唯一的识别名称和/或编号(以支持系统的数据处理)以及还可能有光学捕获系统易于识别的色彩。在一个实施例中，一旦加上了曲线图案，在表演过程期间，曲线图案就由运动捕获处理系统210跟踪，该运动捕获处理系统210由一个或多个照相机控制器205和一个中央运动捕获控制器206组成。在一个实施例中，每个照相机控制器205和中央运动捕获控制器206都使用单独的计算机系统来实现。备选的是，照相机控制器和运动捕获控制器可以实现为在单个计算机系统上执行的软件或硬件和软件的任何组合。 
在一个实施例中，每个照相机控制器205和/或运动捕获控制器206都用代表曲线图案201的数据203编程。运动捕获系统210使用该信息跟踪在表演期间曲线图案中每条曲线的运动。例如，对每个照相机204所提供的表演者面部表情(例如作为位图图像)进行分析，并使用所定义的曲线图案来识别曲线。 
在一个实施例中，将曲线数据203以“连通性映像”的形式提供到运动捕获系统，连通性映像是曲线图案201的文本文件表示，它包括图案中所有位线的列表以及图案中所有表面面片的列表，每个面片由其划界曲线定义。它由照相机控制器205和/或中央运动捕获控制器206用来识别光学捕获数据中的曲线和交点。这样又允许将来自曲线的点数据组织成表面面片，并最终组织成最后3-D几何图形207的三角形网目。 
在本发明的一个实施例中，通过使用磷光涂料和/或通过精确控制照相机快门和所涂曲线照明之间的同步，运动捕获系统的效率得以改进。更具体地说，参阅图3，在本发明的一个实施例中，使用磷光涂 料将预定义的面部曲线图案301涂在表演者的面部202上。此外，使光板308-309(例如LED阵列)与运动捕获照相机304的快门的打开和关闭精确同步。在一个实施例中，光板308-309和照相机304之间的同步分别经由同步信号322和321来控制。如图3所示，在一个实施例中，同步信号从耦接到个人计算机320的PCI总线的周边元件接口(“PCI”)卡323提供。示范的PCI卡是由National Instruments ofAustin，Texas制造的PCI-6601。但本发明的根本原理不限于产生同步信号的任何具体机制。 
在本发明的一个实施例中所采用的光源和照相机之间的同步示于图4。在该实施例中，两个同步信号321、322是相同的。在一个实施例中，同步信号在0到5伏之间循环。对同步信号321、322作出响应，照相机的快门定期打开和关闭，且光板分别定期断开和接通。例如，在同步信号的上升沿412，照相机快门关闭，且光板被照射。在时间段413，快门保持关闭，且光板保持被照射。然后，在同步信号的下降沿414，快门打开而光板被断开。在另一时间段415，快门和光板停留在这种状态。然后在同步信号的上升沿417重复该过程。 
结果，在第一时间段413期间，照相机没有捕获图像，而磷光涂料被来自光板308-309的光所照射。在第二时间段415期间，光源被断开，且照相机捕获表演者身上发光磷光涂料的图像。由于在第二时间段415期间光板被断开，磷光涂料和室内其余部分之间的对比度极高(即，室内其余部分是漆黑的)，从而改进了系统区分表演者面部所涂的各种曲线的能力。此外，因为光板有一半时间是接通的，因此表演者在表演期间能够看见室内周围的情况。同步信号的频率416可以设置为高速率，以使表演者甚至不会注意到光板接通和断开。例如，在75Hz或以上的闪光率，大多数人都不能感觉到光在闪烁，并且光似乎是连续照射的。按照心理物理的说法，当高频闪光被人感觉为连续照射时，就称为已实现了“融合(fusion)”。在一个实施例中，光板以120Hz循环；在另一实施例中，光板以140Hz循环，这两种频 率都远高于任何人的融合阈值。但本发明的根本原理不限于任何特定频率。 
图6a是在第一时间段413期间(即当光板被照射时)表演者的示范图片，而图6b示出在第二时间段415期间(即当光板被断开时)照相机304所捕获的照射的反射曲线。在第一时间段期间，磷光涂料被来自光板的光充电，且如图6b所示，当光板被断开时，只有照相机所捕获的光是从充电的磷光涂料上发出的光。因此，磷光涂料通过光板的选通而不断地再充电，所以在整个运动捕获会话期间保持其辉光。此外，因为它保持其辉光一段时间，因此如果表演者碰巧作运动，使少数帧中有些磷光线处于阴影中，而未被光板照射，即使对于那些帧磷光涂料没有得到充分充电，涂料仍然保持其来自以前帧时间(即当涂料不在阴影中时)的辉光。 
如上所述，在一个实施例中，光板308、309是LED阵列。示范LED阵列501和相关联的连接电路的示意图示于图5。同步信号经由图5左侧所示的连接器J2-1加到LED阵列501上。在一个实施例中，连接器是RJ-45连接器。同步信号最初由反相器IC2B反相，并且反相信号加到晶体管Q2的基极，使晶体管Q2对反相信号作出响应而导通和断开。这使电流流过电阻器R3，从而使晶体管Q1导通和断开。这又使LED阵列501中的LED接通和断开。在一个实施例中，来自IC2B的反相信号加到三个附加LED阵列上，如图5所示。为附加光板提供多个附加连接器J1-1、J1-2、J1-3和J1-4(即光板可经由这些连接器菊链在一起)，使用反相器IC2C、IC2D、IC2E和IC2F作缓冲。如果需要无缓冲的菊链(例如由于会受IC2传播延迟影响的严格定时要求)，则可以使用连接器J2-2。用于LED阵列的调压器IC1(示于图5的上部)取12V输入，并产生IC2所用的5V调压输出。在一个实施例中，晶体管Q1是MOSFET晶体管。但本发明的根本原理不限于任何特定类型的电路。 
在本发明的一个实施例中，照相机配置成除捕获磷光曲线(如图 6b)外还捕获表演者面部的图片(例如图6a)。表演者面部的图片然后例如可由动画制作者用作皮肤肌理映像，以间插到曲线之间，并呈现出更为精确的表演者画像。 
图7所示的信号定时代表了这样一个实施例，即其中非对称占空比用于照相机的同步信号(和图4所示的50％占空比形成对比)。在此实施例中，同步信号2仍和图4中的相同。同步信号2的上升沿722照射光板；光板在第一时间段723保持接通，响应于同步信号2的下降沿724断开，并在第二时间段725保持断开。 
形成对比的是，用于控制快门的同步信号1具有非对称的占空比。对同步信号1的上升沿712作出响应，快门关闭。快门在第一时间段713保持关闭，并然后对同步信号1的下降沿714作出响应而打开。快门在第二时间段715保持打开，并再对同步信号1的上升沿作出响应而关闭。这些信号被同步，以使同步信号1的上升沿总是与同步信号2的上升和下降沿一致。结果，照相机在时间段715(即当快门打开且光板被照射时)捕获一个照亮帧，并在时间段716(即当快门打开且光板被断开时)捕获一个“辉光”帧。 
在一个实施例中，图3所示的数据处理系统310将照亮帧和辉光帧分隔开，以产生两个单独的图像数据流，一个含有表演者面部的图像，另一个含有磷光曲线数据。辉光帧然后可用来产生表演者面部的网目307，而照亮帧可例如用作动画制作者的参考(例如间插到曲线之间)和/或作为表演者面部的肌理映像。这两个单独的视频序列可以被同步，并在计算机或其它类型的图像编辑装置上互相依次观看。 
假定在照亮帧和辉光帧之间的总体照射上有显著的差别，一些照相机在照亮帧期间可能被驱动过度，如果其光敏感度出现为非常高以适应辉光帧的话。因此，在本发明的一个实施例中，照相机的敏感度在照亮帧和辉光帧之间循环。就是说，敏感度设置为相对较高等级用于辉光帧，然后改变为相对较低等级用于照亮帧。 
备选的是，如果照相机304的敏感度不能逐帧改变，则本发明的 一个实施例改变在照亮帧和辉光帧之间快门打开的时间量。图8示出一个这种实施例的定时，其中同步信号1被调节为确保照相机不会被照亮帧过度驱动。具体地说，在此实施例中，在同步信号2使光板被照射的时间段期间，同步信号1使快门关闭，其关闭的时间段比同步信号2不照射光板的时间段相对长些。例如，在图8中，同步信号1在时间段853期间为高，从而关闭快门，而在时间段855期间为低，从而打开快门。形成对比的是，在辉光帧期间，同步信号1在较短的时间段813为高，而在较长的时间段815为低。 
在图9所示的一个实施例中，色彩和灰度照相机都被使用，并用不同的同步信号被同步。具体地说，在此实施例中，色彩照相机914-915用来捕获照亮帧，而灰度照相机904-905用来捕获涂在表演者面部的磷光曲线。这种配置的一个好处是：与可比拟的传感器分辨率色彩照相机相比，灰度照相机通常具有相对更高的分辨率和更高的光敏感度，所以能更精确地捕获磷光曲线。形成对比的是，色彩照相机更适合于捕获表演者面部的色彩和肌理。此外，灰度照相机可以调节到比色彩照相机相对更高的敏感度。 
如图10所示，在一个实施例中，不同的同步信号1A和1B分别用来控制灰度和色彩照相机。在图10中，同步信号1A和1B为180度异相。结果，同步信号1B的下降沿1014与同步信号1A的上升沿1024同时发生，于是打开色彩照相机914、915的快门，而关闭灰度照相机904、905的快门。同样，同步信号1B的下降沿1012与同步信号1A的下降沿1022同时发生，于是关闭色彩照相机914、915的快门，而打开灰度照相机904、905的快门。在图10中未示出用于光板的同步信号2，但在一个实施例中，它和图4中的相同，当色彩照相机快门打开时接通光板，而当灰度照相机快门打开时断开光板。 
当本文所述的本发明实施例在真实世界中实现时，同步信号(如图3的321和322)可能要求在各沿之间有稍许延迟，以适应照相机和LED阵列中的延迟。例如，在一些摄像机中，在图4的上升沿412 后有稍许延迟，然后照相机快门才关闭。通过相对于信号321延迟信号322就可很容易适应。这些延迟通常在小于1毫秒左右。这样，当系统启动时，定时信号最初可需要精确校准，即：观察摄像机304是否正在捕获完全黑帧，并在实际表演之前调节定时信号321和322。 
虽然上述实施例说明了使用涂在表演者面部的一系列曲线，但本发明的根本原理不限于此实现方案。例如，本发明的一个实施例不用曲线，而是使用浸在磷光涂料中的标记，来用上述快门和光板同步技术捕获表演者的骨骼运动(或代替表演者面部上的曲线或除曲线之外，或代替向后反射标记或除向后反射标记之外)。而且，也可以将曲线涂在表演者的身体和/或衣服上，仍然符合本发明的根本原理。 
在一个实施例中，加到表演者面部的磷光涂料是Fantasy F/XTTube Makeup；产品编号：FFX；色彩名称：GL；由100Red SchoolhouseRd.Chestnut Ridge，NY 10977的Mehron Inc.制造。此外，在一个实施例中，使用Basler A311f照相机304来捕获表演者的图像。但本发明的根本原理不限于任何特定类型的磷光涂料和照相机。 
本发明的实施例可包括如上所述的各种步骤。这些步骤可用使通用或专用处理器执行某些步骤的机器可执行指令来实施。与本发明的根本原理无关的各种元件，例如计算机存储器、硬盘驱动器、输入装置等在图中未予示出，以免使本发明的有关方面模糊不清。 
备选的是，在一个实施例中，本文所示的各种功能模块及关联步骤可以通过含有用于执行这些步骤的硬连线逻辑的具体硬件组件来执行，例如专用集成电路(“ASIC”)，或由编程的计算机组件和定制硬件组件的任何组合来执行。 
本发明的元件也可提供为用于储存机器可执行指令的机器可读介质。机器可读介质可包括，但不限于：闪存、光盘、CD-ROM、DVDROM、RAM、EPROM、EEPROM、磁卡或光卡、传播介质或适合于储存电子指令的其它类型机器可读介质。例如，本发明可以作为可被传送的计算机程序，通过在载波或其它传播介质中实施的数据信号经 由通信链路(例如调制解调器或网络连接)，从远程计算机(例如服务器)下载到请求计算机(例如客户端)。 
在整个上述说明中，为了作说明，阐述了许多具体的细节以便提供对本发明的系统和方法的彻底理解。但对于所属领域的技术人员来说，显然该系统和方法没有某些这些具体细节也可以实践。因此，本发明的范围和精神应根据以下的权利要求来判断。 

Claims (12)

1.一种进行运动捕获的方法，包括：
将磷光涂料加到表演者面部和/或身体的指定区域；
选通光源接通和断开，所述光源接通时对所述磷光涂料充电；及
与选通所述光源同步地选通第一组多个照相机的快门，以捕获所述磷光涂料的图像，其中当所述光源断开时所述快门打开，而当所述光源打开时所述快门关闭。
2.如权利要求1所述的方法，还包括：
跟踪所述磷光涂料随时间的运动；以及
用所跟踪的所述磷光涂料的运动，产生代表所述表演者面部和/或身体运动的运动数据。
3.如权利要求1所述的方法，其中所述磷光涂料作为一系列曲线加在所述表演者面部上。
4.如权利要求1所述的方法，其中所述磷光涂料作为一系列标记加在所述表演者身体的指定区域。
5.如权利要求1所述的方法，还包括：
与选通所述光源同步地选通第二组多个照相机的快门，以捕获所述表演者的图像，其中当所述光源接通时第二组多个照相机的快门打开，而当所述光源断开时第二组多个照相机的快门关闭。
6.如权利要求5所述的方法，其中第一组多个照相机是灰度照相机，且第二组多个照相机是色彩照相机。
7.一种进行运动捕获的系统，包括：
同步信号发生器，以产生一个或多个同步信号；
光源，配置成对所述一个或多个同步信号中的第一个作出响应选通接通和断开，在运动捕获会话时，所述光源对加到表演者面部和/或身体指定区域的磷光涂料充电；以及
第一组多个照相机，其快门与所述光源的选通同步地被选通，以捕获所述磷光涂料的图像，其中当所述光源断开时所述快门打开，而当所述光源打开时所述快门关闭。
8.如权利要求7所述的系统，还包括：
图像处理装置，它用所跟踪的所述磷光涂料的运动，产生代表所述表演者面部和/或身体运动的运动数据。
9.如权利要求7所述的系统，其中所述磷光涂料作为一系列曲线加在所述表演者的面部。
10.如权利要求7所述的系统，其中所述磷光涂料作为一系列标记加在所述表演者身体的指定区域。
11.如权利要求7所述的系统，还包括：
第二组多个照相机，其快门与所述光源的所述选通同步地被选通，以捕获所述表演者的图像，其中当所述光源接通时第二组多个照相机的快门打开，而当所述光源断开时第二组多个照相机的快门关闭。
12.如权利要求11所述的系统，其中第一组多个照相机是灰度照相机，且第二组多个照相机是色彩照相机。
CN2005800308469A 2005-03-10 2005-09-26 使用快门同步进行运动捕获的系统和方法 Active CN101427564B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/077,628 US7605861B2 (en) 2005-03-10 2005-03-10 Apparatus and method for performing motion capture using shutter synchronization
US11/077,628 2005-03-10
PCT/US2005/034524 WO2006098770A2 (en) 2005-03-10 2005-09-26 Apparatus and method for performing motion capture using shutter synchronization

Publications (2)

Publication Number Publication Date
CN101427564A CN101427564A (zh) 2009-05-06
CN101427564B true CN101427564B (zh) 2011-06-15

Family

ID=36475378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800308469A Active CN101427564B (zh) 2005-03-10 2005-09-26 使用快门同步进行运动捕获的系统和方法

Country Status (18)

Country Link
US (1) US7605861B2 (zh)
EP (1) EP1715454B1 (zh)
JP (1) JP4705156B2 (zh)
KR (1) KR101182623B1 (zh)
CN (1) CN101427564B (zh)
AT (1) ATE405899T1 (zh)
AU (1) AU2005329027B2 (zh)
CA (3) CA2519737C (zh)
CY (1) CY1109533T1 (zh)
DE (1) DE602005009141D1 (zh)
DK (1) DK1715454T3 (zh)
ES (1) ES2313221T3 (zh)
HK (1) HK1096752A1 (zh)
NZ (1) NZ553106A (zh)
PL (1) PL1715454T3 (zh)
PT (1) PT1715454E (zh)
SI (1) SI1715454T1 (zh)
WO (1) WO2006098770A2 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10075750B2 (en) 2002-12-10 2018-09-11 Sony Interactive Entertainment America Llc Porting locally processed media data with low latency to a remote client device via various wireless links
US10277290B2 (en) 2004-04-02 2019-04-30 Rearden, Llc Systems and methods to exploit areas of coherence in wireless systems
US9826537B2 (en) 2004-04-02 2017-11-21 Rearden, Llc System and method for managing inter-cluster handoff of clients which traverse multiple DIDO clusters
US9819403B2 (en) 2004-04-02 2017-11-14 Rearden, Llc System and method for managing handoff of a client between different distributed-input-distributed-output (DIDO) networks based on detected velocity of the client
US8654815B1 (en) 2004-04-02 2014-02-18 Rearden, Llc System and method for distributed antenna wireless communications
US10425134B2 (en) 2004-04-02 2019-09-24 Rearden, Llc System and methods for planned evolution and obsolescence of multiuser spectrum
US9685997B2 (en) 2007-08-20 2017-06-20 Rearden, Llc Systems and methods to enhance spatial diversity in distributed-input distributed-output wireless systems
US20060055706A1 (en) * 2004-09-15 2006-03-16 Perlman Stephen G Apparatus and method for capturing the motion of a performer
US8194093B2 (en) * 2004-09-15 2012-06-05 Onlive, Inc. Apparatus and method for capturing the expression of a performer
GB2466389B8 (en) 2005-03-16 2012-05-09 Lucasfilm Entertainment Co Ltd Three-dimensional motion capture
DE102005020688B4 (de) * 2005-05-03 2008-01-03 Siemens Ag Mobiltelefon
US7606392B2 (en) * 2005-08-26 2009-10-20 Sony Corporation Capturing and processing facial motion data
US7701487B2 (en) * 2005-08-26 2010-04-20 Sony Corporation Multicast control of motion capture sequences
US8780119B2 (en) * 2005-08-26 2014-07-15 Sony Corporation Reconstruction render farm used in motion capture
WO2007041696A2 (en) * 2005-10-04 2007-04-12 Alexander Eugene J System and method for calibrating a set of imaging devices and calculating 3d coordinates of detected features in a laboratory coordinate system
US8659668B2 (en) 2005-10-07 2014-02-25 Rearden, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
US7667767B2 (en) * 2006-06-07 2010-02-23 Onlive, Inc. System and method for three dimensional capture of stop-motion animated characters
US7548272B2 (en) * 2006-06-07 2009-06-16 Onlive, Inc. System and method for performing motion capture using phosphor application techniques
US7567293B2 (en) * 2006-06-07 2009-07-28 Onlive, Inc. System and method for performing motion capture by strobing a fluorescent lamp
US7841946B2 (en) 2006-06-29 2010-11-30 Spawn Labs, Inc. System for remote game access
US8021160B2 (en) * 2006-07-22 2011-09-20 Industrial Technology Research Institute Learning assessment method and device using a virtual tutor
US8207963B2 (en) * 2006-07-31 2012-06-26 Onlive, Inc. System and method for performing motion capture and image reconstruction
US20100231692A1 (en) 2006-07-31 2010-09-16 Onlive, Inc. System and method for performing motion capture and image reconstruction with transparent makeup
US8330823B2 (en) * 2006-11-01 2012-12-11 Sony Corporation Capturing surface in motion picture
US20080170750A1 (en) * 2006-11-01 2008-07-17 Demian Gordon Segment tracking in motion picture
US8130225B2 (en) * 2007-01-16 2012-03-06 Lucasfilm Entertainment Company Ltd. Using animation libraries for object identification
US8199152B2 (en) * 2007-01-16 2012-06-12 Lucasfilm Entertainment Company Ltd. Combining multiple session content for animation libraries
US8542236B2 (en) * 2007-01-16 2013-09-24 Lucasfilm Entertainment Company Ltd. Generating animation libraries
US8437514B2 (en) * 2007-10-02 2013-05-07 Microsoft Corporation Cartoon face generation
US8144153B1 (en) 2007-11-20 2012-03-27 Lucasfilm Entertainment Company Ltd. Model production for animation libraries
US8831379B2 (en) * 2008-04-04 2014-09-09 Microsoft Corporation Cartoon personalization
US9142024B2 (en) 2008-12-31 2015-09-22 Lucasfilm Entertainment Company Ltd. Visual and physical motion sensing for three-dimensional motion capture
TWI415032B (zh) * 2009-10-30 2013-11-11 Univ Nat Chiao Tung Object tracking method
WO2013074926A1 (en) 2011-11-18 2013-05-23 Lucasfilm Entertainment Company Ltd. Path and speed based character control
US9224248B2 (en) * 2012-07-12 2015-12-29 Ulsee Inc. Method of virtual makeup achieved by facial tracking
US8786767B2 (en) * 2012-11-02 2014-07-22 Microsoft Corporation Rapid synchronized lighting and shuttering
US11189917B2 (en) 2014-04-16 2021-11-30 Rearden, Llc Systems and methods for distributing radioheads
US8998719B1 (en) 2012-12-14 2015-04-07 Elbo, Inc. Network-enabled game controller
US20140198185A1 (en) * 2013-01-17 2014-07-17 Cyberoptics Corporation Multi-camera sensor for three-dimensional imaging of a circuit board
US10488535B2 (en) 2013-03-12 2019-11-26 Rearden, Llc Apparatus and method for capturing still images and video using diffraction coded imaging techniques
US9923657B2 (en) 2013-03-12 2018-03-20 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US9973246B2 (en) 2013-03-12 2018-05-15 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
RU2767777C2 (ru) 2013-03-15 2022-03-21 Риарден, Ллк Системы и способы радиочастотной калибровки с использованием принципа взаимности каналов в беспроводной связи с распределенным входом - распределенным выходом
US10126252B2 (en) 2013-04-29 2018-11-13 Cyberoptics Corporation Enhanced illumination control for three-dimensional imaging
US20170278302A1 (en) * 2014-08-29 2017-09-28 Thomson Licensing Method and device for registering an image to a model
CN107423733A (zh) * 2017-09-06 2017-12-01 成都豪宇韬鹰科技有限公司 基于标记点身份识别的动作捕捉系统
CN107390448A (zh) * 2017-09-06 2017-11-24 成都豪宇韬鹰科技有限公司 一种主动式光学动作捕捉系统
KR102435406B1 (ko) * 2020-07-03 2022-08-24 현대모비스 주식회사 카메라 내장 램프의 비동기 제어 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5304809A (en) * 1992-09-15 1994-04-19 Luxtron Corporation Luminescent decay time measurements by use of a CCD camera
CN1177747A (zh) * 1996-06-19 1998-04-01 松下电工株式会社 自动跟踪照明设备、照明控制器和跟踪设备
US6633294B1 (en) * 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3699856A (en) * 1970-04-01 1972-10-24 Whittaker Corp Movement monitoring apparatus
US4389670A (en) * 1981-12-30 1983-06-21 The United States Of America As Represented By The United States Department Of Energy Electronic method for autofluorography of macromolecules on two-D matrices
US4417791A (en) * 1982-08-19 1983-11-29 Jonathan Erland Process for composite photography
JP3036756B2 (ja) * 1989-06-12 2000-04-24 日本電気株式会社 発振回路
US5235416A (en) * 1991-07-30 1993-08-10 The Government Of The United States Of America As Represented By The Secretary Of The Department Of Health & Human Services System and method for preforming simultaneous bilateral measurements on a subject in motion
US5903388A (en) * 1992-06-11 1999-05-11 Sedlmayr Steven R High efficiency electromagnetic beam projector and systems and method for implementation thereof
US5519826A (en) * 1994-04-29 1996-05-21 Atari Games Corporation Stop motion animation system
US5480341A (en) * 1994-10-21 1996-01-02 Strottman International, Inc. Educational skeleton toy with outer shell
US5569317A (en) * 1994-12-22 1996-10-29 Pitney Bowes Inc. Fluorescent and phosphorescent tagged ink for indicia
US6020892A (en) * 1995-04-17 2000-02-01 Dillon; Kelly Process for producing and controlling animated facial representations
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
JP3745802B2 (ja) * 1995-10-13 2006-02-15 株式会社日立製作所 画像生成／表示装置
JPH105229A (ja) * 1996-01-12 1998-01-13 Egawa:Kk 断層映像装置
JP3873401B2 (ja) * 1996-11-19 2007-01-24 コニカミノルタセンシング株式会社 ３次元計測システム
GB9626825D0 (en) * 1996-12-24 1997-02-12 Crampton Stephen J Avatar kiosk
ATE213396T1 (de) * 1998-03-07 2002-03-15 Claussen Claus Frenz Verfahren und vorrichtung zur auswertung eines bewegungsmusters
JP2002513176A (ja) 1998-04-29 2002-05-08 カーネギー−メロン ユニバーシティ ２つの異なる波長の光を用いて対象者の眼を監視する装置および方法
US6149719A (en) * 1998-10-28 2000-11-21 Hewlett-Packard Company Light sensitive invisible ink compositions and methods for using the same
US7483049B2 (en) * 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
US6554706B2 (en) * 2000-05-31 2003-04-29 Gerard Jounghyun Kim Methods and apparatus of displaying and evaluating motion data in a motion game apparatus
US6850872B1 (en) * 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
US6950104B1 (en) * 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
JP2003106812A (ja) * 2001-06-21 2003-04-09 Sega Corp 画像情報処理方法、その方法を利用したシステム及びプログラム
US6592465B2 (en) * 2001-08-02 2003-07-15 Acushnet Company Method and apparatus for monitoring objects in flight
US7068277B2 (en) * 2003-03-13 2006-06-27 Sony Corporation System and method for animating a digital facial model
US7333113B2 (en) * 2003-03-13 2008-02-19 Sony Corporation Mobile motion capture cameras
US7218320B2 (en) * 2003-03-13 2007-05-15 Sony Corporation System and method for capturing facial and body motion
US7358972B2 (en) * 2003-05-01 2008-04-15 Sony Corporation System and method for capturing facial and body motion
US7369681B2 (en) * 2003-09-18 2008-05-06 Pitney Bowes Inc. System and method for tracking positions of objects in space, time as well as tracking their textual evolution
US7777199B2 (en) * 2004-09-17 2010-08-17 Wichita State University System and method for capturing image sequences at ultra-high framing rates
CA2592691C (en) * 2004-12-28 2017-07-04 Hypermed, Inc. Hyperspectral/multispectral imaging in determination, assessment and monitoring of systemic physiology and shock
US8330823B2 (en) * 2006-11-01 2012-12-11 Sony Corporation Capturing surface in motion picture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5304809A (en) * 1992-09-15 1994-04-19 Luxtron Corporation Luminescent decay time measurements by use of a CCD camera
CN1177747A (zh) * 1996-06-19 1998-04-01 松下电工株式会社 自动跟踪照明设备、照明控制器和跟踪设备
US6633294B1 (en) * 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation

Also Published As

Publication number Publication date
DK1715454T3 (da) 2008-12-15
SI1715454T1 (sl) 2009-02-28
JP2008533810A (ja) 2008-08-21
PL1715454T3 (pl) 2009-04-30
CA2973956C (en) 2023-01-17
NZ553106A (en) 2011-07-29
ATE405899T1 (de) 2008-09-15
KR101182623B1 (ko) 2012-09-14
DE602005009141D1 (de) 2008-10-02
CN101427564A (zh) 2009-05-06
US7605861B2 (en) 2009-10-20
KR20070119603A (ko) 2007-12-20
CA2973956A1 (en) 2006-09-10
CY1109533T1 (el) 2014-08-13
EP1715454A2 (en) 2006-10-25
EP1715454A3 (en) 2006-12-13
CA2519737C (en) 2017-09-05
ES2313221T3 (es) 2009-03-01
WO2006098770A2 (en) 2006-09-21
HK1096752A1 (en) 2007-06-08
AU2005329027B2 (en) 2010-09-09
CA3176795A1 (en) 2006-09-10
JP4705156B2 (ja) 2011-06-22
AU2005329027A1 (en) 2006-09-21
WO2006098770A3 (en) 2007-12-27
EP1715454B1 (en) 2008-08-20
CA2519737A1 (en) 2006-09-10
PT1715454E (pt) 2008-11-28
US20060203096A1 (en) 2006-09-14

Similar Documents

Publication Publication Date Title
CN101427564B (zh) 使用快门同步进行运动捕获的系统和方法
Yücel et al. Joint attention by gaze interpolation and saliency
Lisetti et al. Facial Expression Recognition Using a Neural Network.
US7720259B2 (en) Motion capture using primary and secondary markers
Sun et al. Visual scanpath prediction using IOR-ROI recurrent mixture density network
CN102081918A (zh) 一种视频图像显示控制方法及视频图像显示器
Rambach et al. Learning 6dof object poses from synthetic single channel images
CN102298786A (zh) 一种虚拟绘画实现的装置及其方法
Roark et al. Human recognition of familiar and unfamiliar people in naturalistic video
CN207923146U (zh) 一种基于卡尔曼滤波的复杂场景下的led灯追踪系统
CN114637395A (zh) 一种通过ar眼镜训练手眼协调的方法
Kale et al. A joint illumination and shape model for visual tracking
Jiawei et al. A special edutainment system based on somatosensory game
Fidaleo et al. Analysis of co‐articulation regions for performance‐driven facial animation
Narayana Improving gesture recognition through spatial focus of attention
Wu et al. Model-based image segmentation for multi-view human gesture analysis
Ahmad et al. Comparative studies of facial emotion detection in online learning
Wang et al. An Image Strategy Based on Saliency Detection Using Luminance Contrast for Artificial Vision with Retinal Prosthesis
Chen et al. (Retracted) Intelligent resources based on active vision sensing strategy in the evolution of food aesthetics system
Utami et al. The Development of Facial Expressions Dataset for Teaching Context: Preliminary Research
CN111126279A (zh) 一种手势互动方法及手势互动装置
CN113645423A (zh) 不涉及个人隐私的人体姿态检测传感器及照明控制方法
CN116685028A (zh) 一种虚拟环境数字人场景灯光智能控制系统
CN116912216A (zh) 一种实时戴口罩人脸关键点检测和人脸质量评估方法
CHEN Facial expression imitation for human robot interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: STEPHEN G BERMAN REVOCABLE TRUST CO.,LTD.

Free format text: FORMER OWNER: LEARD CO.,LTD.

Effective date: 20090710

Owner name: LIERDENG CO.,LTD.

Free format text: FORMER OWNER: STEPHEN G BERMAN REVOCABLE TRUST CO.,LTD.

Effective date: 20090710

Owner name: LIFE FORCE CO., LTD.

Free format text: FORMER OWNER: LIERDENG CO.,LTD.

Effective date: 20090710

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20090710

Address after: California, USA

Applicant after: ONLIVE, Inc.

Address before: California, USA

Applicant before: Reardon LLC

Effective date of registration: 20090710

Address after: California, USA

Applicant after: Reardon LLC

Address before: California, USA

Applicant before: Stephen - G - Bai Coleman revocable trust Co.

Effective date of registration: 20090710

Address after: California, USA

Applicant after: Stephen - G - Bai Coleman revocable trust Co.

Address before: California, USA

Applicant before: Realdon

C14 Grant of patent or utility model
GR01 Patent grant