CN101427266B - 选择性地取消数字图像资格的方法和设备 - Google Patents

选择性地取消数字图像资格的方法和设备 Download PDF

Info

Publication number
CN101427266B
CN101427266B CN2006800543586A CN200680054358A CN101427266B CN 101427266 B CN101427266 B CN 101427266B CN 2006800543586 A CN2006800543586 A CN 2006800543586A CN 200680054358 A CN200680054358 A CN 200680054358A CN 101427266 B CN101427266 B CN 101427266B
Authority
CN
China
Prior art keywords
image
eyes
people
face
nictation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800543586A
Other languages
English (en)
Other versions
CN101427266A (zh
Inventor
埃兰·斯坦伯格
彼得·科科伦
彼得罗内尔·比焦伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fotonation Ltd
Original Assignee
Tessera Technologies Ireland Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/460,218 external-priority patent/US7792335B2/en
Application filed by Tessera Technologies Ireland Ltd filed Critical Tessera Technologies Ireland Ltd
Publication of CN101427266A publication Critical patent/CN101427266A/zh
Application granted granted Critical
Publication of CN101427266B publication Critical patent/CN101427266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Abstract

作为照相机的图像采集控制，取消不符合要求景物的资格。采集图像。确定一个或者多个眼睛图区。分析该眼睛图区，以确定它们是否在眨眼，并且如果是在眨眼，在该眼睛正结束眨眼时，该景物被取消作为被处理的永久图像的候选者的资格。

Description

选择性地取消数字图像资格的方法和设备
相关专利申请的相互参照
本专利申请要求2006年2月24日提交的第60/776,338号美国临时专利申请以及2006年7月26日提交的第11/460,218号美国专利申请的优先权。本专利申请是在同一天由同一个发明实体提交的并且具有共同受让人的、包括一个于2006年7月26日提交的标题为“DIGITALIMAGE ACQUISITION CONTROL ANDCORRECTION METHOD AND APPARATUS”的第11/460,225号美国专利申请和另一个于2006年7月26日提交的标题为“METHOD ANDAPPARATUS FOR SELECTIVE REJECTION OF DIGITALIMAGES”的第11/460,227号美国专利申请的一系列专利申请中的一个。在此分别引用这些专利申请供参考。
技术领域
本发明涉及数据图像采集，并且尤其涉及由于在该图像中存在一个或者多个不符合要求特征而取消景物作为被处理的永久图像的候选者的资格。
背景技术
照相机正在成为强大的计算工具。特别是，作为本专利申请受让人的FotoNation公司开发了许多便利的人脸检测工具。第10/608,776号、第10/608,810号、第10/764,339号、第10/919,226号、第11/182,718号以及第11/027,001号美国专利申请描述了这些面部检测工具中的一些面部检测工具，在此引用这些专利申请供参考。
这与利用快门触发器拍照不同。这也与等待可能发生或者可能不发生的事件(例如，微笑)不同。第6,301,440号美国专利披露了根据对临时图像所做的分析调整捕像参数以及等到临时图像中的每个人都微笑时拍照。该照相机必须等待可能发生或者可能从不发生的特定事件。在拍照之前，让人们等待照相机判定景物是最佳的，往往不可接受，而且第6,301,440号美国专利没有描述如何缓解该难题。第6,301,440号美国专利也没有提供关于如何检测或者确定景物中特定特征的任何指导。
还有当目标进入照相机的视野时进行拍照的监视照相机。这些照相机一般用于检测通常是在静止景物内的运动或者突然变化。
发明内容
提供了一种作为照相机的图像采集控制、取消不符合要求景物不合格的方法。分析捕获图像的内容，确定是应该采集该图像还是应该废弃该图像。一个例子包括人脸。根据在眨眼过程中该眼睛是闭合的、部分闭合还是向下闭合或者向上运动，可以确定图像是否令人满意。作为一种选择，可以检测其他不希望的或者不符合要求的表情或者动作，例如，皱眉、手遮挡某人的脸部或者人脸特征的其他遮光或者阴影或者景物的其他关键特征，或者头转动到偏离照相机等。
捕获包括人脸图区的该景物的当前图像。识别一组或者多组对应于感兴趣图区的像素，诸如眼睛图区、或者该人脸图区内的嘴。
对于眨眼检测，确定该眼睛图区是否处于眨眼过程。如果处于眨眼过程，则在眼睛结束眨眼时，取消该景物作为被处理的永久图像的候选者的资格。
该当前图像可以包括预览图像，并且该取消不合格可以包括延迟高清晰度捕获该景物图像。该延迟可以包括在预定等待时间之后结束该取消资格。
可以使用预览图像。这样可以提供眼睛可能在捕获图像中的感兴趣图区(ROI)的指示。这样可以根据通过分析预览图像提供的空间信息在最终图像中快速搜索嘴或者眼睛。
该延迟可以包括预测眨眼何时结束以及在接近预测眨眼结束时间时结束该取消资格。该预测可以包括确定该景物处于结束眨眼过程的时点，并且计算结束眨眼的剩余时间。该计算可以包括将结束眨眼过程剩余时间的完成度(fraction)乘以预定结束眨眼过程时长。可以根据平均眨眼过程时长，预设该预定结束眨眼过程时长和/或者根据估计的从眨眼开始到当前的时间，并且根据表示该景物处于结束眨眼过程的时点的完成度，可以确定该预定结束眨眼过程时长。该估计可以基于相对于当前预览图像的时域捕像参数对一个或者多个先前预览图像的时域捕像参数所做的分析。根据当前预览图像中在眨眼的眼睛是睁开的还是闭着的，以及该眼睛睁开或者闭合的程度，确定该完成度。
该方法可以包括确定该眼睛是否在眨眼，这包括确定该眼睛睁开或者闭合的程度。基于对当前预览图像与在短于结束眨眼过程时长的时间内相对采集的一个或者多个其他预览图像的相对分析，可以确定该眼睛睁开或者闭合的程度。确定该眼睛是否眨眼可以包括确定一个或者两个眼皮的模糊程度。可以确定瞳孔、虹膜、一个或者两个眼皮或者眼白的哪部分正在显示，或者它们的组合。可以对该眼睛进行色彩分析，并且将对应于眼皮色调的像素与对应于虹膜色调或者瞳孔色调或者眼白色调或者它们的组合的像素区别开。可以对该眼睛进行形状分析，并且通过对比对应于眼皮形状的像素和对应于虹膜形状或者瞳孔形状或者眼白形状或者它们的组合的像素，区别各像素。
该当前图像可以包括高清晰度捕获图像。该取消资格可以包括放弃进一步处理该当前图像。可以确定该眼睛是否在眨眼，这包括确定该眼睛睁开或者闭合的程度。这可以包括相对分析当前预览图像和在短于结束眨眼过程时长的时间内相对采集的一个或者多个其他预览图像。可以基于确定一个或者两个眼皮的模糊程度，确定该眼睛是否在眨眼。
该方法可以包括确定正显示的部分瞳孔、虹膜、一个或者两个眼皮或者眼白，或者它们的组合。可以对该眼睛进行色彩分析，并且通过对比对应于眼皮色调的像素和对应于虹膜色调或者瞳孔色调或者眼白色调或者它们的组合的像素，区别各像素。可以对该眼睛进行形状分析，并且通过对比对应于眼皮形状的像素和对应于虹膜形状或者瞳孔形状或者眼白形状或者它们的组合的像素，区别各像素。
该当前图像可以包括高清晰度捕获图像。该方法可以包括拼装包括该当前图像中像素和不同图像中对应于眨眼的眼睛的睁开眼睛像素的合成图像。该不同图像可以包括预览图像或者后览图像或者另一个高清晰度图像。该不同图像可以包括比该当前图像低的清晰度，并且该拼装可以包括增抽样该不同图像或者降抽样该当前图像或者它们的组合。该方法可以包括使该当前图像与该不同图像对齐，这包括使睁眼眼睛像素图区与该当前图像中的眨眼眼睛图区匹配。
还可以实施本发明，使作为诸如视频流的流部分的一组图像中的图像不合格。
基于识别人脸图区以及为了确定其中的嘴或者眼睛图区而分析该人脸图区，可以识别眼睛图区。
由于该取消资格，可以捕获用于代替该当前图像的新图像。
可以捕获并分析一对图像，以确定该对图像至少之一不包括眨眼。
可以计算长于单次眨眼时间的多次捕像之间的间隔。
可以提供关于该眨眼的报警信号，以使摄影者可以意识到她可能需要拍摄另一张图片。
本发明的各种变型可以用于单个图像中的单个或者多个人面，例如，一组拍摄镜头(group shot)。可以识别该景物内的另一个人脸的第二眼睛图区。还可以在该景物内识别附加眼睛图区。可以确定该第二眼睛图区是否处于眨眼过程。如果处于眨眼过程，则该方法可以包括在该第二眼睛结束眨眼时取消该景物作为被处理的永久图像的候选者的资格。在该景物的每个人脸图区的眼睛图区不包括眨眼眼睛之前，可以取消捕获或者进一步处理高清晰度图像的资格。
提供了又一种自动取消不符合要求景物的资格并作为照相机的图像采集控制的方法。该方法包括采集多个预览图像。从该多个预览图像中提取信息。在该多个临时图像的各图像之间，分析该景物中的一个或者多个变化。根据该分析，确定该景物中是否存在一个或者多个不符合要求特征。在该一个或者多个不符合要求特征继续存在时，取消该景物作为被处理的永久图像的候选者的资格。
该分析可以包括识别一组或者多组对应于具有不符合要求形态的面部特征的像素。该一组或者多组像素可以包括眼睛组，并且该不符合要求形态可以包括眨眼形态。该一组或者多组像素可以包括嘴形态，并且该不符合要求形态可以包括皱眉形态。可以确定在其间不会采集已处理的永久图像的取消资格的间隔。
该分析可以包括识别一组或者多组对应于具有不符合要求形态的面部特征的像素。该一组或者多组像素可以包括任意遮光，例如，手遮挡人脸，或者人脸转动偏离照相机。
还提供了处理器可读代码嵌入其上的一种或者多种处理器可读存储器件。该处理器可读代码用于对一个或者多个处理器编程，以执行上面和下面所描述的作为照相机的图像采集控制方式取消不符合要求景物资格的方法。可以嵌入该处理器，作为照相机的一部分，该处理器或者在采集器件的外部。该采集器件可以是手持式照相机、固定式照相机、摄像机、装备了采集器件的移动电话、装备了采集器件的手持式装置、诸如用于肖像摄影的摄影棚(kiosk booth)、诸如用于监控或者用于识别或者通用的专用竖式照相机、任意捕像器件。
附图说明
图1示出根据优选实施例取消包括眨眼的景物资格的方法。
图2示出根据优选实施例预测眨眼完成时间间隔的方法。
图3示出根据优选实施例确定睁眼或者闭眼程度的方法。
图4a示出根据优选实施例确定是否放弃对图像进行进一步处理的方法。
图4b示出根据优选实施例拼装合成图像的方法。
图5示出根据探测图像中的眼睛校正图像的工作流程的优选实施例。
图6a示出根据优选实施例利用图像中的眼睛信息使图像采集延迟的通用工作流程。
图6b示出根据优选实施例利用一个或者多个图像中的人脸信息调整图像再现参数、然后输出该图像的通用工作流程。
图7a至7d示出根据一个或者多个优选实施例的人脸检测、眼睛检测或者嘴部检测或者它们的组合。
图8a示出根据一个或者多个优选实施例的眨眼检测和校正方法。
图8b描述了根据优选实施例确定作为采集过程的一部分在照相机中眼睛是否正在眨眼，以及是捕获该图像、废弃该图像还是存储该图像，或者是否用睁开的眼睛代替眨眼图区的说明性系统。
图9示出根据一个或者多个优选实施例的作为采集过程的一部分在照相机中根据检测眼睛的自动聚焦能力。
具体实施方式
描述了根据优选实施例和变换实施例的系统和方法。这些技术不仅避免丢失镜头，而且提供了增强型功能和改进的使用性能。利用这些技术，数字照相机能够判定何时目标的面部表情是不恰当、令人不符合要求或者是不希望的。一个例子是眨眼，并且其它例子包括皱眉头和阴影。捕像器件可以既不拍摄该幅图片、延迟适当时间采集、立即拍摄另一幅图片、向照相机用户报警，也不采取各种措施随后增强不符合要求的图像，或者这些或其它措施的组合。照相机可以延迟诸如约300毫秒的特定时间长度、或者延迟平均眨眼间隔、或者延迟直到确定该眨眼已经结束拍摄另一幅图片。可以在快拍图片之前，或者在拍摄目标的眼睛闭着或者半闭着的图片之后，向用户报警。
提供了一种预测系统，如果眼睛闭着或者部分闭着，则该预测系统取消该图像资格。该系统预测何时不能拍摄图片，即，当检测到的眨眼过程在其结束之前正在进行的时间中。已取消资格图像可能已经捕获，并且仅在照相机内或者在外部设备上执行的捕像后的滤波操作中取消它资格。为了不因为包括一个或者多个眨眼而提高取消一幅或者多幅图像资格的概率，该系统可以拍摄多幅图像。对于一个目标处于眨眼过程的概率随着目标数量的增加而增大的一组拍摄镜头，这种系统有用。该系统可以根据图像中人脸的数量自动确定要顺序拍摄的图像数量，以保证这些图像中至少一幅图像没有眨眼的概率高于阈值数，例如，50％，60％、67％、70％、75％、80％、90％或者95％。
可以通过合成当前图像以及预览图像、后览图像或者其它高清晰度图像，生成图像。例如，该合成图像可以包括人脸图区和一些背景影像(background imagery)，其中利用预览图像、后览图像或者其它高清晰度图像中的一个或者两个睁开的眼睛代替当前图像中不符合要求地闭着或者部分闭着的一个或者两个眼睛图区。该特征可以与在和本专利申请为同一受让人的第10/608,776号美国专利申请中描述的特征组合，在此引用该专利申请供参考。在第10/608,776号美国专利申请中，描述了采用人脸检测的数字图像处理方法。识别对应于数字图像内人脸的一组像素。识别对应于该数字图像中的另一个特征的第二组像素。确定包括该人脸和该另一个特征至少之一的一组新像素的复合图像(re-compositioned image)。
这里的实施例通常涉及数字图像或者景物中的单个人脸(例如，在图像捕获之前，或者已经利用数字方法捕获之后)，而且通常涉及眼睛。然而，这些描述可以扩展到单个人脸上的两个眼睛，以及可以扩展到一个以上的人脸(成组拍摄镜头)，并且，如果确定一个或者两个、三个、四个或者更多个的特定数量的眼睛在眨眼，则该照相机可以取消该景物的资格。该照相机能够执行取消资格操作和/或者其它操作，正如在此所述，直到高百分比数量的目标或者全部目标均有一个或者两个眼睁开，或者反之。
在一个实施例中，该照相机可以在该目标刚好完成眨眼过程后拍摄图片。可以利用本系统取消其目标的眼睛闭着的图像的资格，而且可以拍摄多个图像，以防止图像均有眨眼。对于每个目标人，图像中的一幅可能具有睁开的眼睛，并且这些图片可以具有与没有眨眼的单个图像合成的混合像素。该照相机根据该图像中目标的数量判定要拍摄的图像数量。人越多，一个人眨眼的可能性越高，因此，应该采集更多的图像。如果为了效率，可以接受在一大组拍摄镜头中特定百分比的人数可以眨眼，例如，低于特定数量，例如5％，则可以减少图像的数量。可以由照相机产品的制造商、程序开发者或者数字图像采集装置的用户选择这些阈值数和百分比容差。可以根据对预览图像的分析，产生该信息。该预览图像还可以支持确定该眼睛的位置，以便更快地对该预览分析确定的感兴趣图区进行后处理分析。
本系统设置根据其不拍摄图片或者根据其不使用该图片、或者在已经拍摄图片后根据其进一步处理该图片，和/或者根据其拍摄一个附加图像或若干附加图像以代替不符合要求图像的条件。因此，根据优选实施例的系统的另一个有利特征是，利用预览图像或者后览图像或者另一个高清晰度图像中的用户的眼睛信息，该系统可以校正所采集的眨眼图区。本系统优选使用通常具有较低分辨率并可以被更快速处理的预览图像。本系统还可以寻求对图像之间的人脸特征(例如，眼睛或者嘴)的变化进行比较，作为取消图像捕获的景物资格的潜在触发方式。在这种情况下，该系统可以将该摄影中稍持久的或者较长期的斜眼与更多是临时状态的眨眼区分开。该系统还可以通过多个图像的比较，确定由于上眼皮的位置或者赘皮褶皱而自然变窄的眼睛之间的不同，该系统还可以根据由目标人确定了的民族，例如，将亚洲人的眼睛与白种人的眼睛区别开。
在此所做的描述通常涉及处理其中的对象人正在眨眼睛的景物。然而，本发明可以应用于其它特征，例如，当人皱眉时，或者当人出现不令人满意的姿势、交谈、吃东西、头发不好，或反之令人有好感时，或者当另一个人给某人戴兔耳(bunnyear)时，或者当动物或其他人出乎意料地穿过照相机与被拍摄的人之间时，或者当光突然发生变化时，或者在刮风时，或者其它情况时。一种或者更多种或者所有这些取消资格环境可以被手动设置和/或者取代。
图1示出根据优选实施例取消包括眨眼的景物资格的方法。在110，采集包括人脸图区的景物的当前图像。任选地，在120，识别该人脸图区，然后，分析该人脸图区以确定其上的一个或者两个眼睛图区。在130，识别对应于该人脸图区内的眼睛图区的一组或者多组像素。在140，确定眼睛图区是否处于眨眼过程。如果在140确定该眼睛正处于眨眼过程，则在150取消该景物作为被处理的永久图像的候选者资格。此处，可以仅停止该过程，或者再次从开头开始该过程，或者由于所述取消资格，而在160捕获新图像，以代替当前图像。在170，可以提供关于该眨眼的报警信号。在180，可以延迟景物的高清晰度捕像。如图4A和4B所示，可以停止对当前图像的进一步处理，或者作为增强取消资格图像的一种方式，可以拼装合成图像。
图2示出根据优选实施例的预测眨眼完成时间间隔的方法。在210，预测眨眼过程何时结束，并且该取消资格间隔在预知的眨眼完成时间结束。在220，以预定等待时间设置该间隔。这可以根据所知的四分之一秒或者250毫秒的平均眨眼进行设置，或者这可以设置在约200至400毫秒范围内，或者设置为0.6、0.8或者1.0秒，可是，将等待时间设置得太长不能保证眨眼结束，不利于允许第二次眨眼开始、或者只是使拍摄图片涉及的每个人必须等待太长时间，以致该取消资格周期不能结束。更精确地确定眨眼过程的结束是要求的。
在图2中的230，可以确定景物所处的结束眨眼过程的点，然后，计算结束眨眼的剩余时间。例如，可以确定所看到的眨眼过程是半途结束的。在该例中，确定的完成度(fraction)是一半或者0.5。在240，可以有利地将该完成度倍乘预定的整个眨眼过程时长，例如，0.25秒，以获得剩余0.125秒的完成时间。采用这样更精确的确定，就不需要为结束该取消资格周期设置过长的等待时间，而仍能确保眨眼在快拍该图片之前结束。作为一种选择，如果拍摄了多个图片，而且在后捕像处理中发现眨眼，则根据已知的捕像时间，可以更精确确定哪个图像将被取消资格。
图2和图3提供了该过程涉及的各种选项。在250，将基于平均眨眼过程时长的整个眨眼过程时长预设在照相机中或者其它预捕像或者后捕像处理装置中。在240，根据对从开始眨眼到当前估计的时间以及确定的完成度，确定整个眨眼过程时长。例如，如果确定的完成度是三分之一，而且从开始眨眼到当前的时间被确定为0.09秒，则所估计的整个眨眼时间为0.27秒，还剩余0.18秒。在280，该估计可以基于对与当前图像的时域捕像参数相关的更先前预览图像之一的时域捕像参数进行的分析。例如，如果先前预览图像显示该眨眼过程开始，而且照相机知道在0.08秒以前捕获了该先前预览图像，并且该完成度为三分之一，则可以预测该眨眼过程再经历0.16秒之后结束。在270，确定该完成度，包括确定该眨眼是正睁开还是正闭上，而且进一步确定眼睛睁开或者闭上的程度。
在图3中的310，又给出了确定眼睛的睁开或者闭着程度。为此，在320，相对于在短于整个眨眼过程时长的期间内采集的一个或者多个其它预览图像，优选分析当前图像。在330选择确定一个或者两个眼皮的模糊程度有助于确定眨眼速度。在340，可以确定瞳孔、虹膜、一个或者两个眼皮或者正显现出的眼白中的一部分，从而有助于确定眨眼眼睛是如何睁开或者闭合的。还可以执行色彩分析350和形状分析360，以将对应于睁眼特征，例如，瞳孔、虹膜和/或者眼白，的像素与对应于闭眼特征、或者出现在当前景物的眼睛图区内的眼皮的像素区别开。
图4a示出根据优选实施例确定是否放弃对图像进行进一步处理410的方法。在这种情况下，为了与计算眨眼过程结束时间不同的目的，在420，确定眼睛睁开或者闭合的程度。在该实施例中，可以预设眼睛的阈值闭合度，例如，诸如当根据与图3所示的310至360的任意一个或者它们的组合类似的420、430、440、450、460或者470、或者它们的组合对图像进行分析时，如果眼睛闭合至少达到阈值程度或者更严重，则取消该景物资格，因为眼睛闭合得太严重了。这可以对应于没有眨眼的情况，或者眼睛处于眨眼过程的最开始阶段或者最末尾阶段的情况，如此情况下为了保留该图像，眼睛要睁开到足够程度。
图4b示出根据优选实施例拼装合成图像的方法。在480，拼装包括当前图像中的像素和对应于该当前图像中正眨眼的眼睛的不同图像中的睁眼像素的合成图像。在490，该不同图像可以是预览图像或者后览图像。在这种情况下，特别是如果预览图像或者后览图像具有比当前图像更低的分辨率，则在500，可以对预览图像进行增抽样，或者对后览图像进行降抽样，或者它们的组合。在510，优选调准该当前图像和该不同图像，以使该预览图像或者后览图像中的睁眼像素图区与该当前图像中的眨眼图区匹配。
图5示出又一个实施例。如果确定图像中的一个或者多个眼睛在眨眼，则根据如下描述优选取消该图像被进一步处理的资格。作为一种选择，可以在某处以诸如图5的例子所示的方式执行眨眼确定140。可以利用方框1102中的应用程序打开图像。然后，如方框1106所描述的，该软件确定眼睛或者人脸或者它们二者是否在该图片中。在1110，如果没有检测到眼睛或者人脸，该软件就停止对该图像工作，然后退出。在下面所做的描述中，为了提高效率，通常仅涉及眼睛，但是人脸或者眼睛或者它们二者，或者甚至人脸的另一特征或者其它非人脸预定景物特征也可以作为特定操作的目标(请参考图1中的110、120和130以及第10/608,776号美国专利申请，在此引用该专利申请供参考)。
该软件还可以提供手动模式，在此模式下，在方框1116，用户可以将眼睛存在的信息通知该软件，然后，在1118，手动标记它们。在1116，如果没有发现眼睛，则可以自动激活手动选择，或者甚至可以在自动步骤之后选择性地激活它，使得用户通过某个用户界面或者在1112对自动选择附加更多眼睛，或者甚至在1114消除由自动处理1118在1110错误地识别为眼睛的图区。此外，用户还可以手动选择选项，以调用在1106定义的处理。对于用户可以根据检测到的该眼睛而手动决定增强或者校正该图像的情况，该选项有用的。标记眼睛的各种方式，无论是自动的还是手动的，无论是在照相机内还是利用应用程序，以及无论是手动执行还是自动执行寻找图像中的眼睛的命令，全部被包括于在此的优选实施例中。在优选实施例中，首先检测人脸，然后，检测人脸上的眼睛。
在变换实施例中，作为采集过程的一部分，可以激活照相机内的眼睛检测软件，如方框1104所描述的。在这种情况下，可以采用不同方法实现眼睛检测部分1106，以支持实时操作或者近实时操作。这种实现可以包括子抽样图像和加权抽样，以减少对其进行计算的像素数。参考图6a，将进一步描述该实施例。
在变换实施例中，该眼睛检测还可以接着利用预览图像提供的信息确定预览中眼睛的位置，这样可以加速在该最终图像的较小图区内进行的分析。
在变换实施例中，作为输出过程的一部分，可以激活再现装置内的眼睛检测软件，如方框1103所描述的。在这种情况下，或者在再现装置内利用捕获的图像或者利用一个或者多个预览图像，或者在这种装置的外部驱动器内，执行眼睛检测部分1106。参考图6b，将进一步描述该实施例。
在标志或者标记了该眼睛和/或者人脸或者其他特征后，无论是1118中描述的手动方式还是1106描述的自动方式，该软件都准备好根据眼睛检测、人脸检测或者其他特征检测步骤产生的信息对该图像进行操作。该手段可以作为采集的一部分、作为后处理的一部分、或者作为它们二者执行。如上所述，在140，此时执行眨眼确定(请参考图1至4b以及上述内容)。如果发现眨眼，则在1119，可以取消该图像资格，以便有效放弃数字照相技术领域内的技术人员公知的进一步处理。
参考图6a，该图描述了利用人脸检测改善照相机采集参数的过程，如上面图5中的方框1106所述。在这种情况下，在1000，例如，通过半按下快门、开启照相机等，激活照相机。然后，照相机经过正常预采集步骤，在1004确定正确的采集参数，诸如光圈、快门速度、闪光灯功率、增益、色平衡、白点或者焦点。此外，在1002，加载特别是与该图像中的可能人脸相关的图像属性的默认设置。这些属性可以是总色平衡、曝光量、对比度、取向等。作为一种选择，在1003，可以对一批预览图像进行分析，以在1006，确定该图片中可能存在的人脸。在1008，还可以预测当捕获高清晰度图像时眼睛可能在其中的图区。这种可替换的技术可以包括转移到方框1010和/或者1002。
在1010，在传感器上利用数字方法捕获图像。这种动作可以连续更新，而且可以包括也可以不包括将这样捕获的图像保存到永久存储器中。
在1020，对捕获的图像应用图像分类(imageclassification)并且特别是人脸检测技术领域内的技术人员公知的图像检测过程、优选是人脸检测过程，以在该图像中寻找眼睛或者人脸或者其他特征。这些人脸检测技术包括但并不局限于：基于知识的；特征不变(feature-invariant)；模板匹配(template-matching)；基于外貌；彩色提示或者活动提示；基于adaboost的人脸检测器—Viola-Jones；等等。
如果没有发现人脸，则在1032中止该过程。作为一种选择，或者除了在1030进行自动检测，用户通过利用例如照相机显示器，使用某种交互式用户界面机制，可以手动选择在1034检测到的眼睛或者人脸。作为一种选择，通过改变检测过程的灵敏度或者阈值，在没有可视用户界面的情况下，也可以实现该过程。作为一种选择，可以从预捕像过程1003获取该数据。
当在1040检测到眼睛或者人脸时，可以标记它们或者标志它们。在1040定义的检测，不仅是选择或者检测眼睛或者检测人脸的二元过程，它还可以用作，基于这些眼睛或人脸的尺寸、在该帧中的位置、在此描述的限定这些眼睛或者人脸相对于检测的其他眼睛或者人脸的重要性的其它参数，对这些眼睛或者人脸分别赋予各自权重的部分过程。
作为一种选择，或者此外，用户可以手动取消选择被错误地误检测为眼睛或者人脸的图区1044。由于眼睛或者人脸被误检测，或者在摄影者希望将注意力集中在作为主要对象的这些眼睛或者人脸之一，而不希望将注意力集中在其他眼睛或者人脸时，进行这种选择。作为一种选择，在1046，用户可以重新选择或者强调一个或者多个眼睛或者人脸，以指出在计算过程中，这些眼睛或者人脸相对于其他眼睛或者人脸具有更高的重要性。在1046中限定的此过程进一步限定了作为连续值过程的优选识别过程，它与二元过程相反。利用可视用户界面，或者通过调节检测过程的灵敏度，实现该过程。
在1040，正确隔离眼睛或者人脸或者其它特征后，在1050，将它们的属性与在1002预定的默认值进行比较。这种比较将确定两个图像之间的可能变换，以达到相同的值。然后，在1070，该变换被转化为照相机捕像参数，在1090，采集图像。
实际的例子是如果捕获的人脸太暗，则可以改变采集参数，以允许较长时间的曝光，或者开大光圈。请注意，图像属性不必仅与人脸图区相关，还可以与总体曝光量相关。作为例子，如果总体曝光量是正确的，而人脸曝光不足，则该照相机可以转至辅助闪光模式。
在1060，延迟捕像，直到检测到的图像属性与默认图像属性匹配。根据优选实施例的例子是延迟捕像，直到眨眼并导致延迟的眼睛不再眨眼。在1070，可以键入手动超控指令(manualoverrideinstruction)，以便即使在该图像中检测到眨眼时，无论如何也拍摄图片，或者保存图片，或者继续处理图片。在1090，拍摄图片，或者根据另一个实施例，以高清晰度存储该图片。
参考图6b，在方框1103，描述了利用眼睛、人脸或者其它特征检测来改善输出参数或者再现参数，如上在图5中所述。在这种情况下，在2100，激活诸如打印机或者显示器这样的再现装置，下面称为“装置”。例如，在打印机内，或者可选择在连接到打印机的装置内，例如个人电脑或者照相机内，可以执行这种激活。然后，该装置通过正常预再现步骤，以在2104确定正确的再现参数，诸如色调再现、彩色变换轮廓、增益、色平衡、白点和分辨率。此外，在2102，加载特别是与图像中的可能眼睛或者人脸相关的一组默认图像属性。这些属性可以是总色平衡、曝光量、对比度或者取向或者它们的组合。
然后，在2110，利用数字方法将图像下载到装置上。在2120，对该下载图像应用图像检测过程，优选应用眼睛或者人脸检测过程，以在该图像中寻找眼睛或者人脸。如果没有发现图像，则在2132终止该过程，然后，该装置重新开始其正常的再现过程。作为一种选择，或者除了在2130进行自动检测，在2134，采用例如该装置上的显示器，利用某种交互式用户界面机制，用户可以手动选择检测的眼睛或者人脸或者其他特征。作为一种选择，通过改变该检测过程的灵敏度或者阈值，在没有可视用户界面的情况下，也可以实施该过程。
当在2130，检测到眼睛或者人脸时，在2140标记它们。2130中的检测不仅仅是选择是否检测眼睛或者人脸的二元过程。它还可以用作，根据该人脸的尺寸、在帧内的位置、在此描述的用于限定该眼睛或者人脸相对于检测的其他眼睛或者人脸的重要性的其它参数等等，对这些眼睛或者人脸分别赋予各自权重的部分过程。
作为一种选择，或者此外，在2144，用户可以手动取消选择被错误地伪检测为眼睛或者人脸的图区。由于伪检测到眼睛或者人脸，或者在摄影者希望将注意力集中在作为主要对象的一个或者两个眼睛或者一个人脸，而不希望将注意力集中在其他眼睛或者人脸时，可以进行这种选择。作为一种选择，在2146，用户可以重新选择或者强调一个或者多个眼睛或者人脸，以表示在计算过程中这些眼睛或者人脸相对于其他眼睛或者人脸更重要。1146限定的该过程进一步限定作为连续值过程的优选识别过程，它与二元过程相反。利用可视用户界面或者通过调节选择过程的灵敏度，可以实现该过程。
当在2140，正确隔离了该眼睛或者人脸或者其它景物或者图像特征后，在2150，将其属性与在2102预定的默认值进行比较。该过程寻找的至少一个优选属性是眨眼的眼睛。这种比较将确定两个图像之间的可能变换，以达到相同的值。如果确定一个或者多个眼睛在眨眼，则在2160，取消该图像资格。在2170，可以手动超控该取消资格，或者根据不同图像替换睁眼像素。该变换可以转化为装置再现参数，然后，在2190，可以对该图像进行再现。该过程可以包括多个图像。在这种情况下，在2180，在进行再现过程之前，可以对每个图像重复该过程。实际例子是在单个显示实例上创建一组低分辨率图像的略图或者联系表(contact sheet)。
实际例子是，如果在非常暗情况下捕获眼睛或者人脸，则再现参数可以改变色调再现曲线，从而使眼睛或者人脸增亮。请注意，该图像属性不必仅与眼睛图区或者人脸图区相关，还可以与整个色调再现相关。
参考图7a至7d，如图5中方框1130加亮处，它们描述了根据眼睛、人脸、其它人脸特征或者其它非人脸特征的位置和取向，使图像自动旋转。图7a中提供了两个人脸的图像。请注意，这两个人脸的取向不同，并且这两个人脸是胶着在一起。在此处，每个人脸上分别示出两个眼睛，但是可以仅示出一个眼睛。
包括图5中方框1108和1118功能的眼睛或者人脸检测阶段中的软件，将标记母亲和儿子的两张人脸或者四个眼睛，例如，可以将这两个人脸分别标记为估计的椭圆形2100和2200。利用公知的数学工具，例如，椭圆的协方差距阵，该软件将分别确定两个人脸2120和2220的主轴以及副轴2140和2240。在照相机处于水平方向的风景画模式的情况下，或者在处于垂直方向或者+90度，即顺时针，或者处于—90度，即逆时针，的肖像模式的情况下，即使在该步骤，仅通过比较各轴的尺寸，该软件就可以认为该图像的取向为90度。作为一种选择，该应用程序还可以应用于任意旋转量。然而，该信息不足以判定该图像是顺时针旋转还是逆时针旋转。
图7c描述了提取通常非常容易被发觉的人脸的相关特征的步骤。这种物体可以包括眼睛2140、2160和2240、2260以及嘴唇2180和2280，或者鼻子、眼眉、眼皮，以及眼睛、头发、前额、下巴、耳朵等的特征。两个眼睛和嘴唇中心的组合形成三角形2300，检测三角形2300不仅可以确定人脸的取向，而且可以确定该人脸相对于人脸照片(facialshot)的旋转。请注意，该图像存在其它非常容易被检测到的部分，例如，鼻孔、眼眉、发际线、鼻梁以及作为人脸的实际延伸的脖子，等等，可以标记它们，并将它们用于取向检测。在该图中，将眼睛和嘴唇作为这种人脸特征的例子。根据该眼睛，如果找到眼睛，和嘴的位置，应该使该图像以逆时针方向旋转。
请注意，仅定位不同的人脸特征可能还不够，可以将这些特征互相比较。例如，可以比较眼睛的颜色，以确保这对眼睛是同一个人的。作为一种选择，可以将人脸特征与预览图像进行比较。这样处理可以防止发生将上部双眼皮错误地拍摄为半闭眼睛的情况。另一个例子是图7c和7d所示的例子，如果该软件将嘴2180与眼睛2260、2240组合在一起，则该取向被确定为顺时针。在这种情况下，通过比较嘴和眼睛的相对尺寸，该软件检测正确取向。上述方法描述了根据不同人脸对象的相对位置，确定图像的取向的典型说明性技术。例如，可以预期这两个眼睛位于水平位置，鼻梁垂直于该眼睛，嘴在在鼻子下面等。作为一种选择，根据人脸器官本身的几何结构，确定取向。例如，可以预期眼睛在水平方向是细长的，这意味着，当将诸如黑圈(bloc)2140和2160所示的椭圆形布置在该眼睛上时，可以预期该主轴应该是水平的。与适合椭圆形的嘴唇类似，该主轴应该是水平的。作为一种选择，还可以研究该人脸周围的图区。特别是，作为具有唯一接近的皮肤色调、连接到头部的脖子和肩膀，可以作为人脸取向和检测人脸的指标。
在优选实施例中，确定图像取向的过程可以作为数字显示装置的部分予以实现。作为一种选择，该过程可以作为数字打印装置部分，或者在数字采集装置内，予以实现。
该过程作为在同一页上或者屏幕上显示多个图像的部分，诸如，在显示图像的联系表或者略图的过程中，可以予以实现。在这种情况下，用户可以分别或者可以通过同时选择多个图像来接受或者拒绝建议的图像取向。对于一组有序的图像，可以根据用户对前面图像接受的信息，确定图像的取向。
作为一种选择，如图8a的流程图所描述的，在预采集步骤可以采用类似的方法，以确定具有睁开眼睛的图像的数字模拟或者复合是否有利，例如当确定眼睛在眨眼时。在此引用授予Steinberg等人的第6,151,073号美国专利供参考。在图5所示的方框1108，照相机搜索该图像中存在的眼睛或者人脸。在1460，确定该图像是否由一个或者多个眼睛构成。如果不是，则在1462退出。如果是，则在1464标记该眼睛。在1470，分析该眼睛图区。如果在1474确定该眼睛充分睁开，则在1478，原样保留该图像。但是，如果未确定眼睛是充分睁开，或者眼睛闭合超过阈值量，则该过程继续进行，以在1480、1490和/或者1494进行校正。在1480，提供用于数字模拟睁开的眼睛的子例程。一个掩膜或者多个掩膜限定选择的图区，即，在该例中的眼睛图区。在1484，可以增加曝光，也可以跳过此步骤。在1486，对选择的眼睛图区进行形状处理和/或者色彩处理。例如，如果在原始图像中存在闭合的眼皮，则在睁开的眼皮之间设置瞳孔、虹膜和眼白的形状和颜色，以代替闭合的眼皮。在1488，提供色调再现。
在1490，可以对用户提供一个或者多个结果。在1492，用户可以选择优选结果，然后，在1498，进行校正。作为一种选择，在1494，可以利用要修改的参数，诸如虹膜颜色还是瞳孔形状，对用户显示该图像。然后，在1496，用户调整修改范围，在1498，校正该图像。
图8b提供了另一个与图5中一样在1104启动图片拍摄模式的工作流程。在4820，分析该图像。在1106，确定该图像中是否存在眼睛。如果不存在，则在1110，退出。如果存在，则在1108，标记该眼睛。在4840，分析眼睛图区，然后，如果在4960，该眼睛睁开，则在4880，或者拍摄图片、存储图片(例如，如果事先拍摄了该图片)或者拍摄并存储该图片。在4860，如果确定该眼睛是闭着的，例如由于正在眨眼，则在4980，丢弃该图像，或者延迟捕获图像，或者作为一种选择，在4900拍摄该图片。在后者实施例中，在4920，用睁眼图区代替眨眼眼睛的像素，然后，在4940，存储该合成图片。
图9示出涉及眼皮运动的技术。在1170，启动聚焦机构。在1750，照相机搜索眼睛。如果在1760，没有检测到眼睛，则在1762，可以执行基于空间的自动聚焦技术。如果检测到眼睛，则在1770，标记该图区。在1772，显示该图区。在1790，用户可以拍摄该图片。然而，在1780，用户可以转换到焦点跟踪模式。当眼皮运动时，例如在眨眼过程1782中，在1784，跟踪眼皮运动。在1786，当眼皮在眨眼过程中运动时，施加延迟或者取消景物资格。在1790，在该取消资格期间结束时，用户可以拍摄该图片，或者对该照相机编程以自动拍摄该镜头。
下面是参考文献引用清单，正如公开可替换的实施例一样，除了背景技术、发明内容、摘要、附图说明、以及附图和上面引用的其它参考文献，在此将下面的参考文献引入优选实施例的详细说明中供参考：
第6,965,684号、第6,301,440号、第RE33682号、第RE31370号、第4,047,187号、第4,317,991号、第4,367,027号、第4,638,364号、第5,291,234号、第5,488,429号、第5,638,136号、第5,710,833号、第5,724,456号、第5,781,650号、第5,812,193号、第5,818,975号、第5,835,616号、第5,870,138号、第5,978,519号、第5,991,456号、第6,097,470号、第6,101,271号、第6,128,397号、第6,148,092号、第6,151,075号、第6,188,777号、第6,192,149号、第6,249,315号、第6,263,113号、第6,268,939号、第6,282,317号、第6,301,370号、第6,332,033号、第6,393,148号、第6,404,900号、第6,407,777号、第6,421,468号、第6,438,264号、第6,456,732号、第6,459,436号、第6,473,199号、第6,501,857号、第6,504,942号、第6,504,951号、第6,516,154号以及第6,526,161号美国专利；
第2003/0071908号、第2003/0052991号、第2003/0025812号、第2002/0172419号、第2002/0114535号、第2002/0105662号以及第2001/0031142号美国专利申请公开；标题为“Human Eye Detector”的第60/776,338号美国临时专利申请；
第JP5260360A2号日本专利申请；
第GB0031423.7号英国专利申请；
Yang等人，IEEE Transactions on Pattern Analysis andMachine Intelligence，Vol.24，no.1，pp34-58(Jan.2002)；以及
Baluja和Rowley，“Neural Network-based FaceDetection，”IEEE Transactionson Pattern Analysis andMachine Intelligence，Vol.20，No.1，p23-28，January1998。
尽管描述并示出了本发明的典型示意图和特定实施例，但是应该明白，本发明的范围并不局限于所讨论的特定实施例。因此，应该将该实施例看作是说明性的，而非限制性的，还应该明白，在不脱离下面的权利要求书及其等效结构和等效功能限定的本发明范围的情况下，本技术领域内的技术人员可以对这些实施例进行变更。
此外，在根据下面的权利要求书和/或者在此的优选实施例可以执行的方法中，以选择的排印顺序描述各操作。然而，选择该顺序，并且为了排印方便而如此排序，而且该顺序无意暗示执行该操作的任意特定顺序，除非明确提出该特定顺序，或者本技术领域内的技术人员必然这样理解该特定顺序。

Claims (15)

1.一种基于面部表情因不符合永久保存要求而取消己采集图像资格的方法，包括：
(a)采集包括人面图区的景物的当前图像；
(b)识别对应于该人面图区中的一个或者多个人面部分图区的一组或者多组像素；
(c)确定所述人面部分的一个或者多个表情是否不符合要求；并且
进一步包括：
当所述人面部分的一个或者多个表情被确定为不符合要求时，
(d)拒绝存储该当前图像；以及
(e)自动启动捕获同一个景物的后续图像，其中所述捕获后续图像的时间对应于所述表情发生改变的估计时间。
2.根据权利要求1所述的方法，进一步包括提供所述当前图像是不符合要求的通知，其中所述通知是可视的和/或可听的。
3.根据权利要求1所述的方法，其中：
(i)采集包括人面图区的景物的当前图像包括采集一个或者多个预览图像；以及
(ii)识别对应于该人面图区中的一个或者多个人面部分图区的一组或者多组像素包括确定所述一个或者多个预览图像中是否存在一个或者多个眼睛，以及所述一个或者多个眼睛在所述一个或者多个预览图像中的位置。
4.根据权利要求1所述的方法，其中该识别包括识别一组或者多组对应于该人面图区中的眼睛图区的像素；而该确定包括确定该眼睛图区是否处于眨眼过程；并且如果处于眨眼过程，则该拒绝包括，在该眼睛正在结束眨眼时取消该景物作为被处理的永久图像的候选者的资格。
5.根据权利要求4所述的方法，其中该当前图像包括预览图像，并且取消该景物作为被处理的永久图像的候选者的资格包括延迟高清晰度捕获该景物的图像。
6.根据权利要求5所述的方法，其中该延迟包括预测该眨眼何时结束，并且在接近预测的眨眼结束时间时，结束取消该景物作为被处理的永久图像的候选者的资格。
7.根据权利要求4所述的方法，其中确定该眼睛图区是否处于眨眼过程包括确定该眼睛睁开或者闭合的程度。
8.根据权利要求4所述的方法，其中该当前图像包括高清晰度捕获图像，并且取消该景物作为被处理的永久图像的候选者的资格包括放弃进一步处理该当前图像。
9.根据权利要求4所述的方法，其中该当前图像包括高清晰度捕获图像，并且该方法进一步包括拼装包括该当前图像中的像素和不同图像中对应于在眨眼的眼睛的睁开眼睛像素的合成图像。
10.根据权利要求4所述的方法，其中识别该眼睛图区包括：识别该人面图区；以及分析该人面图区，以确定其内的眼睛图区。
11.根据权利要求4所述的方法，进一步包括因为取消该景物作为被处理的永久图像的候选者的资格而捕获新图像，以代替该当前图像。
12.根据权利要求4所述的方法，进一步包括提供关于该眨眼的报警信号。
13.根据权利要求4所述的方法，进一步包括识别该景物中的第二人脸的第二眼睛图区；确定该第二眼睛图区是否处于眨眼过程；并且如果处于眨眼过程，则在该第二眼睛正在结束眨眼时，取消该景物作为被处理的永久图像的候选者资格。
14.根据权利要求4所述的方法，其中：
(i)采集包括人面图区的景物的当前图像包括采集一个或者多个预览图像；以及
(ii)识别对应于该人面图区中的一个或者多个人面部分图区的一组或者多组像素包括确定所述一个或者多个预览图像中是否存在一个或者多个眼睛，以及所述一个或者多个眼睛在所述一个或者多个预览图像中的位置。
15.一种配置用于基于面部表情因不符合永久保存要求而取消己采集图像资格的设备，包括：
(a)用于采集包括人面图区的景物的当前图像的装置；
(b)用于识别对应于该人面图区中的一个或者多个人面部分图区的一组或者多组像素的装置；
(c)用于确定所述人面部分的一个或者多个表情是否不符合要求的装置；并且
进一步包括：当所述人面部分的一个或者多个表情被确定为不符合要求时，
(d)用于拒绝存储该当前图像的装置；以及
(e)用于自动启动捕获同一个景物的后续图像的装置，其中所述捕获后续图像的时间对应于所述表情发生改变的估计时间。
CN2006800543586A 2006-02-24 2006-08-03 选择性地取消数字图像资格的方法和设备 Active CN101427266B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US77633806P 2006-02-24 2006-02-24
US60/776,338 2006-02-24
US11/460,218 US7792335B2 (en) 2006-02-24 2006-07-26 Method and apparatus for selective disqualification of digital images
US11/460,218 2006-07-26
PCT/US2006/030315 WO2007097777A1 (en) 2006-02-24 2006-08-03 Method and apparatus for selective disqualification of digital images

Publications (2)

Publication Number Publication Date
CN101427266A CN101427266A (zh) 2009-05-06
CN101427266B true CN101427266B (zh) 2012-10-03

Family

ID=40616746

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2006800543586A Active CN101427266B (zh) 2006-02-24 2006-08-03 选择性地取消数字图像资格的方法和设备
CN2006800543641A Active CN101427263B (zh) 2006-02-24 2006-08-03 选择性地拒绝数字图像的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2006800543641A Active CN101427263B (zh) 2006-02-24 2006-08-03 选择性地拒绝数字图像的方法和设备

Country Status (2)

Country Link
US (3) US7804983B2 (zh)
CN (2) CN101427266B (zh)

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7792970B2 (en) * 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US8494286B2 (en) * 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7685341B2 (en) * 2005-05-06 2010-03-23 Fotonation Vision Limited Remote control apparatus for consumer electronic appliances
US7792335B2 (en) 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
JP2005346806A (ja) * 2004-06-02 2005-12-15 Funai Electric Co Ltd Ｄｖｄレコーダおよび記録再生装置
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US20110102553A1 (en) * 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US8995715B2 (en) 2010-10-26 2015-03-31 Fotonation Limited Face or other object detection including template matching
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US7694048B2 (en) * 2005-05-06 2010-04-06 Fotonation Vision Limited Remote control apparatus for printer appliances
US7804983B2 (en) * 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
EP2033142B1 (en) 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
EP2115662B1 (en) 2007-02-28 2010-06-23 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
FR2913510B1 (fr) * 2007-03-07 2009-07-03 Eastman Kodak Co Procede pour determiner automatiquement une probabilite de saisie d'images avec un terminal a partir de donnees contextuelles
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP4853425B2 (ja) * 2007-08-14 2012-01-11 ソニー株式会社 撮像装置、撮像方法およびプログラム
US8031970B2 (en) * 2007-08-27 2011-10-04 Arcsoft, Inc. Method of restoring closed-eye portrait photo
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
US8170298B2 (en) * 2008-05-16 2012-05-01 Arcsoft, Inc. Method for detecting facial expression and repairing smile face of portrait photo
CN102027505A (zh) 2008-07-30 2011-04-20 泰塞拉技术爱尔兰公司 使用脸部检测的自动脸部和皮肤修饰
JP5361547B2 (ja) * 2008-08-07 2013-12-04 キヤノン株式会社 撮像装置及び撮影方法、プログラム
WO2010030984A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting a displayed element relative to a user
WO2010030985A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting displayed elements relative to a user
JP5456159B2 (ja) * 2009-05-29 2014-03-26 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 背景から前景の頭頂部を分離するための方法および装置
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US20110216157A1 (en) 2010-03-05 2011-09-08 Tessera Technologies Ireland Limited Object Detection and Rendering for Wide Field of View (WFOV) Image Acquisition Systems
CN101800816B (zh) * 2010-04-08 2012-10-17 华为终端有限公司 移动终端的触摸屏的横竖屏切换方法及移动终端
US9053681B2 (en) 2010-07-07 2015-06-09 Fotonation Limited Real-time video frame pre-processing hardware
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8983202B2 (en) * 2010-09-13 2015-03-17 Hewlett-Packard Development Company, L.P. Smile detection systems and methods
US8970770B2 (en) 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
US8659697B2 (en) 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8648959B2 (en) 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8308379B2 (en) 2010-12-01 2012-11-13 Digitaloptics Corporation Three-pole tilt control system for camera module
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
US8723959B2 (en) 2011-03-31 2014-05-13 DigitalOptics Corporation Europe Limited Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
US8947501B2 (en) 2011-03-31 2015-02-03 Fotonation Limited Scene enhancements in off-center peripheral regions for nonlinear lens geometries
US8896703B2 (en) 2011-03-31 2014-11-25 Fotonation Limited Superresolution enhancment of peripheral regions in nonlinear lens geometries
US8982180B2 (en) 2011-03-31 2015-03-17 Fotonation Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
US8891876B2 (en) * 2011-04-25 2014-11-18 Hewlett-Packard Development Company, L.P. Mouth corner candidates
US8564684B2 (en) * 2011-08-17 2013-10-22 Digimarc Corporation Emotional illumination, and related arrangements
JP5859771B2 (ja) * 2011-08-22 2016-02-16 ソニー株式会社 情報処理装置、情報処理システム情報処理方法及びプログラム
US9111144B2 (en) * 2011-09-15 2015-08-18 Identigene, L.L.C. Eye color paternity test
US9354486B2 (en) 2012-06-07 2016-05-31 DigitalOptics Corporation MEMS MEMS fast focus camera module
US9001268B2 (en) 2012-08-10 2015-04-07 Nan Chang O-Film Optoelectronics Technology Ltd Auto-focus camera module with flexible printed circuit extension
US9007520B2 (en) 2012-08-10 2015-04-14 Nanchang O-Film Optoelectronics Technology Ltd Camera module with EMI shield
US9242602B2 (en) 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
US9338348B2 (en) 2012-10-23 2016-05-10 Snapaid Ltd. Real time assessment of picture quality
KR102003371B1 (ko) 2012-11-16 2019-10-01 삼성전자주식회사 화면 밝기를 조절하는 전자 장치 및 방법
US8988586B2 (en) 2012-12-31 2015-03-24 Digitaloptics Corporation Auto-focus camera module with MEMS closed loop compensator
KR102076773B1 (ko) * 2013-01-04 2020-02-12 삼성전자주식회사 영상 데이터 획득 방법 및 그 방법을 처리하는 전자 장치
US10402846B2 (en) 2013-05-21 2019-09-03 Fotonation Limited Anonymizing facial expression data with a smart-cam
EP2816797A1 (en) * 2013-06-19 2014-12-24 BlackBerry Limited Device for detecting a camera obstruction
US9055210B2 (en) 2013-06-19 2015-06-09 Blackberry Limited Device for detecting a camera obstruction
CN103369248A (zh) * 2013-07-20 2013-10-23 厦门美图移动科技有限公司 一种闭眼后睁开的拍照方法
KR102127351B1 (ko) * 2013-07-23 2020-06-26 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
JP5971216B2 (ja) * 2013-09-20 2016-08-17 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
WO2015044947A1 (en) * 2013-09-30 2015-04-02 Yanai Danielle Image and video processing and optimization
WO2015097487A1 (en) * 2013-12-24 2015-07-02 Sony Corporation An emotion based self-portrait mechanism
US9549118B2 (en) * 2014-03-10 2017-01-17 Qualcomm Incorporated Blink and averted gaze avoidance in photographic images
US9091843B1 (en) 2014-03-16 2015-07-28 Hyperion Development, LLC Optical assembly for a wide field of view point action camera with low track length to focal length ratio
US10139595B1 (en) 2014-03-16 2018-11-27 Navitar Industries, Llc Optical assembly for a compact wide field of view digital camera with low first lens diameter to image diagonal ratio
US9726859B1 (en) 2014-03-16 2017-08-08 Navitar Industries, Llc Optical assembly for a wide field of view camera with low TV distortion
US9995910B1 (en) 2014-03-16 2018-06-12 Navitar Industries, Llc Optical assembly for a compact wide field of view digital camera with high MTF
US9316820B1 (en) 2014-03-16 2016-04-19 Hyperion Development, LLC Optical assembly for a wide field of view point action camera with low astigmatism
US9316808B1 (en) 2014-03-16 2016-04-19 Hyperion Development, LLC Optical assembly for a wide field of view point action camera with a low sag aspheric lens element
US10386604B1 (en) 2014-03-16 2019-08-20 Navitar Industries, Llc Compact wide field of view digital camera with stray light impact suppression
US10545314B1 (en) 2014-03-16 2020-01-28 Navitar Industries, Llc Optical assembly for a compact wide field of view digital camera with low lateral chromatic aberration
US9494772B1 (en) 2014-03-16 2016-11-15 Hyperion Development, LLC Optical assembly for a wide field of view point action camera with low field curvature
EP3134850B1 (en) 2014-04-22 2023-06-14 Snap-Aid Patents Ltd. Method for controlling a camera based on processing an image captured by other camera
CN104468578B (zh) * 2014-12-10 2017-12-26 怀效宁 一种无线通讯的优先通讯系统和通讯方法
JP2016076869A (ja) * 2014-10-08 2016-05-12 オリンパス株式会社 撮像装置、撮影方法、およびプログラム
CN104394461A (zh) * 2014-11-12 2015-03-04 无锡科思电子科技有限公司 一种电视自适应关机控制方法
CN104599367A (zh) * 2014-12-31 2015-05-06 苏州福丰科技有限公司 基于三维人脸图像识别的多人并行门禁识别方法
EP3289430B1 (en) 2015-04-27 2019-10-23 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
WO2016207875A1 (en) 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
US9769367B2 (en) 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
US10198819B2 (en) * 2015-11-30 2019-02-05 Snap Inc. Image segmentation and modification of a video stream
US9838641B1 (en) 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9836484B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
CN106210526A (zh) * 2016-07-29 2016-12-07 维沃移动通信有限公司 一种拍摄方法及移动终端
US10670842B2 (en) 2017-01-26 2020-06-02 Navitar, Inc. High Etendue zoom lens having five lens groups
CN108319953B (zh) * 2017-07-27 2019-07-16 腾讯科技（深圳）有限公司 目标对象的遮挡检测方法及装置、电子设备及存储介质
CN108492266B (zh) * 2018-03-18 2020-10-09 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US11113507B2 (en) * 2018-05-22 2021-09-07 Samsung Electronics Co., Ltd. System and method for fast object detection
JP6973298B2 (ja) * 2018-05-31 2021-11-24 トヨタ自動車株式会社 物体監視装置
CN108989677A (zh) * 2018-07-27 2018-12-11 上海与德科技有限公司 一种自动拍照方法、装置、服务器和存储介质
CN110008802B (zh) 2018-12-04 2023-08-29 创新先进技术有限公司 从多个脸部中选择目标脸部及脸部识别比对方法、装置
CN111126289A (zh) * 2019-12-25 2020-05-08 航天信息股份有限公司 一种基于线程控制的采集人像的方法及系统
CN114554113B (zh) * 2022-04-24 2022-08-16 浙江华眼视觉科技有限公司 一种快件码识别机取件人画像方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1487473A (zh) * 2002-10-02 2004-04-07 �ֽ���ӣ��й����о������������޹� 照相机的静止图像捕获方法
CN1723467A (zh) * 2002-12-13 2006-01-18 皇家飞利浦电子股份有限公司 表情不变的面部识别

Family Cites Families (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4047187A (en) 1974-04-01 1977-09-06 Canon Kabushiki Kaisha System for exposure measurement and/or focus detection by means of image senser
US4367027A (en) 1980-03-12 1983-01-04 Honeywell Inc. Active auto focus system improvement
US4317991A (en) 1980-03-12 1982-03-02 Honeywell Inc. Digital auto focus system utilizing a photodetector array
US4299464A (en) * 1980-08-04 1981-11-10 Eastman Kodak Company Method and apparatus for reducing the incidence of eye closures during photographing of a human subject
JPS61105978A (ja) 1984-10-30 1986-05-24 Sanyo Electric Co Ltd オ−トフオ−カス回路
US5291234A (en) 1987-02-04 1994-03-01 Asahi Kogaku Kogyo Kabushiki Kaisha Auto optical focus detecting device and eye direction detecting optical system
US5384912A (en) * 1987-10-30 1995-01-24 New Microtime Inc. Real time video image processing system
US5018017A (en) * 1987-12-25 1991-05-21 Kabushiki Kaisha Toshiba Electronic still camera and image recording method thereof
US5227837A (en) * 1989-05-12 1993-07-13 Fuji Photo Film Co., Ltd. Photograph printing method
US5063603A (en) * 1989-11-06 1991-11-05 David Sarnoff Research Center, Inc. Dynamic method for recognizing objects and image processing system therefor
US5164831A (en) * 1990-03-15 1992-11-17 Eastman Kodak Company Electronic still camera providing multi-format storage of full and reduced resolution images
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
JP2748678B2 (ja) 1990-10-09 1998-05-13 松下電器産業株式会社 階調補正方法および階調補正装置
US5164992A (en) * 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
JP2790562B2 (ja) * 1992-01-06 1998-08-27 富士写真フイルム株式会社 画像処理方法
US5488429A (en) 1992-01-13 1996-01-30 Mitsubishi Denki Kabushiki Kaisha Video signal processor for detecting flesh tones in am image
US5638136A (en) 1992-01-13 1997-06-10 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for detecting flesh tones in an image
US5680481A (en) * 1992-05-26 1997-10-21 Ricoh Corporation Facial feature extraction method and apparatus for a neural network acoustic and visual speech recognition system
JP3298072B2 (ja) * 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
US5311240A (en) * 1992-11-03 1994-05-10 Eastman Kodak Company Technique suited for use in multi-zone autofocusing cameras for improving image quality for non-standard display sizes and/or different focal length photographing modes
KR100276681B1 (ko) 1992-11-07 2001-01-15 이데이 노부유끼 비디오 카메라 시스템
JPH06178261A (ja) * 1992-12-07 1994-06-24 Nikon Corp デジタルスチルカメラ
JP2983407B2 (ja) * 1993-03-31 1999-11-29 三菱電機株式会社 画像追尾装置
US5432863A (en) * 1993-07-19 1995-07-11 Eastman Kodak Company Automated detection and correction of eye color defects due to flash illumination
US5835616A (en) 1994-02-18 1998-11-10 University Of Central Florida Face detection using templates
US5781650A (en) 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
US6115509A (en) * 1994-03-10 2000-09-05 International Business Machines Corp High volume document image archive system and method
US5774754A (en) * 1994-04-26 1998-06-30 Minolta Co., Ltd. Camera capable of previewing a photographed image
US5678098A (en) * 1994-06-09 1997-10-14 Fuji Photo Film Co., Ltd. Method and apparatus for controlling exposure of camera
US5692065A (en) * 1994-08-18 1997-11-25 International Business Machines Corporation Apparatus and method for determining image quality
US5572596A (en) * 1994-09-02 1996-11-05 David Sarnoff Research Center, Inc. Automated, non-invasive iris recognition system and method
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
US5496106A (en) * 1994-12-13 1996-03-05 Apple Computer, Inc. System and method for generating a contrast overlay as a focus assist for an imaging device
US5870138A (en) 1995-03-31 1999-02-09 Hitachi, Ltd. Facial image processing
US5724456A (en) 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
US5710833A (en) 1995-04-20 1998-01-20 Massachusetts Institute Of Technology Detection, recognition and coding of complex objects using probabilistic eigenspace analysis
US5842194A (en) 1995-07-28 1998-11-24 Mitsubishi Denki Kabushiki Kaisha Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions
JP3426060B2 (ja) * 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5633678A (en) * 1995-12-20 1997-05-27 Eastman Kodak Company Electronic still camera for capturing and categorizing images
US6151073A (en) 1996-03-28 2000-11-21 Fotonation, Inc. Intelligent camera flash system
US5802208A (en) * 1996-05-06 1998-09-01 Lucent Technologies Inc. Face recognition using DCT-based feature vectors
US6188776B1 (en) * 1996-05-21 2001-02-13 Interval Research Corporation Principle component analysis of images for the automatic location of control points
US5991456A (en) 1996-05-29 1999-11-23 Science And Technology Corporation Method of improving a digital image
US5978519A (en) 1996-08-06 1999-11-02 Xerox Corporation Automatic image cropping
US5963656A (en) * 1996-09-30 1999-10-05 International Business Machines Corporation System and method for determining the quality of fingerprint images
US5818975A (en) 1996-10-28 1998-10-06 Eastman Kodak Company Method and apparatus for area selective exposure adjustment
US6765612B1 (en) * 1996-12-09 2004-07-20 Flashpoint Technology, Inc. Method and system for naming images captured by a digital camera
JP3512992B2 (ja) * 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
JPH10208047A (ja) * 1997-01-23 1998-08-07 Nissan Motor Co Ltd 車載用走行環境認識装置
US6249315B1 (en) 1997-03-24 2001-06-19 Jack M. Holm Strategy for pictorial digital image processing
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6125192A (en) * 1997-04-21 2000-09-26 Digital Persona, Inc. Fingerprint recognition system
US6803989B2 (en) * 1997-07-15 2004-10-12 Silverbrook Research Pty Ltd Image printing apparatus including a microcontroller
AUPO798697A0 (en) * 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Data processing method and apparatus (ART51)
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6407777B1 (en) 1997-10-09 2002-06-18 Deluca Michael Joseph Red-eye filter method and apparatus
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US6128397A (en) 1997-11-21 2000-10-03 Justsystem Pittsburgh Research Center Method for finding all frontal faces in arbitrarily complex visual scenes
US6268939B1 (en) 1998-01-08 2001-07-31 Xerox Corporation Method and apparatus for correcting luminance and chrominance data in digital color images
US6148092A (en) 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
GB2333590A (en) * 1998-01-23 1999-07-28 Sharp Kk Detecting a face-like region
US6556708B1 (en) * 1998-02-06 2003-04-29 Compaq Computer Corporation Technique for classifying objects within an image
US6400830B1 (en) * 1998-02-06 2002-06-04 Compaq Computer Corporation Technique for tracking objects through a series of images
US6192149B1 (en) 1998-04-08 2001-02-20 Xerox Corporation Method and apparatus for automatic detection of image target gamma
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6097470A (en) 1998-05-28 2000-08-01 Eastman Kodak Company Digital photofinishing system including scene balance, contrast normalization, and image sharpening digital image processing
AUPP400998A0 (en) 1998-06-10 1998-07-02 Canon Kabushiki Kaisha Face detection in digital images
US6404900B1 (en) * 1998-06-22 2002-06-11 Sharp Laboratories Of America, Inc. Method for robust human face tracking in presence of multiple persons
DE19837004C1 (de) * 1998-08-14 2000-03-09 Christian Eckes Verfahren zum Erkennen von Objekten in digitalisierten Abbildungen
GB2341231A (en) * 1998-09-05 2000-03-08 Sharp Kk Face detection in an image
US6456732B1 (en) 1998-09-11 2002-09-24 Hewlett-Packard Company Automatic rotation, cropping and scaling of images for printing
US6606398B2 (en) * 1998-09-30 2003-08-12 Intel Corporation Automatic cataloging of people in digital photographs
JP3291259B2 (ja) 1998-11-11 2002-06-10 キヤノン株式会社 画像処理方法および記録媒体
DE69914370T2 (de) * 1998-12-02 2004-11-04 The Victoria University Of Manchester Bestimmung von gesichtsunterräumen
US6263113B1 (en) 1998-12-11 2001-07-17 Philips Electronics North America Corp. Method for detecting a face in a digital image
US6473199B1 (en) 1998-12-18 2002-10-29 Eastman Kodak Company Correcting exposure and tone scale of digital images captured by an image capture device
US6396599B1 (en) 1998-12-21 2002-05-28 Eastman Kodak Company Method and apparatus for modifying a portion of an image in accordance with colorimetric parameters
US6282317B1 (en) 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
US6438264B1 (en) 1998-12-31 2002-08-20 Eastman Kodak Company Method for compensating image color when adjusting the contrast of a digital color image
US6421468B1 (en) 1999-01-06 2002-07-16 Seiko Epson Corporation Method and apparatus for sharpening an image by scaling elements of a frequency-domain representation
US7038715B1 (en) * 1999-01-19 2006-05-02 Texas Instruments Incorporated Digital still camera with high-quality portrait mode
US6393148B1 (en) 1999-05-13 2002-05-21 Hewlett-Packard Company Contrast enhancement of an image using luminance and RGB statistical metrics
EP1139286A1 (en) * 1999-05-18 2001-10-04 Sanyo Electric Co., Ltd. Dynamic image processing method and device and medium
JP3695990B2 (ja) * 1999-05-25 2005-09-14 三菱電機株式会社 顔画像処理装置
US7248300B1 (en) * 1999-06-03 2007-07-24 Fujifilm Corporation Camera and method of photographing good image
US6879705B1 (en) * 1999-07-14 2005-04-12 Sarnoff Corporation Method and apparatus for tracking multiple objects in a video sequence
US6501857B1 (en) 1999-07-20 2002-12-31 Craig Gotsman Method and system for detecting and classifying objects in an image
US6526161B1 (en) 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
JP4378804B2 (ja) * 1999-09-10 2009-12-09 ソニー株式会社 撮像装置
DE60045044D1 (de) * 1999-09-14 2010-11-11 Topcon Corp Angesichtsphotographiervorrichtung und -verfahren
US6504951B1 (en) 1999-11-29 2003-01-07 Eastman Kodak Company Method for detecting sky in images
EP1107166A3 (en) * 1999-12-01 2008-08-06 Matsushita Electric Industrial Co., Ltd. Device and method for face image extraction, and recording medium having recorded program for the method
US6754389B1 (en) * 1999-12-01 2004-06-22 Koninklijke Philips Electronics N.V. Program classification using object tracking
US6516147B2 (en) 1999-12-20 2003-02-04 Polaroid Corporation Scene recognition method and system using brightness and ranging mapping
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US6301440B1 (en) 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
JP3955170B2 (ja) * 2000-07-03 2007-08-08 富士フイルム株式会社 画像検索システム
EP1211640A3 (en) 2000-09-15 2003-10-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face and other objects in an image
US7038709B1 (en) * 2000-11-01 2006-05-02 Gilbert Verghese System and method for tracking a subject
JP4590717B2 (ja) * 2000-11-17 2010-12-01 ソニー株式会社 顔識別装置及び顔識別方法
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US6654507B2 (en) 2000-12-14 2003-11-25 Eastman Kodak Company Automatically producing an image of a portion of a photographic image
US6697504B2 (en) * 2000-12-15 2004-02-24 Institute For Information Industry Method of multi-level facial image recognition and system using the same
GB2370438A (en) 2000-12-22 2002-06-26 Hewlett Packard Co Automated image cropping using selected compositional rules.
JP2002199202A (ja) 2000-12-26 2002-07-12 Seiko Epson Corp 画像処理装置
US6760465B2 (en) * 2001-03-30 2004-07-06 Intel Corporation Mechanism for tracking colored objects in a video sequence
JP2002334338A (ja) * 2001-05-09 2002-11-22 National Institute Of Advanced Industrial & Technology 物体追跡装置及び物体追跡方法並びに記録媒体
US20020172419A1 (en) 2001-05-15 2002-11-21 Qian Lin Image enhancement using face detection
TW505892B (en) * 2001-05-25 2002-10-11 Ind Tech Res Inst System and method for promptly tracking multiple faces
AUPR541801A0 (en) * 2001-06-01 2001-06-28 Canon Kabushiki Kaisha Face detection in colour images with complex background
GB0116877D0 (en) 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
US7327891B2 (en) * 2001-07-17 2008-02-05 Yesvideo, Inc. Automatic selection of a visual image or images from a collection of visual images, based on an evaluation of the quality of the visual images
US6516154B1 (en) 2001-07-17 2003-02-04 Eastman Kodak Company Image revising camera and method
US7027619B2 (en) * 2001-09-13 2006-04-11 Honeywell International Inc. Near-infrared method and system for use in face detection
US7262798B2 (en) 2001-09-17 2007-08-28 Hewlett-Packard Development Company, L.P. System and method for simulating fill flash in photography
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
KR100421221B1 (ko) * 2001-11-05 2004-03-02 삼성전자주식회사 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치
US7162101B2 (en) * 2001-11-15 2007-01-09 Canon Kabushiki Kaisha Image processing apparatus and method
US7130446B2 (en) 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US7050607B2 (en) * 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
US7035467B2 (en) * 2002-01-09 2006-04-25 Eastman Kodak Company Method and system for processing images for themed imaging services
AU2003219926A1 (en) * 2002-02-26 2003-09-09 Canesta, Inc. Method and apparatus for recognizing objects
US7084918B2 (en) * 2002-02-28 2006-08-01 Hewlett-Packard Development Company, L.P. White eye portraiture system and method
JP4271964B2 (ja) * 2002-03-04 2009-06-03 三星電子株式会社 構成成分基盤ｐｃａ／ｉｃａを利用した顔認識方法及びその装置
US20030190090A1 (en) * 2002-04-09 2003-10-09 Beeman Edward S. System and method for digital-image enhancement
US7174033B2 (en) * 2002-05-22 2007-02-06 A4Vision Methods and systems for detecting and recognizing an object based on 3D image data
US20040001616A1 (en) * 2002-06-27 2004-01-01 Srinivas Gutta Measurement of content ratings through vision and speech recognition
US7227976B1 (en) * 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US7020337B2 (en) * 2002-07-22 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in images
US7110575B2 (en) 2002-08-02 2006-09-19 Eastman Kodak Company Method for locating faces in digital color images
JP3970725B2 (ja) * 2002-09-11 2007-09-05 本田技研工業株式会社 エンジン用燃料噴射装置
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
US7120279B2 (en) * 2003-01-30 2006-10-10 Eastman Kodak Company Method for face orientation determination in digital color images
JP3984175B2 (ja) 2003-01-31 2007-10-03 富士フイルム株式会社 写真画像選別装置およびプログラム
US7162076B2 (en) * 2003-02-11 2007-01-09 New Jersey Institute Of Technology Face detection method and apparatus
US20040223629A1 (en) 2003-05-06 2004-11-11 Viswis, Inc. Facial surveillance system and method
JP4333223B2 (ja) 2003-06-11 2009-09-16 株式会社ニコン 自動撮影装置
US7317815B2 (en) 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US7190829B2 (en) * 2003-06-30 2007-03-13 Microsoft Corporation Speedup of face detection in digital images
US7274822B2 (en) * 2003-06-30 2007-09-25 Microsoft Corporation Face annotation for photo management
US7689033B2 (en) * 2003-07-16 2010-03-30 Microsoft Corporation Robust multi-view face detection methods and apparatuses
JP2005078376A (ja) * 2003-08-29 2005-03-24 Sony Corp 対象物検出装置、対象物方法、及びロボット装置
US7424170B2 (en) * 2003-09-30 2008-09-09 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on determining probabilities based on image analysis of single images
US7274832B2 (en) * 2003-11-13 2007-09-25 Eastman Kodak Company In-plane rotation invariant object detection in digitized images
WO2005065283A2 (en) * 2003-12-24 2005-07-21 Walker Digital, Llc Method and apparatus for automatically capturing and managing images
US7551755B1 (en) 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7916173B2 (en) 2004-06-22 2011-03-29 Canon Kabushiki Kaisha Method for detecting and selecting good quality image frames from video
CA2575211C (en) * 2004-07-30 2012-12-11 Euclid Discoveries, Llc Apparatus and method for processing video data
US7119838B2 (en) * 2004-08-19 2006-10-10 Blue Marlin Llc Method and imager for detecting the location of objects
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US7454058B2 (en) * 2005-02-07 2008-11-18 Mitsubishi Electric Research Lab, Inc. Method of extracting and searching integral histograms of data samples
US7620208B2 (en) * 2005-02-09 2009-11-17 Siemens Corporate Research, Inc. System and method for detecting features from images of vehicles
JP2006254229A (ja) * 2005-03-11 2006-09-21 Fuji Photo Film Co Ltd 撮像装置、撮像方法及び撮像プログラム
DE602006009191D1 (de) 2005-07-26 2009-10-29 Canon Kk Bildaufnahmegerät und -verfahren
US7555149B2 (en) * 2005-10-25 2009-06-30 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting videos using face detection
US20070098303A1 (en) * 2005-10-31 2007-05-03 Eastman Kodak Company Determining a particular person from a collection
EP1962497B1 (en) 2005-11-25 2013-01-16 Nikon Corporation Electronic camera and image processing device
US7953253B2 (en) * 2005-12-31 2011-05-31 Arcsoft, Inc. Face detection on mobile devices
US7643659B2 (en) * 2005-12-31 2010-01-05 Arcsoft, Inc. Facial feature detection on mobile devices
US7551754B2 (en) * 2006-02-24 2009-06-23 Fotonation Vision Limited Method and apparatus for selective rejection of digital images
US7804983B2 (en) * 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
US7715598B2 (en) * 2006-07-25 2010-05-11 Arsoft, Inc. Method for detecting facial expressions of a portrait photo by an image capturing electronic device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1487473A (zh) * 2002-10-02 2004-04-07 �ֽ���ӣ��й����о������������޹� 照相机的静止图像捕获方法
CN1723467A (zh) * 2002-12-13 2006-01-18 皇家飞利浦电子股份有限公司 表情不变的面部识别

Also Published As

Publication number Publication date
US8005268B2 (en) 2011-08-23
US20110058058A1 (en) 2011-03-10
CN101427263A (zh) 2009-05-06
CN101427266A (zh) 2009-05-06
US20110279700A1 (en) 2011-11-17
US8265348B2 (en) 2012-09-11
CN101427263B (zh) 2013-08-07
US7804983B2 (en) 2010-09-28
US20070201725A1 (en) 2007-08-30

Similar Documents

Publication Publication Date Title
CN101427266B (zh) 选择性地取消数字图像资格的方法和设备
JP4970469B2 (ja) デジタル画像を選択的に不適格とする方法及び装置
US7551754B2 (en) Method and apparatus for selective rejection of digital images
US20190213434A1 (en) Image capture device with contemporaneous image correction mechanism
CN108933899B (zh) 全景拍摄方法、装置、终端及计算机可读存储介质
KR101539043B1 (ko) 인물 구도 제안 영상 촬영 장치 및 방법
US8682097B2 (en) Digital image enhancement with reference images
US8330831B2 (en) Method of gathering visual meta data using a reference image
US8593542B2 (en) Foreground/background separation using reference images
CN102622740A (zh) 防闭眼人像拍摄系统及方法
JP2005045600A (ja) 画像撮影装置およびプログラム
CN106454112A (zh) 一种拍摄方法及系统
JP2012124725A (ja) 画像処理装置
JP2009177456A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: DE SALA TECHNOLOGY IRELAND CO., LTD.

Free format text: FORMER OWNER: FOTONATION VISION LTD.

Effective date: 20110111

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20110111

Address after: Gore County, Ireland

Applicant after: Tessera Tech Ireland Ltd.

Address before: Gore County, Ireland

Applicant before: Fotonation Vision Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: DIGITAL OPTICAL EUROPE CO., LTD.

Free format text: FORMER NAME: TSAPLYA TECHNOLOGY IRELAND CO., LTD.

CP01 Change in the name or title of a patent holder

Address after: Gore County, Ireland

Patentee after: Digitaloptics Corporation Europe Limited

Address before: Gore County, Ireland

Patentee before: Tessera Tech Ireland Ltd.

C56 Change in the name or address of the patentee

Owner name: KUAITU CO., LTD.

Free format text: FORMER NAME: DIGITAL OPTICAL EUROPE CO., LTD.

CP01 Change in the name or title of a patent holder

Address after: Gore County, Ireland

Patentee after: DIGITALOPTICS CORPORATION EUROPE LIMITED

Address before: Gore County, Ireland

Patentee before: Digitaloptics Corporation Europe Limited