CN100431339C - 有闪光扩展/无闪光扩展的数字摄影术 - Google Patents

Abstract

一种用于改善数字闪光摄影的系统和方法。当前发明是一种通过给最终用户所有闪光摄影术优点而不产生不和谐视图来显著提高低光照成像的技术。本发明使用一图像对——一个在有闪光时摄取而另一个无闪光——以移除来自环境图像的噪声，使用来自该闪光图像的细节来锐化环境图像，校正颜色，以及移除红眼。

Description

有闪光扩展/无闪光扩展的数字摄影术

技术领域

本发明涉及数字摄影术，并且更具体地涉及用于改善数字闪光摄影术质量的机制。

背景技术

摄影的一个重要目标就是去捕获和再现该一真实环境的可见的美景。光线是对该可见美景的一完整的方面并且经常为照片奠定基调或氛围。该最微妙的细微差别经常在低光照的环境中发现。例如，一个点烛火的宾馆的暗淡的，昏黄的色调可以唤起一种亲密的情绪，当投射进淡蓝色的月光时可以唤起一种清凉神秘的气氛。

当在这样低光照环境中捕获环境自然的照明时，摄影者面临着进退两难的选择。一个选择是去设定一长暴光时间以使相机可以收集到足够的光线来产生一可视图像。然而，在这种长暴光中的相机摇动或场景的移动会导致运动模糊。另一个选择是打开光圈以让更多的光线进入。然而，这种方法减少了景深并且受镜头大小的限制。第三个选择是提高相机的放大率，它是由ISO设定来控制的。然而，当暴光时间很短的时候，相机就不能捕获足够的光线以精确地估计在每个像素上的色彩，并且因此可视图像噪声明显增加。

闪光摄影术的发明可以避开这些问题。通过在场景内的近处景物上加入人工光线，有闪光的相机可以使用更短的暴光时间，更小的光圈，和更少的传感放大率而仍然能捕获到足够的光线来生成相当清晰，无噪声的图像。更明亮的图像具有一更大的信噪比并且可以因此分辨那些会被隐藏在从环境的照明而获取的图像的噪声中的细节。此外，该闪光可以通过具有一卷曲的点光源来照射表面来改善表面的细节。最后，如果一个想要一个白平衡的图像，该已知的闪光色彩能更好的简化这项任务。

如摄影者所知，然而，在环境的光照特征中闪光的使用也具有一个负面影响。在相机附近的物体被不均衡的照亮，并且由环境的照明所唤起的心情也可能被破坏。另外，闪光可能导致不想要的人为产物，比如红眼，粗糙的阴影，和镜面反射，它们中没有一个是自然场景。尽管存在这些缺点，许多业余摄影者仍然在低光照环境中使用闪光，并且因此，这些快照很少描述这些场景中的真实的环境光照。

发明概述

下面描述了本发明的一个简要的概述以提供一种对本发明某些方面的基本的了解。该概述不是本发明的一个大综述。它只是倾向于区别本发明的关键/重要基本原则或描绘本发明的范围。它的唯一目的就是将本发明的一些概念用简单的形式例如前序来表述那些将在后文中呈现的更具体的说明。

本发明在此披露并要求了，在一方面，包括用于改进数字闪光摄影技术的系统和方法。闪光摄影术一般看起来很糟糕。本发明通过提供一种技术，该技术给予最终用户所有闪光摄影术的优点而不会产生不和谐的现象以显著改善低光照成像，从而克服了现有技术中的许多缺陷和缺点。在操作中，本发明使用一图像对——一个具有闪光而另一个，周边图像，不具有闪光——以从该周边图像上移除噪声，通过使用从该闪光图像的细节来让周边图像变得清晰，矫正颜色，并消除红眼。

在其中的一个方面，本发明使用闪光图像的更好的信号特征以驱使该环境图像降噪。

在本发明的另一个方面，本发明使用这样一个事实来创建一看起来更自然的环境图像，即，公知的由闪光造成的色彩暴光比无闪光图像中的环境照明更粗糙。

在其中的另一个方面，提供一些分解和结合这种有闪光/无闪光图像对的浓度的不同的应用。这些应用包括降噪和细节转换(用来合并该具有高频率闪光细节的无闪光图像的环境条件)，白平衡(用来改变环境图像的色调)，连续闪光(用来相互调整闪光强度)，以及红眼移除(用来修复在该闪光图像中的人为产物)。

另外在本发明的另一个方面，所提供的该闪光/无闪光对的人工获得对当前的消费者数码相机来说是相对简单的。

为了完成前述和相关的结尾，本发明的某些说明性的方面在此与下面的描述和所附加的附图相关被描述。这些方面仅仅是说明性的，而且，在本发明基本原理中可以使用不同的方法并且当前发明倾向于包括所有这种方面和其等同物。当参照附图时通过对本发明的下述具体描述本发明的其他优点和新颖特点会更加明显。

附图的简要说明

图1描述了根据本发明的使用闪光/无闪光图像对的简化的数字图像的生成过程。

图2描述了用于根据当前发明的一种生成新图像的方法的流程图。

图3描述了根据当前发明的一种获取方法的的流程图。

图4描述了根据当前发明的一种降噪方法的流程图。

图5描述了根据当前发明的一种细节转换方法的流程图。

图6描述了根据当前发明的一种降噪算法，一细节转换算法，和在一无闪光图像上和一闪光图像上操作的闪光人工产物检测算法的概括。

图7a示出了一比利时花毯的闪光图像和一无闪光图像的特写。

图7b示出了一通过基本双向的滤波器以保持强大的边缘的降噪的图像，但是大部分线条会模糊。

图7c示出了一使用连接点双向滤波器的降噪图像。

图7d示出了在基本的和连接处双向滤波器图像之间的差异图像。

图7e示出了一细节层的例子。

图7f示出了一细节转换的例子。

图8a示出了一由干草制成的老欧洲灯的一闪光图像和无闪光图像。

图8b示出了该图像的用于最终结果被检验的一小部分。

图8c示出了图8b的该部分的闪光版本。

图8d示出了图8b的的该部分的无闪光版本。

图8e示出了有降噪的该细节转换，其中保留了热现象，也保留了清晰的细节。

图9a示出了一无闪光图像。

图9b示出了图9a中的有降噪的该细节转换。

图9c示出了一葡萄酒凹槽场景的被捕获用于与图9b中的降噪结果相比较的长暴光图像(在ISO100中3.2秒)。

图10描绘了根据当前发明的用于闪光阴影和反射检测的一种方法的流程图。

图11a说明了闪光和无闪光图像。

图11b示出了用于该图11a的无闪光图像的该细节转换。

图11c示出了没有闪光图像的该掩模部分的该细节转换，其中阴影用箭头描出。

图11d示出了该阴影和反射掩模。

图11e示出了使用图11c的该相同图像的掩模的细节转换。

图11f示出了在图11a的无闪光图像中指示的该小部分的闪光图像。

图11g示出了图11f的相同小部分的无闪光版本。

图11h示出了有降噪的图11f和图11g的图像的细节转换。

图12描绘了用于根据当前发明的白平衡的一种方法的流程图。

图13a示出了一经过降噪和细节转换之后的原始的无闪光图像，而且还示出了一色光。

图13b示出了该估计的环境照明色彩和估计的全部环境场景。

图13c示出了该白平衡算法转换色彩和移除一确定色彩。

图14描绘了一根据当前发明用于连续闪光调节的一种方法的流程图。

图15a示出了一在设定为-0.5的底端超出范围的极端。

图15b示出了一在0.0的无闪光图像。

图15c示出了一具有0.33框架的推断出来的图像。

图15d示出了一具有0.66框架的推断出来的图像。

图15e示出了在1.0框架的该闪光图像。

图15f示出了具有一在高端为1.5的超出范围的极端的推断出来的图像。

图16描述了一根据当前发明的红眼移除方法。

图17描绘了一包括当前发明的图像处理结构的小型系数便携设备的方块图。

图18描绘了一计算机可操作以执行该公开的结构的方块图。

图19描绘了一典型的根据当前发明的计算环境的方块示意图。

本发明的详细描述

本发明现在参照附图进行描述，其中贯穿全文的类似的相关编号用来代表类似的部件。在下面的描述中，出于解释的目的，阐述了许多特定的细节以提供一对当前发明的透彻的理解。可是很显然地，当前发明可以在不具有这些特定细节的情况下实施。在另一些例子中，公知的结构和设备在方块图的方格中给出以帮助描述当前发明。

如在本申请中使用的一样，该术语“组件”和“系统”都是用于表示计算机相关的实体，或者是硬件，硬件和软件的结合，软件，或者是执行中的软件。例如，一个组件可以是，但不仅限于是，处理器中运行的程序，一处理器，一对象，一个执行，一执行线程，一程序，和/或一计算机。通过说明，不管运行在一服务器上的应用程序还是该服务器都可以是一组件。一或多个组件可以驻留在一个处理程序和/或执行线程之中，并且一个组件可以位于一计算机和/或分布于两个或以上的计算机中。

当前发明通过提供一种通过给最终用户所有闪光摄影术的优点而不制造不和谐样子来明显地提高了低光照成像的技术克服了优先权文本中的许多缺点和不足。在操作中，当前发明使用一图像对——一个具有闪光，而另一个没有闪光(“环境”图像)——以从该环境图像中移除噪声，使用从该闪光图像的细节来锐化该环境图像，用于色彩校正，并且消除红眼。在一个实施例中，该当前发明使用一闪光图像的更好的信噪比特征来驱使一环境(或者无闪光)图像进行降噪。在第二实施例中，当前发明通过利用这样一个公知的事实，即由闪光造成的色彩暴光比无闪光图像中的环境照明更粗糙，以创建一看起来更自然的环境图像。

现在参照图1，其中描绘了一系统100，它通过使用根据本发明的闪光/无闪光图像简化了数字图像的生成。该系统100包括一接收许多由对象106生成的数字图像104(标为INPUT IMAGE₁，INPUT IMAGE₂...，INPUT IMAGE_N)的输入组件102。数字图像104中的至少两个具有不同的照明分量。一图像生成组件108合并该输入图像104的子集以生成对象106的一新的图像110。该图像生成组件108将一输入图像的高频分量与另一输入图像的低频分量在生成该新的图像110时合并，因此通过由一图像添加细节来改善另一个图像。

该新的图像110的生成使用了输入图像104中的至少两个，其中一个图像有闪光照射，而第二个没有闪光照射。这种图像可以通过，例如，一使用系统100的数码摄影机或视频摄影机(也称作可携式摄影机)得到。

系统100也可以使用一通过分析至少输入图像104中的两个来识别图像人工产物的比较组件112。这种人工产物可以包括红眼着色，阴影，和噪声。一费用组件114应用一费用函数至该频率组件以减轻频率分量的结合不一致。该费用组件114是一首先分离该闪光/无闪光图像至它们分别的低和高通过率分量的算法的一部分。最后，该图像被使用该表示为一混和掩模的费用函数来结合。

现在参照图2，其中说明了一根据当前发明用于新图像生成的一种方法的流程图。然而，出于简单解释的目的，在这里示出的一或多种方法，例如，在流程图的方框中，被示出了并且被描述为一系列步骤，要理解并意识到的是当前发明并不仅限于这些动作的顺序，如一些动作可以，根据当前发明，以一不同的顺序和/或与在这里的说明和描述中出现的其他动作同时发生。例如，那些本领域的技术人员就可以理解并意识到那种方法可以替代地表示成例如一状态图中的一系列内部相关的状态和事件。然而，并不需要所有所描述的动作来执行根据当前发明的方法。

现在，数字摄影术使其更为快捷，容易，并且经济来拍摄低光照环境的图像对：一个有闪光(“闪光”)以捕获细节而另一个没有闪光(“无闪光”)以捕获环境照明。在200中，对象或场景被捕捉为闪光的/无闪光的图像。在202中，执行环境图像的降噪。相对无噪声的闪光图像被用来减少在该无闪光图像中的噪声。通过保留该环境图像的自然光照射，创造出了看起来更接近真实场景的新(或输出)图像。在204中，对环境闪光的细节被转换。高频细节被从该闪光图像转换到该降噪后的环境图像，由于该细节可以不存在于该原始环境图像上。在206中，进行白平衡。当保存该环境图像的“感觉”时该用户可以要求模拟一更白的照明。该已知的闪光色彩被使用来对该环境图像进行白平衡，而不是依赖于传统的单图像试探法。在208中，连续的闪光强度调整可以是选择性提供的。连续的插值控制是在图像对之间提供的以至于用户可以相互调整该闪光强度。该用户甚至可以在原始周边和闪光图像之外进行推断。在210，红眼校正被进行。红眼检测是通过考虑瞳孔的颜色如何在环境图像和闪光图像之间改变而进行的。该处理然后到达一个停止块。因此，当前发明充分使用该闪光/无闪光对的信息来改善传统的技术。

当前发明的一个优点就是该闪光/无闪光对的人工获得是与当前消费产品数字摄影机直接相关的。作为后备，捕获这种对的能力可以移动到相机的固件之中，从而使获得程序更容易和快捷。

摄影机噪声的背景

在几个公开的算法之后的直觉就是当来自一闪光的照明可以改变该场景的表现，它也提升了闪光图像中的信噪比(SNR)并且对高频细节的提供了更好的估算。该数字传感器产生用于该闪光和环境图像的相似的功率记录。根据一传统的CCD(充电耦合设备)摄影机的能力，一更明亮的图像信号包括更多的噪声而不是暗色信号。然而，在信号功率中的绝对增益相对于在噪声中的增长不平衡的大。因此，该更明亮的图像的SNR要更好。当该闪光没有均匀地照亮该场景时，增加场景的亮度(尤其是用于在摄影机附近的物体)是很重要的并且因此，该闪光图像比环境图像具有一更好的SNR。参照该数字传感器，在高ISO(国际标准组织电影感光标准)环境图像中，该噪声以比在低ISO闪光图像中较低的频率支配该信号。

闪光图像的SNR改善在更高的频率上尤其明显。适当曝光的图像对在通过该图像系统(它可以包括光圈，快门/闪光持续时间，以及摄影机放大倍数)之后有相似的亮度。因此，该功率记录范围也同样是很粗略的。然而，在该高ISO环境图像中的噪声比在低ISO闪光图像中的要大因为该放大倍数放大了噪声。由于大部分自然图像的功率光谱在高频时下降，但是摄影机的噪声的却保持统一(也就是，假设白噪声)，相对于闪光图像，在环境图像中噪声以更低的频率支配信号。

获取

现在参照图3，其中描述了一个根据当前发明获取的一种方法的流程图。该公开的算法被设计用于与使用消费级数字摄相机获得的图像一起工作。该获取程序的一个目的是确保该闪光/无闪光图像对能正好捕获在场景中相同的点。焦点长度和光圈是在两个图像之间被固定的以至于该摄影机的焦点和景深保持不变。获取程序的一个执行过程如下所述。在300中，将焦点设定在该物体上。在302中，锁定焦点长度和光圈。在304中，t和ISO被设定为一适合的暴光时间。在306中，该环境图像A被捕获。在308中，该闪光被打开。在310中，该暴光时间t和ISO被调整到仍然能使图像良好暴光的最小的设定。在312中，该闪光图像F然后被拍摄。然后程序到达一停止块。

在用于处理摄影操作的一个执行过程中，对于一30毫米的镜头来说用于一单个图像的暴光时间被设定为一秒的1/30^th以防止运动模糊。在另一个执行过程中，两个图像的暴光时间都被设定到一秒的1/60^th或更少，以至于在理想的环境下，两个图像都可以被一个接一个地在一秒的1/30^th的限制中摄下来处理摄影操作。现阶段，即使在闪光和无闪光模式之间迅速地切换对于消费级摄影机来说也是不可能的。令人欣慰的是这种可能将会最后被包括在摄影固件中，并且预期能作为当前发明的一部分。

所有的图像都可以在RAW数字格式中获得。图像然后可以被转换成无损失的16位的TIFF图像或有损失的JPEG图像。由于疏忽，一些传统的摄影机包括传统的可进行白平衡、伽马校正和其他非线性色调映射操作以产生感觉上明快的具有良好总反差的图像的转换软件。一或多个所公开的算法应用于这些非线性图像上以保留它们在最终输出图像上的高品质色调映射特征。

让人欣慰的是图像定位可以通过使用传统的机械方式例如三角起落架一来完成。由于改变摄影机的设定(例如，打开闪光，以及改变ISO)经常会导致摄影机的移动，定位对于手提式摄像机的摄像来说是很重要的。不用三角架拍摄的照片也可以从已公开的发明中获益。对手提式摄影机的图像定位可以在算法上进行。这种算法可以在下面的参考文献中找到：美国专利申请号为6018349标题为“用于图像马赛克的构建的基于修补的排列方法和设备”的，由R.Szeliski和H.Shum在2000年1月25日申请的申请。

一些公开算法分析该图像的差异F-A以推断该闪光的对于该场景光照的分布。为了使该计算有意义，这些图像必须是在相同的线性空间里。因此，该转换软件可以被设定来从该RAW数据中生成线性TIFF图像。而且，对于在两个图像之间的暴光差异的补偿由于ISO设定和暴光时间t而可以被进行。在A’^Lin和F^Lin由于转化器的使用被定义为该线性图像输出的地方，它们可以通过计算被输入到相同的空间中：

$A^{\mathrm{Lin}}=A^{\′\mathrm{Lin}}\frac{{\mathrm{ISO}}_F{\mathrm{\Δt}}_F}{{\mathrm{ISO}}_A{\mathrm{\Δt}}_A}.$

应该注意的是除非上标Lin被包括，否则F和A认为是这些图像的非线性版本。

降噪和细节转换

降噪和细节转换算法被用于使用来自该闪光图像的信息来改进环境图像。两种算法都假定该闪光图像是在该环境图像中包括的好的高频本地估计量。然而，这种假设不会在阴影和由该闪光导致的反射区中保持，并且可能导致人为产物。人工处理在下面将更为详细的进行描述。

减少在图形图像中的噪声在图像处理和计算机视觉中是一长期存在的问题。传统的解决方法包括应用一保留边缘平滑滤波器给该图像例如各向异性的漫射或两向过滤。两向过滤是快速的，不反复的技术，并且已经被应用到一除图形降噪外别的一些问题中，包括色调映射，从结构上分离照明，以及啮合平滑。

所公开的环境图像降噪技术还构建在包括在双向滤波的基础上上。

现在参照图4，其中说明了一根据当前发明的用于降噪处理的一种方法流程图。在400中，该双向过滤器被用来通过计算无闪光图像A的每个像素p的值来将具有相似亮度值的附近空间的像素平均化。当在像素之间的亮度差异很大的时候它将一经典的低通滤波器和一削弱该滤波器内核重量的边缘停止函数结合在一起。如优先权文献中所记载的，该双向滤波器计算像素p的值以用于环境图像A作为：

$A_p^{\mathrm{Base}}=\frac{1}{k\left(p\right)}\underset{p^{,}\∈\mathrm{\Ω}}{\mathrm{\Σ}}{g}_d(p^{,}-p)g_r(A_p-A_{p^{,}})A_{p^{,}},$

其中k(p)是一标准化术语：

$k\left(p\right)=\underset{p^{\′}\∈\mathrm{\Ω}}{\mathrm{\Σ}}{g}_d(p^{\′}-p)g_r(A_p-A_{p^{\′}}).$

函数g_d在基于在像素间的距离的空间区域来设定权，而该边缘停止函数g_r在该范围内基于亮度差异设定权。典型地，两个函数都是与由该标准偏差参数σ_d和σ_r分别控制的宽度的高斯型的。

在402中，该双向滤波器被应用到用于所有三通道的每个单独的具有相同标准偏差参数的RGB色彩通道。该挑战要设定σ_d和σ_r以使该噪声被平均化而细节能被保留。在实际中，对于六百万像素的图像，σ_d被设定来覆盖一在24和48像素之间像素邻域，并且然后用试验方法调整σ_r以至于让它正好在阈值之上以保证平滑无噪声。对于具有并被标准化为[0.0，1.0]的像素值的图像，σ_r被设定为在0.05和0.1之间，或者整个范围的百分之5到10。然而，如在图7b中所示，即使在仔细地调整过参数之后，该基本的双向滤波器在图像的某些区域或者过模糊(损失细节)或者欠模糊(降噪失败)。

应该观察的是该闪光图像包含比该环境图像一对真实高频信息的更好的估计。基于这种观察，该基本的双向滤波器被修改以计算该使用该闪光图像F而不是A的边缘停止函数g_r，这种技术被称为连接双向滤波。在404，该连接双向滤波被用来平均具有通过计算用于该闪光图像F的每个像素p值得到的相似强度值的空间上贴近的像素，如下所述：

$A_p^{\mathrm{NR}}=\frac{1}{k\left(p\right)}\underset{p^{\′}\∈\mathrm{\Ω}}{\mathrm{\Σ}}{g}_d(p^{,}-p)g_r(F_p-F_{p^{,}})A_{p^{,}},$

其中k(p)被相似地修改。这里的A^NR是A的噪声减少的版本。σ_d被设定为之前用于该基本双向滤波器。在假设F有少量噪声的情况下，σ_r可以被设定成很小并且仍然确定该边缘停止函数g_r(F_p-F_p’)，将选择适当的权用于附近的像素，并且因此，该环境图像不会过模糊或欠模糊。在实际中，σ_r可以被设定为整个色彩值的范围的0.1％。不像基本的双向滤波，σ_r对于所有图像都是固定的。

该连接双向过滤依赖于该闪光图像作为该环境图像的评估量。因此，在闪光的阴影中和反射中可能会导致失败因为它们仅出现在该闪光图像中。在这种区域的边缘上，该连接双向过滤法可以使该环境图像欠模糊因为它会使其中该过滤器跨在这些边缘上的像素丢失质量。相似地，在这些区域里面，也可能使该环境图像过模糊。在406中，这个问题可以通过第一检测闪光阴影和反射区域来解决，并且然后回落至在这些区域中的基本双向过滤，如在408中所述。该方法然后到达停止块。

给定该由我们的检测算法产生的掩模M，我们改善的降噪算法就是：

A^NR＝(1-M)A^NR+MA^BASE。

对该连接双向过滤的降噪结果如图7c所示。在图7d中具有该基本双向过滤的差异图像，揭示该连接双向过滤法在减少噪声时更能保持细节。由于双向和连接双向过滤法是非线性的，一直截了当的执行需要在空间区域上进行盘绕。这个对于巨大的σ_d来说可以是很慢的。对于加速降噪算法来说一个传统的执行使用傅立叶技术(Fourier techniques)。该技术也可应用在该连接双向过滤法中并且可以明显地加速该所披露的降噪算法。

现在参照图5，其中说明了根据当前发明的一用于细节转换的一种方法的流程图。当该连接双向过滤法可以减少噪声时，它可以添加可以出现在该闪光图像中的细节。而且，如上所述，该闪光图像的更高的SNR允许它保留被在环境图像中的噪声掩盖的细微差别。而且，该闪光典型地提供强大的可以被展现额外的在更多均衡的环境图像光照中不可视的平面细节的有向光照。该闪光也可以照亮在该环境图像中是在阴影下的区域中的细节。为了转换这些细节，在500中，一细节层从该闪光图像中如下面的比率被进行计算：

$F^{\mathrm{Detail}}=\frac{F+\mathrm{\ϵ}}{F^{\mathrm{Base}}+\mathrm{\ϵ}},$

其中F^Base是在F上使用该基本双向过滤法来计算的。该比率在每个RGB频道分别被计算并且独立于该信号的数量和表面的反射系数，如在502中所述。该比率捕获在F中的本地的细节变化并且通常在计算机视觉中被称为一商图像或比率图像。使用该双向过滤法的一个优点是用来计算F^Base而不是一经典的低通高斯滤波器以用于光环的减少。一高斯低通滤波器会模糊所有的边缘并且会因此在导致光环的该细节上创建强大的波峰和波谷。该双向滤波器不会平滑很浓的边缘并且因此减少光环，而仍然捕获细节。

在低信号值处，该闪光图像包含可以生成假细节的噪声。在504中，该算法通过添加值ε至该比率的分子和分母来补偿该低信号值以拒绝这些低信号值，并且因此减少这种人工产物(以及还有避免被0除)。实际操作中ε＝0.02被用于所有结果。为了转化该细节，该已减少噪声的环境图像A^NR与该比率F^Detail相乘。图7e和图7f示出了细节层和细节转换的例子。

就在连接双向滤波法中，该转换算法可以产生一在阴影和反射区域中导致该闪光的不好的细节估计。因此，在506中，该检测算法被应用于估计一鉴别这些区域和计算该最终图像的掩模M：

A^Final＝(1-M)A^NRF^Detail+MA^Base

使用这种细节转换方法，转换的细节的数量可以通过选择适当的对用于创建F^Base该双向滤波器参数σ_d和σ_r的设定来控制。随着该滤波器的宽度增长，F^Base的更加平滑的版本被生成并且，结果，捕获更多的在中F^Detail的细节。然而，伴随着过度的平滑，该双向滤波器本质上减少到一高斯滤波器并且导致在最终图像中的光环人工产物。

依赖于该场景，噪声的极端级别需要使用相关的泛高斯型用于在该连接双向滤波器中的该区域和核心范围。因此，当从该闪光图像转换回该真实的细节时，一相关的泛高斯型放大器被使用在计算该细节层中。结果，对于在图9b所示的瓶子的边缘看见更小的光环是可能的。不过，所公开的结构能够在保留细节的同时除噪声。

在大部分的例子中，该细节转换算法改善了该环境图像的表现。然而，很重要的是注意到当转换成该环境图像时该闪光图像可能包含看起来不自然的细节。例如，如果光从该闪光中以一浅角照射到一表面，该闪光图像可以拍摄到表面的纹理(例如，谷粒状木质，灰泥)作为细节细节。如果该纹理在原始的环境图像中不是可视的，它看起来会很古怪。相似地如果该闪光图像洗掉了细节，该环境图像可能会过于模糊。所公开的算法允许用户去控制多少细节被转换成该整个图像。在另一个执行过程中，被转换的本地细节的数量被自动调整。

现在参照图6，其中说明了根据当前发明的一降噪算法600、一细节转换算法602、和一操作于一无闪光图像606和一闪光图像608上的闪光人工产物检测算法604的概括。该环境(或无闪光)图像606通过使用第一双向滤波器610和一连接双向滤波器612被处理，它们的分别输出为A^BASE和A^NR。另一个输入到连接双向滤波器612的是该闪光图像608。该连接双向滤波器612接收这些输入并输出该A^NR值到一产品处理程序614。

该细节转换算法602使用该闪光图像608作为一到一第二双向滤波器616的输入，它的输出是F^BASE。一除处理618接收F^BASE的值和该闪光图像608作为输入，并且输出该A^DETAIL值至该结果程序614。

该人工产物检测算法604包括一从该闪光图像608中接收输入F^LIN和A^LIN的阴影和反射检测算法620，因为闪光图像608面临着该无闪光图像606。该阴影和反射检测算法的一个输出是该掩模M。

掩模M，A^BASE和，A^NR和A^DETAIL的结果之和形成最终图像A^FINAL。

现在参照图7a-f，其中说明了根据当前发明的从闪光/无闪光图像生成的特效照片。图7a是比利时挂毯的一闪光图像700和一无闪光图像702的特写。该无闪光图像702在黑暗区域噪声更多并且并不能和该闪光图像700一样展现线条。图7b示出了一通过基本双向滤波法的已降噪的图像以保留宽厚的边缘，但是大部分的线条都模糊了。图7c示出了一使用连接双向滤波法的已降噪的图像。连接双向滤波法不仅能平滑噪声而且比基本的双向滤波法能保持更多的线条细节。图7d示出了在基本和连接双向滤波后的图像之间的差异图像。图7e示出了该已生成的细节层。该环境图像通过从该闪光图像中转换细节进一步得到改善。该细节层首先从该闪光图像中被计算，然后与通过该连接双向滤波的已降噪的图像相结合以产生该已转换细节的图像，如图7f中所示。图7d的基本双向滤波的差异图像显示了该连接双向滤波法在减少噪声时更能保留细节。

现在参照图8a-e，其中说明了根据当前发明另一个例子的特效照片，即使用细节转换和降噪以维持原始暖表现。在图8a中，提供了一由干草制成的老欧洲灯的一闪光图像和一无闪光图像。该闪光图像捕获了细节，但是比较灰并且单调，该无闪光图像捕获了该灯的温暖照明，但是噪声多并且缺少该干草的细微细节。图8b说明了该图像的用于最终结果而被检测的一小部分。图8c示出了该部分的闪光的版本。图8d示出了该部分的无闪光的版本。图8e示出了具有降噪处理的该细节转换，它保留了暖表现，也保留了清晰的细节。

现在参照图9a-c，其中说明了参照图8的该细节转换和降噪结果的一长暴光时间的拍摄。图9a示出了一无闪图像。图9b示出了带有降噪的细节转换。图9c示出了一酒槽场景的长暴光图像(根据ISO100为3.2秒)，该场景被捕获用于比较具有图9b的降噪结果的细节转换。可视的比较示出了即使该细节转换结果没有达到相关图像的保真度，它也比原始的无闪光图像更能充分的减少噪声。

检测闪光阴影和反射

来自该闪光的光可以把该阴影和反射引导到该闪光图像中。在有闪光阴影的情况下，该图像可能与该环境图像一样暗淡并因此遭遇噪声。相似地，在有反射反射的情况下，该闪光图像可以被饱和并且丢失细节。不过，这些区域的边缘可以形成不会存在于该环境图像的高频边缘。为了避免使用来自这些区域的该闪光图像的信息，该闪光阴影和反射被首先检测。

现在参照图10，其中说明了根据当前发明的用于闪光阴影和反射检测的一种方法的流程图。由于在一闪光阴影中的一个点没有被该闪光所照亮，它会正好显示与其在环境图像中所显示的一样。理想地，A和F可以如前述被线性化，并且然后所检测到的其中差异图像F^Lin-A^Lin的像素是0。实际上，这个方法被这4个问题所困扰：1)不反射任何光线的表面(也就是说，反照率为0)被检测为阴影；2)该闪光未能到达的远表面被检测为阴影；3)噪声导致在阴影中的非零的值；以及4)来自该闪光的内反射导致在阴影中的非零值。

在1000中，零反照率表面和阴影被访问。前面两个问题不会导致问题因为在该环境图像和闪光图像中的结果都是相同的，并且因此，不管那个图像被选择都会得到相同的结果。在1002中，当通过寻找像素来计算该掩模的阴影时噪声和内反射通过添加一阈值来被访问，在这些像素中线性化的闪光和环境图像之间的差异很小，根据下列条件：

所公开的算法的其中一个使用户相互关联地调整该阈值τ_Shad并且可视地确定所有的闪光阴影区域都被适当的捕获，如1004所述。

噪声可以给该掩模阴影污染上小的斑点，孔和粗糙的边缘。该掩模阴影通过使用图像形态学操作来整理以腐蚀这些斑点并灌注这些孔，如在1006中说明的一样。在1008中，为了产生一对全部覆盖在该阴影区域上的保守的估计，该掩模随后被扩大。

在1010中，由该闪光导致的反射区域通过使用一简单的物理上的激发探试而被检测。反射区域可以在Lin F中应该是明亮的并且应该因此使该图像传感器饱和。因此，在该闪光图像中的比传感器输出值大95％的亮度值是可见的。在1012中，去污，灌注，和扩大该反射掩模被进行作为之前用于该掩模阴影的。在1014中，该最终掩模M是通过把该阴影和反射掩模结合起来而形成的。在1016中，该掩模是被模糊的以装饰其边缘并且当该掩模被用来从不同图像的区域结合时用来阻止可视的裂痕。

现在参照图11，其中说明了根据当前发明的用于人工产物处理的图像镜头。图11a说明了闪光和无闪光图像。图11b示出了用于图11a的该无闪光图像的该细节转换图像。图11c示出了没有该闪光图像的掩模部分的该细节转换，其中阴影用箭头标出。图11d示出了该阴影和反射掩模。图11e示出了使用图11c的相同图像的该掩模的细节转换。图11f示出了在图11a的该无闪光图像中说明的该小部分的一闪光图像。图11g示出了图11f的该相同小部分的无闪光版本。图11h示出了图11f和图11g的图像的有降噪处理的细节转换。

该闪光图像不包含在阴影和反射区域的真实的细节信息。当不成熟的应用降噪处理和细节转换算法时，这些区域生成人工产物，如白色箭头所指。为了防止这些人工产物，基本的双向滤波法被使用在这些区域中。在图11a的该无闪光图像左边的灰褐色的罐子噪声极大。在图11a右边的绿色罐子也有噪声，但是如图11a所示在该闪光图像中，展示了真实的纹理细节。在保持这些纹理的同时该细节转换技术平滑了噪声，如图11e所示。注意该闪光阴影/反射检测算法适当地遮蔽住了在图11d上极大反射的高亮显示的褐色罐子并且不会转换该细节成图11e的最终图像。

白平衡

即使经常需要保留原始环境图像照明，有时也需要看看该场景会怎么在一更“白”的照明下显示，在一个处理中被称为白平衡。

当仅有一单个的环境图像被获取时，该环境照明必须基于试探或用户输入来进行估计。数字摄影机通常提供数个用于不同环境例如湖外晴天和荧光闪电的白平衡模式。更经常的是，图片被在一“自动“模式下摄取，其中该摄影机分析该图像并且计算一图像范围的平均值以推断其环境色彩。也就是，当然，仅一次试探，和一些研究者考虑到语义分析以决定色调。

一闪光/无闪光图像对对白平衡有一个更好的方法。所公开的结构比通过阐明白平衡作为一持续优化不受照明的传统离散设置的问题的传统处理需要更少的设置。

现在参照图12，其中说明了根据当前发明的用于白平衡的一种方法的一流程图。在1200中，该无闪光图像被生成。在1202中，该摄影机的白平衡模式被设定为闪光。闪光可以认为使为场景增加了一个已知色彩的点光源。通过设定该摄影机的白平衡模式为“闪光“(并且假设是一已校准的摄影机)，该闪光颜色应该显示与所获取的图像一样的白。在1204，该闪光图像被生成。

在1206中，该差异图像被计算。该差异图像Δ＝F^Lin-A^Lin仅相应于对于该闪光的照明，它对于在每个像素p的表面反照率来说是适当的。应该注意该估计的反照率Δ的范围是未知的，因为不管表面的距离和方向都是未知的。假设要么该表面是漫射的要么它的反射颜色与其漫射颜色匹配的。作为一个反面例子，对于塑料来说这是不正确的。相似地，半透明的表面将对反照率有一个不正确的估计。

在1208中，对于每个色彩通道的该环境照明被估计。由于在像素p的表面具有色彩A_p在该环境图像和有刻度的反照率Δ_p，在该表面的环境照明可以用下列的比率来估计：

$C_p=\frac{{\mathrm{\Δ}}_p}{A_p}.$

它被依照每个色彩通道进行计算。再说，这个估计的色彩C_p具有一未知的范围，因此在每个像素p中被标准化。一个目的是分析C_p在所有图像像素以推断该环境照明色彩c。为了使该推论更为有力，用于具有低可信度的估计的像素被抛弃。由于仅单色需要从百分像素中导出，因此这可以完成。特别地，对于|A_p|＜τ₁或在任何通道中Δ_p＜τ₂的照明的像素被忽视，因为这些小的值使该比率更不可信。不管τ₁还是τ₂都被设定为该色彩值的大约2％。

最后，在1210中，对于该场景的环境色彩估计值c被作为对于该没有被抛弃的像素的C_p的平均数来计算。一个选择是选择c作为C的首要分量，已获得作为具有最大特征值的C^TC的特征向量，并且这个会给出一个相似的答案。因为具有所推断的场景环境图像色彩c，该图像是已经被白平衡过的，在1212中，通过比例化该颜色通道为：

$A_p^{\mathrm{WB}}=\frac{1}{c}{A}_p.$

再一次，该计算被依据每个色彩通道进行。

现在参照图13a-c，其中说明了根据当前发明的与白平衡一环境图像相关的图像镜头。图13a示出了一在经过降噪处理和细节转换之后的原始无闪光图像，但是它仍然示出了一个色调。图13b示出了所估计的环境照明颜色和所估计的所有场景环境。图13c示出了该白平衡算法转换这些颜色并移除一确定的色彩(例如，橙色)。

该白平衡明显地改变所有图像的色调，设定木桌的颜色为一暗淡的微黄色，因为它会在白光中显示。在推断该环境颜色c中，某人也可以剪除界外值并在图像C中寻找空间关系。另外，该场景也可以有具有不同环境颜色的若干区域，并且这些可以被分割并单独处理。白平衡是一具有挑战性的问题因为对“白”的理解部分依赖于观察者的接受状态。不过，核心重要的是白平衡何时才需要。然而，所公开的从闪光中使用已知信息的估计方法可以比基于单独图像试探的技术更精准。

持续闪光调整

当摄取一闪光图像时，该闪光的强度有时可能太亮，使附近的物体过于饱和，或者也可能太暗淡，使中距离物体没有充分暴露。利用一闪光和无闪光对，当前发明允许该用户在图像被摄取后调整该闪光的强度。

现在参照图14，其中说明了根据当前发明的用于持续闪光调整的一种方法的一个流程图。在1400中，该闪光和无闪光图像被生成。在1402中，该闪光和无闪光图像被插入。插入该环境和闪光图像的一个方式是转换该原始闪光/无闪光图像对为YCbCr空间，并且然后线性地使用下列方法插入：

F^Adjusted＝(1-α)A+(α)F

为了提供更多用户控制，通过使该参数α在正常值[0，1]范围外的外插法也被允许。然而，仅仅Y通道被外插，并且Cb和Cr通道内插受它们在两个原始图像中的极值的限制以阻止色调的过度扭曲。一个例子如图15所示。

图15a-f说明了通过在闪光和无闪光图像之间的外插进行的持续闪光调整的一个例子。图15a示出了一在该具有一在-0.5的设定的最低点的超出范围的极值。图15b示出了在0.0的该无闪光图像。图15c示出了一具有0.33设定的外插的图像。图15d示出了具有0.66设定的一外插的图像。图15e示出了在1.0设定的该闪光图像。图15f示出了具有一超出范围极值的在最高点1.5的外插的图像。

红眼校正

红眼在闪光摄影术中是一个普遍的问题并且是由于光线通过一血管化的视网膜反射导致的。全自动的红眼移除技术传统地假设一单个的图像作为输入并且依赖于试探的变化和机器学习技术以使红眼局部化。一旦该瞳孔的掩蔽被检测到，这些技术使在该掩蔽中的像素变黑以使该图像显示得更自然。

现在参照图16，其中说明了根据当前发明的一种红眼消除方法。当前发明的红眼消除算法考虑到了在该环境图像(其中通常很黑)和该闪光图像(其中可能是红色的)之间的瞳孔中颜色的变化。在1600中，该图像对被转换成YCbCr空间以解相关来自色度的照明。在1602中，计算一相关的红色测量，如下：

R＝F_Cr-A_cr

在1604中，该图像被初始分割成一些区域其中：

R＞τ_Eye

参数τ_Eye典型地被设定为0.05以至于所得到的分割定义其中该闪光图像比环境图像更红的区域，并且因此，可以形成潜在的红眼。所分割的区域也倾向于包括少数在该闪光图像中的Cr通道中高度饱和的位置但是在该环境图像的Y通道中相对黑暗。因此，如果μ_R和σ_R表示红色R的该平均值和标准偏差，种子像素被搜寻，如在1606中所指，其中：

R＞max[0.6，μ_R+3σ_R]并且A_r＜τ_Dark，并且其中τ_Dark被典型地设为0.6。

在1608中，如果没有这种种子像素存在，就可以假设该图像不包括红眼，并且流程转向停止方块。否则，流程就到1610，其中该种子像素被用来寻找在该分割中的该相应的区域。在1612中，几何上的对侧被应用来确保这些区域粗略上来说是相同的大小并且椭圆形的。具体地，每个区域的面积被计算并且巨大的界外值被抛弃。在1614中，该区域的离心率被检查以确定它大于0.75，这些区域形成一红眼瞳孔掩蔽。该红眼区域被首先通过移除在使用之前描述的闪光反射检测算法的高亮的或“闪烁的”瞳孔掩蔽来移除，如在1616中所指。在1618中，在该掩蔽中的每个像素的颜色被设定为等于其照明值的80％的灰度值。这个方法适当地在保持高亮反射的同时使瞳孔变黑了，这对于在校正的输出中保持真实性是很重要的。这个处理随后到达停止块。

在另一个执行过程中，可以使用一红外的闪光。当红外的照明产生不完全的色彩信息时，它会提供高频的细节，并且会因此比可视闪光减少干扰。

现在参照图17，其中说明了包括根据当前发明的图像处理结构的一小型系数便携设备1700的一方块图。该设备1700包括一用于控制所有机载的操作和处理的处理器1702。一与该处理器1702连接用于临时数据存储的存储器1704和一或多个用于根据当前发明由该处理器1702执行的图像处理的设备应用程序1706。

一与该处理器1702连接的通信组件1708以用于与适合的外部系统的有线/无线通信。这个可以包括基于用于手机电话信号的传统大气通信协议的IEEE802.11通信和电话通信信号。

设备1700可以包括一根据当前发明用于显示至少所捕获的图像内容的显示器1710。该显示器1710也可以用于显示的设定和用于在使用该设备特征的文本和/或图形窗体中操作该设备1700的配置信息。一串行I/O接口1712被提供在与处理器1702的通信中以通过一硬件连接使用串行通信(例如，USB，和/或IEEE1394)。这个支持更新和修理故障，并且从/到该设备1700更新/下载图像数据，例如。音频能力与一音频I/O组件1714一起被提供，它可以包括一用于相关音频信号输出的扬声器，例如，所记录的数据或电话音频数据，和一用于记录和/或电话转答的输入语音信号的麦克风。

设备1700包括硬件1716以提供一非易失的存储和对处理器1702的启动和操作指令的访问。

设备1700也可以包括一包括图像捕获子系统例如一CCD(充电耦合设备)或CMOS(互补金属氧化物半导体)图像仪的一图像捕获子系统1718，例如。该图像捕获子系统1718包括合适的存储器和缓冲能力以支持迅速连续的一个物体和/或场景的用于闪光和无闪光成像的成像并且根据当前发明进行处理。在一个执行过程中，子系统1718可以包括该能力以通过对物体和场景的交叉扫描提供闪光和无闪光图像。也就是，该闪光图像被老像素线捕获而该无闪光图像根据该图像仪的十一条像素线所捕获。在另一个执行过程中，该成像子系统包括一对捕获子系统以至于该闪光图像被通过一第一子系统捕获而该无闪光图像被一第二子系统捕获。无论如何，该闪光/无闪光图像迅速连续的相继被捕获。在另外一个执行过程中，为拍摄环境图像和闪光图像的成像子系统提供一单独的缓冲用于以快速连续的方式获取连续图像，或者反之亦然，在其中利用合适的时间以提供所需要的闪光/无闪光图像。

该显示器1710可以是一基于像素的显示器(例如一LCD)以至于该成像子系统1718支持一用于处理根据当前发明的若干图像的双像素缓冲的CCD/CMOS设计。

假设设备1700包括通信组件1708，然后一个用户可以摄取数字图片，并且传送这些图片至一远程位置或本地存储这些图片。设备1700也可以包括一在电池窗体中的电源1720，该电源1720也可以与一外部电源系统或充电装置通过一电源I/O组件1722连接。

设备软件1706也可以包括一个或多个程序例如一用于配置和操纵本地数据和设定的操作系统，一用于与网站关联的浏览器，音乐播放器，视频播放软件，和任何其他适于在设备1000上操作的软件。

设备1700可以是一数字摄影机，一具有图像捕获能力的MP3播放器，一具有内置数字摄影机的蜂窝电话，一PDA(个人数字助理)，或者根据当前发明的任何这种适于设计成容纳多种图像处理的便携设备。

现在参照图18，其中说明了一计算机可操作的用来执行所公开的结构的方块图。为了提供用于当前发明的不同方面的额外的设备环境，图18和下述讨论倾向于提供一合适的计算环境1800的间接、通俗的描述，并在该环境中可以执行当前发明的不同方面。而本发明如上所述那些运行在一或多个计算机上的在普通的设备环境中的计算机可执行的指令，那些本领域的技术人员会认识到本发明也可以结合其他程序模块和/或结合其他硬件和软件来执行。

一般地，程序模块包括那些进行具体任务或执行具体抽象数据类型的例行程序，程序，组件，数据结构，等等。不过，那些本领域的技术人员将容易得到有创造性的能够与其他计算机系统、包括单处理器或多处理器计算机系统、微机、大型计算机、还包括个人计算机、手持型计算设备、基于微处理器的或可编程的消费电子产品以及类似设备配合实施的方法，它们中的每一个都是与一或多个相关设备连接并可操作的。

所说明的本发明的这些方面也可以在分布式计算环境中实现，其中某些任务通过网络通信连接的远程处理设备来进行。在一个分布式计算环境中，程序模块可以位于本地也可以是在远程存储器设备中。

一计算机典型地包括许多种不同的计算机可读媒体。计算机可读媒体可以是可以被计算机访问的任何媒体并且包括易失的和非易失的媒体，可移动的和不可移动的媒体。例如，而不是限制，计算机可读媒体可以包括计算机存储媒体和通信媒体。计算机存储媒体不仅包括执行在任何用于信息存储例如计算机可读指令、数据结构、程序模块或其他数据的方法或技术中的易失的和非易失的，也包括可移动的和不可移动的媒体。计算机存储媒体包括，但并不限于，RAM，ROM，EEPROM，闪存或其他存储技术，CD-ROM，数字视频光盘(DVD)或其他光盘存储设备，磁盘，磁带，磁盘存储器或其他磁性存储设备，或任何其他能被存储所需信息和可以被计算机访问的介质。

通信媒介典型地包括在一被调制的数据信号例如一载波或其他传送机构中的计算机可读指令，数据结构，程序模块或其他数据，并且包括任何传送信息的媒介。该术语“被调制的数据信号”意思是一个具有一或多个其特征集或以这种方式变化以解码在该信号中的信息的信号。例如，但不是限制，通信媒体可以包括有线媒体例如有线网络或直接对连，以及无线媒体例如声学的，RF，红外的和其他无线的媒体。上述任何方式的结合也应该被包括在计算机可读媒体的范围之内。

再次参照图18，其中说明了一用于执行本发明不同方面的一典型环境1800其中包括一计算机1802，该计算机1802包括一处理单元1804，一系统存储器1806和一系统总线1808。该系统总线1808与包括但不限于的系统存储器1806耦合至处理单元1804。处理单元1804可以是任何不同的商业可用处理器。双微处理器或其他多处理器结构也可以作为处理单元1804使用。

系统总线1808可以是可以进一步包括与一存储器互联的总线(有或没有一存储控制器)、一外围总线、和一使用多种商业可用总线结构中的任何一种的本地总线几种类型总线结构中的任何一种。系统存储器1806包括只读存储器(ROM)1810和随机存取存储器(RAM)1812。一基本输入输出系统(BIOS)被存储在一非易失的存储器1810例如ROM、EPROM、EEPROM上，该BIOS包含帮助转换在计算机1802中的部件之间的信息的例行程序，例如在启动中。该RAM1812也可以包括一高速RAM例如用于缓存数据的静态RAM。

计算机1802进一步包括一内部硬盘驱动器(HDD)1814(例如，EIDE，SATA)，该内部硬盘驱动器1814也可以被配置用于在一合适底盘(未示出)的中外部使用，一磁盘驱动器(FDD)1816，(例如，从或到一可移动磁盘1818读或写)以及一光盘驱动器1820，(例如，从一CD-ROM磁盘1822读取或者，去读取或写入到另外高容量光学媒体例如DVD)。该硬盘驱动器1814，磁盘驱动器1816和光盘驱动器1820可以分别通过一硬盘驱动接口1824，磁盘驱动接口1826以及光学驱动接口1828系统总线1808连接，一用于外部驱动器设备的磁盘驱动器接口1824包括至少一个或两个通用串行总线(USB)和IEEE1394接口技术。

这些驱动器和它们相关的计算机可读媒体提供非易失的数据、数据结构、计算机可执行指令等等的存储。对于计算机1802来说，这些驱动器和媒体给任何合适数据格式的数据提供存储。即使上述计算机可读的媒体为HDD，一可移动磁盘，和一可移动光学媒体例如一CD或DVD，本领域的技术人员应该理解有其他类型的被计算机可读的媒体，例如压缩盘(zip)驱动器，磁盘，闪存卡，盒式磁盘等等，也可以被使用在该典型地操作环境中，并且，任何这种媒体可以包含用于进行当前发明的这些方法的计算机可执行指令。

许多程序模块可以被存储在这些驱动器和RAM1812中，包括一操作系统1830，一或多个应用程序1832，其他程序模块1834和程序数据1836。操作系统、应用程序、模块、和/或数据的所有或部分也可以缓存在RAM1812中。

应该理解的是当前发明可以被不同可用的商业操作系统或操作系统的结合所执行。

一个用户可以通过一或多个有线/无线的输入设备，例如，一键盘1838和一指示设备例如一鼠标1840来输入命令和信息至计算机1802。其他输入设备(未给出)可以包括一麦克风，一IR远程控制，一游戏杆，一游戏手柄，一记录笔，触摸屏，或其类似。这些和其他输入设备经常与处理单元1804通过一与系统总线1808耦合的输入设备接口1842相连，但是也可以通过其他接口，例如一并行端口，一IEEE1394串行端口，一游戏端口，一USB端口，一IR端口等相连。

一监视器1844或其他类型的显示设备也与系统总线1808通过一接口相连，例如一视频适配器1846。除了该监视器1844之外，一计算机典型地包括其他外部设备输出设备(未给出)，例如扬声器，打印机等等。

该计算机1802可以操作一联网的通过有线和/或无线与一或多个计算机通信的使用逻辑连接的环境，例如一远程计算机1848。该远程计算机1848可以是一个工作站，一服务器计算机，一路由器，一个人计算机，一便携式计算机，基于微处理器的娱乐用具，一同位体设备或其他普通网络节点，并且典型地包括许多或所有与计算机1802描述相关的部件，尽管，为了简短起见，仅有一存储设备1850被说明。所述的逻辑连接包括和一本地局域网(LAN)1852和/或大型网络例如一广域网(WAN)1854的有线的/无线的连接。这种LAN和WAN网络环境在办公室、和公司、和企业范围的计算机网络设备例如内部网是常见现象，它们中的所有都可以与一全球通信网络例如互联网相连。

当在一LAN网络环境中使用时，该计算机1802通过有线/无线通信网络接口或适配器1856与本地网络1852相连。该适配器1856可以促进对LAN1852的有线或无线的通信，它也可以包括一在其上公开的用于与该无线适配器1856通信的无线访问点。当在一WAN网络环境中使用时，该计算机1802可以包括一调制解调器1858，或者与一在LAN上的通信服务器相连，或具有其他用于建立与WAN1854通信的装置，例如通过互联网。该调制解调器1858，它可以是内部的或外部的和一有线的或无线的设备，通过该串行端口接口1842与系统总线1808相连。在一个网络环境中，与计算机1802相关描述的程序模块，或其部分，可以被存储在该远程存储/存贮设备1850中。应该理解的是给出的网络连接是典型的并且其他在计算机之间建立连接的通信可以被使用。

计算机1802可操作与对于与任何无线设备或在无线通信中被公开的可操作的实体进行通信，例如，一打印机，扫描仪，桌上和/或便携式计算机，便携式数据助理，通信卫星，任何装备件或与一无线可检测标签(例如，一亭子，新闻台，休息室)相关的配置，以及电话。这个至少包括Wi-Fi和蓝牙^TM无线技术。因此，该通信可以是一预定结构作为一传统网络或简单的一在至少两个设备之间的一特别通信。

Wi-Fi，或无线保真度，允许从一在家的躺椅上、宾馆房间的床上或工作的会议室里进行互联网连接，没有电线。Wi-Fi是一种类似于手机电话的能使这种装置例如计算机发送出和接收进数据的无线技术；只要是在一基站的范围内无论在哪里。Wi-Fi网络使用被称为IEEE 802.11(a，b，g，等等)的无线技术以提供安全，可靠，快速的无线连接。一Wi-Fi网络可以被用来将计算机互相连接，或连接到互联网，以及连接到有线网络(它使用IEEE 802.3或以太网)。Wi-Fi网络在未经许可的2.4和5GHz无线带宽操作，具有一11Mbps(802.11b)或54Mbps(802.11a)数据率或具有包括两种带宽(双带宽)的产品，以至于网络可以提供相似于在许多办公室使用的基本10BaseT有线以太网络。

现在参照图19，其中说明了根据当前发明的一典型计算环境1900的方块示意图。该系统1900包括一或多个客户端1902。该客户端1902可以是硬件和/或软件(例如，线程，处理，计算设备)。该客户端1902可以驻留插件和/或例如通过使用当前发明的文本相关的信息。系统1900也包括一或多个服务器1904。服务器1904也可以是硬件和/或软件(例如，线程，处理，计算设备)。服务器1904可以可以收藏驻留线程以通过使用例如当前发明来进行转换。在客户端1902和服务器1904之间一个可能的通信可以是在适于在两或多个计算机处理之间以数据包的格式传送的。例如，该数据包可以包括一插件和/或相关的文本信息。系统1900包括一可以被用来促进在客户端1902和服务器1904之间通信的通信结构1906(例如，一全球通信网络例如互联网)。

通过一有线的(包括光纤)和/或无线技术可以促进通信。客户端1902可操作的与一或多个可以被用来存储本地信息至客户端1902(例如，插件和/或相关文本信息)的客户端数据存储器1908相连。相似地，服务器1904可操作的与一或多个可以被用来存储本地信息至该服务器1904的服务器数据存储器1910相连。

综上所述包括当前发明的一些例子。也就是，当然，不可能描述每个想得到的用于组件或方法的结合用来描述当前发明，但是本领域的一个普通技术人员可以意识到许多本发明的进一步的结合和置换是可能的。因此，当前发明仅仅是倾向于包含所有这种符合本发明精神和所附的权利要求书范围的替换，修改和变化。而且，对于该术语“包括”的含义被用在详细的描述和权利要求书之中，这种术语仅仅是在方式上的包含，相似于术语“包含”，“包含”仅仅是在权利要求书中被翻译人员作为解释之用的。

Claims (34)

1.一种促进数字图像生成的系统，包括：

一接收一物体的多个数字图像的组件，其中至少两个数字图像具有不同的照明分量；

一合并一所接收图像的子集以生成该物体的一新图像的图像生成部件；以及

一通过分析至少两个数字图像来识别噪声的比较部件。

2.如权利要求1所述的系统，其中至少两个数字图像中的一个是在有闪光的情况下摄取的。

3.如权利要求1所述的系统，其中，所述多个图像的子集是在一预定时段内连续地被摄取的。

4.具有权利要求1所述系统的一种数字摄影机。

5.如权利要求1所述的系统，其中所述图像生成部件在生成新图像时将一图像的高频分量和另一图像的低频分量合并。

6.如权利要求5所述的系统，进一步包括向频率分量应用一费用函数以减轻合并不同频率分量的不协调的费用部件。

7.如权利要求5所述的系统，其中至少使用双向滤波器和联合滤波器中的一个。

8.如权利要求1所述的系统，其中至少两个数字图像包括被高速连续拍摄的一闪光和无闪光对。

9.如权利要求1所述的系统，其中在一个数字图像中的颜色被持续地校正。

10.如权利要求1所述的系统，其中该图像生成部件通过从另一个图像添加细节来增强一图像。

11.一种具有权利要求1所述的系统的便携式无线通信设备。

12.一种促进数字图像生成的系统，包括：

一接收一物体的多个数字图像的部件，其中所述多个数字图像中的至少两个具有不同的空间频率分量，所述多个数字图像中的至少两个包括包括一具有高频空间分量的闪光图像和一具有低频空间分量的一无闪光图像；

一将所接收的多个数字图像的子集合并以生成该物体的一新图像的图像生成部件；以及

一通过分析至少两个数字图像来识别噪声的比较部件。

13.一种使用权利要求12所述的系统的手持式计算设备。

14.一种促进数字图像生成的方法，该方法包括：

接收一物体的一闪光图像和一无闪光图像；

使用闪光图像降噪处理无闪光图像；

转换该闪光图像的细节至该无闪光图像；

基于该闪光图像和无闪光图像输出该物体的一新图像；以及

通过分析至少两个数字图像来识别噪声。

15.如权利要求14所述的方法，进一步包括通过使用闪光图像的闪光颜色来进行白平衡以白平衡该无闪光图像。

16.如权利要求14所述的方法，进一步包括通过处理在该闪光图像和无闪光图像之间的瞳孔颜色来进行红眼校正。

17.如权利要求14所述的方法，进一步包括检测闪光阴影和反射区域。

18.如权利要求14所述的方法，降噪步骤进一步包括使用该闪光图像来估计高频信息。

19.如权利要求14所述的方法，转换的步骤进一步包括：

检测阴影区域和反射区域中的至少一个；以及

生成一识别这些区域的掩模。

20.如权利要求19所述的方法，进一步包括相互调整与阴影相关的阈值。

21.一种促进数字图像生成的方法，包括：

接收一物体的一闪光图像和一无闪光图像；

使用闪光图像降噪处理该无闪光图像；

基于该闪光图像和无闪光图像输出一新图像；以及

通过分析至少两个数字图像来识别噪声。

22.如权利要求21所述的方法，进一步包括将该闪光图像的高频分量和该无闪光图像的低频分量合并。

23.如权利要求21所述的方法，进一步包括应用一阻止不一致频率分量合并的费用函数。

24.如权利要求21所述的方法，该降噪步骤进一步包括：

使用一双向滤波器来滤波无闪光图像，所述双向滤波器对空间上靠近以及具有相似强度值的至少一种像素进行平均化；

使用一联合双向滤波器来估计闪光图像的高频分量；以及

通过分析至少两个数字图像来识别噪声。

25.如权利要求21所述的方法，进一步包括通过估计环境颜色照明来进行白平衡。

26.如权利要求21所述的方法，进一步包括：

根据一比率计算一来自闪光图像的细节层；以及

检测该闪光图像中的阴影和反射。

27.一种促进数字图像生成的方法，包括：

接收一物体的一闪光图像和一无闪光图像；

把该闪光图像的一细节转换至该无闪光图像；

基于该闪光图像和无闪光图像输出该物体的一新图像；以及

通过分析至少两个数字图像来识别噪声。

28.如权利要求27所述的方法，该接收步骤包括在少于1/30秒内连续获得该闪光图像和无闪光图像。

29.如权利要求27所述的方法，进一步包括根据一比率计算一来自闪光图像的细节层，该比率在至少一个RGB信道上进行计算。

30.如权利要求29所述的方法，该比率与信号数量和信号反射系数无关。

31.如权利要求27所述的方法，进一步包括估计识别阴影区域和反射区域中的至少一个的掩模。

32.如权利要求31所述的方法，进一步包括通过合并该阴影区域的掩模和该反射区域的掩模来生成所述掩模。

33.如权利要求27所述的方法，进一步包括控制使用一滤波器转换的细节量。

34.一种促进数字图像生成的系统，包括：

用于接收一物体的闪光图像和无闪光图像的装置；

用于对该无闪光图像进行降噪的装置；

用于将该闪光图像的一细节转换至该无闪光图像的装置；

用于使用该闪光图像对该无闪光图像进行白平衡的装置；

用于在该物体被捕获后调整闪光强度的装置；

用于对人工产物进行校正的装置；

用于基于该闪光图像和无闪光图像输出一新图像的装置；以及

用于通过分析至少两个数字图像来识别噪声的装置。

Images