CN1236107A - 估计视频序列中的噪声量的方法 - Google Patents

Abstract

在视频序列的噪声测量中,很难区别画面内容和噪声。为提高测量的可靠性,结合了两种不同的噪声量计算方法的结果(σ_p1,σ_p2,σ_p3)。一种计算方法依赖于对位移场或帧差值(DFD)的分析,另一种计算方法依据静态画面区上的场或帧差(FD)的值。

Description

估计视频序列中的 噪声量的方法

本发明涉及估计视频序列中的噪声量的方法。

EP-A-0735747公开了一种噪声测量方法以及一种块匹配运动估算法，其原理是从累积的绝对像素差值中的最小值推导出噪声量，以导出位移场或帧差(displaced field or frame differences,DFD)值，该累积发生于预定像素块上。

由Q.Zhang和R.Ward发表的题为《电视图像的信号与热噪声比率的自动访问》(1995年2月的IEEE消费电子学报，第41卷第1号)的论文公开了一种这样从TV画面中测量噪声量的方法。该方法的依据是，对图像应用二维高通滤波器，以便除去主要的(非噪声)图像内容。此后，即选择出画面的最平滑区域，即相对于亮度变化具有最小能量的区域，并从其剩余的平均功率中估计出噪声功率。该论文中提到，在数字图像处理中，估计图像中热噪声量的惯用方法是分析“平滑区，即包含恒定亮度(灰度级)的区域”。

EP-A-0735747中披露的方法缺乏鲁棒性(robustness)，因为其仅依据每个画面块估计的分布最小值，因而依赖于该分布的形状和推导过程。由Zhang等人所描述的方法也有同样的缺点，因为噪声量的计算最终还是依据画面子图像上噪声能量分布的下端尾部(low-end tail)。这样，对于其少数区域具有大的空间频率的画面来说，有低估噪声量的危险。

本发明所提出的方法通过主要偏移噪声能量测量的估计平均值，而不是最小值，来减缓上述问题。尤其是，这种在静态区域上进行的测量与画面的空间频率内容无关。

本发明的一个目的是公开一种更可靠的噪声估计方法。该目的是通过权利要求1所述的方法来完成的。

在本发明中，使用了由比如运动补偿内插所提供的附加运动信息，以便计算视频序列中噪声量的更鲁棒和准确的估算值。理想情况下，如果运动估计是无错的，则来自通过估计运动矢量而处于对应关系的两个源画面块的输入像素的灰度级之间的其余差值必定是噪声所致。从MPEG比特流的运动矢量信息中也可以导出附加运动信息。

对于画面速率上变换或标准变换来说，要求通过内插时间上位于源画面之间的画面而对视频序列的场或帧速率进行的修改。如果估计出源序列中目标的运动并将其用于沿着相关的运动矢量方向内插各个像素，则可获得最佳变换质量。本技术的另一种应用是借助于时域滤波器来消除噪声，其目的是提高画面质量或编码效率，比如，MPEG2编码器的编码效率。

可以通过寻找在从先前或当前画面到下一画面映射的像素或像素块之间提供最佳匹配的矢量，来进行运动估计。用于选择运动矢量的数学准则通常是，像素块的位移场差值或位移帧差值的绝对值之和的最小化，如图1所描述。要内插的中间场或帧IF时间上位于先前场或帧PF和下一场或帧NF之间。PF和NF之间的时间距离是T，在PF和IF之间的时间距离是α*T，以及在IF和NF之间的时间距离是(1-α)*T。零矢量O=(0,0)通过PF中的点I^p(x,y)、IF中的点I(x,y)和NF中的点Iⁿ(x,y)，当前选择运动矢量v=(v_x,v_y)通过PF中的点I^p(x-α*v_x,y-α*v_y)、IF中的点I(x,y)和NF中的点Iⁿ(x+(1-α)*v_x,y+(1-α)*v_y)。

帧差值(对于矢量0)为：

FD=Iⁿ(x,y)-I^p(x,y)

对于矢量v的位移帧差值为：

DFD( v)=Iⁿ((x+(1-α)*v_x,y+(1-α)*v_y)-I^p(x-α*v_x,y-α*v_y)

输出画面的内插是沿估计运动矢量的方向进行的。除了确切地知道运动为零的画面的静态部分之外，内插质量受到运动矢量准确性的限制。因而优点是检测源图像中的静态区和对运动像素实施特定的内插模式，从而优化了内插输出分辨率。在本发明人于同一日提交的内部参照号为PF980013的另一申请中公开了检测这样的静态区的特定方案。然而，本发明的噪声量估计仅依据源画面。因此，如果图1用于噪声量估计，中间场或帧IF是要估计噪声量的当前源画面。

根据本发明，可以将两种不同的噪声量计算方法的结果结合起来，以提高噪声量估计的可靠性。一种计算方法依赖于DFD分析，另一种计算方法依据静态区上的场或帧差(FD)值。

准确估计噪声量方法的获得潜在地提高了在噪声出现过程中许多图像处理算法的性能，因为其允许对噪声量采用算法参数和阈值。其应用范围包括：运动估计、降噪、静态区检测、电影(film)模式和电影相位检测、剪辑(cut)检测和许多其它工作。

在原理上，本发明的方法适于根据先前场或帧中块的像素值和后来场或帧中相应块的相应像素值之间的差值，估计视频序列的当前源场或帧的噪声量，其中所述先前或所述后来场或帧中的任意一个可以是所述当前场或帧本身，并且其中每一对相应块中的至少一个块是运动补偿像素块，或者通过相关的运动矢量估计映射到其它块。

此外，可确定静态画面区，并且，先前场或帧的静态画面区中块的像素值和后来场或帧中相应块的相应像素值之间的差值可用于估计后来噪声量估计值，该后来噪声量估计值然后与所述噪声量估计值相结合，以形成最终噪声量估计值，其中，用于估计静态画面区中块的像素值之间的所述差值的所述先前和/或所述后来场或帧，可以与用于估计有关所述运动补偿像素块或所述映射块的差值的所述先前和/或所述后来场或帧不同。

本发明方法的有益附加实施例由相应的从属权利要求公开。

下面参照附图描述本发明的实施例，附图中：

图1是要从先前源画面和下一源画面内插于先前源画面和下一源画面之间的画面，或者是要内插于先前源画面和下一源画面之间的当前源画面，将要对该画面进行噪声量估计；

图2是本发明噪声量计算的流程图。

本发明噪声量估计(在一个场或帧中的，下文中称为当前场或帧)的输入数据包括：

-可以是运动估计的副产品(by-product)的位移场或帧差值的映射；

-已被检测为非移动的输入像素或像素块的映射；

-如果源图像是递增图像，则为时间上分别位于当前帧之前和之后的，在先前帧和下一帧之间计算的场或帧差值的映射，

或者在时间上分别位于当前场之前和之后的先前场和下一场之间计算的交织源图像的情况下，其限制是所述先前和下一场具有相同的奇偶性，即，两个场都是顶部场或两个场都是底部场，

在两种替代方式中，先前场或帧或者下一场或帧可以是当前场或帧；

-为先前源场或帧导出的噪声量的估计。

所述计算包括下列步骤(参照图2)：

a)将当前源场或帧分成FD块的预定屏面，并仅在唯一由静态区映射中分类为静态的像素所构成的FD块上对FD的绝对值进行积分；

b)根据预定噪声模型，将所得块FD变换为标准噪声偏差的第一初步估计值；

c)将当前场或帧分成DFD块的预定屏面，并在这些块上对DFD的绝对值积分；

d)根据预定噪声模型，将所得块DFD变换为标准噪声偏差的第二和第三初步估计值；

e)计算当前噪声量的第四初步估计值，作为第一到第三初步估计值的函数；

f)利用为先前场或帧计算的最终噪声量估计值，对该第四初步估计值进行滤波，以便为当前场或帧提供最终噪声量估计值。

噪声模型将一相应的噪声量指定给块中像素差的所检测分布量。

在理想情况下，如果运动估计是无错的，则来自对应于一运动矢量，或由一运动矢量所映射，的两个源画面块的输入像素的灰度级之间的其余差值必定是噪声所致。因此，DFD的静态分布为噪声估计提供有利的起始点。然而，在实际系统中，运动估计的准确性受到比如下列因素的限制：矢量分量的有限的编码准确性；源画面的有限的空间分辩率；来自通常为可转换运动的假定运动方向模型的实际景像运动的偏差；以及由于运动分析失败而致的不可避免的估计误差，例如，在包含周期性结构的对像中或者在覆盖/未覆盖区或者在包含静态区和更小的移动对像的像素块中。所得的运动估计不正确值转换成加到噪声成分中的剩余DFD项，从而使真实的噪声量估计有偏差。

然而，理想的运动估计，即，绝对准确的运动估计在输入序列的非移动部分上可以得到，假定当前画面中存在这样的区域，运不是比如在摄像机随动拍摄期间的情况，并且可以实施一种可靠的方法，该方法可以采用或可以不采用检测这些区的运动矢量信息。实质上，静态区的运动矢量部分确切地为零。结果，当在静态画面区上计算时，相同奇偶性的交织场之间的非位移帧差值或场差值，提供未被运动估计不准确所带来的任何剩余项破坏的，像素式(pixel-wise)帧间噪声信号的样值。

有利的是，在本发明中结合下列两个过程：一个依据DFD而另一个依据静态画面区上的FD。在比如摄像机随动拍摄的情况下，其中所有的画面像素都处于运动状态从而不能从FD导出噪声量估计值，有利的是，可实施后备(fallback)方案。例如，可以决定在这些情况下让估计值仅依据DFD信息，或者保持为先前场或帧计算的估计值的情况。

在步骤a)，对FD样值的绝对值在可以重叠也可以不重叠的，当前场或帧中的预定像素块，下文中称为FD块FDB(i,j)上积分。静态区映射中唯一由分类为非移动的像素所构成的FD块用在估计过程中。对于每一个FD块，将累积的帧差AFD(i,j)计算为与构成块的像素相关的FD的绝对值之和。

步骤b)的日的是从集合{AFD(i,j)}中推导出噪声的标准偏差的表达为灰度级的第一初步估计值σ_p1，该计算可适用于现有技术的噪声模型。在本发明的一个实施例中，假定与静态像素有关的FD的绝对值的分布是这样的，即，其平均值m_|FD|与要估计的噪声量的标准偏差σ成比例：m_|FD|=k*σ。

当源噪声的样值在空间上和时间上不相关并且符合高斯(Gaussian)分布时，尤其适用这种假设，在这种情况下，发现 $k=2/\sqrt{\left(\mathrm{\π}\right)}\≅1.13$ 。在本发明的一个实施例中，k设定为此值。可由当前场或帧内的静态块上的AFD(i,j)的算术平均值{AFD(i,j)}近似得到的AFD的数学期望值由N_FDB*m_|FD|给出，其中N_FDB表示一个FD块中的像素数目。

因此可以导出σ的更好的近似值：

σ_p1={AFD(i,j)}/(k*N_FDB)

在步骤c)中，类似于步骤a)，在当前场或帧中的预定块上对DFD样值的绝对值积分，下文中称为DFD块DFDB(i,j)。这些块可以重叠或者可以不重叠。对于每一个DFD块DFDB(i,j)，将称为{ADFD(i,j)}的累积的DFD计算为与组成块的像素相关的DFD的绝对值之和。

在步骤d)中，类似于步骤b)，将集合{ADFD(i,j))转换为以灰度级表示的标准噪声偏差的第二σ_p2和第三σ_p3初步估计值。σ_p2的导出(derivation)等同于σ_p1的导出，区别在于将集合{AFD(i,j)}由{ADFD(i,j)}代替。令N_DFDB为当前场或帧的DFD块中的像素数，而{ADFD(i,j)}为当前场或帧的ADFD的平均值。那么σ_p2计算为：

σ_p2={ADFD(i,j)}/(k*N_DFDB)

然而，与对FD的情况不同，基于DFD的噪声量的估计可由如上所解释的运动估计不完美性所导致的剩余项而带来偏差。如果所处理的场或帧包含高空间梯度的区域，这种情况更容易发生。为提高所提出方法的鲁棒性，从{ADFD(i,j)}的最小值而非平均值中导出第三初步估计值σ_p3:

σ_p3=min(ADFD(i,j))/(k*N_DFDB)

      i,j

在步骤e)中，从σ_p1、σ_p2和σ_p3中导出单一初步估计值σ_p。首先，将比率r=σ_p2/σ_p3与阈值进行比较以确定应当使用哪一初步估计值。

在预定阈值T_γ之上的r的值设定于值“1”到“5”的范围内，在本发明的一个实施例中，优选为值“2”，表示结构的大变化，从而表示源画面中高梯度区重要部分。在那种情况下，认为σ_p2是不可靠的，并且仅从σ_p1和σ_p3中计算初步估计值σ_p。

相反，如果r下降到T_γ或T_γ以下，表示从块DFD计算的估计值的一致性，σ_p2、σ_p3以及σ_p1被采用。

σ_p最好导出如下：

σ_p=(σ_p1+σ_p3)/2                                 如果σ_p2/σ_p3＞T_γ

σ_p=median(σ_p1,(σ_p1+σ_p2)/2,σ_p3)           如果σ_p2/σ_p3≤T_γ

其中median()表示3抽头中值滤波器。

由于在广播图像序列中的实际噪声量的快速变化非常不同，在步骤f)中，对σ_p采用时域低通滤波器，以进一步提高噪声量估计的鲁棒性。从σ_p和从相应奇偶性的先前场或帧的噪声量估计值σ_prev中计算出标准噪声量偏差的最终估计值σ如下：

σ=median(σ_prev-Δv_low,σ_p,σ_prev+Δv_high)

Δv_low和Δv_high是预定常数，该预定常数从一个估计周期(例如，场或帧)指定估计的噪声量变化的最大变化给下一个估计周期。在本发明的一个实施例中，Δv_low和Δv_high分别设定为大约“1”和大约“0.25”灰度级。在此应用实例中所给的阈值依赖于8位表示的像素值。如果这些像素值有不同的分辨率，则阈值大小应当相应改变。

运动估计可以在不连续的一对场或帧上进行，在这种情况下，估计噪声量的当前源画面可以与用于运动估计的画面不同。这是在MPEG2编码方案中当前帧为B帧时的情况。

用于确定有关静态画面区的像素值差FD的一个或两个所述场或帧，可以与用于确定有关一对运动补偿块或一对由其相关的运动矢量映射的块的像素值差DFD的一个或两个所述场或帧不同。

可以使用涉及噪声量计算的场或帧的活动部分的所有块。然而，也有可能不考虑位于活动画面部分边缘的像素块，尤其是因为这种块的运动信息的可靠性可能较差。也有可能进一步限制对每个画面所考虑的块数目。

Claims (11)

1．一种根据先前场或帧(PF)中块的像素值和后来场或帧(NF)中相应块的相应像素值之间的差值(DFD,FD)，估计视频序列的当前源场或帧(IF)的噪声量(σ_p2,σ_p3,σ)的方法，其中所述先前(PF)或所述后来(NF)场或帧中的任意一个可以是所述当前场或帧(IF)本身，其特征在于，每一对相应块中的至少一个块是运动补偿像素块，或者通过相关的运动矢量估计映射到其它块。

2．如权利要求1所述的方法，其中，进一步确定静态画面区，并且，先前场或帧(PF)的静态画面区中块的像素值和后来场或帧(NF)中相应块的相应像素值之间的差值(FD)用于估计后来噪声量估计值(σ_p1)，该后来噪声量估计值(σ_p1)与所述噪声量估计值(σ_p2,σ_p3)相结合，以形成最终噪声量估计值(σ)，其中，用于估计静态画面区中块的像素值之间的所述差值(FD)的所述先前(PF)和/或所述后来(NF)场或帧，可以与用于估计有关所述运动补偿像素块或所述映射块的差值(DFD)的所述先前(PF)和/或所述后来(NF)场或帧不同。

3．如权利要求1或2所述的方法，其中所述像素值之间的差值(DFD,FD)量值变成每一个块的累积值(ADFD,AFD)。

4．如权利要求1到3中任何一个所进的方法，其中所述块是重叠的。

5．如权利要求1到4中任何一个所述的方法，其中对所述噪声量估计值计算两个估计值(σ_p2,σ_p3)，其中第一个估计值(σ_p2)从当前场或帧的累积的块像素差值(ADFD)的平均值({ADFD(i,j)})中导出，并且其中第二个估计值(σ_p3)从当前场或帧的累积的块像素差值的最小值(min{ADFD(i,j)})中导出。

6．如权利要求5所述的方法，其中，如果所述所述噪声量估计值(σ_p2,σ_p3)的第一个估计值(σ_p2)和第二个估计值(σ_p3)之间的比率大于预定阈值(T_r)，尤其是大约为“2”，那么所述最终噪声量估计值(σ)是所述后来噪声量估计值(σ_p1)和所述噪声量估计值(σ_p2,σ_p3)的第二个估计值(σ_p3)的平均值，并且，如果所述噪声量估计值(σ_p2,σ_p3)的第一个估计值(σ_p2)和第二个估计值(σ_p3)之间的比率等于或小于预定阈值(T_r)，那么所述最终噪声量估计值(σ)是所述后来噪声量估计值(σ_p1)、该后来噪声量估计值(σ_p1)和所述噪声量估计值的第一个估计值(σ_p2)的平均值、以及所述噪声量估计值的第二个估计值(σ_p3)的中值。

7．如权利要求6所述的方法，其中所述最终噪声量估计值(σ_p)与先前场或帧的噪声量估计值(σ_prev)减去第一预定常数(Δ_vlow)的值、先前场或帧的噪声量估计值(σ_prev)加上第二预定常数(Δv_high)的值，一起进行中值滤波，以形成最终输出的噪声量估计值(σ)。

8．如权利要求7所述的方法，其中所述第一和第二预定常数(Δv_low,Δv_high)指定从一个估计周期到下一个估计周期的估计的噪声量变化的最大变化。

9．如权利要求7或8所述的方法，其中所述第一预定常数(Δv_low)的值大约为“1”。

10．如权利要求7到9中任何一个所述的方法，其中所述第二预定常数(Δv_high)的值大约为“0.25”。

11．如权利要求1到10中任何一个所述的方法，其中在画面的所有像素或几乎所有像素都处于运动状态的情况下，进行后备噪声量估计，该估计仅依赖于有关运动补偿内插像素块或由相关的运动矢量估计值所映射的块的像素值差(DFD)，或者依赖于为先前场或帧计算的噪声量估计值。

Images