CN1784010A - 主运动分析 - Google Patents

Abstract

主运动分析。一种表示二维图像的方法，包括：通过将图像投影到至少一个轴上来得到该图像的至少一个一维表示；对所述一维表示进行傅立叶变换。所述表示可以用于估计图像间的主运动。

Description

主运动分析

技术领域

本发明涉及一种用于估计图像序列或视频序列中的帧间主运动的方法。实际应用包括摄像机图像稳定化、视频编码以及标准转换。

背景技术

主运动的有效估计是用于包括视频编码、摄像机图像稳定化、基于运动的视频分段、标准转换或噪声降低在内的很多任务的重要处理。

存在大量的背景技术。主要有以下几个大类：i)与某种回归结合的特征检测(边缘或角)，ii)基于傅立叶变换的技术，以及iii)模板匹配技术。

相位相关是公知技术，其相当快速并可以测量明显位移(C.Kuglin和D.Hines.，“The Phase Correlation Image alignment Method”，IEEE Int.Conf.on Cybernetics and Society，1975，以及G.A Thomas，“Televisionmotion measurement for DATV and other applications”，BBC RD 1987/11)。

简言之，为了记录两幅图像，相位相关方法包括以下步骤：首先，对每幅图像进行二维傅立叶变换；然后，将对应的频率成份相乘在一起；并且，对所得乘积进行傅立叶反变换以获得所谓的相位相关面(phase-correlation surface)。通过在二维相位相关面中搜索峰值的位置可以恢复平移运动。

例如，美国专利US 6,474,462公开了一种结合相位相关峰值检测算法和多分辨率鲁棒(robust)回归方法的方法来提高估计处理的鲁棒性。

然而，传统相位相关方法对于实时实现可能太复杂，尤其是在处理高分辨率视频序列时。这是由于对于高分辨率图像的二维傅立叶变换的计算会造成对计算和存储资源的巨大需求。

为了降低复杂性，研究了不同的方法。例如，Erturk提出了一种数字图像稳定化方法(“Digital image stabilization with sub-image phasecorrelation based global motion estimation”，IEEE Transactions onConsumer Electronics，pp 1320-1325，第49卷，第4期，2003年11月)，该方法通过仅考虑位于图像角区的四个大小为64×64像素的区域来降低相位相关方法的复杂性。根据四幅子图像的局部运动来估计全局运动，利用基于相位相关的运动估计来检测各子图像的局部运动。使用子图像使得能够快速实现基于相位相关的运动估计。累积多个图像帧的全局运动向量来获得全局位移向量，对这些全局位移向量进行卡尔曼滤波以进行稳定化。然而，由于使用的是支持有限空间的子区域，该方法对于更大运动的鲁棒性要显著降低。

正如所说明的，上述所有技术都非常复杂，并且对于诸如快速运动、照明改变、局部对象(local object)等因素并不十分鲁棒。

发明内容

本发明提出了一种新型、超快的方法，用于估计视频序列或其他图像序列或者二维数据中的运动。该估计处理非常快速，典型地要比采用相位相关方法的现有估计方法快10到500倍，并且即使在噪声图像中以及对于有显著快速运动的视频序列也可以给出可靠的结果。本发明还提供了帧或帧视频数据的非常简洁的描述，该描述可应用于运动分析和其他视频序列分析任务。

根据一方面，本发明提供了一种通过使用一装置处理与图像对应的信号来表示该图像的方法，该方法包括得到该图像的至少两个一维表示，其中每个一维表示都是通过将该图像投影到各轴上而得到的。

根据另一方面，本发明提供了一种通过组合各构成图像的表示来表示例如视频序列的图像序列的方法。

根据另一方面，本发明提供了一种使用一装置通过处理与图像对应的信号来比较图像的方法，该方法包括：得到各二维图像的至少两个一维表示；并且比较这些图像的对应一维表示，其中各一维表示都是通过将各图像投影到各轴上而得到的。

优选地，该方法用于估计图像间的运动，更具体地，用于估计图像间的主运动。

根据又一方面，本发明提供了一种用于通过对不同的多对帧(不必在时间上相邻)之间的运动的多个估计进行鲁棒集成来得到图像序列的可靠准确的运动估计的方法。由于明显地降低了对由本发明另一方面提供的处理功率和存储器使用的要求，因此这种平均化是可行的。

附图说明

下面将参照以下附图对本发明进行说明。

图1示出了算法的框图。

图2示出了视频序列“Donostia”中的三个帧及其侧投影。

图3示出了图2中所示的帧的投影对齐结果，图3(a)示出了X投影，而图3(b)示出了Y投影。

图4示出了作为帧索引函数的帧间的X位移和Y位移。

图5示出了采用利用本发明估计出的平移参数，而从视频帧生成的组合图像(mosaic)。

图6示出了根据一维图像投影对平移运动分量进行估计的模块的框图。

图7示出了用于检测两个一维信号之间的移位的相位相关方法的处理结果的示例。

图8描述了基于两帧的主运动估计算法。

图9示出了鲁棒的运动集成方法。

图10示出了鲁棒的运动集成方法的框图。

图11描述了根据三帧的运动估计的鲁棒集成。

图12描述了利用对来自“Donostia”序列的几个帧的运动的鲁棒集成进行处理的结果(仅示出x分量)。

图13是基于本发明的视频序列运动分析电路的框图。

具体实施方式

所提出的算法的中心思想是在处理和描述提取(descriptionextraction)的早期将二维图像信息转换为多个一维信号。这是通过将图像投影到至少两个轴上来实现的。在关注于降低计算复杂性的优选实施例中，选择在x和y方向上进行侧投影。如果I(x，y)是一幅图像(其可以是任意颜色通道(colour channel)或图像色调、饱和度或强度)，则如下地来计算X和Y投影：

可以在图像的单个二维扫描中计算两个投影。图2(a、b和c)示出了视频序列“Donostia”中的三个帧及其对RGB色彩通道的侧投影。X投影示于各帧下面，而Y投影示于各帧右侧。示出了全部颜色通道的投影，虽然算法的优选实施例仅使用绿色通道的投影。

在现有技术中公知通过二维相位相关来对齐二维图像，该二维相位相关提供了两个平移参数(即vx和vy)的同时恢复。然而这种处理对存储器和处理资源的要求非常高。根据本发明，仅对齐图像的一维投影，并组合(fuse)所投影的一维位移以获得二维运动。当使用X轴和Y轴上的两个一维投影时，该方法分别根据各投影，直接获得X平移参数和Y平移参数(vx，vy)。图3示出了根据图2的投影对齐。组合所估计出的投影间平移以获得两帧之间的平移运动。

图4中示出了平移图像的一个示例。通过将这些帧转移至一公共坐标系中，可以获得视频组合图像或稳定的视频序列(取决于该算法的具体应用)。在图5中示出了以利用本发明估计出的参数而重构出的视频组合图像的示例。

利用一维相位相关来估计分速度

一旦提取了当前帧的投影，对这些投影进行加窗(window)并转换到傅立叶域以形成多投影图像描述符。使用当前帧和前一帧的多投影图像描述符来估计帧间的运动(位移)。

利用相位相关算法(图6)来检测两个一维信号(两个投影)之间的移位。

相位相关(图7)是两个信号的平移对齐的鲁棒方法。该方法基于傅立叶变换和移位定理。如果两个信号P_i和P_j仅差平移值a：

P_i(x)＝P_j(x+a)，

则采用标准相位相关

$C_{\mathrm{ij}}^{*}=\frac{F\left(P_i\right)F^{*}\left(P_j\right)}{\left|F\left(P_i\right)F^{*}\left(P_j\right)\right|},C_{\mathrm{ij}}=F^{-1}\left\{C_{\mathrm{ij}}^{*}\right\}$

其中F(f)为信号f的傅立叶变换，F^*(f)为F(f)的复共轭，我们获得在平移值处的脉冲：

C_ij(x)＝δ(x-a)

通过寻找所得信号中的最高峰值来确定平移值(图7)。

公知地，为了降低由信号边缘引起的伪迹(artefact)，应对信号(即初始投影)运用加窗运算符。使用下面的窗函数：

W(x)＝0.5(1+cos(2π*(x/M-0.5)))，

其中M为信号长度。如下获得加窗投影：

P₁(x)＝W(x)P(x)

相位相关方法的一个有用特征是：只要通过平移可以近似帧投影之间的转换，就可以在相关函数中发现一易于识别的峰值。当相位相关峰值变低时，这可能表示以下两种情况：(1)通过平移不能可靠地对运动进行近似；(2)帧间的重叠较少。在这些情况下，应舍弃运动估计以避免粗运动估计误差。因此，峰值的幅度是一维位移估计质量的适当指示符，峰值越高，估计就越可靠。例如通过取最小值或通过任何其他现有技术方法，可以将根据所有投影匹配的峰值幅值组合到单个估计置信因子C中。可以将该置信因子C与一阈值进行比较以舍弃不可靠的匹配结果。

来自多个帧的运动信息的鲁棒集成

通常希望“对齐”视频序列1，2，…，K中的多个帧，并且公知地，对于与第一帧对齐的坐标系，第K帧T_k的位移向量可以被确定为所有帧间位移之和：

T_K＝T_1，2+T_2，3+…+T_K-1，K

图8以三个帧K-2、K-1和K示出了这种方法的示例。可以采用快速的现有技术方法或通过应用本发明来估计各平移运动T_I-1，I。然而，在这种方法中，被估计的分量平移中的误差将会累积，这可能导致难以接受的总误差。此外，在任一分量平移估计(即所谓T_I-1，I)中的粗误差(即由于短期阻塞或模糊所导致)将导致在全局位移T_I、T₁₊₁、…、T_K的全部随后估计中的错误。

为了消除这个问题，提出了一种利用多帧估计对运动信息进行鲁棒集成的新方法。图9中示出了所提出的多帧鲁棒集成方法的原理。该想法是保持从视频序列的大量过去图像/帧中提取的简明描述，并得到不仅连续帧之间而且很多对不必相邻的帧之间的运动估计。然后将这些位移估计与帧位置的过去历史相结合，并用于得到在全局坐标系中的当前帧位置的多个估计。然后通过鲁棒集成方法组合这种分量估计。

由于本发明提供了图像的非常简明的表示(描述)并提供了计算效率高的方法来根据这种描述对运动进行估计，所以可以进行这种扩展。从而，为系统存储器中的很多帧/图像存储这种描述符是可行的。例如，为了利用X和Y上的两个侧投影来描述具有N×M个像素的图像，所提出的方法仅需要(X+Y)×2×4个字节。

传统形式的相位相关方法要求存储整幅图像的FFT系数，这将产生X×Y×2×4个字节。例如，对于VGA分辨率视频序列(640×480个像素)，存储与用于传统相位相关方法的一帧有关的信息所需的存储器足以存储274个帧描述符的信息。

此外，利用多数现有技术算法，由于运动估计的计算量庞大，所以无法实时匹配多个帧。为了说明这个问题，我们比较了此处公开的我们的算法的实现与一个有效现有技术算法(Erturk)的实现，两者都在奔腾IV、3GHz的处理器上运行，并应用于具有VGA分辨率的视频序列。在这种情况下，Erturk中描述的运动估计需要大约16毫秒来分析一对帧，这意味着对于帧速率为每秒30帧的实时视频可以实时地执行该算法。然而，利用此处公开的、仅使用三个帧(即，将帧K与帧K-1的匹配和帧K与帧K-2的匹配相组合)的运动鲁棒集成方法的Erturk的扩展对于每视频帧将需要超过30毫秒，因此不能实时执行。本发明所公开的运动估计对于每对图像仅需要0.2毫秒，而且每帧仅需要约5千字节的存储器。因此利用M个帧的运动鲁棒集成将需要0.2(M-1)毫秒以及5M千字节的存储器存储量。易见，在典型硬件中就可以实现这种扩展，并且即使对于大量帧(如，M＝10、50、100)也只需要相对较小的存储器容量。

参照图11来说明运动信息的鲁棒集成。假设该方法使用M个帧(包括当前帧)，为过去的M-1个帧存储全部中间数据(D_i，T_i)。对于新的一帧K进行以下步骤：

1.提取帧K的帧描述D_K，并将D_K存储在存储器中(仅保留过去的N个帧描述)；

2.创建M-1对帧(K-M+1，K)、(K-M+2，K)、…、(K-1，K)。对于各对帧(K-i，K)，i＝1，2，…，M-1，使用存储在存储器中的两个帧描述符D_K-i，D_K计算帧K-i和帧K之间的运动估计T_K-i，K。对于各对帧，还基于对应的相位相关系数来计算估计置信因子C_K-i，K。以其置信度(T_K-i，K，C_K-i，K)来链接各估计。

3.在全局坐标系中计算帧K的位置的一组M-1个估计{T_K ⁽¹⁾，...，T_K ^(M+1)}：

$T_K^{\left(1\right)}=T_{K-1}+T_{K-1,K};T_K^{\left(2\right)}=T_{K-2}+T_{K-2,K};\·\·\·;T_K^{(M-1)}=T_{K-(M-1)}+T_{K-(M-1),K}.$

4.使用任何现有技术的鲁棒方法，将全部M个位置估计T_K ⁽¹⁾，T_K ⁽²⁾，...，T_K ^(M-1)集成(组合)为单个估计T_K。例如，测试截尾平均值(trimmedaverage)和中值滤波，结果良好。对于相关置信因子C_K-i，K低于置信阈值的T_K ⁽ⁱ⁾，不进行集成处理估计。

图12示出了对于“Donostia”序列中的几个帧使用运动鲁棒集成的处理结果。绿十字表示T_N的多个测量值，而红色曲线连接了这些测量值的中值并表示了总估计。

图13示出了基于本发明的视频序列运动分析电路的框图。将新视频帧K(800)输入系统，在块812中提取这些帧的投影。然后在加窗和FFT块814中对各投影进行处理以形成多投影图像描述符815。将该描述符存储在存储器850中。运动估计器820根据帧选择器860的设置，估计当前帧K与一个之前帧K-i之间的运动。该估计是基于帧描述符的。运动估计器包括分量投影运动的估计器(822)和投影运动集成器(824)，该运动估计器根据分量投影运动计算所选帧K，K-i之间的总体运动。模块824还计算了帧K在全局坐标系中的全局位置。在鲁棒多帧集成块830中组合多个测量值，以获得全局运动矢量840的最终估计。由控制块870控制该估计处理。

性能

表1示出了分辨率为640×480的两个视频帧之间的全局运动估计所需时间的比较。在奔腾IV、3GHz处理器上进行该处理。

表1

算法	执行时间[毫秒]
		所提出的算法	1.6毫秒
相位相关	960毫秒
		以四次图像子采样的相位相关	54.0毫秒
限于四个角区的相位相关(Erturk)	16毫秒

如上所述，对这些一维映射进行加窗以产生一维表示，并对该一维表示进行傅立叶变换。优选地，使用Hann窗。优选地，该窗口是恒定的。例如，当使用用于图像比较或记录的表示时，优选地，在处理图像序列时，使用相同、恒定的窗口来比较不同对图像。

在本说明书中，“图像”和“帧”两词用于描述图像单元，包括过滤之后的，但它们也可应用于诸如图像，场(field)，图片，或者图像、帧等的子单元或区域等的其他类似术语。像素和块或像素组这些词在适当情况下可以互换使用。在本说明书中，图像一词除了根据上下文可以显见处之外，均指整幅图像或图像的区域。类似地，图像区域可以指整幅图像。图像包括帧或场，并与静止图像或者在诸如电影或视频的图像序列中或相关图像组中的图像相关。

图像可以是灰度或彩色图像，或其他类型的多频谱图像，例如，红外(IR)、紫外(UV)或其他电磁图像，或声像等。

例如可以使用处理与图像对应的信号的装置来实现本发明。该装置例如可以是具有适当软件和/或硬件变型的计算机系统。例如，可以使用计算机或类似装置来实现本发明，该计算机或类似设备具有：控制或处理装置，如处理器或控制设备；数据存储装置，包括诸如存储器、磁存储器、CD、DVD等的图像存储装置；数据输出装置，如显示器或监视器或打印机；数据输入装置，如键盘；以及图像输入装置，如扫描仪；或者这些组件与另加组件的任意组合。可以以软件和/或硬件形式，或者在专用装置中提供本发明的各方面，或者可以提供诸如芯片的专用模块。例如可以通过因特网从其他组件远程提供根据本发明实施例的装置中的系统的组件。

Claims (31)

1、一种表示二维图像的方法，包括：通过将图像投影到至少一个轴上来得到该图像的至少一个一维表示；以及对所述一维表示进行傅立叶变换。

2、根据权利要求1所述的方法，包括通过将图像投影到至少分别两个轴上来得到至少两个一维表示。

3、根据任一前述权利要求所述的方法，其中至少一个轴平行于图像的边缘。

4、根据任一前述权利要求所述的方法，其中至少两个轴是垂直的。

5、根据任一前述权利要求所述的方法，包括将图像投影到与图像的边缘对齐的垂直的X轴和Y轴上。

6、根据任一前述权利要求所述的方法，其中投影到轴A上的操作包括对于轴A上的各位置a，对沿位置a处的与轴A垂直的线的图像像素值进行相加。

7、根据基于权利要求5的权利要求6所述的方法，其中如下来计算投影：

8、根据任一前述权利要求所述的方法，包括采用应用于一维表示的窗口。

9、根据权利要求8所述的方法，包括使用Hann窗口。

10、根据任一前述权利要求所述的方法，被应用于至少一种颜色分量。

11、根据权利要求8所述的方法，被应用于至少绿色分量。

12、根据任一前述权利要求所述的方法，被应用于强度值。

13、一种图像的表示，包括利用任一前述权利要求所述的方法得到的至少一个一维表示。

14、一种比较图像的方法，包括对于根据权利要求13所述的表示中的各图像的对应一维表示进行比较。

15、根据权利要求14所述的方法，其中比较一维表示包括进行对齐以确定一维表示之间的移位。

16、根据权利要求15所述的方法，其中确定一维表示之间的移位包括相位相关。

17、根据权利要求16所述的方法，其中相位相关包括傅立叶反变换和对与移位值对应的峰值的检测。

18、根据权利要求14至17中任一权利要求所述的方法，用于估计图像间的运动。

19、根据权利要求18所述的方法，包括将至少一幅图像与多个其他图像中的每一个进行比较，以得到包括非连续图像之间的多个运动估计。

20、根据权利要求19所述的方法，包括为各运动估计确定置信度。

21、一种利用权利要求14至20中任一权利要求所述的方法的处理图像序列的方法，其中对一维投影采用加窗，并且其中该同一窗口用于不同对图像。

22、一种得到图像序列中的运动表示的方法，包括利用根据权利要求18至20中任一权利要求所述的方法估计图像间的运动。

23、一种图像序列中的运动表示，其利用权利要求22所述的方法得到。

24、一种参照至少一幅基准图像来确定图像位置的方法，包括对利用权利要求14至20中任一权利要求所述的方法而得到的图像间移位进行相加。

25、根据基于权利要求19或权利要求20的权利要求24所述的方法，包括利用多个运动估计，并且例如利用取平均值来组合所述运动估计，来确定多个图像位置。

26、根据权利要求25所述的方法，包括排除置信度低于阈值的运动估计。

27、对根据权利要求13或23所述的表示进行使用，如存储、发送和接收。

28、根据权利要求27所述的使用，用于摄像机稳定化。

29、一种控制设备，被编程以执行权利要求1至12、14至22、或24至26中任一权利要求所述的方法。

30、一种装置，用于执行权利要求1至12、14至22、或24至26中任一权利要求所述的方法。

31、一种计算机程序、系统或计算机可读存储介质，用于执行权利要求1至12、14至22、或24至26中任一权利要求所述的方法。

Images