CN103024263B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置。其中，获取部(52)依次获取连续拍摄到的图像。估计部(53)对所依次获取的图像的各自中的、相邻的图像彼此的规定的区域内应合成的位置进行估计。计算部(54)具备：第1计算单元，其一边以所估计出的应合成的位置为基准来使所述应合成的位置沿规定方向在所述规定的区域内的规定的像素数的范围进行错位，一边分别对该规定的区域内的所述图像彼此的像素值之差进行计算。调整部(57)基于分别计算出的像素值之差，来调整所述图像彼此的应合成的位置。生成部(58)基于调整后的应合成的位置对相邻的所述图像彼此进行合成，来生成宽范围的图像。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及可生成宽范围的图像的图像处理装置、以及图像处理方法。

背景技术

在数码相机或具有摄像功能的便携式电话等中，摄像视角的门限取决于透镜的焦距、摄像元件的尺寸等装置主体所具备的硬件设计规格。

因此，在全景摄像等获取超过硬件设计规格那样的广角图像的情况下，存在通过一边使摄像装置沿一定方向移动一边进行连拍并对所获得的多个图像进行合成来生成广角图像的技术。

为了实现上述全景摄像，用户例如一边维持按下操作了快门开关的状态，一边以自身的身体为轴，使数码相机在垂直方向大致固定不变而在水平方向以旋转的方式移动。

于是，数码相机在该期间执行多次摄像处理，将作为该多次的摄像处理的各结果而获得的多个图像(以下，称为“摄像图像”)的图像数据横向(水平方向)地合成，由此，来生成全景图像的图像数据。

在日本专利文献(JP特开平11-282100号公报)中公开了如下手法：在每个多次的摄像处理后，对摄像图像中的特征点进行检测，按照相邻的2张摄像图像的特征点彼此一致的方式，将多个摄像图像的图像数据横向地合成，由此，来生成全景图像的图像数据。

但是，在采用上述专利文献的手法的情况下，由于仅利用特征点的位置对准来合成了相邻的2张摄像图像的图像数据，所以，不能充分地获得其合成位置的精度。

发明内容

本发明是鉴于这样的状况而开发的，其目的在于实现宽范围的图像的生成时的图像彼此的位置对准的精度提高。

为了达成上述目的，本发明的一方案的图像处理装置的特征在于，具备：获取单元，其获取多个图像；估计单元，其在由所述获取单元获取的图像彼此的公共的区域内估计特定的位置；第1计算单元，其一边使由所述估计单元估计出的特定的位置沿所述公共的区域内的规定方向在规定的范围内进行错位，一边分别对该公共的区域内的所述图像彼此的差分值进行计算；调整单元，其基于由所述第1计算单元分别计算出的差分值，对所述特定的位置进行调整；以及合成单元，其基于由所述调整单元调整后的特定的位置，对所述图像彼此进行合成。

另外，本发明的一方案的图像处理方法的特征在于，包括：获取步骤，获取多个图像；估计步骤，在通过所述获取步骤而获取的图像彼此的公共的区域内估计特定的位置；计算步骤，使通过所述估计步骤而估计出的特定的位置一边沿规定方向在所述公共的区域内的规定的范围内进行错位，一边对该公共的区域内的所述图像彼此的差分值进行计算；调整步骤，基于通过所述计算步骤而计算出的差分值，来对所述特定的位置进行调整；以及合成步骤，基于通过所述调整步骤而调整后的应合成的位置，来对所述图像彼此进行合成。

附图说明

图1是表示作为本发明所涉及的摄像装置的一实施方式的数码相机的硬件构成的框图。

图2是表示图1的数码相机的用于执行摄像处理的功能性的构成的功能框图。

图3是用于对在分别选择了通常摄像模式与全景摄像模式作为图2的数码相机的动作模式的情况下的摄像操作进行说明的图。

图4是表示通过图3所示的全景摄像模式所生成的全景图像的一个示例的图。

图5是用于说明图2的数码相机估计合成位置的手法的图。

图6是用于说明图2的数码相机估计合成位置的手法的图。

图7是表示图2的数码相机所执行的摄像处理的流程的一例的流程图。

图8是表示图7的摄像处理中的、全景摄像处理的详细流程的流程图。

图9是表示图8的全景摄像处理中的、全景合成处理的详细流程的流程图。

具体实施方式

以下，参照附图，对本发明所涉及的实施方式进行说明。

图1是表示作为本发明所涉及的图像处理装置的一实施方式的数码相机1的硬件构成的框图。

数码相机1具备：CPU(CentralProcessingUnit)11、ROM(ReadOnlyMemory)12、RAM(RandomAccessMemory)13、总线14、光学系统15、摄像部16、图像处理部17、存储部18、显示部19、操作部20、通信部21、角速度传感器22、驱动器23。

CPU11依照ROM12中所存储的程序、或者从存储部18加载至RAM13的程序，来执行各种处理。

ROM12另还适宜地存储CPU11在执行各种处理中所需的数据等。

例如，在本实施方式中，用于实现后述的图2的摄像控制部51至生成部58的各功能的程序存储在ROM12或存储部18中。因此，CPU11通过执行基于这些程序的处理，能够实现后述的图2的摄像控制部51至生成部58的各功能。

此外，能将后述的图2的摄像控制部51至生成部58的各功能中的至少一部分移植到图像处理部17。

CPU11、ROM12以及RAM13经由总线14相互连接。该总线14另外还与光学系统15、摄像部16、图像处理部17、存储部18、显示部19、操作部20、通信部21、角速度传感器22以及驱动器23连接。

光学系统15为了对被拍摄体进行拍摄，由对光进行聚光的透镜、例如对焦透镜或变焦透镜等来构成。对焦透镜是使被拍摄体像在摄像部16的摄像元件的受光面进行成像的透镜。变焦透镜是使焦距在一定范围内自由地变化的透镜。光学系统15另还根据需要，设置有用于调整焦点、曝光等的周边装置。

摄像部16由光电变换元件、AFE(AnalogFrontEnd：模拟前端)等构成。光电变换元件例如由CCD(ChargeCoupledDevice)、CMOS(ComplementaryMetalOxideSemiconductor)型的光电变换元件构成。光电变换元件按照每隔一定时间，对该期间所入射而蓄积的被拍摄体像的光信号进行光电变换(摄像)，将作为其结果而获得的模拟的电信号依次提供给AFE。

AFE针对该模拟的电信号，实施A/D(Analog/Digital)变换处理等各种信号处理，将其结果的所获得的数字信号作为摄像部16的输出信号而进行输出。

此外，以下将摄像部16的输出信号称为“摄像图像的图像数据”。因此，从摄像部16输出摄像图像的图像数据，并适宜地提供给图像处理部17等。

图像处理部17由DSP(DigitalSignalProcessor)、或VRAM(VideoRandomAccessMemory)等构成。

图像处理部17与CPU11进行联动，针对从摄像部16输入的摄像图像的图像数据，进行减噪、白平衡、防抖动等图像处理。

在此，以下如无特别限定，“图像数据”是指每隔一定时间从摄像部16输入的摄像图像的图像数据、或者该图像数据被加工等后的数据。即，在本实施方式中，将该图像数据采用为处理单位。

存储部18由DRAM(DynamicRandomAccessMemory)等构成，对从图像处理部17输出的图像数据、后述的全景中途图像的图像数据等进行临时存储。另外，存储部18还存储各种图像处理中所需的各种数据等。

显示部19例如构成为由LCD(LiquidCrystalDevice：液晶显示装置)、LCD驱动部构成的平板显示器面板。显示部19以图像为单位来显示由从存储部18等提供的图像数据来表现的图像，例如后述的实时浏览图像。

操作部20除具有快门开关41外，虽未图示还具有电源开关、摄像模式开关、重放开关等多个开关。在这些多个开关中的规定开关被进行按下操作时，操作部20将被分配给该规定开关的指令提供给CPU11。

通信部21控制与经由包含因特网的网络的、未图示的其他的装置之间的通信。

角速度传感器22由陀螺仪等构成，对数码相机1的角度位移量进行检测，将表示检测结果的数字信号(以下，仅称为“角度位移量”)提供给CPU11。此外，角速度传感器22根据需要也发挥方位传感器的功能。

对驱动器23适宜地安装由磁盘、光盘、光磁盘或者半导体存储器等形成的可移动介质31。然后，将从可移动介质31读出的程序根据需要而安装于存储部18。另外，可移动介质31能够与存储部18同样地存储存储部18中所存储的图像数据等各种数据。

图2是表示用于执行由图1的数码相机1执行的处理中的、对被拍摄体进行摄像至将作为其结果而获得的摄像图像的图像数据记录于可移动介质31的一系列处理(以下，称为“摄像处理”)的功能性的构成的功能框图。

如图2所示，CPU11具备：摄像控制部51、获取部52、估计部53、计算部54、判定部55、加权部56、调整部57、生成部58。

此外，如上所述，摄像控制部51至生成部58的各功能并不必如本实施方式那样地需要搭载于CPU11，可将这些功能中的至少一部分移植到图像处理部17。

摄像控制部51对全部摄像处理的执行进行控制。例如，摄像控制部51能够选择性切换通常摄像模式和全景摄像模式来作为数码相机1的动作模式，并执行基于切换后的动作模式的处理。

在成为全景摄像模式时，获取部52至生成部58在摄像控制部51的控制下进行动作。

在此，为了易于理解摄像控制部51至生成部58，在对这些功能的构成进行说明之前，适宜地参照图3以及图4，详细说明全景摄像模式。

图3是用于说明在分别选择了通常摄像模式和全景摄像模式作为图1的数码相机1的动作模式的情况下的摄像操作的图。

详细而言，图3A是用于说明通常摄像模式下的摄像操作的图。图3B是用于说明全景摄像模式下的摄像操作的图。

在图3A以及图3B的各图中，处于数码相机1的里侧的图画表示包含数码相机1的被拍摄体在内的现实世界的样子。另外，图3B所示的纵向的虚线表示数码相机1的移动方向的各位置a、b、c。数码相机1的移动方向是指，用户以自身的身体为轴而使数码相机1的摄像方向(角度)进行变化的情况下的、数码相机1的光轴进行移动的方向。

通常摄像模式是指在对与数码相机1的视角对应的尺寸(分辨率)的图像进行摄像的情况下的动作模式。

通常摄像模式中，如图3A所示，用户在使数码相机1固定的状态下将操作部20的快门开关41按下至下限为止。此外，以下将这样把快门开关41按下至下限为止的操作称为“全按下操作”或仅简称为“全按下”。

摄像控制部51对在进行了全按下操作后立即将从图像处理部17输出的图像数据作为记录对象而记录于可移动介质31为止的一系列处理的执行进行控制。

以下，将如此在通常摄像模式下通过摄像控制部51的控制而执行的一系列处理称为“通常摄像处理”。

另一方面，全景摄像模式是指，对全景图像进行摄像的情况下的动作模式。

在全景摄像模式下，如图3B所示，用户在维持快门开关41的全按下操作的状态下，使数码相机1向同图中黑箭头的方向进行移动。

摄像控制部51在维持全按下操作的期间，对获取部52至生成部58进行控制，反复进行如下动作，即，在来自角速度传感器22的角度位移量每达到一定值时就获取紧接其后从图像处理部17输出的图像数据，并且将其临时存储至存储部18。

其后，用户通过进行解除全按下操作的操作，即从快门开关41移开手指等的操作(以下，将这样的操作称为“释放操作”)，指示全景摄像的结束。

摄像控制部51对获取部52至生成部58进行控制，在指示全景摄像的结束时，将至此为止存储在存储部18中的多个图像数据按照所存储的顺序在水平方向上进行合成，由此，来生成全景图像的图像数据。

接下来，摄像控制部51对生成部58等进行控制，将全景图像的图像数据作为记录对象而记录在可移动介质31中。

如此，摄像控制部51在全景摄像模式中，对获取部52至生成部58进行控制，控制生成全景图像的图像数据并将其作为记录对象而记录于可移动介质31为止的一系列处理。

以下，将如此的在全景摄像模式中通过摄像控制部51的控制所执行的一系列处理称为“全景摄像处理”。

图4表示在图3所示的全景摄像模式中，通过获取部52至生成部58所生成的全景图像的图像数据。

即，在全景摄像模式中，进行如图3B所示那样的摄像操作时，在摄像控制部51的控制下，通过获取部52至生成部58来生成图4所示那样的全景图像P3的图像数据，并将其记录于可移动介质31中。

获取部52至生成部58在摄像控制部51的控制下，执行如下的处理。

获取部52在数码相机1每移动规定量(角度位移量每成为一定值)时，接受从摄像控制部51发出的获取指令，从图像处理部17依次获取通过连续拍摄而得到的图像的图像数据。

估计部53在对通过获取部52所依次获取的图像数据的各自中的、在空间方向相邻的图像数据彼此进行合成的情况下，针对与相邻的图像数据接触或者重叠的各区域(以下，称为“合成部分”)内应合成的合成位置进行估计。在此，相邻的图像数据是指，在全景摄像中的通过第K次(K为1以上的整数值)的摄像所获得的摄像图像的图像数据、以及同一全景摄像中的通过第K+1次的摄像所获得的摄像图像的图像数据。

图5是用于说明估计部53对合成位置进行估计的手法的图。

在图5中，图像数据Fa表示上述第K次的图像数据。图像数据Fb表示上述第K+1次的图像数据。即，在获得图像数据Fa的下一次获得了图像数据Fb。

在图5中示出了，以斜线施以阴影的部分的亮度值比其他的部分低。

如图5所示，估计部53对图像数据Fa与图像数据Fb重合的各自的合成部分Fam、Fbm进行检测，在该合成部分Fam、Fbm的重叠区域Fab内，对合成位置进行估计。

在此，合成部分成为用于构成图像数据的各像素中的、构成线或者长方形的像素的集合体。在此，将合成部分的长边方向称为“长度方向”，将与长度方向正交的方向称为“宽度方向”。在本实施方式中，多个图像数据在水平方向(图5中，X坐标方向)进行合成，因此，将合成部分的长度方向设为垂直方向(图5中，Y坐标方向)，将合成部分的宽度方向设为水平方向(图5中，X坐标方向)。另外，尽管在本实施方式中将合成部分Fam、Fbm的宽度方向的长度设为了3点(dot)，但并不特别局限于此，能够设为任意的长度。

在此，关于合成部分Fam、Fbm的检测手法，并不特别限定，能够采用通过图像处理来对图像数据Fa与图像数据Fb进行比较的手法等任意的手法。

其中，在本实施方式中，如上所述，数码相机1每移动规定量(角度位移量每成为一定值)时进行1次的图像数据的获取。因此，能够基于该规定量(角度位移量的一定值)来对合成部分Fam、Fbm进行估计。在此，本实施方式中采用将基于该规定量(角度位移量的一定值)而估计出的部分设为合成部分Fam、Fbm这样的手法。

接下来，估计部53通过以本实施方式中Harris的拐角检测法等对合成部分Fam、Fbm各自中的特征点(像素)的移动矢量进行计算，由此，对重叠区域Fab内的合成位置进行估计。

图6是用于说明估计部53估计合成位置的手法的图。

计算部54一边使在作为规定的区域内的合成部分Fam、Fbm内的规定方向即垂直方向上所估计出的合成位置进行错位一边对重叠区域Fab内的图像数据彼此的像素的亮度值之差进行计算。

图6A表示图5中的图像数据Fa内的合成部分Fam中的宽度1点的部分的亮度值。

图6B是表示图5中的图像数据Fb内的合成部分Fbm中的宽度1点的部分的亮度值。

图6A以及图6B中，Y坐标与图5相同，表示图像数据的垂直方向。

根据图6A以及图6B可知：以图5中的虚线所包围的部分L的亮度值比图5中的其他部分低。

图6C表示计算部54所计算出的、图5的合成部分Fam中的宽度1点的列的亮度值、和与合成部分Fam中的宽度1点的位置对应的图5的合成部分Fbm的宽度1点的列的亮度值之间的差分的绝对值(以下，也称为“像素值之差”)。

判定部55判定通过计算部54所计算出的像素值之差是否为阈值(图6中的虚线)以上，提取像素值之差为阈值以上的部分P。

图6D表示对图5中的部分P进行加权后的像素值之差。

加权部56对通过判定部55判定为像素值之差为阈值以上的部分P进行加权。具体而言，加权部56按照部分P的像素值之差d成为2倍的方式进行加权。加权部56在对重叠区域Fab中的像素值之差的总和(SumofAbsolteDifference以下，称为“SAD”)进行计算之际，计算对用于构成该SAD的值的像素值之差进行加权后的SAD(以下，称为“加权SAD”)。

此外，尽管在本实施方式中采用了SAD作为计算合成部分中的2个图像数据的类似程度的手法，但并不特别限定于此，例如，还能够采用差分平方和等。

另外，尽管在本实施方式中采用了亮度值作为用于计算合成部分中的2个图像数据的类似程度的像素值，但并不特别限定于此，还能够采用色差或色调。

通过以上的手法，计算部54以通过估计部53所估计出的合成位置为基准，将合成部分Fam、Fbm在上下方向(图5以及6中的Y坐标方向)上，空出规定的点数(例如，1点)的间隔，一边1点1点地进行错位，一边计算16种(上下合计32种)的重叠区域Fab中的像素值之差。

加权部56在基于判定部55的判定结果对像素值之差为阈值以上的部分P进行加权的基础上，计算32种的加权SAD。

如此，空出规定的点数的间隔，针对重叠区域Fab来分别计算像素值之差，由此，能够沿合成部分中的上下方向以更宽的范围来计算加权SAD。

调整部57进行调整，以将通过加权部56所计算出的32种加权SAD的值中的成为最小的加权SAD的值的图像数据彼此的位置作为合成位置候补。

然后，计算部54将以上述的方法由调整部57调整后的合成位置候补作为基准，一边将合成部分Fam、Fbm在上下方向(图5以及6中的Y坐标方向)1点1点地进行错位，一边再计算16种(上下合计32种)的SAD。

接下来，加权部56针对计算出的32种SAD，以上述的加权方法来计算32种加权SAD。

调整部57进行调整，使得通过加权部56进行加权后的32种加权SAD的值中的、成为最小的加权SAD的值的位置成为合成位置。

如此，计算部54对像素值之差进行2次计算。即，计算部54，作为第1次，空出规定的点数的间隔，一边1点1点地进行错位一边计算像素值之差，作为第2次，不空出规定的点数的间隔，一边1点1点地进行错位一边计算像素值之差。因此，第1次能够沿合成部分中的上下方向以更宽的范围对像素值之差进行计算，所以，能够将合成位置的选定范围缩小为一定程度上可靠的位置，第2次则以选定范围缩小后的位置为基准来详细地计算像素值之差，由此能够调整更准确的合成位置。

另外，尽管在本实施方式中针对合成部分Fam、Fbm的重叠区域Fab内的全部来一边在上下方向进行规定点数的错位一边计算SAD，但也可以针对重叠区域Fab的一部分范围来计算SAD。即，在计算SAD之际，可以通过将在上下方向错位最大点数个的区域(在一边进行规定的点数的错位一边计算SAD的过程中，合成部分Fam、Fbm成为不重叠的区域)预先从SAD的计算候补中排除，来将用于计算SAD的重叠区域的点数保持为一定。

如此，使SAD成为最小值的合成位置的估计/调整将变得更准确。

生成部58通过摄像控制部51的控制，基于由调整部57调整后的合成位置，对相邻的图像数据彼此进行合成，来生成全景图像的图像数据。

获取部52至生成部58通过以上的处理，将到此为止所获取的多个图像数据以所存储的顺序在水平方向上进行合成，由此来生成全景图像的图像数据。

以上，参照图2至图6，对应用本发明的数码相机1的功能性的构成进行了说明。

接下来，参照图7，对具有这样的功能性的构成的数码相机1所执行的摄像处理进行说明。

图7是表示摄像处理的流程的一例的流程图。

在本实施方式中，摄像处理在数码相机1的未图示的电源成为接通状态时开始。

在步骤S1中，图2的摄像控制部51执行操作检测处理以及初始设定处理。

操作检测处理是指，对操作部20的各开关的状态进行检测的处理。摄像控制部51通过执行操作检测处理，能够检测出是设定通常摄像模式还是设定全景摄像模式来作为了动作模式。

另外，作为本实施方式的一初始设定处理，采用用于对角度位移量的一定值、以及角度位移量作为最大值的角度位移阈值(例如，360度)进行设定的处理。具体而言，“角度位移量的一定值、以及角度位移量作为最大值的角度位移阈值(例如，360度)”是通过预先存储在图1的ROM12中、并从ROM12读出后再写入RAM13中来进行设定的。此外，角度位移量的一定值将在后述的图8的步骤S35的判定处理中被利用。另一方面，角度位移量作为最大值的角度位移阈值(例如，360度)将在同图的步骤S44的判定处理中被利用。

另外，在本实施方式中，如后述的图8的步骤S34、S39等所示，对角速度传感器22所检测出的角度位移量进行累加，将作为其累加值的累计角度位移量、总角度位移量(两者的差异将后述)存储在RAM13中。在此，将这些累计角度位移量、总角度位移量复位为0的处理采用本实施方式的初始设定处理之一。此外，将累计角度位移量在后述的图8的步骤S35的判定处理中与上述的一定值进行比较。另一方面，将总角度位移量在后述的图8的步骤S44的判定处理中与上述的角度位移阈值进行比较。

并且另外，作为本实施方式的初始设定处理之一，采用了将错误标记复位为0的处理。错误标记是指在全景摄像处理中发生错误时被设为1的标记(参照后述的图8的步骤S43)。

在步骤S2中，摄像控制部51开始实时浏览摄像处理以及实时浏览显示处理。

即，摄像控制部51对摄像部16、图像处理部17进行控制，使摄像部16所进行的摄像动作继续。接下来，摄像控制部51在使摄像部16的摄像动作继续的期间，经由该摄像部16将从图像处理部17依次输出的图像数据临时存储在存储器(本实施方式中存储部18)中。将这样的摄像控制部51所进行的一系列控制处理在此称为“实时浏览摄像处理”。

另外，摄像控制部51依次读出在实时浏览摄像时临时记录在存储器(本实施方式中，存储部18)中的各图像数据，将与各图像数据对应的图像依次显示在显示部19。这样，将摄像控制部51所进行的一系列控制处理在此称为“实时浏览显示处理”。此外，将通过实时浏览显示处理而依次显示于显示部19的图像以下称为“实时浏览图像”。

在步骤S3中，摄像控制部51判定快门开关41是否被半按下。

在此，半按下是指，按下至操作部20的快门开关41的中途(未达到下限的规定位置)为止的操作，以下也可适宜地将其称为“半按下操作”。

在快门开关41未被半按下的情况下，在步骤S3中判定为“否”，处理进入至步骤S12。

在步骤S12中，摄像控制部51判别是否进行了处理的结束指示。

对处理的结束指示并不特别限定，在本实施方式中，采用了对数码相机1的未图示的电源成为关断状态的情况进行通知。

因此，在本实施方式中“电源成为关断状态”被通知给摄像控制部51时，在步骤S12中判定为“是”，摄像处理全部结束。

与此相对，在电源为接通状态的情况下，不进行电源成为关断状态的通知，所以，在步骤S12中判定为“否”，处理返回至步骤S2，反复进行从该步骤起以后的处理。即，本实施方式中，只要电源维持接通状态，至快门开关41被半按下为止的期间，反复执行步骤S3：“否”以及步骤S12：“否”的循环处理，摄像处理成为待机状态。

在该实时浏览显示处理中快门开关41被半按下时，步骤S3中判定为“是”，处理进入至步骤S4。

在步骤S4中，摄像控制部51对摄像部16进行控制，执行所谓的AF(AutoFocus：自动对焦)处理。

在步骤S5中，摄像控制部51判定快门开关41是否被全按下。

在快门开关41未被全按下的情况下，在步骤S5中判定为“否”。在该情况下，处理返回至步骤S4，反复从该步骤起以后的处理。即，在本实施方式中，至快门开关41被全按下为止的期间，反复进行步骤S4、以及步骤S5：“否”的循环处理，每次均执行AF处理。

其后，在快门开关41被全按下时，步骤S5中判定为“是”，处理进入至步骤S6。

步骤S6中，摄像控制部51判定当前所设定的摄像模式是否是全景摄像模式。

在不是全景摄像模式的情况下，即在所设定的摄像模式是通常摄像模式的情况下，步骤S6中判定为“否”，处理进入至步骤S7。

在步骤S7中，摄像控制部51执行上述的通常摄像处理。

即，将在全按下操作被进行后立即从图像处理部17输出的1个图像数据作为记录对象而记录于可移动介质31。由此，步骤S7的通常摄像处理结束，处理进入至步骤S12。此外，关于步骤S12以后的处理如上所述，故在此省略其说明。

与此相对，在当前设定了全景摄像模式的情况下，步骤S6中判定为“是”，处理进入至步骤S8。

在步骤S8中，摄像控制部51执行上述的全景摄像处理。

关于全景摄像处理的详细情况，参照图8进行后述，但原则上是将全景图像的图像数据生成后作为记录对象而记录于可移动介质31中。由此，步骤S8的全景摄像处理结束，处理进入至步骤S9。

在步骤S9中，摄像控制部51判定错误标记是否为1。

关于详细情况将参照图8进行后述，在全景图像的图像数据作为记录对象而被记录于可移动介质31中且步骤S8的全景摄像处理正确地结束时，错误标记成为0。在这样的情况下，步骤S9中判定为“否”，处理进入至步骤S12。此外，步骤S12以后的处理是如上所述的情形，故在此省略其说明。

与此相对，在步骤S8的全景摄像处理中发生某错误时，该全景摄像处理非正确地结束。在这样的情况下，错误标记成为1，因此，步骤S9中判定为“是”，处理进入至步骤S10。

在步骤S10中，摄像控制部51使错误的内容显示在显示部19。关于所显示的错误内容的具体例将后述。

在步骤S11中，摄像控制部51解除全景摄像模式，将错误标记复位为0。

其后，处理返回至步骤S1，并反复从该步骤起以后的处理。即，摄像控制部51准备受理用户下一次的新的摄像操作。

以上，参照图7，对摄像处理的流程进行了说明。

接下来，参照图8，对图7的摄像处理中的步骤S8的全景摄像处理的详细流程进行说明。

图8是用于说明全景摄像处理的详细流程的流程图。

如上所述，在全景摄像模式的状态下快门开关41被全按下时，图7的步骤S5以及S6中判定为“是”，处理进入至步骤S8，执行如下的处理作为全景摄像处理。

即，在图8的步骤S31中，摄像控制部51从角速度传感器22获取角度位移量。

在步骤S32中，摄像控制部51判定在步骤S31的处理中所获取的角度位移量是否比0大。

在用户不使数码相机1移动的状态下，角度位移量成为0，因此，步骤S32中判定为“否”，处理进入至步骤S33。

在步骤S33中，摄像控制部51判定角度位移量0的持续是否经过了规定时间。作为规定时间，例如，能够采用比从用户全按下快门开关41起到开始数码相机1的移动为止所需的时间要长的适当的时间。

在未经过规定时间的情况下，步骤S33中判定为“否”，处理返回至步骤S31，反复从该步骤起以后的处理。即，在用户未使数码相机1移动的状态的持续时间比规定时间短的情况下，摄像控制部51反复执行步骤S31至步骤S33：“否”的循环处理，由此，使全景摄像处理为待机状态。

在该待机状态中用户使数码相机1移动时，从角速度传感器22所获取的角度位移量成为比0大的值。在这样的情况下，步骤S32中判定为“是”，处理进入至步骤S34。

在步骤S34中，摄像控制部51通过对至此为止的累计角度位移量相加在步骤S31的处理中获取的角度位移量，来更新累计角度位移量(更新后的累计角度位移量＝至此为止的累计角度位移量+角度位移量)。即，对在RAM13中作为累计角度位移量而被存储的值进行更新。

累计角度位移量是指，如此对角度位移量进行累加而得到的值，表示数码相机1的移动量。

在此，在本实施方式中，设在用户每使数码相机1移动一定量时，全景中途图像的图像数据生成用的1个图像数据(合成对象)被从图像处理部17提供给获取部52。

为了实现此，通过图7的步骤S1的初始设定处理，将与作为数码相机1的移动量的“一定量”对应的累计角度位移量预先赋予为“一定值”。

即，在本实施方式中，在每次累计角度位移量达到一定值时，1个图像数据(合成对象)从图像处理部17被提供给获取部52，而且累计角度位移量被复位为0。

这样的一系列处理作为从下一步骤S35起以后的处理而被执行。

即，在步骤S35中，摄像控制部51判定累计角度位移量是否达到了一定值。

在累计角度位移量未达到一定值的情况下，步骤S35中判定为“否”，处理返回至步骤S31，反复从该步骤起以后的处理。即，在只要未通过用户使数码相机1移动一定量而使累计角度位移量达到一定值，则摄像控制部51反复执行步骤S31至S35的循环处理。

其后，在用户通过使数码相机1移动一定量而使累计角度位移量达到一定值时，步骤S35中判定为“是”，处理进入至步骤S36。

在步骤S36中，摄像控制部51执行全景合成处理。

关于全景合成处理的详细情况将参照图9进行后述，从获取部52获取图像数据(合成对象)，将这些图像数据进行合成，生成全景中途图像的图像数据。

全景中途图像是指，在以选择了全景摄像模式的状态来进行了全按下操作的情况下，预备生成的全景图像中的、表示至当前为止所拍摄到的区域的图像。

在步骤S39中，摄像控制部51通过对到此为止的总角度位移量相加当前的累计角度位移量(＝大致一定值)，来更新总角度位移量(更新后的总角度位移量＝至此为止的总角度位移量+累计角度位移量)。即，对RAM13中存储为总角度位移量的值进行更新。

在步骤S40中，摄像控制部51将累计角度位移量复位为0。即，将RAM13中存储为累计角度位移量的值更新为0。

如此，累计角度位移量用于控制将1个图像数据(合成对象)从图像处理部17提供给获取部52的定时，即获取指令的发出定时。由此，累计角度位移量在每次达到一定而发出获取指令时被复位为0。

因此，摄像控制部51即使利用累计角度位移量，也不能识别从全景摄像处理开始起至当前为止前数码相机1移动到了哪里。

为此，为了能进行这样的识别，在本实施方式中，与累计角度位移量不同，另采用了总角度位移量。

即，总角度位移量尽管是对角度位移量进行累加而得到的值，但是是即使达到一定量也不会被复位为0而至全景摄像处理结束为止的期间(详细而言，至后述的步骤S46的处理被执行为止的期间)进行持续累加而得到的值。

如此，在步骤S39的处理中更新总角度位移量、且在步骤S40的处理中将累计角度位移量复位为0时，处理进入至步骤S41。

在步骤S41中，摄像控制部51判定是否进行了释放操作。

在未进行释放操作的情况下，即，在用户继续进行快门开关41的全按下的情况下，步骤S41中判定为“否”，处理进入至步骤S42。

在步骤S42中，摄像控制部51判定图像获取的错误是否发生。

关于图像获取的错误，并不特别限定，例如，本实施方式中，也可以将数码相机1向斜向方向、上下方向或者相反方向移动了一定量以上的情形采用为错误。

在图像获取中未发生错误的情况下，步骤S42中判定为“否”，处理进入至步骤S44。

在步骤S44中，摄像控制部51判别总角度位移量是否超过了角度位移阈值。

如上所述，总角度位移量是指，从开始全景摄像处理起(从进行全按下操作起)至执行步骤S44的处理的时间点为止的角度位移量的累加值。

在此，在本实施方式的全景摄像中，预先决定了用户使数码相机1可移动的最大移动量。与这样的作为数码相机1的移动量的“最大移动量”对应的总角度位移量，通过图7的步骤S1的初始设定处理而作为“角度位移阈值”被预先赋予。

如此，在本实施方式中，“总角度位移量达到了角度位移阈值”意味着数码相机1移动了最大移动量。

因此，在总角度位移量未达到角度位移阈值的情况下，即数码相机1的移动量未达到最大移动量的情况下，用户能够继续使数码相机1进行移动，所以，步骤S44中判定为“否”，处理返回至步骤S31，反复从该步骤起以后的处理。

即，在将角度位移量0的持续经过规定时间(数码相机1未移动规定时间)也作为错误之一时，在错误未发生的状态下，只要持续着全按下操作，就反复执行步骤S31至S44：“否”的循环处理。

其后，在未发生错误的状态下，在释放操作被进行(步骤S41的处理中判定为“是”)或者数码相机1移动至最大移动量(步骤S44的处理中判定为“是”)的情况下，处理进入至步骤S45。

在步骤S45中，摄像控制部51经由获取部52来生成全景图像的图像数据，并作为记录对象的图像数据而记录于可移动介质31。

此外，在本实施方式中，由于在每次获取图像数据时生成了全景中途图像的图像数据，因此，在步骤S45的处理时间点所生成的全景中途图像的图像数据被采用为最终的全景图像的图像数据。

然后，在步骤S46中，摄像控制部51将总角度位移量复位为0。

由此，全景摄像处理正确地结束。即，图7的步骤S8的处理正确地结束，在下一步骤S9的处理中判定为“否”。此外，关于在步骤S9的处理中判定为“否”之后的处理已上述，因此在此省略其说明。

此外，在上述的一系列处理中发生了某错误的情况下，即，在步骤S33的处理中判定为“是”或在步骤S42的处理中判定为“是”的情况下，处理进入至步骤S43。

在步骤S43中，摄像控制部51将错误标记置位为1。

在该情况下，不执行步骤S45的处理，即，不记录全景图像的图像数据，全景摄像处理非正确地结束。

即，图7的步骤S8的处理非正确地结束，在下一步骤S9的处理中判定为“是”，并在步骤S10的处理中显示错误的内容。

该情况下的错误内容的显示并不特别局限于上述形态，例如能够采用“图像获取失败”或“超时”等消息显示。

以上，参照图8，对全景摄像处理的流程进行了说明。

接下来，参照图9，对图8的全景摄像处理中的、步骤S36的全景合成处理的详细流程进行说明。

图9是用于说明全景合成处理的详细流程的流程图。

如上所述，在用户通过使数码相机1移动一定量来使累计角度位移量达到一定值时，在图8的步骤S35中判定为“是”，处理进入至步骤S36，执行如下的处理作为全景合成处理。

即，在图9的步骤S51中，获取部52在摄像控制部51的控制下，从图像处理部17依次获取连续拍摄到的图像的图像数据。

在步骤S52中，估计部53对步骤S51中所获取的图像数据各自中的、相邻的图像数据彼此的合成部分内应由生成部58进行合成的合成位置进行估计。

在步骤S53中，计算部54一边以步骤S52中所估计出的合成位置为基准沿上下方向空出规定的点数的间隔来1点1点地进行错位，一边计算16种(上下合计32种)像素值之差。

在步骤S54中，判定部55判定步骤S53中所计算出的像素值之差是否为阈值以上，并提取像素值之差为阈值以上的部分。

在步骤S55中，加权部56计算对步骤S55中判定为像素值之差为阈值以上的部分进行加权后的32种加权SAD。

在步骤S56中，调整部57从步骤S55中所计算出的32种加权SAD的值中将值为最小的位置调整为合成位置候补。

在步骤S57中，计算部54一边以步骤S56中调整后的合成位置候补为基准沿上下方向来1点1点地进行错位，一边再计算16种(上下合计32种)SAD。

在步骤S58中，调整部57从步骤S57中所计算出的32种SAD的值中将值为最小的位置调整为合成位置。

在步骤S59中，生成部58通过摄像控制部51的控制，基于步骤S58中调整后的合成位置，对相邻的图像数据彼此进行合成，来生成全景中途图像的图像数据。

根据本实施方式，能够取得以下的作用效果。

本实施方式的数码相机1的获取部52依次获取连续拍摄到的图像，生成部58对由获取部52依次获取的图像数据进行合成。

接下来，估计部53对由获取部52依次获取的图像数据的各自中的、相邻的图像数据彼此的合成部分内由生成部58进行合成的合成位置进行估计，计算部54将估计部53所估计出的合成位置作为基准，在重叠区域内一边使像素数据朝着规定方向进行错位一边对该重叠区域内的图像数据彼此的像素值之差进行计算，加权部56基于计算出的像素值之差来计算加权SAD。调整部57按照使由加权部56计算出的重叠区域内的加权SAD的值成为最小的图像数据彼此的位置成为合成位置的方式来进行调整，生成部58基于由调整部57调整后的合成位置，对相邻的图像数据彼此进行合成，来生成全景图像的图像数据。

由此，在相邻的图像数据彼此的合成中，能够在相邻的图像数据彼此的重叠区域内估计合成位置后，进而在重叠区域内调整为加权SAD的值成为最小的合成位置，即，相邻的图像数据彼此中图像数据的边缘部分对齐的合成位置，并进行合成。

因此，能够使在合成图像时的位置对准的精度得以提高。

另外，本实施方式中，在估计部53预先估计了合成位置后，计算部54一边在垂直方向使像素数据错位规定的点数个一边计算像素值之差的值，调整部57按照使成为最小的SAD的值的位置成为合成位置的方式来进行了调整，因此，例如针对合成部分内的全部的像素数据的量，在垂直方向上一边使像素数据进行错位一边计算SAD或加权SAD的值，设定为使成为最小的SAD或加权SAD的值的位置变为合成位置，由此能够减轻数码相机1的处理负担。

另外，本实施方式的数码相机1的判定部55判定计算部54所计算出的像素值之差是否为阈值以上，加权部56在由判定部55判定为像素值之差为阈值以上时，对像素值之差进行加权来计算加权SAD，调整部57基于加权部56所计算出的加权SAD，来调整合成位置。

由此，能够易于从SAD的值成为最小的合成位置的候补中，设定像素值之差成为阈值以上，即，相邻的图像数据彼此中的图像数据的边缘部分发生错位的合成位置的候补，所以，易于在图像数据的边缘部分一致的位置调整合成位置。另外，在图6中虽未图示，但在将合成部分Fam、Fbm的像素变换为亮度值时，即使在该亮度值中产生了噪声，也对像素值之差(相邻的图像彼此的亮度值的差分的绝对值)为阈值以上的部分进行加权来计算SAD的值，所以，能够不受亮度值的变换时若干噪声的影响地进行合成位置的调整。

此外，尽管在本实施例中将合成位置调整为了使SAD成为最小值的位置，但并不限于此。

例如，也可以将合成位置调整为使SAD的值成为第2低的值的位置。如此，能够进行考虑了亮度值的变换时若干噪声的影响的合成位置的调整。

另外，本实施方式的数码相机1的获取部52获取由摄像部16按每规定时间依次拍摄到的图像。

由此，能够在摄像部16进行摄像的同时，依次调整合成位置地来合成所获取的图像数据。

此外，本发明并不限于上述的实施方式，能够达成本发明的目的的范围内的变形、改良等均包含在本发明中。

例如，尽管在上述的实施方式中在摄像部16的摄像动作中进行了全景合成处理，但并不特别限定于此，也可以在摄像部16的摄像动作结束、获取了用于生成全景图像的图像数据的全部的图像数据后进行全景合成处理。

另外，尽管在上述的实施方式中采用了由角速度传感器22对数码相机1的角度位移量进行检测的构成，但对角度位移量进行检测的手法并不特别限定于此，

例如，也可以采用对实时浏览图像进行解析并通过图像彼此的运动矢量来检测数码相机1的角度位移量的手法。

另外，尽管在上述的实施方式中将全景中途图像以及全景图像设为了横长的构成，但并不特别限定于此，也可以设为在数码相机1的移动方向的方向上变长这样的构成，例如可设为纵长的构成，进行生成的图像并不限于全景图像，只要是通过对多个图像进行合成来生成较1个图像的视角而言视角更宽的广角图像即可。

另外，在上述实施方式中，以将应用本发明的图像处理装置构成为数码相机1为例来进行了说明。

但是，本发明并不特别限定于此，也能够一般性适用于具有可生成全景图像的功能的电子设备，例如，可广泛地适用于便携式个人计算机、便携式导航装置、移动式游戏机等。

上述的一系列处理既能通过硬件来执行，也能通过软件来执行。

在将一系列处理通过软件来执行的情况下，将构成该软件的程序从网络或记录介质安装至图像处理装置或者对该图像处理装置进行控制的计算机等。在此，计算机也可以是嵌入于专用硬件中的计算机。或者另外，计算机可以是通过安装各种程序而能执行各种功能的计算机，例如通用的个人计算机。

包含这样的程序的记录介质不仅可以由为了对用户提供程序而与装置主体分体地配发的可移动介质31来构成，还可以由以预先嵌入于装置主体的状态被提供给用户的记录介质等来构成。可移动介质31例如由磁盘(包含软盘)、光盘、光磁盘等构成。另外，以预先嵌入于装置主体的状态被提供给用户的记录介质例如由记录有程序的ROM12或存储部18中所含的硬盘等来构成。

此外，在本说明书中，对记录介质中所记录的程序进行记叙的步骤，不用说包含按其顺序来时序地进行的处理，但不必一定是时序地进行处理，也包含并行或者单独地执行的处理。

Claims (10)

1.一种图像处理装置，其特征在于，具备：

获取单元，其获取多个图像；

估计单元，其计算由所述获取单元获取的图像彼此的公共的区域内的特征点的移动矢量，基于计算出的移动矢量来估计所述多个图像彼此的公共的区域内的特定的位置；

第1计算单元，其通过使由所述估计单元估计出的特定的位置向所述公共的区域内的规定方向在该公共的区域内进行错位，来分别对该公共的区域内的所述多个图像彼此的差分值进行计算；

调整单元，其基于由所述第1计算单元分别计算出的差分值，对所述特定的位置进行调整；和

合成单元，其基于由所述调整单元调整后的特定的位置，对所述多个图像彼此进行合成。

2.根据权利要求1所述的图像处理装置，其中，

所述图像处理装置还具备第2计算单元，该第2计算单元通过使由所述调整单元调整后的特定的位置向所述规定方向在比所述公共的区域更窄的范围内错位，来分别对所述公共的区域内的所述多个图像彼此的差分值进行计算，

所述调整单元进一步地，基于由所述第2计算单元计算出的差分值来对所述特定的位置再次进行调整。

3.根据权利要求1所述的图像处理装置，其中，

所述第1计算单元进一步地，通过使所述特定的位置向作为所述规定方向的上下方向在所述公共的区域内每次错位规定的点数，来分别对该公共的区域内的所述多个图像彼此的差分值进行计算。

4.根据权利要求2所述的图像处理装置，其中，

所述第2计算单元进一步地，通过使所述特定的位置向作为所述规定方向的上下方向在比所述公共的区域更窄的范围内每次错位小于所述规定的点数的点数，来分别对所述公共的区域内的所述多个图像彼此的差分值进行计算。

5.根据权利要求1所述的图像处理装置，其中，

所述图像处理装置还具备：

判定单元，其判定由所述计算单元计算出的差分值是否为阈值以上；和

加权单元，其在由所述判定单元判定为所述差分值为阈值以上时，对所述差分值进行加权，

所述调整单元基于由所述加权单元加权后的差分值，来调整所述特定的位置。

6.根据权利要求1所述的图像处理装置，其中，

所述调整单元将所述特定的位置调整为使由所述第1计算单元计算出的差分值成为最小的位置。

7.根据权利要求1所述的图像处理装置，其中，

所述合成单元进一步地，通过对所述多个图像彼此进行合成来生成全景图像。

8.根据权利要求1所述的图像处理装置，其中，

在每次所述特定的位置向所述公共的区域内的规定方向在公共的区域内被错位规定的量时，所述第1计算单元对该公共的区域内的所述多个图像彼此的差分值进行计算。

9.根据权利要求1所述的图像处理装置，其中，

所述图像处理装置还具备摄像单元，

所述获取单元获取由所述摄像单元按每规定时间依次拍摄到的图像。

10.一种图像处理方法，其特征在于，包括：

获取步骤，获取多个图像；

估计步骤，计算由所述获取步骤获取的图像彼此的公共的区域内的特征点的移动矢量，基于计算出的移动矢量来估计所述多个图像彼此的公共的区域内的特定的位置；

计算步骤，通过使通过所述估计步骤而估计出的特定的位置向所述公共的区域内的规定方向在所述公共的区域内进行错位，来对该公共的区域内的所述多个图像彼此的差分值进行计算；

调整步骤，基于通过所述计算步骤而计算出的差分值，来对所述特定的位置进行调整；和

合成步骤，基于通过所述调整步骤而调整后的应合成的位置，来对所述多个图像彼此进行合成。