具体实施方式
下面利用附图对本发明的图像处理装置、显示装置、图像处理方法及显示方法进行说明。
[图像处理系统的概略结构]
参照图1及图2对本实施方式的图像处理装置(显示装置)、包括本实施方式的图像处理装置(显示装置)的图像处理系统进行说明。图1为示出包括本实施方式的图像处理装置的图像处理系统的概略结构的说明图。
图像处理系统具有:作为生成图像数据的输入装置的数字相机10、作为使用与图像数据GD相关联的图像处理控制信息GI执行对图像数据GD的图像处理并使用实施了图像处理的图像数据来输出图像的显示图像输出装置(显示装置)及图像处理装置的便携式设备20、显示装置30以及彩色打印机50。其中,彩色打印机50,除了作为印刷并输出图像的印刷图像显示输出装置的功能之外还具有作为显示装置及图像处理装置的功能。
数字相机10,是通过使光信息成像于数字器件(CCD、光电倍增管这样的光电变换元件)而取得图像的照相机,具有:具备用来将光信息变换为电信息的CCD等的光电变换电路、用来控制光电变换电路获取图像的图像取得电路以及用来对所获取的数字图像进行加工处理的图像处理电路等等。
数字相机10,将获取的图像作为数字数据保存于作为存储装置的存储卡MC中。作为数字相机10的图像数据的保存形式一般为:作为非可逆压缩保存方式的JPEG数据方式及作为可逆压缩保存方式的TIFF数据形式,但除此之外也可以使用RAW数据形式、GIF数据形式及BMP数据形式等的保存形式。
数字相机10,在图像数据GD生成时,可以将记述在拍摄时设定的拍摄条件的拍摄信息SI、预先存储在数字相机10的存储器(例如ROM)内的规定图像处理条件的图像处理控制信息GI写入到图像数据GD的头体部。数字相机10,将生成的图像数据GD存储于存储卡MC等中。
下面参照图3~图5对在本实施方式中使用的图像数据GD示意结构、作为图像处理控制信息GI、拍摄信息SI记录的参数的一例进行说明。图3示意地示出在本实施方式中使用的图像数据GD的结构。图4为示出作为图像处理控制信息GI记录的参数的一例的说明图。
图5为示出作为拍摄信息SI记录的参数的一例的说明图。另外,对于在图3~图5中示出的各数据、信息的结构,为了说明,比如,只概念性地示出存储于存储器上的数据、信息。
图像数据GD,比如,在其头体部记述规定对图像数据GD的图像处理时的图像处理条件的图像处理控制信息GI以及示出拍摄时的拍摄条件的拍摄信息SI。就是说,使图像处理控制信息GI及拍摄信息SI与每个图像数据GD相对应。图像处理控制信息GI,是为了在从预定的图像输出装置输出由数字相机10等的任意的图像数据生成装置所生成的图像数据之际,得到预期的输出图像而预先通过实验求得的信息。
作为拍摄信息SI记述的参数,比如,为拍摄时的快门速度、曝光模式、ISO、光阑值、拍摄场景、闪光灯有无发光。
作为图像处理控制信息GI记述的参数,比如,为去噪有无(去噪级),清晰度,明度,R、G、B色平衡,对比度,记忆色、拍摄模式(与拍摄条件相对应的图像处理时的处理模式)。图像处理控制信息GI,比如,考虑到生成图像数据GD的数字相机10的图像数据的生成特性和作为彩色打印机50的一种功能的印刷图像显示输出装置的图像输出特性而确定。所以,在利用具有与印刷图像显示输出装置不同的图像输出特性的图像输出装置来输出使用图像处理控制信息GI实施了图像处理的图像数据时,有时不能得到与利用印刷图像显示输出装置输出的场合同样的输出图像。于是,在本实施方式中,相应于图像输出装置的图像输出特性,利用用来修正图像处理控制信息GI的修正信息,消除或减小输出图像的画质的差异。修正信息,也可以是用来使图像处理控制信息GI适合图像输出装置的图像输出特性的差分信息、用来置换图像处理控制信息GI的置换信息、用来根据图像处理控制信息GI生成适合图像输出装置的图像输出特性的新的图像处理控制信息的生成用信息中的任何一种。此种修正信息,既可以记述于图像处理控制信息GI中,也可以存储于各个图像输出装置的存储装置中。
便携式设备20,是具有比较小型的显示器21的便携用终端,比如,便携电话机、便携用个人信息管理装置等符合条件。便携式设备20,比如,经存储介质、红外线通信及电波通信这样的无线通信,或经缆线从数字相机10、网络上的服务器(未图示)取得图像数据。显示器21,比如,是液晶显示器、有机EL显示器,各显示器面板每一种都具有独立的图像输出特性。
显示装置30,是具有用来显示图像的显示器31,比如,用作电子式的照相帧的显示装置,独立对图像数据执行图像处理,显示输出图像。显示装置30,比如,经存储介质、红外线通信及电波通信这样的无线通信,或经缆线从数字相机10、网络上的服务器(未图示)取得图像数据。显示器31,比如,是液晶显示器、有机EL显示器,各显示器面板每一种都具有独立的图像输出特性。
彩色打印机50,是多功能型的彩色打印机,除了作为可以输出彩色图像的印刷图像显示输出装置的功能之外,还具有作为图像处理装置的功能。因此,不需要与个人计算机等相连接,用户可以直接利用彩色打印机50对数字相机10的图像数据GD进行图像处理而进行印刷。此外,彩色打印机50具有用来显示图像的显示器35。显示器35是与显示器31同样的装置,比如,用于用户在实际印刷前对要印刷的图像进行确认(一般称其为“预览”)。在彩色打印机50用作图像处理装置的场合,使用图像处理控制信息GI,进行相应于作为印刷输出装置的图像输出特性及显示器35的图像输出特性中的各个特性的图像处理。其中,在印刷输出到彩色打印机50的场合,由于打印机的分辨率高,输出比较大的像素数的图像。然而,由于便携式设备20、显示器31及彩色打印机50中内置的显示器35的分辨率不太高,生成显示低分辨率的图像。这一低分辨率图像的生成方法,有最邻近(最邻近处理)法、线性插值法、三次(cubic)法等,利用任何一种方法都可以生成低分辨率的图像。本发明是由低分辨率的图像取得在图像处理中使用的统计值信息而使处理高速化的发明。关于用来取得统计值信息的直方图的生成方法、统计值的运算方法见后述。
图2为示出实施方式1的便携式电话机20、显示装置30及彩色打印机50的概略结构的说明图。图2(a)示出便携式电话机20、显示面板30的概略结构,图2(b)示出彩色打印机50的概略结构。具体言之,便携式电话机20、显示面板30具有控制电路60a、输入操作单元61a、通信控制单元62a、显示器驱动控制单元63a及存储卡插槽64a。彩色打印机50具有控制电路60b、输入操作单元61b、通信控制单元62b、显示器驱动控制单元63b、存储卡插槽64b及打印机驱动控制单元65。
控制电路60a、60b分别具有:执行图像处理等的各种运算处理的中央运算装置(CPU)601a、601b,临时存储输入的图像数据、运算结果等各种数据的随机存取存储器(RAM)602a、602b,由CPU601a、601b执行的程序,存储用来修正图像处理控制信息GI的修正表等的硬盘(HDD)603a、603b或只读存储器(ROM)。
输入操作单元61a、61b是接受来自外部的输入的接口单元,比如,作为键操作单元、滚动操作单元实现。另外,显示器31、35也可以分别作为触摸面板式的输入操作单元61a、61b使用。
通信控制单元62a、62b,控制用来和数字相机10、在网络上的服务器等之间进行收发图像数据的通信。通信控制单元62a、62b,比如,执行经输入操作单元61a、61b,控制电路60a、60b所要求的预期的通信。
显示器驱动控制单元63a,控制显示器21、显示器31的输出图像,显示器驱动控制单元63b控制显示器35的输出图像的描绘。比如,在显示器31、35为液晶显示器的场合,显示器驱动控制单元63a、63b,根据从控制电路60a、60b送出的输出图像数据,通过对液晶的取向的驱动控制而形成与输出图像数据相对应的点(dot)图形。
打印机驱动控制单元65,在印刷介质上输出图像。比如,如果彩色打印机50是喷墨式打印机的话,是通过将青(C)、深红(M)、黄(Y)、黑(K)四色的色墨喷射到印刷介质上形成点图形而形成图像。另外,如果彩色打印机50是电子照相式的打印机的话,是使彩色墨粉转印定影到印刷介质上而形成图像。对于色墨,除了上述四色,也可以使用淡蓝(LC)、淡红(LM)、蓝、红。
[控制电路的功能结构]
下面参照图6对利用便携式设备20、显示装置30及彩色打印机50所具备的控制电路60a、60b实现的模块的概略进行说明。图6为利用本实施方式的便携式设备20、显示装置30及彩色打印机50所具有的控制电路60a、60b实现的功能模块的框图。另外,图6所示的各模块,可由CPU单独或作为控制电路60a、60b实现,或者也可以由硬件、软件中的一种实现。另外,以下说明的功能模块,同样也可以通过将上述设备及装置与个人计算机相连接而由个人计算机实现。
成为图像处理对象的图像数据GD,由图像数据取得模块M1取得。因此,图像数据取得模块M1,用作图像数据取得机构。
与图像数据GD相关联的图像处理控制信息GI/拍摄信息SI,由图像处理控制信息GI/拍摄信息SI取得模块M2取得,取得的图像处理控制信息GI/拍摄信息SI,利用图像处理控制信息GI/拍摄信息SI修正模块M3相应于图像输出装置进行修正。
图像处理控制信息GI,一般,因为特定的图像数据生成装置,比如,在数字相机10和特定的图像输出装置的关系中,设置成为可以得到最佳输出图像(画质),在与特定的图像输出装置不同的其他图像输出装置中,在执行使用图像处理控制信息GI的图像处理的场合,优选是与其他图像输出装置的图像输出特性相应地对图像处理控制信息GI进行修正。
于是,由图像处理控制信息GI/拍摄信息SI修正模块M3执行利用由修正信息取得模块M4所取得的修正信息的图像处理控制信息GI/拍摄信息SI修正处理。修正信息,既可以记述在图像处理控制信息GI中,也可以预先记录在控制电路60a、60b的HDD603a、603b中。
另一方面,为了执行使用针对图像数据GD的基准值的图像处理,利用图像数据解析模块M6,基于通过对图像数据GD采样所得到的直方图,求出关于图像数据GD的画质的各参数(画质参数)的解析值(统计值、特性值)。所以,图像数据分析模块M6用作采样机构及统计值计算机构。
在校正量确定模块M7中使用解析结果确定针对图像数据GD的图像处理时的校正量。所以,校正量确定模块M7用作校正量确定机构。
所确定的校正量,在校正量变更模块M8中,反映使用修正信息所修正的图像处理控制信息GI/拍摄信息SI而变更。
在图像处理模块M5中,执行使用变更后的校正量的针对图像数据GD的图像处理。实施图像处理后的图像数据GD,由图像数据输出模块M9作为输出图像数据而送出到显示器驱动控制单元63a、63b。或者,在控制电路60a、60b中具有图像输出模块M10的场合,实施了图像处理的图像数据GD,经图像输出模块M10输出到显示器21、31、35上,或者输出图像输出到印刷介质上。所以,图像处理模块M5用作图像处理机构。
另外,在图像处理模块M5的图像处理中,也可以不使用变更后的校正量,比如,按原样采用作为修正了的图像处理控制信息GI记述的参数值执行图像处理。
[图像数据的采样方法]
利用校正量确定模块M7进行的图像校正量确定处理,使关于图像数据GD的画质的参数值接近基准值。或者是求出在用来成为与基准值同一值的所谓的自动画质调整中使用的校正量的处理。
因此,在图像数据分析模块M6中,进行针对图像数据GD的采样,从采样的图像数据,取得关于图像数据GD的画质的各参数(画质参数)的解析值(统计值、特性值)。校正量确定模块M7,对各画质参数取得预先准备的基准值,使用基准值和解析值对各画质参数确定校正值。更具体言之,使用对各画质参数每一个准备的运算式,确定用来使各画质参数的解析值和基准值的差消除或减小的校正值。就是说,在本实施方式中,通过对各图像数据GD的特性进行解析,与各图像数据GD的画质相应地确定校正值。
如上所述,在图像校正量确定处理中,根据是解析值之一的统计值进行处理。统计值,根据从图像数据GD采样的图像数据算出。然而,正如在数字相机的自动曝光判定等之中使用的那样,在将图像分割为几个区域,利用分割的区域,改变曝光判定的加权时,各范围的总体极端变小。这样,在图像数据的采样是在低分辨率下进行时,基于图像数据算出的统计值的可靠性下降。由于此统计值的可靠性下降,基于统计值确定的校正值的误差变大,不能进行合适的图像校正。
(直方图的生成方法)
统计值,基于图像数据GD的直方图的统计信息算出。因此,CPU601a、601b,为了算出统计值,首先,生成图像数据GD的直方图。为了防止统计值的可靠性降低,必须不使此直方图的特性的可靠性降低。下面对本实施方式的直方图的生成方法予以叙述。
图7示出将图像数据GD以高分辨率及低分辨率采样的图像数据的直方图。图7(a)示出以高分辨率进行采样的场合的图像数据直方图,图7(b)示出以低分辨率进行采样的场合的图像数据直方图。各个直方图的横轴,示出从0至255的灰度等级值,纵轴示出具有横轴的灰度等级值的像素数。
与以图7(a)的高分辨率进行采样的场合的图像数据的直方图比较可知,以图7(b)的低分辨率进行采样的场合的图像数据的直方图的不匀(不齐)变多。另外,如图7(b)的直方图所示可知,在低分辨率的图像数据中,由于少数像素的灰度等级值的变动引起的对统计值的影响很大。在由这种直方图的统计信息算出的统计值中,不能确定用来进行适当的图像校正的校正值。
于是,在这种低分辨率的图像数据的场合,首先进行灰度等级值的粗量子化。具体言之,是以64对像素的灰度等级值进行量子化。图8(a)为以64对灰度等级值进行量子化的场合的直方图。所谓以64对灰度等级值进行量子化,不是算出从0至255的256个所有灰度等级值的像素数,而是将每4个灰度等级值的像素数作为其中一个灰度等级值的像素数算出。图8(b)为以64对灰度等级值进行量子化的场合的直方图的放大图。如图8(b)所示,在以64对灰度等级值进行量子化的场合的直方图中,如灰度等级值0的像素数、灰度等级值4的像素数、灰度等级值8的像素数...所示,对每4个灰度等级值算出像素数。就是说,因为将256个灰度等级值的像素数作为不具有下位2位的灰度等级值的像素数算出,所以只算出64个灰度等级值的像素数。比如,如图8(b)所示,作为灰度等级值3的像素数,计数灰度等级值0~3为止的像素数,作为灰度等级值7的像素数,计数灰度等级值4~7的像素数。
通过这样的粗量子化,在进行构筑直方图之后,使直方图的量子化量返回到256。具体言之,在以64对灰度等级值进行量子化之际,未作为量子化后的灰度等级值被选择的灰度等级值的像素数,即具有下位2位的灰度等级值,根据作为在以64进行量子化后的灰度等级值被选择的像素数,即不具有下位2位的灰度等级值的像素数,通过将相邻灰度等级值的像素数作为线性变化按照比例计算求出进行插值。比如,就图8(b)而言,灰度等级值4~6的像素数的值,采用连结以灰度等级值3算出的量子化后的像素数和以灰度等级值7算出的量子化后的像素数的直线L上的点m4、m5、m6的像素数的值。这样,图8(c)示出在进行像素数的直线插值、使量子化量返回到256时的直方图。在比较图8(c)的量子化后像素数被线性插值后的直方图和图7(b)的以低分辨率采样的图像数据的直方图时,可知图8(c)的直方图一方,定性地接近图8(a)的以高分辨率采样的图像数据的直方图。所以,在以低分辨率采样的图像数据的场合,在临时以64对灰度等级值进行粗量子化、使该时未算出的灰度等级值的像素数根据量子化后的直方图进行线性插值、使灰度等级值返回到256的直方图的一方,与求出256个所有灰度等级值的像素数而生成的直方图相比较,是无不齐的可靠性高的直方图。
这样,即使是在以低分辨率对图像数据进行采样的场合,在进行图像数据的粗量子化之后,通过进行线性插值生成使灰度等级值返回的直方图,也可以求得可靠性高的直方图。
另外,因为通过进行量子化可使图像数据变换为灰度等级数少的图像数据,所以在量子化之际,进行抖动(dither)法等的面积灰度等级也有效。在抖动法中,可以将具有灰度等级值0~2、灰度等级值4~6这样的下位2位的灰度等级值的像素,在利用抖动矩阵以适当的比例量子化后,作为选择的灰度等级值的像素分配。所以,因为可以使灰度等级值0~2、灰度等级值4~6这样的灰度等级值下位2位的效力保留,所以可以得到更稳定的直方图。通过从低分辨率的图像取得这一稳定的直方图,处理可以高速化。另外,低分辨率的图像,可以是通过显示器35所显示的图像或更小的图像。由此,可以进行更高速化的处理。另外,不仅是对显示器35上显示的图像,而且对由彩色打印机50输出的印刷图像的处理也可以应用。在显示装置30等之中,在生成低分辨率的图像的过程中,也可以应用于将上述直方图生成方法作为后台处理而工作的场合。另外,在数字相机10中,不是本来大的原图像,而是称为缩略图的缩小图像被自动生成。这可以在迅速进行文件显示中使用。与此缩略图图像相对,利用上述直方图生成方法,也可以高速取得原图像的本身的位置信息。
(特定色的采样及其增强方法)
通常,人的肤色及天空的蔚蓝色等记忆色及高色度色等等的特征色(以下将记忆色及特征色汇总称为“特定色”),优选是预先以比实际上拍摄时的色漂亮的良好色置换。因此,在后述的记忆色校正处理及色度校正处理中,只根据特定色的统计值,求出特定色的校正量。不过,在低分辨率的采样图像数据中,特定色的比例的可靠性低,因此难以求出适用于其的特定色的校正量。
在本实施方式的特定色的增强方法中,在根据低分辨率的采样图像数据只求出特定色的统计值的场合,按照上述的图像数据的直方图的生成方法,以量子化量64进行图像数据的量子化,利用线性插值使量子化量返回到256而生成直方图。求出根据这样生成的直方图算出的特定色的统计值并根据特定色的统计值求出特定色的校正量。
然而,如前所述,在以低分辨率采样的图像数据中,特定色的比例的可靠性低。所以,校正量确定模块M7,相应于具有特定色的像素在全部像素中占的比例,对应用于图像数据的特定色的校正量进行修正。将此时的针对原来的特定色的校正量进行修正了的校正量的比例称为“应用量”。根据上述,校正量确定模块M7也用作校正量修正机构。
图9(a)为示出利用通常的特定色的增强方法的特定色在全部像素中占据的比例和特定色的应用量的关系的示图,图9(b)为示出利用本实施方式的特定色的增强方法的特定色在全部像素中占据的比例和特定色的应用量的关系的示图。在图9中,横轴表示特定色的比例,纵轴表示特定色的应用量。
在图9(a)的通常的特定色的增强方法中,即使是特定色在全部像素中占据的比例小,特定色的校正量对图像数据一直施加100%。然而,在进行低分辨率采样的场合,特定色的像素在全部像素中占据的比例的可靠性低。因此,假如采样的结果,即使是特定色的像素存在,其比例也低的场合,其特定色的像素也有不需要以色漂亮的良好色置换的场合。比如,在以人的肤色作为特定色的例子中,在通过低分辨率的采样得到肤色的比例小这样的结果的场合,可以认为拍摄人的可能性低。然而,在通常的特定色的增强方法中,即使是在这种场合,通过施加100%的特定色的校正量,也可以增强肤色。
在图9(b)的本实施方式的增强方法中,对特定色在全部像素中占据的比率设置阈值X。在特定色的比例大于阈值X时,特定色的校正量100%施加,而在特定色的比例小于阈值X时,特定色的校正量,成为与该比例相应的比例。所以,由于采样的图像数据为低分辨率,所以即使是在由其算出的特定色的比例的可靠性低的场合,也可以通过设置阈值X来调节施加于图像的校正量。
(与逆光校正相对应的图像数据的采样)
即使是以低分辨率对图像数据进行采样,使用上述直方图生成的方法算出的统计值,与以高分辨率进行采样算出的统计值相比较,误差可以减小。
在本实施方式中,将图像数据的采样方法用于,作为图像校正的一例进行逆光校正的场合判定图像数据是否是逆光图像的场合。此处所谓的逆光图像指的是在进行被摄体的拍摄之际,由于测光失败,受到被摄体的周围的光量的影响导致的曝光不足而使被摄体拍摄得很暗的图像。
图10示出在进行逆光校正的场合的图像的分割范围。被摄体Ob,如图10所示,多位于中央。因此,将图像分割为被摄体Ob所处的中央分割范围Sa和其周围的外周分割范围Sb。其中,外周分割范围Sb,不包括与中央分割范围Sa重叠的部分。此外,还将图像的中央分割范围Sa分割为9个中央分割范围小区域Saa,并将其周围的外周分割范围Sb再分割为4个外周分割范围小区域Sbb。在本实施方式中,中央分割范围小区域Saa的纵Saa_l、横Saa_b的长度分别为原来图像的纵Gl、横Gb的长度的1/5,外周分割范围小区域Sbb的纵Sbb的纵Sbb_l、横Sbb_b的长度分别为原来图像的纵Gl、横Gb的长度的1/2。另外,外周分割范围小区域Sbb,因为不包括与中央分割范围Sa重叠的部分,所以成为L字形的区域。作为进行逆光校正的方法,采用对包围拍摄很暗的被摄体Ob的中央分割范围Sa的9个中央分割范围小区域Saa分配高亮度值,而对其周围的外周分割范围Sb的4个外周分割小区域Sbb分配低亮度值的方法。这样一来,因为可以使包围被摄体Ob的中央分割范围Sa变得明亮,故也可以使被摄体Ob变得明亮。因此,作为对图像数据的逆光校正,校正量确定模块M7确定用来对中央分割范围Sa及外周分割范围Sb分配分别不同的亮度值的校正量。
另外,图11示出对于分辨率的主要规格的中央分割范围小区域Saa的长度及外周分割范围小区域Sbb的长度。比如,因为在图像的分辨率为VGA规格的场合,分辨率为640点×480点,中央分割范围小区域Saa的大小为其1/5的128点×96点,而外周分割范围小区域Sbb的大小为其1/2的320点×240点。
在逆光校正中,首先,必须对作为调研对象的图像是否是逆光图像进行判定。因此,下面对使用对上述图像数据以低分辨率采样的方法的逆光图像的判定方法进行叙述。
图12示出逆光图像的特征直方图。逆光图像,从经验得知,具有这样的特征直方图。所以,通过生成作为调研对象的图像数据的直方图并将该生成的直方图与逆光图像的特征直方图进行比较,可以判断图像是否是逆光图像。具体言之,将逆光图像的特征直方图及由作为调研对象的图像数据所生成的直方图的灰度等级值分成为5个范围(范围1~范围5),利用在各个范围中存在的像素的个数进行判断。
在此判定方法中,因为不区别被摄体及其背景,是根据整个图像的直方图进行判定,所以即使是在被摄体具有充分的明度,而其背景很暗的场合也有可能误判定为逆光图像。因此,对于前面举出的每个分割范围,设置通过比较亮度值,对利用先前的判定方法判定为逆光图像的图像进行解除的解除条件。
图像数据分析模块M6,对图10所示的图像的中央分割范围Sa的9个中央分割范围小区域Saa和外周分割范围Sb的4个外周分割范围小区域Sbb分别进行低分辨率采样,并按照先前叙述的直方图生成方法来生成直方图,算出各个小区域的每一个的统计值。所以,图像数据分析模块M6也用作分割区域采样机构。
校正量确定模块M7,根据图像的此统计值求出亮度平均值,并且还求出在所求出的亮度平均值之中的成为最大的最大亮度平均值和成为最小的最小亮度平均值的差。在此最大亮度平均值和最小亮度平均值的差大于等于预定值并且具有最大亮度平均值的小区域包含在中央分割范围Sa之中的话,即使是图像利用前面的判定方法判定为逆光图像,也不认为是逆光图像。在判定逆光图像的场合,通过对先前的逆光图像的判定方法再使用此解除条件,可以更正确地判定是否是逆光图像。所以,校正量确定模块M7,也用作逆光图像判定机构。
对于图像的中央分割范围Sa及外周分割范围Sb的各个小区域也可以使用先前叙述的低分辨率的采样方法。
图13示出对于图像的主要分辨率的规格,中央分割范围小区域Saa及外周分割范围小区域Sbb的分辨率和采样了的分辨率的像素数。在图13中,所谓的中央分割范围像素数,表示一个中央分割范围小区域Saa的像素数,而所谓的外周分割范围像素数,表示一个外周分割范围小区域Sbb的像素数。比如,在图像的分辨率规格为VGA规格的场合,整体像素数为640点×480点=307200点。中央分割范围小区域Saa的像素数为128点×96点=12288点,外周分割范围小区域Sbb的像素数为320点×240点=49152点。此处,在对中央分割范围小区域Saa及外周分割范围小区域Sbb以原来的图像的分辨率的1/256的分辨率进行采样的场合,各自的采样后的像素数中,中央分割范围小区域Saa为48点,而外周分割范围小区域Sbb为192点。在本实施方式中,在确定采样的分辨率时,通过将原来的图像的分辨率以32、64、128、256这样的4的倍数的预定值相除而确定。其所以如此是因为分辨率的主要规格,按照QVGA、QQVGA的顺序,各自的分辨率为VGA的1/4、VGA的1/16和1/4大小之故。就是说,是因为通过以4的倍数的预定值去除原来的图像的分辨率而确定采样的分辨率,对于多个主要规格的分辨率,中央分割范围小区域Saa及外周分割范围小区域Sbb的采样分辨率的像素数可以得到相同值之故。
比如,在分辨率的规格为QVGA规格的场合,中央分割范围小区域Saa的像素数为64点×48点=3072点,外周分割范围小区域Sbb的像素数为160点×120点=12288点。其中,在以1/64的分辨率对中央分割范围小区域Saa及外周分割范围小区域Sbb进行采样的场合,各自的采样后的像素数中,中央分割范围小区域Saa为48点,外周分割范围小区域Sbb为192点。所以,因为在对VGA的规格的图像数据以1/256的分辨率进行采样的场合,和以1/64的分辨率对QVGA规格的图像数据进行采样的场合,中央分割范围小区域Saa及外周分割范围小区域Sbb的采样分辨率的像素数为相同值,故这两种场合的统计值的求出处理可以共通化。这样,在确定采样的分辨率时,通过以4的倍数的预定值去除原来的图像的分辨率,就可以使几个中央分割范围小区域Saa及外周分割范围小区域Sbb的统计值求出处理共通化。
综上所述,在逆光校正中,首先必须判定成为调研的对象的图像是否是逆光图像。因此,必须将理想的逆光图像的直方图和整个图像数据的直方图进行比较。在此场合,通过进行低分辨率的采样求出图像数据的直方图,可以使处理迅速进行。之后,因为在图像的中央分割范围和外周分割范围的各个之中,必须由每个小区域的亮度平均值求出解除条件,所以必须对各个小区域每一个求出统计值。在求出每个此小区域的统计值的场合,通过对每个小区域进行低分辨率的采样算出统计值,可以使处理迅速进行。另外,此时进行的低分辨率采样时的分辨率,通过使图像数据的原来的分辨率除以4的倍数,可以使求出统计值的处理共通化。
[控制电路中的图像处理]
下面参照图14~图18对在本实施方式的便携电话机20、显示面板30、彩色打印机50中执行的图像处理予以说明。图14为示出在本实施方式的便携电话机20、显示装置30、彩色打印机50中执行的图像处理的整体处理的例程的流程图。图15为示出在本实施方式的便携电话机20、显示装置30、彩色打印机50中执行的工作色空间变换处理的处理例程的流程图。图16为示出在本实施方式的便携电话机20、显示装置30、彩色打印机50中执行的校正量确定处理的处理例程的流程图。图17为示出在本实施方式的便携电话机20、显示装置30、彩色打印机50中执行的画质调整处理的处理例程的流程图。图18为示出在本实施方式的便携电话机20、显示面板30、彩色打印机50中执行的器件色空间变换处理的处理例程的流程图。
在本实施方式中执行的图像处理,比如,在便携电话机20、显示面板30、彩色打印机50中,在经按键、触摸面板等选择所要求的图像数据GD时开始。或者也可以在便携电话机20、显示面板30、彩色打印机50中在接收图像数据GD时执行。
控制电路60(CPU601a、601b),在开始图像处理时,取得所选择的图像数据GD临时存储于RAM602a、602b(步骤S100)。图像数据GD的选择,比如,既可以在通过有线或无线方式与便携电话机20、显示面板30、彩色打印机50相连接的数字静止相机10上进行,或者也可以在便携电话机20、显示面板30、彩色打印机50中,从存储于存储卡MC中的图像数据GD之中选择。此外,也可以经网络从存储于服务器中的多个图像数据GD中选择。
CPU601a、601b,检索与选择的图像数据GD相关联的图像处理控制信息GI/拍摄信息SI(步骤S110)。CPU601a、601b,检索图像数据GD的头体部,或者在存储卡MC上、在网络上检索与图像数据GD相关联的其他文件形式的图像处理控制信息GI/拍摄信息SI。在CPU601a、601b可以发现(检索)图像处理控制信息GI/拍摄信息SI的场合(步骤S115:是),取得图像处理控制信息GI/拍摄信息SI(步骤S120)。另一方面,在CPU601a、601b不能发现(检索)图像处理控制信息GI/拍摄信息SI的场合(步骤S115:否),就不进行使用图像处理控制信息GI/拍摄信息SI的画质调整处理而进行到步骤S170。
在返回到步骤S120进行说明时,下面CPU601a、601b执行器件修正处理(步骤S130)。如以上所述,图像处理控制信息GI,一般使特定的画质数据生成装置和特定的图像输出装置,比如,具有彩色打印机50的功能之一的印刷图像显示装置,的组合最优化。一般,在显示输出图像和印刷输出图像中,由于存在色域的差异、视觉上、透射图像和反射图像这样大的差异,故合适的白平衡、对比度、色度的值不同。所以,便携式设备20的显示器21、显示装置30的显示器31、彩色打印机50的显示器35的输出图像的画质与由彩色打印机50输出的印刷图像的画质不同。
于是,在本实施方式中,比如,使用用来使显示器21、31、35的显示输出图像的画质与彩色打印机50的印刷输出图像的画质相同或近似而在每个器件中准备的修正信息,对图像处理控制信息GI进行修正。修正信息,既可以是作为在便携式设备20、显示装置30、彩色打印机50中用来得到与印刷输出图像同样的画质的画质参数的值的显示用参数值和在图像处理控制信息GI中记述的画质参数的值的差分信息,或者也可以是代替在图像处理控制信息GI中记述的画质参数的值而使用的新的显示用参数值。
比如,液晶面板,因为具有按每个面板而图像输出特性具有很大的差异的倾向,故修正信息以液晶面板为单位准备是优选。修正信息,既可以作为图像处理控制信息GI的一种信息记述于图像处理控制信息GI中,也可以作为每个便携式设备20、显示装置30、彩色打印机50固有的修正信息存储于HDD/ROM603a、603b。此外,在便携式设备20、显示装置30、彩色打印机50中,也可以根据图像处理控制信息GI动态地生成。
包含于修正信息中的信息(参数值的差分、置换用的参数的值),比如,是白色点的指定信息、对比度的修正信息、色度的修正信息、色调的修正信息、与有无执行去噪处理以及清晰度处理有关的信息。
(1)因为在不同的图像输出装置之间色温度不同,所以通过指定白色点调整色温度。比如,在显示的色温度高的场合(9300K等),作为白色点的指定信息R=(237、225)、G=(255、251)、B=(255、222)时,在显示器21、31、35上可以使色平衡在一定程度上一致而进行显示。
(2)在不同的图像输出装置中,由于可以再现(表现)的色域不同,在对比度上会产生差异,在外观上会产生很大的差异。于是,通过调整色调曲线可以使对比度在一定程度上一致。
(3)在不同的图像输出装置之间,由于表现色度不同,比如,为了使由彩色打印机50输出的印刷图像和在显示器21、31、35上输出的输出图像的外观一致,必须进行色度调整。
(4)在由彩色打印机50输出的印刷图像与在显示器21、31、35上输出的输出图像的色调不同的场合,可以利用修正信息实现色空间变换矩阵的调整、记忆色修正的利用、确定HSB等的色域的校正。
CPU601a、601b,执行将所取得的图像数据GD的色空间变更为工作色空间的工作色空间变换处理(步骤S140)。下面参照图15对这一工作色空间变换处理予以说明。这一工作色空间变换处理,是用来将图像数据GD的色空间变更为在执行对图像数据的画质调整处理之际使用的色空间,即变更为工作色空间的处理。作为工作色空间,通过使用色域广的色空间,可以有效地使用构成画质调整处理后的画质数据的像素数据。
于是,在本实施方式中,将图像数据GD的色空间,从一般用作RGB的色空间的sRGB色空间变换为具有比sRGB色空间广的色域的wRGB色空间。
从数字静止相机10取得的图像数据GD,通常,由于是作为YCbCr色空间的数据,故首先,变换为在图像处理中以标准方式使用的sRGB色空间的图像数据。在YCbCr-RGB色变换时,使用技术人员周知的矩阵S。另一方面,在取得的图像数据GD是sRGB数据的场合,不需要进行使用矩阵S的色变换。下面对图像数据GD已经是sRGB色空间的图像数据的情况予以说明。
CPU601a、601b,对图像数据GD执行第1灰度系数变换处理(步骤S1400)。色变换处理,通常,经XYZ、Lab等的设备独立空间执行,执行使用矩阵的sRGB-XYZ色变换处理、XYZ-wRGB色变换处理。为了提高此种色变换处理的处理精度,必须使图像数据GD的输入输出特性(灰度系数特性)线性化。此处使用的灰度系数值,是在数字静止相机10中生成图像数据之际执行的逆灰度系数变换处理时一般使用的灰度系数值。
CPU601,对线性化的图像数据GD执行使用矩阵的sRGB-XYZ色变换处理、XYZ-wRGB色变换处理,将图像数据GD的色空间变换为作为工作色空间的wRGB(步骤S1410),结束本处理例程,返回到图14的处理例程。
返回到图14继续进行说明时,CPU601a、601b,执行校正量确定处理(步骤S150)。下面参照图16对此种校正量确定处理予以说明。本实施方式的校正量确定处理,如上所述,是使有关图像数据GD的画质的参数值接近基准值。或者是求出用于与基准值同一值的用来在所谓的自动画质调整中使用的校正量的处理。
CPU601a、601b,利用上述的低分辨率采样方法对图像数据GD或图像数据GD的间隔剔除数据(比如,缩略图图像数据)进行采样(步骤S1500)。CPU601a、601b,从采样的各像素数据中取得有关图像数据GD的画质的各参数(画质参数)的解析值(统计值、特性值)(步骤S1510)。
CPU601a、601b,对各画质参数取得预先准备的基准值,使用基准值和解析值对各画质参数确定校正值(步骤S1520)。
CPU601a、601b,使用图像处理控制信息GI/拍摄信息SI变更针对各画质参数确定的校正值(步骤S1530),结束本处理例程,返回到图14的处理例程。就是说,通过使用由图像数据生成装置和图像输出装置的组合产生的画质的特性、图像数据生成时的拍摄条件,可以使只由图像数据GD的解析得不到的信息(条件)在相应于图像数据GD的画质确定的校正值中得到反映。在本实施方式中,因为图像处理控制信息GI,利用修正信息,在显示器21、31、35中,进行修正以输出与彩色打印机50的印刷图像同样的画质的图像,故可以解消或减小由于图像输出装置的图像输出特性的差别引起的画质(外观)的差异。
具体言之,在校正值是用来使各画质参数的解析值增减的值的场合,使用图像处理控制信息GI/拍摄信息SI,变更增减的程度。在校正值是作为各画质参数的新值使用的值的场合,使用图像处理控制信息GI/拍摄信息SI变更为新值。此外,在存在由拍摄者通过手动操作有意识地设定的手动设定参数作为图像处理控制信息GI的场合,也可以将所设定的参数的值按照原样附加到校正值上。
CPU601a、601b,使用变更的校正值执行对图像数据GD的画质调整处理(步骤S160)。下面参照图17对此种画质调整处理予以说明。CPU601a、601b,执行针对图像数据GD的去噪处理(步骤S1600)。去噪处理,既可以是利用修正信息规定执行、非执行的处理,也可以是利用修正信息来修正减躁级的处理。去噪处理,是负担比较重的运算处理。另一方面,在显示画面尺寸小的显示器中,一般难以确认去噪处理的效果。于是,在倾向于具有显示画面尺寸小的显示器的便携式设备20中,考虑到减轻运算负担和去噪处理的效果差,也可以跳过去噪处理。
CPU601a、601b,使用修正的校正值对色调曲线进行修正,执行使用色调曲线的针对图像数据GD的画质调整处理(步骤S1610)。执行使用色调曲线的画质调整处理用来调整明度、色平衡、对比度的画质参数。色调曲线的修正,比如,在对各画质参数每一个设定的修正点上,通过变更色调曲线的通过点执行。
CPU601a、601b,利用定义为记忆色的色对与预先设定的记忆色调当的色进行置换(步骤S1620)。作为记忆色,比如,针对肤色、蔚蓝色、绿色、红色预先定义漂亮的良好色。
CPU601a、601b,执行色度校正处理(步骤S1630)。使用校正值的色度的校正,比如,在将校正前的值设为(Rb、Gb、Bb)、将校正后的值设为(Ra、Ga、Ba)、将校正值设为(R、G、B)时,可使用下式执行。
[式1]
其中,此时的记忆色及色度的校正值,也可利用上面叙述过的特定色的增强方法,根据记忆色及特征色在全部像素中占据的比例进行调整。
CPU601a、601b,执行清晰度处理(步骤S1640),结束画质调整处理,返回到图14的处理例程。清晰度处理,既可以是利用修正信息规定执行、非执行的处理,也可以是利用修正信息来修正清晰度级的处理。在显示画面的尺寸小的显示器中,一般难于确认清晰度效果。于是,在倾向于具有显示画面尺寸小的显示器的便携式设备20中,考虑到清晰度处理的效果差,从减轻运算负担观点出发也可以跳过清晰度处理。
CPU601a、601b,执行将实施了画质调整处理的图像数据GD的色空间变更为器件的工作色空间变换处理(步骤S170)。下面参照图18对此器件色空间变换处理进行说明。此器件色空间变换处理,是用来将图像数据GD的色空间从在执行画质调整处理之际使用的工作色空间变更为各图像输出装置的色空间的处理。此处,通常对显示并输出图像的显示器进行色设计,以便充满sRGB色空间。另一方面,一部分的显示器基于独立的色空间进行色设计。
CPU601a、601b,对线性化了的图像数据GD执行使用矩阵的wRGB-XYZ色变换处理、XYZ-sRGB色变换处理、XYZ-器件色空间色变换处理,或者是执行使用查找表的wRGB-sRGB色变换处理、wRGB-器件色空间色变换处理,将图像数据GD的色空间变换为器件色空间(步骤S1800)。
CPU601a、601b,对图像数据GD执行第1逆灰度系数变换处理(步骤S1810),结束本处理例程,返回到图14的处理例程。就是说,将图像数据GD的灰度系数特性变更为适合显示器21、31、35的灰度系数特性的特性。具体言之,使用显示器21、31、35的灰度系数值执行逆灰度系数变换处理。
CPU601a、601b,经显示器驱动控制单元63a、63b,使输出图像显示并输出而结束本处理的例程。
如上所述,根据本实施方式的便携式设备20、显示装置30、彩色打印机50,使用在数字静止相机10和彩色打印机50的印刷图像显示装置组合中所定义的图像处理控制信息GI,可以将具有与由彩色打印机50输出的印刷图像同样画质的图像在显示器21、31、35上显示输出。就是说,显示器21、31、35,虽然具有与彩色打印机50的印刷图像不同的图像输出特性,但由此图像输出特性的差异引起的输出图像的外观(画质)的差异,可以通过使用修正信息对图像处理控制信息GI进行修正而消除或减小。所以,使用根据特定的图像输出装置定义的图像处理控制信息GI,可以使任意的图像输出装置的输出图像的画质与特定的图像输出装置的输出图像的画质近似或一致。
另外,在本实施方式中,即使是每个图像输出装置不具有图像处理控制信息GI,通过利用修正信息,在多个图像输出装置中,也可以使具有与特定的图像输出装置的输出图像的画质同等或近似的画质的输出图像输出。