CN102415099B - 空间变化的光谱响应校准数据 - Google Patents

空间变化的光谱响应校准数据 Download PDF

Info

Publication number
CN102415099B
CN102415099B CN200980158867.7A CN200980158867A CN102415099B CN 102415099 B CN102415099 B CN 102415099B CN 200980158867 A CN200980158867 A CN 200980158867A CN 102415099 B CN102415099 B CN 102415099B
Authority
CN
China
Prior art keywords
light
spectral response
data
transducer
multispectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980158867.7A
Other languages
English (en)
Other versions
CN102415099A (zh
Inventor
K.马瑟森
Y-W.王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN102415099A publication Critical patent/CN102415099A/zh
Application granted granted Critical
Publication of CN102415099B publication Critical patent/CN102415099B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals

Abstract

本发明描述了与产生空间变化的光谱响应校准数据相关联的系统、方法和其他实施例。一种示例方法包括:控制数字照相机,以便响应于数字照相机被暴露给来自多光谱参考显示器的光刺激,捕捉来自数字照相机中的光传感器的特征数据阵列。将在从多光谱参考显示器提供的多个刺激中的多个位置处多次采集数据阵列。该方法还包括:控制校准逻辑以操纵特征数据阵列,以作为使用特征数据阵列以及光刺激中的光的已知波长的函数,产生空间变化的光谱响应校准数据。该方法还可以包括:将空间变化的光谱响应校准数据提供给下游使用者(例如校正过程、质量控制过程),显示数据,或者存储数据。

Description

空间变化的光谱响应校准数据
背景技术
照相机通过接收光来拍摄照片。照相机通过尽可能忠实地再现所接收的光来显示照片。作为电子设备,数字照相机可能由于与捕捉或显示光相关联的问题而不产生完全精确的再现。与捕捉光相关联的问题可能至少部分地由微透镜与电荷耦合器件(CCD)之间的相互作用引起。其他电子成像传感器可能经历类似的相互作用。尽管微透镜可以提高量子效率并允许小的像素几何结构,但是微透镜也可能导致色串扰问题并可能增加对照相机透镜远心的需要。在许多实例中,透镜不匹配小像素传感器的分辨率,经历制造可变性,等等。对具有小像素传感器的小F/#透镜的需求可以导致微透镜效率降低以及导致色彩发暗(color shading)。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出本发明的各个方面的各种示例系统、方法和其他示例实施例。将会认识到,图中所示出的元件边界(例如框、框组、或其他形状)表示边界的一个实例。本领域技术人员将会认识到,在一些实例中,一个元件可以被设计为多个元件,或者,多个元件可以被设计为一个元件。在一些实例中,可以将被示作另一元件的内部组件的元件实施为外部组件,反之亦然。此外,元件可能不是按比例绘制的。
图1示出与产生空间变化的光谱响应校准数据相关联的示例方法。
图2示出由与产生空间变化的光谱响应校准数据相关联的方法采集的示例数据集合。
图3示出与产生空间变化的光谱响应校准数据相关联的另一示例方法。
图4示出与产生空间变化的光谱响应校准数据相关联的另一示例方法。
图5示出与产生空间变化的光谱响应校准数据相关联的示例设备。
图6示出与产生空间变化的光谱响应校准数据相关联的另一示例设备。
具体实施方式
在更详细地考虑本发明的实施例之前,首先考虑以下内容。人眼具有捕捉光的多个视杆细胞和视锥细胞。类似地,数字照相机具有多个传感器,其中每个传感器可以感测在多个像素处的颜色和强度。人眼还具有用于将光聚焦至视杆细胞和视锥细胞上的晶状体。类似地,数字照相机可以具有将光聚焦至传感器上的多个透镜。数字照相机的任务之一是将模拟信号(例如不同波长的光)转换为数字信息。数字信息可以被用来控制显示器,该显示器将进而产生不同波长的光。目前出售的物理图像传感器是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。这两种器件的光敏材料均为硅,即能够将光子能量高效地转换为电流的半导体。所创建的信号是波长的函数。
CMOS/CCD传感器的像素捕捉与焦平面处的曝光成比例的电子。曝光H被定义为H = E*t,其中,E是以勒克司为单位的传感器平面照明度,以及t是以秒为单位的时间。CCD/CMOS传感器的成像特性取决于多个参数,包括但不限于像素数、像素面积、像素井容量、噪声、微透镜、滤色器和滤色器布置。不同数字信号可以由不同传感器产生。然而,在转换期间照相机中的传感器如何使光变成电的方面可能存在变化。可能出现变化是因为一些传感器包含缺陷或者由于其他现象。由于例如像素的线性、对入射光量的低或高响应等等,缺陷可能使像素比相邻像素更亮(热)或更暗(冷)。因此,照相机可能显示出由于缺陷或传感器制造变化而引起的、各个像素的光谱灵敏度分布的显著改变。另外,考虑传感器响应可以作为波长的函数而变化。在空间位置x处对对象进行成像的情况下,落在传感器上的光谱辐照度与对象的光谱反射率O(                                               
Figure 2009801588677100002DEST_PATH_IMAGE002
)和发光体光谱功率分布E(
Figure 960034DEST_PATH_IMAGE002
)的乘积成比例,其中
Figure 877174DEST_PATH_IMAGE002
是波长。这得到来自传感器的颜色信号C(x,)。所有这些问题可以影响来自传感器的光谱信号的质量。由于光谱和光学串扰,可能出现附加问题。由于不完美滤色器透过一定量的不需要的其他颜色光而发生光谱串扰。因为滤色器由于金属和隔离层的缘故而与像素的敏感区相距一定距离,所以发生光学串扰。以与法线不同的角度透过滤色器的光穿过滤色器,并能够部分地被相邻像素而不是预期像素吸收。取决于透镜的F/#,光中被相邻像素吸收的部分可以相当大。透镜角度从图像的中心至边角进行空间变化这一事实促成了空间变化的光谱响应。
在光学中,渐晕是边角处的图像亮度相对于中心处的降低。在一些实例中,透镜和传感器组合可以产生在边角处比在中心处更暗的图像。该渐晕可以作为微透镜和像素设计的函数随传感器类型而变化。因此,可以期望对照相机进行单独校准以说明由透镜和传感器的组合以及与制造透镜和/或传感器相关联的变化引起的渐晕。
渐晕存在几种原因:自然渐晕、机械渐晕、透镜渐晕、以及传感器或像素渐晕。自然渐晕可以由
Figure 2009801588677100002DEST_PATH_IMAGE004
定律来近似,其中n是整数,并且,落在表面上的照明度根据照射到传感器阵列的光的角度的余弦而变化。这种渐晕一般影响强度下降。机械渐晕发生在离轴光束被隔板、滤色器架、以及透镜元件阻挡时。机械渐晕影响强度下降。透镜渐晕可以随着焦距的减小而增大,并且可以影响强度下降。传感器渐晕由用于数字成像系统的传感器的角相关引起。沿传感器的法线方向入射在传感器上的光比以沿斜角入射在传感器上的光产生更强的信号。传感器渐晕也可以随着焦距的减小而增大,并且可以影响颜色和强度。随着数字照相机的尺寸继续缩小,焦距可以继续减小,因此渐晕可以变得甚至更加显著。光学渐晕和像素渐晕的乘积得到传感器的总渐晕。
渐晕可以由非远心透镜引起,该非远心透镜导致由传感器收集的光作为相对于中心的离轴像素灵敏度的函数而变化。无论渐晕的原因是什么,都可以期望对渐晕进行校正。对不同颜色平面的渐晕的校正依赖于首先计算每个颜色平面的强度分布。常规地,可能已经尝试对照相机进行校准以便于对颜色相关渐晕进行校正。对照相机进行校准可以包括估计照相机传感器的响应度函数。常规校准尝试可能已经包括例如捕捉恒定色温的空间均匀白色或其他空间均匀源的图像。从该图像可能已经得出颜色通道的比率。然后,可能已经在从图像的中心向其边角进行的线性插值中使用颜色通道的比率。该方法可能已经不令人满意,这是因为其可能已经限于产生便于校正可被建模为增益相关颜色渐晕的颜色相关渐晕的校准数据。这种限制可能已经在以下照相机模块中产生不令人满意的结果,所述照相机模块显示出各个像素的光谱灵敏度分布的显著改变,该显著改变可以导致由空间变化的光谱响应引起的颜色相关渐晕。
示例系统和方法产生空间变化的光谱响应校准数据以便于去除数字成像设备的空间变化的颜色相关渐晕。颜色渐晕可以是各个像素的光谱响应中随空间变化的改变的结果。要校准的设备被置于其可以接收来自多光谱参考表面的刺激的位置。该刺激可以是例如特定颜色的光的呈现。多光谱参考表面的发光特性是以极高精度公知的,因此,呈现中的光的波长可以以极高精度(例如1 nm内)得知。尽管描述了精确的窄带源,但是在一些实施例中,宽光谱响应(例如10-20nm宽度)可能是可用的。多光谱参考表面可以是例如可呈现不同颜色、不同颜色组合等等的多光谱空间均匀自照明设备。数字成像设备可以从多光谱参考表面采集信息和/或可以控制多光谱参考表面以产生期望的光颜色、图案等等。
要校准的设备在多个不同条件下在多个位置处对多光谱参考表面进行多次成像。图像可以是例如可由参考表面产生的不同已知波长下的平场图像或特征数据阵列。对多光谱参考表面进行多次成像便于捕捉多光谱参考表面的数据阵列。因此,代替拍摄空间均匀(例如白色)参考的单个位置的单个图像的传统方法,示例系统和方法在不同条件(例如颜色)下采集多光谱参考表面的多个位置处的多个图像。示例系统和方法可以使用成像器响应度函数来将入射光传感器的光谱功率分布映射至传感器响应。
在一个实例中,将从多光谱表面的多个波长下的多个位置处的多个图像采集的数据变换为稀疏矩阵,可以针对不同空间位置将该稀疏矩阵操纵成例如颜色校正矩阵。更一般地,对从多个波长下的多个位置处的多个图像采集的数据进行处理,以确定采样点处的照相机光谱响应。照相机光谱响应可以通过使用从已知已由多光谱参考表面产生的信号中采集的信号来确定。在一些实例中,确定光谱响应可以包括识别蓝色响应、绿色响应和红色响应。尽管提到了三种颜色,但是本领域技术人员将会认识到,可以识别更大和/或更小数量的响应。
常规地,可能已经假定光谱响应从第一位置处的已知响应线性变化到第二位置处的未知响应。因此,常规系统可能已经确定单个位置(例如图像中心)处的光谱响应,然后已经执行线性变换以产生其他位置(例如边角)处假定的光谱响应。然而,随着数字照相机的发展,这种涉及可线性扩缩的光谱响应的假定已经显示出有缺陷。因此,示例系统和方法并不进行以下传统方法:采集单个图像并计算该图像的单个位置处的单个光谱响应。代之以,示例系统和方法在多个条件(例如不同波长)下在多个点处进行采样并计算该多个采样点的校准数据。此外,可以采集在多个条件下拍摄的多个图像。
总之,示例系统和方法针对成像设备产生空间变化的光谱响应校准数据。示例系统和方法可以针对要采样的采样点的数目、针对要采样的位置的大小、针对要采样的位置的形状等等而是可配置的。示例系统和方法还可以针对多光谱参考表面的要拍摄的图像的数目、针对要采样的位置的图案分布和图案混合等等而是可配置的。例如,多光谱参考表面可能能够产生从380nm至780nm的波长下的高度精确的光。因此,示例系统和方法可以控制多光谱参考表面以在不同时间呈现具有N个不同波长的光。示例系统和方法可以采集所产生的不同波长中的每个波长的图像。
利用与产生了什么光有关的信息以及可用的多个条件下来自多个位置的多个样本,可以针对不同位置计算光谱响应。然后,光谱响应可以被提供给下游使用者(例如校正逻辑),可以被存储在有形介质(例如计算机存储器、光盘)中,可以被用来控制过程(例如校正过程、质量控制过程)等等。例如,第一照相机可以产生落在容限内且可提供其校正的第一光谱响应集合。与该第一照相机相关联的光谱响应数据可以被用来控制校正过程。然而,第二照相机可以产生落在容限外且可能不可计算其校正的第二光谱响应集合。在这种情况下,光谱响应数据可以被用来控制质量控制过程以拒绝该照相机。本领域技术人员将会认识到,光谱响应数据可以被用于其他目的。
一种示例方法包括:控制成像设备,以便响应于被暴露给来自多光谱参考源的光,捕捉特征数据阵列的集合。该示例方法包括:操纵特征数据阵列以产生校准信息。然后,可以存储该校准信息,将该校准信息提供给校准信息使用者,使用该校准信息来控制过程等等。在一个实例中,该方法还包括:控制多光谱参考源以产生光呈现集合,其中光呈现集合的成员具有不同波长。因此,该方法可以包括:从多光谱参考采集数据,以便于使用所感测的信号来实际提供信号。
在一个实例中,可以控制成像设备以捕捉光呈现集合的不同成员的特征数据阵列的集合。例如,多光谱参考源可以产生红光、绿光、蓝光等等。可以针对不同颜色光中的每种光来采集特征数据阵列的集合。尽管描述了光的三种颜色,但是本领域技术人员将会认识到,可以采用更大和/或更小数目的光颜色。
图像形成可以由数学等式来表征。一个示例图像形成等式是:
S = RTL
其中,S是以下矩阵:其中Si,j元素是由于第j个入射光信号而引起的第i个颜色传感器的响应,并且其中元素Si,j是来自Bayer滤色器阵列的单个颜色,
其中,R是以下矩阵:其中第i列包含第i个颜色传感器的响应度函数,以及
其中,L是以下矩阵:其中第j列包含第j个入射光信号的光谱功率分布。当对数据加窗时,Si,j就变为向量,其大小依赖于传感器中的不同颜色元件的数目。
传感器校准是根据由于捕捉已知入射光信号(L)的集合而产生的传感器响应(S)来计算传感器响应度函数(R)。已知入射光信号(L)可以例如由多光谱参考源提供。在一个实例中,校准涉及:当已知L并且测量出S时,对矩阵求逆以求解R。在一个实例中,根据下式来描述对矩阵求逆:
SL-1=RT 。
本领域技术人员将会认识到,这不保证L是可逆的。
多光谱参考表面可以产生已知波长的光。照相机可以拍摄已知波长的光的照片。当产生了已知波长的光时,照相机应该精确感测该波长。但是它可能不会。照相机可能感测其他内容。然而,如果多光谱参考表面的特性对于照相机或校准逻辑来说公知且可用,则照相机或校准逻辑有可能如上所述计算校准数据。如果多光谱参考表面的特性对于校准逻辑来说已知且可用,并且如果感测到的信号对于校准逻辑来说可用,则校准逻辑可以如上所述计算校准数据。本领域技术人员将会认识到,校准逻辑可以位于照相机中或照相机外部。在一个实例中,校准逻辑可以从照相机接收光谱响应数据,计算空间变化的光谱响应校准数据,并将空间变化的光谱响应校准数据提供给照相机、校正逻辑、质量控制逻辑等等。具有照相机外部的校准逻辑可以减小照相机的空间、重量和功率特性。如果校准逻辑是基于web的,那么随着新校准技术变得可用,老式数字照相机可能能够在无需软件、固件或硬件更新的情况下将光谱响应数据传送至外部校准逻辑并从发展中获益。这可以延长照相机的功能寿命。
照相机可以采集许多像素的数据。产生每个像素的校准数据可能是困难的或者计算强度大的。因此,产生像素子集的一些校准数据并且然后对其他像素的校准数据进行数学预测可能是有价值的。因此,代替仅在图像的中心处进行采样,示例系统和方法可以在不同位置处进行采样并确定不同样本位置的校准数据。另外,可以针对传感器或像素的组产生校准数据。此外,代替仅拍摄一种颜色光(例如白色)的照片,示例系统和方法可以拍摄每个样本位置的许多平场照片。然后,可以基于不同位置处的不同颜色来计算校准数据。然后,其他系统和方法可以基于校准数据来采取附加步骤(例如插值、校正)。
以下包括对在这里采用的所选术语的定义。该定义包括落在术语范围内且可以用于实施的组件的各种实例和/或形式。所述实例并不意图进行限制。术语的单数和复数形式均可以在定义之内。
对“一个实施例”、“实施例”、“一个实例”、“实例”等等的提及指示以下内容:如此描述的(一个或多个)实施例或(一个或多个)实例可以包括特定的特征、结构、特性、属性、元素或限制,但是不是每个实施例或实例都必须包括该特定的特征、结构。特性、属性、元素或限制。此外,对短语“在一个实施例中”的重复使用不一定是指相同实施例,尽管其可以是指相同实施例。
CD:光盘。
DVD:数字通用盘和/或数字视频盘。
在这里使用的“计算机可读介质”是指存储信号、指令和/或数据的介质。计算机可读介质可以采取的形式包括但不限于非易失性介质和易失性介质。非易失性介质可以包括例如光盘、磁盘等等。易失性介质可以包括例如半导体存储器、动态存储器等等。计算机可读介质的常见形式可以包括但不限于软盘、软磁盘、硬盘、磁带、其他磁介质、ASIC、CD、其他光介质、RAM、ROM、存储芯片或卡、记忆棒、以及计算机、处理器或其他电子设备可从其读取的其他介质。
在这里使用的“数据存储装置”是指可存储数据的物理和/或逻辑实体。数据存储装置可以是例如数据库、表、文件、列表、队列、堆、存储器、寄存器等等。在不同实例中,数据存储装置可以驻留于一个逻辑和/或物理实体中和/或可以分布在两个或更多个逻辑和/或物理实体之间。
在这里使用的“逻辑”包括但不限于在机器上执行的硬件、固件、软件和/或用于执行(一个或多个)功能或(一个或多个)动作和/或引起来自另一逻辑、方法、和/或系统的功能或动作的每个的组合。逻辑可以包括软件控制的微处理器、分立逻辑(例如ASIC)、模拟电路、数字电路、编程逻辑器件、包含指令的存储器件等等。逻辑可以包括一个或多个门、门的组合或其他电路组件。在描述多个逻辑型逻辑的情况下,有可能将多个逻辑型逻辑合并成一个物理逻辑。类似地,在描述单个逻辑型逻辑的情况下,有可能将该单个逻辑型逻辑分布在多个物理逻辑之间。
在这里使用的“软件”包括但不限于使得计算机、处理器或其他电子设备执行功能、动作和/或以期望的方式进行操作的一个或多个可执行指令。“软件”不是指作为所存储的指令本身(例如程序列表)而要求保护的所存储的指令。指令可以以各种形式体现,这些形式包括例程、算法、模块、方法、线程和/或包括来自动态链接库的单独应用或代码在内的程序。
在这里使用的“用户”包括但不限于一个或多个人、软件、计算机或其他设备或者这些的组合。
以下详细描述的一些部分是按照对存储器内的数据比特的操作的算法和符号表示来呈现的。本领域技术人员使用这些算法描述和表示来向其他人传达他们的工作的主旨。这里一般将算法设想为产生结果的操作的序列。操作可以包括对物理量的物理操纵。通常但不是必须的,物理量采取能够被存储、传送、合并、比较以及以其他方式在逻辑中操纵等等的电或磁信号的形式。物理操纵创建了具体、有形、有用的真实世界结果。
主要出于常用的原因,将这些信号称为比特、值、元素、符号、字符、项、数字等等已经被证明有时是便利的。然而,应当记住,这些和类似的术语与适当的物理量相关联,并且仅为应用于这些量的便利标签。除非另有专门说明,应当认识到,在整个说明书中,包括处理、计算、确定等等的术语是指计算机系统、逻辑、处理器或者操纵和变换被表示为物理(电子)量的数据的类似电子设备的动作和过程。
可以参照流程图来更好地认识示例方法。尽管出于解释简单的目的,所示出的方法被示出和描述为一系列块,但是应当认识到,这些方法并不受块的顺序限制,因为一些块可以以不同顺序出现和/或与所示出和描述的方法的其他块同时出现。此外,可能需要所有所示出的块中的一部分来实施示例方法。可以对块进行组合或者将块分成多个组件。此外,附加的和/或可替换的方法可以采用附加的、未示出的块。
图1示出与产生空间变化的光谱响应校准数据相关联的方法100。方法100可以包括:在140,控制数字照相机以捕捉来自数字照相机中的光传感器的两个或更多个特征数据阵列。这两个或更多个特征数据阵列可以是响应于数字照相机被暴露给由多光谱参考显示器提供的两个或更多个光刺激而捕捉的。这两个或更多个光刺激中的光的波长是已知的。在一个实例中,特征数据阵列包括来自光刺激中的至少两个样本位置的数据。在一个实例中,光刺激包括多光谱光呈现,该多光谱光呈现包括两个或更多个不同颜色的光。因此,方法100可以包括:将特征数据阵列解析为两个或更多个颜色平面。在一个实例中,可以将特征数据阵列解析为四个颜色平面。在一个实例中,将特征数据阵列解析为与光刺激中存在的颜色一样多的颜色平面。
方法100还可以包括:在150,控制校准逻辑,以操纵特征数据阵列来产生空间变化的光谱响应校准数据。作为特征数据阵列以及光刺激中的光的已知波长的函数,将计算空间变化的光谱响应数据。在一个实例中,操纵特征数据阵列来产生空间变化的光谱响应校准数据可以包括:根据由于捕捉与光刺激相关联的已知入射光信号(L)的集合而产生的传感器响应(S)来计算传感器响应度函数(R)。在一个实例中,产生空间变化的光谱响应校准数据包括:对矩阵求逆以在给定L和S的情况下求解R。在一个实例中,操纵特征数据阵列可以包括:将图像解析为单独的颜色平面,并且然后将单独的颜色平面图像细分为稀疏阵列。然后,可以对来自稀疏阵列的数据进行操纵(例如求平均)以确定响应度函数。
方法100还可以包括:在160,执行以下一项或多项:将空间变化的光谱响应校准数据提供给校正过程;至少部分地基于空间变化的光谱响应校准数据来控制校正过程;将空间变化的光谱响应校准数据存储在有形介质中;以及显示空间变化的光谱响应校准数据。因此,可以存储空间变化的光谱响应数据,提供空间变化的光谱响应数据,使用空间变化的光谱响应数据来控制另一过程等等。
尽管图1示出串行发生的各种动作,但是应当认识到,图1中所示出的各种动作实质上可以并行发生。作为例示,第一过程可以捕捉图像,而第二过程可以同时读取光谱特性。尽管描述了两个过程,但是应当认识到,可以采用更大和/或更小数目的过程,并且,可以采用轻量级过程、常规过程、线程和其他方法。
在一个实例中,可以将方法实施为计算机可执行指令。因此,在一个实例中,计算机可读介质可以存储在被机器(例如处理器)执行的情况下使该机器执行方法100的计算机可执行指令。尽管将与方法100相关联的可执行指令描述为存储在计算机可读介质上,但是应当认识到,与在这里描述的其他示例方法相关联的可执行指令也可以被存储在计算机可读介质上。
图2示出通过与产生空间变化的光谱响应校准数据相关联的方法采集的数据的示例集合。图2示出所采集的数据的帧200。在一个实例中,可以针对多光谱参考显示呈现中存在的每个波长采集一个帧。数据帧可以包含多个颜色平面,这是因为传感器具有多个颜色。对于多光谱参考显示器,可以存在N个传感器颜色平面乘以多光谱参考显示器中的颜色的数目(X),从而得到总共N*X个颜色平面。因此,图2还示出可以如何将数据帧解析为单独的颜色平面210。在一个实例中,针对显示呈现中的每个颜色平面可以存在一个颜色平面。图2还示出可以如何将单独的颜色平面细分为稀疏阵列。这可以便于对稀疏阵列的颜色平面进行平均。
图3示出与产生空间变化的光谱响应校准数据相关联的方法300。方法300包括与结合方法100(图1)描述的动作类似的一些动作。例如,方法300包括:在340,控制照相机以采集特征数据阵列。尽管描述了照相机,但是本领域技术人员将会认识到,其他设备也可以采集特征数据阵列。方法300还包括:在350,控制照相机,以操纵特征数据阵列来产生空间变化的光谱响应校准数据。方法300还包括:在360,存储/提供/显示数据。然而,方法300包括其他动作。
例如,方法300还包括:在310,控制一个或多个样本参数。样本参数可以包括例如要在光刺激中采样的样本位置的数目、要在光刺激中采样的样本位置的位置、要在光刺激中采样的样本位置的形状等等。
方法300还可以包括:在320,从多光谱参考显示器采集参考数据。参考数据可以包括例如与由多光谱参考显示器呈现的光刺激相关联的光谱数据。该光谱数据可以描述例如与由多光谱参考显示器产生的测试图像相关联的光的波长。
方法300还可以包括:在330,控制多光谱参考显示器以显示期望光刺激。例如,第一照相机可以具有包括特定数目和类型的颜色像素的第一颜色像素集合。测试该第一照相机可以包括呈现具有八个不同颜色的八个图像。第二照相机可以具有包括不同数目和/或类型的颜色像素的第二颜色像素集合。测试该第二照相机可以包括呈现具有十六个不同颜色的十六个图像。因此,不同照相机可能能够控制多光谱参考显示器,以显示优化产生空间变化的光谱响应校准数据的一定数目和类型的图像。尽管描述了离散数目的颜色,但是本领域技术人员将会认识到,更一般地,参考光源可以被配置成覆盖可见光谱的期望部分。在一个实例中,期望部分可以是整个可见光谱。
图4示出与产生空间变化的光谱响应校准数据相关联的方法400。方法400包括与结合方法100(图1)描述的动作类似的一些动作。例如,方法400包括:在440,控制照相机以采集特征数据阵列。尽管结合方法400描述了照相机,但是本领域技术人员将会认识到,可以控制其他设备(例如计算机、处理器)以采集特征数据阵列。方法400还包括:在450,控制照相机,以操纵特征数据阵列来产生空间变化的光谱响应校准数据。方法400还包括:在460,存储/提供/显示数据。然而,方法400包括其他动作。
例如,方法400还可以包括:在470,控制数字照相机以执行图像形成。图像形成可以由下式来表征:
S = RTL
其中,S是其中Si,j元素是由于第j个入射光信号而引起的第i个颜色图像传感器的响应的矩阵,
其中,R是其中第i列包含第i个颜色图像传感器的响应度函数的矩阵,以及
其中,L是其中第j列包含第j个入射光信号的光谱功率分布的矩阵。
图5示出与产生空间变化的光谱响应校准数据相关联的设备500。设备500包括:校准逻辑510,其被配置成针对数字照相机中传感器集合530产生空间变化的光谱响应校准数据520。校准数据520将是作为以下处理的函数而产生的:处理数字照相机中的传感器响应(S)的集合以及与由多光谱参考显示器540产生的测试图像的集合相关联的已知入射光信号(L)的集合。在一个实例中,传感器响应的集合包括来自由多光谱参考显示器540产生的测试图像中的两个或更多个位置的信号。在一个实例中,测试图像的集合包括至少两个多光谱呈现。
在一个实例中,校准逻辑510被配置成计算传感器的传感器响应度函数。在一个实例中,校准逻辑510被配置成在已知L并且已经采集S时求解R。求解R可以包括执行矩阵求逆。以上描述了一个样本矩阵求逆。
图6示出与产生空间变化的光谱响应校准数据相关联的设备600。设备600包括与结合设备500(图5)描述的元件类似的一些元件。例如,设备600包括:校准逻辑610,其针对传感器集合630产生校准数据620。设备600可以从多光谱参考显示器640接收光。然而,设备600可以包括附加元件。
例如,设备600可以包括图像形成逻辑660。图像形成逻辑660可以被配置成根据下式来形成图像:
S = RTL
其中,S是其中Si,j元素是由于第j个入射光信号而引起的第i个颜色图像传感器的响应的矩阵,
其中,R是其中第i列包含第i个颜色图像传感器的响应度函数的矩阵,以及
其中,L是其中第j列包含第j个入射光信号的光谱功率分布的矩阵。
设备600还可以包括控制逻辑650。控制逻辑650可以被配置成控制从由多光谱参考显示器640提供的测试图像采集的样本。控制逻辑650可以控制例如要在测试图像中采样的样本位置的数目、要在测试图像中采样的样本位置的位置、要在测试图像中采样的样本位置的形状等等。附加地和/或可替换地,控制逻辑650可以被配置成控制多光谱参考显示器640。控制多光谱参考显示器640可以包括:控制多光谱参考显示器640以产生特定测试图像,针对测试图像中的光的波长配置测试图像等等。设备600还可以包括图像形成逻辑660,其被配置成产生图像。
尽管已经通过描述实例示出了示例系统、方法等等,并且尽管已经相当详细地描述了实例,但是申请人的意图并不是将所附权利要求的范围限制或以任何方式限定于这样的细节。当然,出于描述在这里描述的系统、方法等等的目的,不可能描述组件或方法的每个可想到的组合。因此,本发明不限于所示出和描述的具体细节、代表性设备和说明性实例。因此,本申请意图包含落在所附权利要求的范围内的变更、修改和变型。
就在具体实施方式或权利要求书中采用术语“包括”而言,意图以与在权利要求中用作过渡词时解释的术语“包括”类似的方式包括进来。
就在具体实施方式或权利要求书中采用术语“或”(例如A或B)而言,意图是指“A或B或这二者”。当申请人意图指示“仅A或B而非这二者”时,则将采用术语“仅A或B而非这二者”。因此,在这里对术语“或”的使用是包括性的而不是排他使用。参见Bryan A. Garner, A Dictionary of Modern Legal Usage 624 (2d. Ed. 1995)。
就在这里采用短语“A、B和C中的一个或多个”(例如被配置成存储A、B和C中的一个或多个的数据存储装置)而言,意图传达可能性A、B、C、AB、AC、BC和/或ABC的集合(例如数据存储装置可以存储仅A、仅B、仅C、A和B、A和C、B和C、和/或A和B和C)。并不意图需要A中的一个、B中的一个和C中的一个。当申请人意图指示“A中的至少一个、B中的至少一个、和C中的至少一个”时,则将采用措词“A中的至少一个、B中的至少一个、和C中的至少一个”。

Claims (13)

1.一种计算机实施的方法,包括:
控制数字设备,以便响应于所述数字设备被暴露给由多光谱参考显示器提供的两个或更多个光刺激,捕捉来自所述数字设备中的光传感器的两个或更多个特征数据阵列,其中,所述两个或更多个光刺激中的光的波长是已知的,并且其中,特征数据阵列包括来自光刺激中的至少两个样本位置的数据;
控制校准逻辑以操纵特征数据阵列,以作为特征数据阵列与光刺激中的光的已知波长之间的比较的函数,产生空间变化的光谱响应校准数据;以及
执行以下一项或多项:将所述空间变化的光谱响应校准数据提供给校正过程;至少部分地基于所述空间变化的光谱响应校准数据来控制校正过程;将所述空间变化的光谱响应校准数据存储在有形介质中;以及显示所述空间变化的光谱响应校准数据。
2.权利要求1所述的计算机实施的方法,所述数字设备是数字照相机,以及其中,光刺激包括多光谱光呈现,所述多光谱光呈现包括M个不同颜色的光,M是大于1的整数。
3.权利要求2所述的计算机实施的方法,包括:将特征数据阵列解析为N个颜色平面,N是大于1的整数。
4.权利要求3所述的计算机实施的方法,N是4。
5.权利要求2所述的计算机实施的方法,包括:
控制所述多光谱参考显示器以显示期望的光刺激。
6.权利要求2所述的计算机实施的方法,包括:
从所述多光谱参考显示器采集参考数据,所述参考数据包括与由所述多光谱参考显示器呈现的光刺激相关联的光谱数据。
7.权利要求2所述的计算机实施的方法,包括:
控制以下一项或多项:要在光刺激中采样的样本位置的数目,要在光刺激中采样的样本位置的位置,样本位置中的像素的数目,以及要在光刺激中采样的样本位置的形状。
8.权利要求2所述的计算机实施的方法,包括:控制所述数字照相机以执行由下式表征的图像形成:
S = RTL
其中,S是Si,j元素的矩阵,所述Si,j元素表示由于第j个入射光信号而引起的第i个颜色图像传感器的响应,
其中,R是其中第i列包含第i个颜色图像传感器的响应度函数的矩阵,以及
其中,L是其中第j列包含第j个入射光信号的光谱功率分布的矩阵。
9.权利要求8所述的计算机实施的方法,其中,操纵特征数据阵列以作为特征数据阵列与光刺激中的光的已知波长之间的比较的函数产生空间变化的光谱响应校准数据包括:
根据由于捕捉与光刺激相关联的已知入射光信号L的集合而产生的传感器响应S来计算传感器响应度函数R。
10.权利要求9所述的计算机实施的方法,其中,产生空间变化的光谱响应校准数据包括:对矩阵求逆以在给定L和S的情况下求解R。
11.一种与产生空间变化的光谱响应校准数据相关联的设备,包括:
校准逻辑,其被配置成作为以下处理的函数而针对数字照相机中的传感器的集合来产生空间变化的光谱响应校准数据:处理所述数字照相机中的传感器响应S的集合以及与由多光谱参考显示器提供的测试图像的集合相关联的已知入射光信号L的集合,其中,传感器响应的所述集合包括来自测试图像中的两个或更多个位置的信号,并且其中,测试图像的所述集合包括至少两个多光谱呈现;
图像形成逻辑,其被配置成根据下式来形成图像:
S = RTL
其中,S是Si,j元素的矩阵,所述Si,j元素表示由于第j个入射光信号而引起的第i个颜色图像传感器的响应,
其中,R是其中第i列包含第i个颜色图像传感器的响应度函数的矩阵,以及
其中,L是其中第j列包含第j个入射光信号的光谱功率分布的矩阵;以及
控制逻辑,用于控制以下一项或多项:要在测试图像中采样的样本位置的数目;样本位置中的像素的数目;要在测试图像中采样的样本位置的位置;控制要在测试图像中采样的样本位置的形状;控制所述多光谱参考显示器以产生测试图像;以及控制所述多光谱参考显示器以针对测试图像中的光的波长来配置测试图像。
12.权利要求11所述的设备,其中,所述校准逻辑被配置成计算传感器的传感器响应度函数。
13.权利要求11所述的设备,其中,所述校准逻辑被配置成通过执行矩阵求逆来在给定L和S的情况下求解R。
CN200980158867.7A 2009-04-22 2009-04-22 空间变化的光谱响应校准数据 Expired - Fee Related CN102415099B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2009/041365 WO2010123499A1 (en) 2009-04-22 2009-04-22 Spatially-varying spectral response calibration data

Publications (2)

Publication Number Publication Date
CN102415099A CN102415099A (zh) 2012-04-11
CN102415099B true CN102415099B (zh) 2014-04-30

Family

ID=43011374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980158867.7A Expired - Fee Related CN102415099B (zh) 2009-04-22 2009-04-22 空间变化的光谱响应校准数据

Country Status (6)

Country Link
US (1) US8976240B2 (zh)
EP (1) EP2422524A4 (zh)
CN (1) CN102415099B (zh)
DE (1) DE112009004707T5 (zh)
TW (1) TW201106706A (zh)
WO (1) WO2010123499A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2959092B1 (fr) * 2010-04-20 2013-03-08 Centre Nat Rech Scient Traitement numerique de compensation de signaux issus de photosites d'un capteur couleur.
US9699428B2 (en) 2013-09-09 2017-07-04 Apple Inc. Lens shading modulation
TWI549511B (zh) 2014-03-19 2016-09-11 智原科技股份有限公司 影像感測裝置及色彩校正矩陣修正方法與查找表建立方法
EP3270587A4 (en) * 2015-03-12 2018-10-24 Olympus Corporation Image processing device, image processing method, and program
WO2016143134A1 (ja) * 2015-03-12 2016-09-15 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
US10024717B2 (en) * 2015-11-24 2018-07-17 Trutag Technologies, Inc. Tag reading using targeted spatial spectral detection
US10366674B1 (en) * 2016-12-27 2019-07-30 Facebook Technologies, Llc Display calibration in electronic displays
CN111551251A (zh) * 2019-02-11 2020-08-18 Tdone有限公司 有序光谱成像
CN114026396A (zh) * 2019-06-18 2022-02-08 ams传感器德国有限公司 检测器灵敏度的光谱重建
CN113639881A (zh) * 2021-08-23 2021-11-12 Oppo广东移动通信有限公司 色温测试方法及装置、计算机可读介质和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101305620A (zh) * 2005-11-09 2008-11-12 辉达公司 图形处理单元用途及装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6417892B1 (en) * 1995-05-23 2002-07-09 Colorlink, Inc. Color filters, sequencers and displays using color selective light modulators
US6043909A (en) * 1996-02-26 2000-03-28 Imagicolor Corporation System for distributing and controlling color reproduction at multiple sites
US7728845B2 (en) * 1996-02-26 2010-06-01 Rah Color Technologies Llc Color calibration of color image rendering devices
US6130756A (en) * 1998-03-12 2000-10-10 Eastman Kodak Co Method for characterizing a response function of an output
US6205244B1 (en) * 1998-06-23 2001-03-20 Intel Corporation Method for imager device color calibration utilizing light-emitting diodes or other spectral light sources
US6161902A (en) * 1998-07-08 2000-12-19 Alvimar Manfacturing Co., Inc. Stabilized inflatable chair
US20020015536A1 (en) * 2000-04-24 2002-02-07 Warren Penny G. Apparatus and method for color image fusion
US20050084175A1 (en) * 2003-10-16 2005-04-21 Olszak Artur G. Large-area imaging by stitching with array microscope
US7864369B2 (en) * 2001-03-19 2011-01-04 Dmetrix, Inc. Large-area imaging by concatenation with array microscope
US7554067B2 (en) * 2001-05-07 2009-06-30 Panavision Imaging Llc Scanning imager employing multiple chips with staggered pixels
US8023117B2 (en) * 2002-01-09 2011-09-20 Venture Ad Astra, Llc Establishing and maintaining focus in segmented-optic telescopes
US7151560B2 (en) * 2002-06-20 2006-12-19 Hewlett-Packard Development Company, L.P. Method and apparatus for producing calibration data for a digital camera
US7502057B2 (en) * 2002-06-20 2009-03-10 Hewlett-Packard Development Company, L.P. Method and apparatus for color non-uniformity correction in a digital camera
US7471831B2 (en) * 2003-01-16 2008-12-30 California Institute Of Technology High throughput reconfigurable data analysis system
CA2519937C (en) * 2003-03-31 2012-11-20 Guillermo J. Tearney Speckle reduction in optical coherence tomography by path length encoded angular compounding
US7414723B2 (en) * 2004-02-23 2008-08-19 Malvern Instruments Incorporated Automated interleaved spectral imaging calibration
EP1772007A1 (en) 2004-06-07 2007-04-11 Nokia Corporation Method, apparatus, imaging module and program for improving image quality in a digital imaging device
EP1812968B1 (en) * 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
GB0504520D0 (en) * 2005-03-04 2005-04-13 Chrometrics Ltd Reflectance spectra estimation and colour space conversion using reference reflectance spectra
US7525538B2 (en) * 2005-06-28 2009-04-28 Microsoft Corporation Using same optics to image, illuminate, and project
US7566855B2 (en) * 2005-08-25 2009-07-28 Richard Ian Olsen Digital camera with integrated infrared (IR) response
US20070076101A1 (en) * 2005-09-30 2007-04-05 Baer Richard L Self-calibrating and/or self-testing camera module
WO2007042853A1 (en) * 2005-10-13 2007-04-19 Nokia Corporation Method and system for vignetting elimination in digital image
JP2007208413A (ja) * 2006-01-31 2007-08-16 Olympus Corp 色補正装置および色補正方法ならびに色補正プログラム
KR20080097218A (ko) * 2006-02-10 2008-11-04 모노젠, 인크. 현미경 매체기반 시료로부터 디지털 이미지데이터를 수집하기 위한 방법 및 장치와 컴퓨터 프로그램 제품
US8081244B2 (en) * 2006-07-24 2011-12-20 Michael Golub Snapshot spectral imaging systems and methods
US7826685B2 (en) * 2006-12-01 2010-11-02 Harris Corporation Spatial and spectral calibration of a panchromatic, multispectral image pair
US8101903B2 (en) * 2007-01-23 2012-01-24 Micron Technology, Inc. Method, apparatus and system providing holographic layer as micro-lens and color filter array in an imager
US7923801B2 (en) * 2007-04-18 2011-04-12 Invisage Technologies, Inc. Materials, systems and methods for optoelectronic devices
US7755671B2 (en) 2007-04-23 2010-07-13 Hewlett-Packard Development Company, L.P. Correcting a captured image in digital imaging devices
WO2009011107A1 (ja) * 2007-07-17 2009-01-22 Nikon Corporation 光刺激装置及び観察装置
KR20090021622A (ko) 2007-08-27 2009-03-04 삼성전기주식회사 광변조기 캘리브레이션 장치
US20090302409A1 (en) * 2008-06-04 2009-12-10 Omnivision Technologies, Inc. Image sensor with multiple thickness anti-relfective coating layers
US8368157B2 (en) * 2010-04-06 2013-02-05 Aptina Imaging Coporation Backside illumination image sensors with reflective light guides

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101305620A (zh) * 2005-11-09 2008-11-12 辉达公司 图形处理单元用途及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2004-023792A 2004.01.22

Also Published As

Publication number Publication date
US20120133765A1 (en) 2012-05-31
WO2010123499A1 (en) 2010-10-28
EP2422524A1 (en) 2012-02-29
CN102415099A (zh) 2012-04-11
US8976240B2 (en) 2015-03-10
EP2422524A4 (en) 2014-05-07
TW201106706A (en) 2011-02-16
DE112009004707T5 (de) 2012-09-13

Similar Documents

Publication Publication Date Title
CN102415099B (zh) 空间变化的光谱响应校准数据
US11624652B2 (en) Recovery of hyperspectral data from image
US7936377B2 (en) Method and system for optimizing an image for improved analysis of material and illumination image features
Jiang et al. Learning the image processing pipeline
Wei et al. Physics-based noise modeling for extreme low-light photography
JP6872137B2 (ja) 信号処理装置および信号処理方法、並びにプログラム
US8693772B2 (en) System and method for digital image signal compression using intrinsic images
Chen et al. Digital camera imaging system simulation
KR20140023877A (ko) 이미지 내의 복합 토큰들을 식별하기 위한 시스템 및 방법
Liu et al. Soft prototyping camera designs for car detection based on a convolutional neural network
WO2012153532A1 (ja) 撮像装置
Farrell et al. Sensor calibration and simulation
Song et al. High-accuracy image formation model for coded aperture snapshot spectral imaging
CN111066062B (zh) 使用分数像素测量电子视觉显示器的方法和系统
EP3700195A1 (en) Information processing device, information processing method, imaging device and program
Raza et al. Accuracy of hyperspectral imaging systems for color and lighting research
Jabari et al. Improving UAV imaging quality by optical sensor fusion: an initial study
Tian et al. Automatically designing an image processing pipeline for a five-band camera prototype using the local, linear, learned (L3) method
Robles‐Kelly et al. Imaging spectroscopy for scene analysis: challenges and opportunities
Llanos et al. Simultaneous demosaicing and chromatic aberration correction through spectral reconstruction
Yu et al. High Spectral Resolution Imaging Based on Dual-Camera System With Filter Wheel
Kerekes et al. Hyperspectral image quality for unmixing and subpixel detection applications
Zhang et al. Sub-pixel Dispersion Model for Coded Aperture Snapshot Spectral Imaging
EP4352474A1 (en) Transformation of color representations and spectral recovery
Chen et al. Hyperspectral Neural Radiance Fields

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140430

Termination date: 20170422