CN102472664A - 多光谱成像 - Google Patents

Abstract

一种多光谱摄影机包括具有至少一个允许光穿过的孔洞（203）的光阻断元件（201）。发散元件（205）在取决于波长的不同方向上分散来自所述至少一个孔洞（203）的光，并且透镜（207）把来自所述发散元件（205）的光聚焦在像平面（209）上。微透镜阵列（211）接收来自所述透镜（207）的光，图像传感器（213）接收来自所述微透镜阵列（211）的光并且生成包括对应于所述图像传感器（213）的各个像素的入射光数值的像素值信号。处理器随后从所述像素值信号生成多光谱图像。所述方法可以允许单次瞬时传感器测量以提供包括至少一个空间维度和一个光谱维度的多光谱图像。可以通过对传感器输出进行后处理来生成所述多光谱图像，并且不需要物理滤光或移动部件。

Description

多光谱成像

技术领域

本发明涉及多光谱成像，并且特别地而非排他地涉及生成包括两个空间和一个光谱维度的多光谱图像。

背景技术

人眼的特征在于对可见光谱的不同部分敏感的三种类型的视锥。这些视锥通常被标记为指代其所感测的波长（长波、中波和短波，其粗略地对应于红色、绿色和蓝色）的L、M和S。在图1中示出了视锥的相对光谱敏感度，该图示出了所述视锥具有相当的宽带特性并且对应于光在较宽波长范围内的积分。因此，有可能使得具有不同光谱特征的两种材料对于人类观察者来说表现为在特定光条件下具有相同的颜色。这种现象被称作同色异谱（metamerism）。与人眼类似，采用宽色滤光器的三原色（RGB）系统已经成为显示器和摄影机的主流。显示器依赖于原色的适当混合以便生成由原色所包围的色域内的任何颜色。

常常有益的情况是在比（相对粗糙的）RGB颜色坐标所提供的更加详细的光谱反射系数的基础上来表征图像。此外还期望捕获具有局部光谱信息的图像，也就是说在其中单独表征图像的不同部分的光谱特性。这样的成像就被称作多光谱成像，并且是一种已经发现许多实际应用的技术，例如包括：

－污染物检测

－环境监测

－谷物/木材分级

－微生物检测（荧光/血细胞计数）

－流式细胞计量

－血氧定量等等。

对于一些应用来说，希望分析可见光谱的仅仅特定部分。举例来说，在光学体积描记术中，从光学记录的时间分析导出人类的心率。但是已经明确确定的是，由于血红蛋白的光谱吸收属性，心率信号对于绿色（例如540－560nm）是最强的。其结果是，与采用拾取周围的更加非特定性的信号和噪声的宽带传感器的系统相比，专门分析感兴趣的窄光谱带的系统将提供更加准确的估计。

希望多光谱摄影机同时提供高空间分辨率、高光谱分辨率以及高时间分辨率。但是这些要求往往是冲突的，因此这些不同要求之间的折衷常常是必要的。

一种类型的多光谱摄影机使用这样一种方法，其中逐行地扫描场景/目标，并且与该行正交地使用发散元件（比如光栅或棱镜）来提取该行内的每一个像素的光谱。利用传统的二维传感器来捕获所得到的二维数据（具有一个空间维度和一个光谱维度）。随后通过在垂直于该行的方向上逐渐地并且顺序地扫描各行来建立完全三维数据（两个空间维度和一个光谱维度）。

但是这样的摄影机往往相对复杂并且需要机械移动来实施扫描。这往往会导致增加复杂度、增加成本、降低可靠性、增大功率消耗以及增加尺寸和/或重量。所需的扫描处理也往往相对缓慢，从而导致需要相对较长的时间来捕获图像。这使得所述方法较不适合于例如捕获移动图像。

另一种类型的多光谱摄影机使用放置在普通的黑白摄影机前方的可变光谱滤光器。通过顺序地改变所述滤光器以及记录相应的图像，可以采集完全三维数据（也就是说每一个所捕获的图像将对应于滤光器的通带频率区间内的光）。这种方法的一个主要缺陷在于，由于许多光被滤光器阻断，因此光效率看起来相当低。此外，诸如液晶可调谐滤光器和声学－光学可调谐滤光器之类的适当滤光器相当昂贵，并且通常只允许单个波长的光通过（陷通）。所述方法也往往具有与扫描多光谱摄影机相同的缺点，即缓慢、可靠性相对较低等等。

这些类型的多光谱摄影机的一个特别重要的缺点在于其牺牲光谱分辨率以获得时间分辨率。在所成像的对象正在移动的情况下这是不利的。此外，所述方法通常具有非常特定（固定）的光谱分辨率，其无法被容易地适配于应用。

因此，改进的多光谱摄影机将是有利的。举例来说，允许提高灵活性、降低成本、降低复杂度、提高可靠性、减小尺寸/重量、降低功率消耗、改进时间性能/分辨率以及/或者改进性能的多光谱摄影机将是有利的。

发明内容

相应地，本发明尝试优选地单独或者以任意组合缓解、减轻或者消除前面提到的一个或更多缺点。

根据本发明的一方面，提供一种多光谱摄影机，其包括：具有至少一个允许光穿过的孔洞的光阻断元件；用于在取决于波长的不同方向上分散来自所述至少一个孔洞的光的发散元件；用于把来自所述发散元件的光聚焦在像平面上的透镜；接收来自所述透镜的光的微透镜阵列；图像传感器，其接收来自所述微透镜阵列的光并且生成包括对应于所述图像传感器的各个像素的入射光数值的像素值信号；以及用于从所述像素值信号生成多光谱图像的处理器。

本发明可以提供一种改进的光谱摄影机。具体来说，所述方法可以允许捕获多光谱图像而不需要诸如扫描或者物理滤光器的顺序改变之类的顺序操作。对于允许生成多光谱图像的图像信息的捕获在许多实施例中可以是基本上瞬时的。所述方法可以提供改进的时间性能，并且可以特别在保持相对较高的空间和光谱分辨率的同时允许高时间分辨率。本发明的多光谱摄影机可以特别适于例如捕获正在移动的对象或视频图像。

所述方法还可以允许固定的机械设置，并且可以降低成本、减小尺寸/重量、降低功率消耗以及/或者降低复杂度。其还可以提供增加的可靠性。

举例来说，在一些实施例中，利用所述方法的多光谱摄影机可以能够瞬时地捕获对应于场景中的每一个像素的光谱。与传统摄影机（例如行扫描光谱仪或可变阻断滤光器摄影机）相反，可以同时捕获对应于所有像素的局部光谱信息，从而提供改进的时间性能，这在例如存在运动的情况下是非常有益的。

所述系统可以使用来自传统图像传感器与主透镜、微透镜阵列和发散元件（比如光栅或棱镜）的专用配置相组合的数据，以便生成详细的多光谱图像。所述方法可以对来自图像传感器的信号进行后处理，以便生成具有所期望的要求的多光谱图像。举例来说，所述方法可以允许在软件中将彩色滤光器设计并应用为数值后处理步骤，从而提供增加的灵活性。

多光谱图像同时具有空间和光谱内容。通常来说，在对应于两个空间维度和一个光谱维度的三维数据集中代表数据。举例来说，可以由所述多光谱图像代表对应于所述图像的多个区域的光谱分布。因此，所述多光谱图像是组合的空间与光谱图像。在一些实施例中，可以将多光谱图像划分成多个像素，其中为每一个像素提供光谱分布。多光谱图像包括对应于所述图像内的多个区域的单独的光谱数据。因此，多光谱图像包括局部化的光谱数据，并且特别地可以同时提供可见图像的信息和对应于所述图像的光谱变化。

所述光阻断元件可以形成对于摄影机的包围，从而使得到达所述发散元件、透镜、微透镜和图像传感器的光只是穿过光阻断元件中的孔洞的光。

所述多光谱摄影机的构造可以使用顺序平面结构，其中阻断元件形成第一光阻断平面（其与所述孔洞分开），其后是对应于发散元件的（可能平行的）平面，其后是透镜的平面，其后是微透镜阵列的（可能平行的）平面，其后是图像传感器（其可能与微透镜阵列平行）。所述像平面可以是（虚拟的）（可能平行的）平面，其通常处在透镜与微透镜阵列之间。透镜、微透镜和传感器平面可以特别地被设置成Scheimpflug配置。这样例如可以容许其中发散元件引入与光轴的一定角度的实施例。

所述发散元件例如可以是棱镜或光栅元件，并且可以通过衍射提供分散。

所述至少一个孔洞可以是光阻断元件中的任何适当孔洞，其允许光穿过所述光阻断元件。所述孔洞不需要是空的，而是例如可以填充有透明材料。在一些实施例中，透镜和/或光阑可以处在所述至少一个孔洞处。因此，从光学的角度来看，所述至少一个孔洞可以是至少一个透镜和/或光阑。具体来说，所述至少一个孔洞可以包括成像到所述发散元件上的物镜的孔径。

根据本发明的一项可选特征，多光谱图像包括对应于所述多光谱图像的各个像素的光谱分布指示。

本发明可以允许以相对较高的空间、光谱和/或时间分辨率改进多光谱图像的生成。

根据本发明的一项可选特征，所述处理器被设置成：从像素值信号合成彩虹平面处的第一图像；通过对第一图像应用空间掩模生成第二图像，所述空间掩模对应于光谱特性；以及对于所述多光谱图像从第二图像生成对应于所述光谱特性的空间图像。

这样可以提供改进的性能和/或促进操作。具体来说，其可以允许确定满足对应于个别实施例的具体期望和要求的光谱特性。例如可以通过计算处理来确定所述光谱特性而不需要任何手动、机械或物理改变。因此，可以简单地通过适配传感器输出的处理来改变所生成的多光谱图像的特性。从而实现了一种更加灵活的方法，其不受例如光谱或空间滤光器的物理限制的局限。

所述彩虹平面特别是这样一个平面，其中光的位置仅仅取决于光的波长。因此，场景的所有部分的光（即以任何角度穿过所述至少一个孔洞）将会聚在取决于波长的同一点。因此，在所述彩虹平面处，光谱特性被完全转换成空间特性。

第一图像不是场景的空间图像，而是光谱图像，其中每一点对应于所述场景的对应于一个波长的累积光强度。因此，第一图像可以被视为光谱图像或光谱地图。具体来说，第一图像可以被视为光谱强度地图。

根据本发明的一项可选特征，所述处理器被设置成：通过对第一图像应用相应的不同空间掩模，确定对应于不同光谱特性的多个空间图像；以及从所述多个空间图像生成多光谱图像。

这可以提供一种用于生成多光谱图像的实际且灵活的方法。可以由后处理算法并行地或者顺序地应用对应于不同光谱特性/滤光器的一连串掩模，以便提供对应于不同光谱足迹/特性的空间图像集合。可以通过低复杂度的空间处理灵活地选择及应用所述光谱足迹/特性。

根据本发明的一项可选特征，所述光谱特性对应于带通滤波器。

所述带通滤波器特性可以特别地对应于频率区间的选择。这可以允许实际且高效地生成多光谱图像。

根据本发明的一项可选特征，微透镜阵列和图像传感器被设置成使得在完全相同的角度下穿过所述至少一个孔洞的光被分布在图像传感器的多个像素上，所述分布是取决于波长的分布。

这可以改进和/或促进生成多光谱图像。所述分布可以特别地使得在给定角度下穿过所述至少一个孔洞的单条光线可以到达多个像素，其中不同的波长区间到达每一个像素。

根据本发明的一项可选特征，所述处理器被设置成补偿接收光线的图像传感器的单个像素值，其中所述光线对应于具有不同波长的光线并且在不同角度下穿过所述至少一个孔洞。

这可以改进和/或促进多光谱图像的生成。替换地或附加地，所述方法可以促进实现。

根据本发明的一项可选特征，所述微透镜阵列基本上位于像平面处。

这在一些实施例或情形中可能是特别有利的。具体来说，其在许多情形中可以允许从传感器输出直接生成多光谱图像而不需要滤光后处理。所述方法可以例如提供增加的光谱分辨率。

根据本发明的一项可选特征，所述微透镜阵列位于像平面与图像传感器之间。

这在一些实施例或情形中可能是特别有利的。具体来说，其可以允许图像传感器捕获非常适合于通过计算后处理生成多光谱图像的信息。

根据本发明的一项可选特征，所述多光谱摄影机还包括用户输入和控制器，该控制器用于响应于用户输入调节微透镜阵列和图像传感器的至少其中之一的位置。

这可以允许更加灵活的多光谱摄影机，并且可以特别地允许用户控制对应于由所述图像传感器捕获的图像的空间与光谱分辨率之间的折衷。

根据本发明的一项可选特征，所述光阻断元件提供光阻断平面，并且所述至少一个孔洞是所述光阻断平面中的缝隙。

所述方法可以允许从单次传感器测量捕获具有两个空间维度和一个光谱维度的三维图像。所述缝隙可以通常具有1mm或更小的宽度。此外，狭窄的缝隙可以确保入射光线在所述至少一个孔洞上的角度在一个维度上受到良好控制，同时允许捕获扩展的场景。所述发散元件例如可以是行光栅元件，其具有基本上平行于所述缝隙的各行。所述微透镜阵列可以特别的是具有基本上平行于所述缝隙的各行的双凸透镜阵列。

根据本发明的一项可选特征，所述图像传感器是二维图像传感器。

这可以允许从单次传感器测量捕获具有两个空间维度和一个光谱维度的三维图像。

根据本发明的一项可选特征，所述至少一个孔洞包括形成已编码孔径的多个孔洞。

这可以提高多光谱摄影机的光敏度，同时仍然允许通过后处理高效地生成多光谱图像。所述已编码孔径可以特别地提供来自多个孔洞的入射光，同时允许通过后处理对此进行补偿。所述已编码孔径可以例如包括被设置在适当的配置中的基本上呈圆形的孔洞或细长的缝隙，其可以通过后处理来补偿/反转。

根据本发明的一项可选特征，所述至少一个孔洞包括针孔。

这可以允许通过根据去往光线来源的方向的明确定义的角度来良好地控制入射光线在所述至少一个孔洞上的角度。有利的是，所述针孔可以具有1mm或更小的最大维度。

根据本发明的一方面，提供一种生成多光谱图像的方法，所述方法包括：提供具有至少一个允许光穿过的孔洞的光阻断元件；提供用于在取决于波长的不同方向上分散来自所述至少一个孔洞的光的发散元件；提供用于把来自所述发散元件的光聚焦在像平面上的透镜；提供接收来自所述透镜的光的微透镜阵列；提供图像传感器，其用于接收来自所述微透镜阵列的光并且生成包括对应于所述图像传感器的各个像素的入射光数值的像素值信号；以及从所述像素值信号生成多光谱图像。

参照下面描述的（多个）实施例，本发明的这些和其他方面、特征和优点将变得显而易见并且将对其进行描述。

附图说明

下面将仅通过举例的方式参照附图来描述本发明的实施例，其中：

图1是人眼的相对光谱敏感度的图示；

图2是根据本发明的一些实施例的多光谱摄影机的一些元件的图示；

图3是根据本发明的一些实施例的多光谱摄影机的一些元件的图示；

图4是根据现有技术的灵巧光谱成像系统的一些元件的图示。

图5是根据本发明的一些实施例的用于多光谱摄影机的处理元件的一些元件的图示。

图6是根据本发明的一些实施例的多光谱摄影机的一些元件的图示。

图7是根据本发明的一些实施例的多光谱摄影机的一些元件的图示。

具体实施方式

图2示出了根据本发明的一些实施例的多光谱摄影机的各个元件的一个实例。

所述多光谱摄影机包括光阻断元件201，其包括允许光穿过的一个或更多孔洞203。为了清楚起见，下面的描述将集中于一个实例，其中在光阻断元件201中提供针孔（或狭窄缝隙），但是应当认识到，在其他实施例中，可以包括多于一个孔洞。

在该例中，孔洞203具有小于1mm的最大规格（或者对于缝隙则是小于1mm的宽度）。具体来说，孔洞203小到使得来自所成像的各个对象的光线的方向/角度在所述孔洞上的变化不超过例如1°，也就是说，源自相同位置的光线只有在其相对孔洞203的角度处在彼此的1°范围内时才能穿过所述孔洞。在该具体实例中，所述多光谱摄影机被用于对与孔洞203距离至少20cm的对象进行成像，因此所述孔洞足够小，从而使得穿过孔洞203的来自相同空间点的光线的角度/方向不超过1°。

所述多光谱摄影机还包括发散元件205，其接收穿过孔洞203的光。在该例中，发散元件205形成发散平面。发散元件205在取决于波长的不同方向上分散来自孔洞203的光。因此，光线可能源自场景中的某一对象并且穿过孔洞203到达分布服务器109。由于孔洞203的较小规格，光线到达所述孔洞的方向/角度只取决于从所述对象到孔洞203的方向（假定孔洞203具有无限小的尺寸）。发散元件205于是将所述光线分散到一定角度分布中，其中来自发散元件205的出射角度取决于波长。

应当提到的是，所述孔洞的尺寸直接决定所能获得的光谱分辨率。撞击在发散元件205上的相同位置的角度范围被给作所述针孔尺寸除以孔洞203与发散元件205之间的距离。这样就控制了不同光线在发散之后的方向，从而控制了例如在所述彩虹平面处的光谱分辨率。

在一些实施例中，发散元件205例如可以是棱镜。在图2的实例中，发散元件205是由于衍射效应而发散入射光的光栅元件。因此，在该例中，来自所述场景（对象X、Y、Z）的光传播过针孔203，并且随后落在光栅（其由发散元件205提供）上。由于来自所述光栅的衍射动作，不同的波长被发散到不同的传播方向上。

取决于所期望的视场，孔洞203与发散元件205之间的距离可能常常有利地处在10到100mm之间的区间内（包括这两个数值在内）。

所述多光谱摄影机还包括透镜207，其接收来自发散元件205的光并且将其聚焦在像平面209上。所述聚焦使得在给定角度下穿过孔洞203的所有光到达像平面209上的同一点。因此，当在像平面209处测量时，所述透镜补充/倒转发散元件205的操作/效果。因此，发散元件205对光线的分散由透镜207针对像平面209精确地补偿，从而使得单条光线被会聚到像平面209上的单个点处。因此，除了倒转（即图像“上下颠倒”）之外，像平面209上的入射光对应于发散元件205上的入射光。

应当提到的是，像平面209不是物理元件，而是参考其中传入光线的光谱分散得到补偿的平面。因此，如果图像传感器位于像平面处，则其将捕获空间图像而不捕获任何光谱信息。像平面209可以被视为对应于虚拟平面（可以在其中捕获聚焦的空间图像）。

透镜207通常被定位成具有垂直于发散元件205的第N（通常是第一）级衍射的主轴/平面。此外，发散元件205与透镜207之间的距离将通常有利地大于孔洞203与发散元件205之间的距离。

所述多光谱摄影机还包括微透镜阵列211，其接收来自透镜207的光。微透镜阵列211包括覆盖来自透镜207的入射光平面的多个透镜。微透镜阵列211可以有利地形成与“枢纽线”（Scheimpflug配置）相交的平面，所述枢纽线也与发散元件205的平面以及透镜207的主轴/平面相交。透镜207与微透镜阵列211之间的距离可以从对应于透镜207的透镜公式确定，从而取决于透镜207的强度以及与发散元件205的距离。

所述多光谱摄影机还包括图像传感器213，图像传感器213包括用于检测入射光级的多个传感器元件。因此，每一个传感器元件是对应于所捕获图像的像素的光传感器。在图2的实例中，所述传感器元件被设置在二维平面中。

因此，每一个传感器元件可以对应于由微透镜阵列211在图像传感器213所处的平面处生成的图像的像素。图像传感器213生成包括对应于所述图像传感器的各个像素的入射光数值的像素值信号。所述像素值信号可以特别地包括对应于每一个传感器元件的测量数值。

所述像素值信号被馈送到处理器，所述处理器随后从所述信号确定多光谱图像。

微透镜阵列211的引入实质上提供了可以被用来在特定摄影机结构中对所捕获的信息进行后处理的信息，从而可以通过单次瞬时测量生成对应于多光谱图像的三维（两个空间维度和一个光谱维度）数据集。因此，可以在不需要进行顺序物理滤光或扫描的情况下确定光谱信息。

微透镜阵列211的引入特别地允许基于单次二维图像传感器测量准确地并且单独地确定空间和光谱特性。

在图3中示出了这方面的一个实例。在该情况中，微透镜阵列211基本上位于像平面207处。因此，入射在微透镜阵列211上的所有光都在空间上良好地聚焦，并且每一个微透镜可以被视为对应于空间像素值。但是投影在微透镜阵列211上的图像不具有任何光谱分布，也就是说，来自场景中的相同位置（并因此在相同角度下穿过孔洞203）的所有波长都到达相同的微透镜。但是尽管光线的不同波长会聚到微透镜阵列211中的同一点，所述波长是从不同的方向会聚的并且具有不同的入射角度。这一点被微透镜阵列211利用来根据传入角度并因此根据波长来分散入射光线。因此，从微透镜出射的光对应于该微透镜上的入射光（并因此对应于单个位置），但是具有反映波长的一定角度分散，也就是说出射光具有光谱（空间）分布。

在图3的实例中，图像传感器213被定位成使得来自一个微透镜的光覆盖多个像素，与此同时，来自每一个微透镜的光只到达一个像素集合（或者反之，来自各个微透镜的光锥之间没有重叠，并且每一个像素（传感器元件）接收仅仅来自一个微透镜的光）。

相应地，在图3的实例中，图像传感器213捕获被分成空间像素群组的光，其中每一个像素群组对应于一个微透镜。此外，每一个像素群组包括多个像素，其中每一个像素对应于特定波长区间的光。因此，所捕获的数据提供对应于多光谱图像的多光谱数据，其具有对应于微透镜阵列211的各个微透镜的空间分辨率以及对应于每一个像素群组中的像素数的光谱分辨率。

作为一个实际实例，可以与一个100乘100微透镜阵列211一起使用1M像素传感器来提供具有100乘100像素的空间分辨率和每个空间像素100个光谱数值的光谱分辨率的多光谱图像。

因此，微透镜阵列211利用去到微透镜阵列211的入射光线的取决于波长的角度的信息来提供光谱信息，同时保持像平面的不同空间信息。因此，通过单次传感器测量捕获了同时并且可分辨的光谱和空间信息。

应当提到的是，无法在不引入微透镜阵列211的情况下进行这样的测量。举例来说，在Mohan, A.、Raskar, R.和Tumblin, J.的文章“Agile Spectrum Imaging: Programmable Wavelength Modulation for Cameras and Projectors（灵巧光谱成像：用于摄影机和投影仪的可编程波长调制）”（Computer Graphics Forum，vol. 27，number 2，2008，第709－717页）中提出，多光谱摄影机可以是基于例如图4中的结构。在该系统中，图像传感器位于像平面处，只有在所述系统中的该位置处，光线的位置才只取决于光线来源的空间位置。因此，在现有技术系统中，该平面是允许确定空间位置的仅有的平面。

现有技术摄影机对传入光线执行滤光以便生成多光谱图像。具体来说，现有技术摄影机顺序地在彩虹平面处插入不同的滤光器。彩虹平面是这样一个平面，其中光的位置仅仅取决于光的波长，而不取决于光的空间来源（并因此不取决于光线穿过孔洞203的角度/方向）。因此，在彩虹平面处，光线基于其特定波长而从上到下被排序。彩虹平面可以被感知为与像平面互补，也就是说，在彩虹平面处的图像是没有空间信息或相关的光谱图像，而在像平面处的图像则是没有光谱信息的空间图像。

这被用在现有技术摄影机中以便将图像传感器定位在像平面处并且将滤光器元件定位在彩虹平面处。具体来说，在彩虹平面处顺序地插入一系列阻断或衰减掩模，并且对于每一个掩模由图像传感器捕获空间图像。因此这些图像当中的每一个对应于光谱足迹的图像，所述光谱足迹又对应于所述掩模，并且通过使用一系列掩模，可以对所述图像进行整理以便提供多光谱图像。

但是这样的方法往往不是最优的，并且可能被认为缓慢、复杂以及对于一些应用不实际。具体来说，针对在彩虹平面处物理地改变掩模的要求是不方便的，并且通常导致相对较慢的操作以及较低的时间分辨率。

应当提到的是，在图4的系统中，可以在任何其他平面处捕获的图像将是空间与光谱信息的组合。因此，到达（除了彩虹平面或像平面之外的）给定平面的特定点的光对应于源自不同方向的不同波长的光线。无法通过对图像传感器所捕获的图像数据进行处理来分辨该组合信息，因此所述摄影机要求所述图像传感器位于像平面处并且要求在彩虹平面处顺序地引入阻断掩模。

但是图2和3的多光谱摄影机使用了不同的方法，该方法不需要在彩虹平面处引入任何掩蔽滤光器，并且还允许在图像传感器211的定位方面的灵活性。

具体来说，所述系统使用微透镜阵列211来提供信息，所述信息允许从单个平面并且从而通过单个图像传感器的单次测量同时提取光谱和空间信息。具体来说，本发明是基于以下认识：在每一个平面中通过入射光在该平面上的角度提供附加的信息，并且该信息可以被主动使用来分离该平面处的空间和光谱特性。

举例来说，在像平面处，传入光线的位置仅仅取决于场景中的来源位置（并且特别取决于穿过针孔203的角度）。但是由于发散元件205所提供的发散，光线落在特定点上的角度取决于波长。因此，在图3中，被插入在像平面处的微透镜阵列211使用该角度相关性来生成对应于每一个微透镜的光谱分布。因此，对应于每一个微透镜的光谱分布反映对应于该微透镜的精确图像区域的光谱特性，并且不包括来自任何其它位置的任何贡献。因此，微透镜阵列211确保保持空间分离，并且传感器可以相应地测量光谱和空间信息。实际上，在该例中避免了传感器接收具有不同波长的来自不同位置的组合光。因此就避免了不可分辨的不定性。

类似地，在彩虹平面处，每一条光线的位置只取决于波长。但是，所述方向/角度取决于场景中的空间位置。因此，彩虹平面处的微透镜阵列211可以生成对应于微透镜的空间光谱，也就是说可以为对应于微透镜的每一个光谱区间生成空间分布（尽管这与图3的实例相比将通常较不实际并且更加难以处理）。

在一些实施例中，微透镜阵列211可以处在各个平面处，在所述平面中，每一个位置由源自不同位置但是具有不同波长的不同光线到达，其中所述不同波长恰好补偿位置差异。举例来说，在许多实施例中，微透镜阵列211可以有利地位于像平面后方（其处在远离透镜207的一侧）。在这种情况下，图像传感器213的每一个传感器元件可以接收作为具有不同波长并且来自不同空间位置的光线的组合。但是由对应于每一个微透镜的多个光传感器所提供的附加信息允许对该光线组合进行分辨，从而允许生成适当的多光谱图像。换句话说，通过微透镜阵列211对位置中所固有的不定性进行了分辨，从而进一步揭示出驻留在光的入射角度中的信息。

在一些实施例中，可以对来自图像传感器213的信号进行预处理，以便提供具有高空间分辨率以及高且灵活的光谱分辨率的多光谱图像。后处理可以特别地包括合成图像，其对应于将在彩虹平面处捕获的图像。随后对彩虹图像应用空间滤光（通常是各个区域的掩蔽或衰减）。基于所得到的图像，随后合成空间图像并且将其用作对应于光谱足迹的图像，所述光谱足迹对应于针对彩虹平面图像所应用的滤光。通过应用滤光器/掩模的集合，可以生成对应于不同光谱足迹或特性的图像，并且可以将多光谱图像确定为三维（两个空间维度和一个光谱维度）图像集合，其包括对应于不同光谱足迹的这些二维空间图像。

所述处理器可以特别地迭代以下步骤：

1. 合成正如将由位于彩虹平面中的虚拟传感器记录的数据。

2. 对所合成的数据应用所期望的数值孔径/滤光器。

3. 在物理传感器平面上重新合成经过滤光的数据。

4. 通过组合（积分）到达某一像素位置的光线呈现空间图像。

可以通过光线描迹处理来执行不同滤光器的合成。实际上，所述处理可以通过使用类似于在执行捕获后聚焦时针对全光摄影机所提出的处理来实现，正如在Lumsdaine, A.、Georgiev, T.的“The Focused Plenoptic Camera（聚焦全光摄影机）”（International Conference on Computational Photography，2009年4月）中所解释的那样。

图5示出了遵循这种方法的处理器的一个实例。所述处理器包括彩虹平面处理器501，其接收来自图像信号编码器的像素值信号。所述像素值信号包括对应于每一个光传感器的光级，即对应于图像信号编码器的每一个像素。

彩虹平面处理器501随后继续合成第一图像，其对应于将由虚拟图像传感器在彩虹平面处所接收到的图像。这一合成可以由光线描迹算法来执行，所述算法使用入射在图像传感器213上的光的空间和角度信息来计算彩虹元件处的图像。这一合成可以包括考虑从不同角度到达光传感器的具有不同波长的光线并且可以相应地对此进行补偿。

第一图像不是场景的空间图像，而是光谱图像，其中每一点对应于所述场景的对于一个波长的累积光强度。因此，第一图像可以被视为光谱图像或光谱地图。具体来说，第一图像可以被视为光谱强度地图。

更具体来说，彩虹平面处理器501可以通过把撞击在每一个传感器像素上的光线描迹回到彩虹平面215来合成彩虹平面处的第一图像，其中考虑到在微透镜平面处的折射。

可以通过从像素坐标朝向相应微透镜的中心看去来实现对于光线的描迹，这样就为我们提供了位置和角度。接下来，根据对应于几何光学的矩阵形式（例如参照E. Hecht的课本“Optics（光学）”（ISBN 0321188780）第6.2节“Analytical Raytracing（分析光线描迹）”并且特别是第6.2.1节“Matrix Methods（矩阵方法）”），可以穿过透镜并且朝向彩虹平面进行描迹。接下来，基于所述光线在彩虹平面处的位置，可以处理相应的传感器像素。

随后把所合成的图像馈送到空间掩模处理器503，其被设置成对第一图像应用空间掩模。所述掩模例如可以是一个二进制掩模或者可以是连续掩模，其例如包括对应于第一图像的每一个像素的衰减值。举例来说，可以对第一图像应用包括对应于每一个像素的缩放因数的预定掩模，这可以通过将像素值乘以所述缩放因数来实现。

由于彩虹平面包括其中每一个位置对应于特定波长（并且其独立于空间特性）的画面，因此空间掩模的应用对应于光谱/频率域的滤波。因此，通过掩模的低复杂度应用，可以容易地生成所得到的信号的任何所期望的光谱足迹。所述方法可以被用来提供低复杂度带通滤波。举例来说，对于给定频率/波长区间，可以简单地通过把对应于这些区间的像素的缩放因数设定到1并且将所有其他缩放因数设定到零来确定适当的掩模（应当认识到，在大多数实施例中，将应用例如Hanning或Hamming窗口之类的适当窗口来平滑所述转变）。

因此，空间掩模处理器503生成对应于特定光谱区间的掩蔽图像。该图像被馈送到图像处理器505，其继续合成对应于彩虹平面处的掩蔽图像的空间图像。可以通过从掩蔽图像的数据进行光线描迹来生成所述空间图像（即考虑光线的角度和光强度）。所述光线描迹例如可以被用来确定像平面处的图像，即可以为通过所述掩蔽所选择的特定频率区间生成纯空间图像。

更具体来说，像平面处理器505可以通过积分/相加对应于每一个空间图像位置的光线来合成第一图像。为了创建多带（例如RGB）图像，可以对于每一个光谱带执行单独的掩蔽和图像形成处理。与普通摄影机一样，所述摄影机积分来自对应于每一个空间位置/像素的所有不同方向的光。在我们的情况中，为了合成图像，我们必须对落在相同的输出像素面元内的所有光线进行积分（考虑到我们可以将像平面215中的角度和像位置归于每一个传感器像素）。

在图5的实例中，所述处理器的操作由控制器507控制，所述控制器耦合到彩虹平面处理器501、空间掩模处理器503和图像处理器505。当彩虹平面处理器501接收到来自图像传感器213的图像时，控制器507控制其合成彩虹平面处的图像并且将之前送到空间掩模处理器503。其随后继续将第一掩模提供给空间掩模处理器503，并且指示空间掩模处理器503和图像处理器505执行所需的处理，以便生成对应于由该第一掩模所代表的频率分布图的空间图像。当接收到该图像时，控制器507存储所述图像，并且继续将第二掩模提供给空间掩模处理器503。该第二掩模对应于与第一掩模不同的光谱分布图。空间掩模处理器503和图像处理器505随后被控制来生成对应于该第二光谱分布图的第二空间图像。对于具体应用所期望的数目的掩模/光谱分布图重复所述过程。随后将对应于不同光谱分布图的所得到的二维空间图像收集在图像集合中，以便提供多光谱图像。

举例来说，所提供的掩模可以对应于被分成所期望的数目的区间的光谱，并因此所述多光谱图像可以具有对应于所述掩模以及所生成的多个空间图像的光谱分辨率。

因此，取代在彩虹平面中引入物理滤光器，所述方法允许通过涉及数值运算的后处理步骤来应用滤光器。这就允许基于由图像传感器进行的单次瞬时捕获而生成多光谱图像。因此所述方法适合于例如对移动中的对象进行成像。

微透镜阵列211和图像传感器213的定位可以被用来提供不同特性之间的所期望的折衷。实际上，可以通过把微透镜阵列211和图像传感器213定位在略微不同的位置处而获得空间与光谱分辨率之间的不同折衷。举例来说，在图3的配置中，每一个单独的光传感器/像素对图像的一个略微不同的区段进行采样，从而在或多或少地更宽的波长范围内进行积分。这就导致比图2的配置更高的空间分辨率但是更低的光谱分辨率（对于相同的图像传感器213）。

图3的配置得到由单个微透镜下方的像素/传感器元件数目决定的最优光谱分辨率，以及由微透镜的数目（和尺寸）还有成像系统的放大率决定的最小空间分辨率。实际上，在图3的实例中，单个微透镜下方的各个单独的像素/传感器元件测量关于相同图像区段的信息，但是对应于不同的波长。与此相对，在图2的实例中，单个微透镜下方的各个单独的像素/传感器元件测量关于整个光谱的信息但是对应于不同的图像区段。对于微透镜阵列211在其他位置处的定位，由对应于给定微透镜的像素/传感器元件集合捕获的信息包括波长与位置信息的组合，即光谱与空间信息的组合。

其结果是，微透镜阵列211和图像传感器213的定位是光谱与空间分辨率之间的折衷。在一些实施例中，多光谱摄影机还可以包括用户输入，其可以被用来根据用户输入修改图像传感器213和/或微透镜阵列211（和/或透镜207）的位置。用户输入例如可以是直接偏移其中一个元件的位置的机械输入，或者例如可以是被用来控制移动图像传感器213和/或微透镜阵列211的机械致动器（例如步进电动机）的电气用户输入。所述移动例如可以是相对于像平面、透镜207，或者例如可以对应于微透镜阵列211与图像传感器213之间的相对移动。

因此，用户输入可以被用来将多光谱摄影机适配于个别应用的具体特性和优选项。

在许多应用中，对于处在像平面209与图像传感器213之间的微透镜阵列211实现改进的性能和/或便利的操作。实际上，这样常常可以提供光谱与空间分辨率之间的适当折衷，同时允许执行相对较低复杂度的后处理。在其他应用中，对于处在像平面209前方（相对于图像传感器213）的微透镜阵列211实现改进的性能和/或便利的操作。

所述方法可以提供高度灵活的光谱成像系统，其中可以在软件中编程彩色滤光器而不需要物理的彩色滤光器。这就在滤光器设计方面提供了高得多的自由度（例如具有负滤光器系数）。其结果是有可能设计出具有无法通过采用LC层、声光元件或化学溶液的物理彩色滤光器产生的光谱响应的彩色滤光器。

与行扫描光谱仪相比，所提出的设备具有附加的好处，即瞬时地采集到对应于场景中的所有像素的局部光谱信息，从而克服在有运动存在时的复杂情况。多光谱摄影机以（一定）空间分辨率为代价提供光谱信息，但是所述摄影机可以被适配成对于具体应用提供所述二者之间的最优平衡。

图2和3提供了对于多光谱摄影机的二维描述，并且在一些实施例中，所述摄影机可以包括单个空间维度和一个光谱维度。但是在许多实施例中，所述图像传感器是二维传感器，并且所述摄影机提供两个空间维度和一个光谱维度。具体来说，图2和3可以被视为垂直于各图的平面延伸的结构的剖面图（即沿着各个元件的平面、彩虹平面和像平面）。因此，针孔203可以是狭窄的缝隙，发散元件205例如可以是行光栅，主透镜207可以是普通（球形）透镜，并且微透镜阵列211可以是双凸透镜阵列。

在前面的实例中，阻断元件201被显示为具有单个孔洞201。但是这往往会限制所捕获的光量，从而导致摄影机的较低光敏度。为了改进所述系统的光效率，可能希望增大孔径尺寸（即所述孔洞的尺寸）。但是这样将导致光谱模糊，这是因为落在发散元件205上的入射光将覆盖相当大的入射角度范围。

因此，为了改进光敏度，所述阻断元件可以包括形成已编码孔径的多个孔洞。所述已编码孔径可以被视为具有可被反转的已知模式的多个孔洞。具体来说，所述已编码孔径可以是具有特定模式的一行孔洞。通过选择易于反转的模式，有可能增加进入摄影机的光量，从而提高光敏度，而同时能够补偿所增大的开口。在这样的系统中，可以在彩虹平面中应用所期望的彩色滤光器之前对数据进行解码/反转，这例如是通过利用逆滤波器对数据进行去卷积而实现的；例如在彩虹平面处将数据转换到傅立叶域，并且将这些傅立叶系数除以所述已编码孔径（的投影）的相应系数。傅立叶逆变换随后产生去卷积的数据。

应当认识到，可以用透镜和/或光阑（并且在使用可反转代码的情况下利用已编码孔径）来替代所述针孔。在这样的实施例中，所述透镜/光阑被设计成使得撞击在发散元件205上的角度范围足够小。举例来说，在一些实施例中可以使用具有F/16孔径的80mm透镜（80/16=5mm直径）。

应当提到的是，正如对于使用微透镜阵列的系统所常见的那样，有利的是执行F数匹配以便确保整个撞击角度范围被映射到单个微透镜后方的各个像素。否则，图像传感器213的像素/传感器可能会接收到穿过多个微透镜的光，从而可能导致不可恢复的不定性。对于光谱成像，微透镜的F数应当优选地不是匹配透镜的F数=(F/直径)，而是匹配光谱范围（彩虹平面到微透镜的距离/彩虹平面的直径）。这样就尝试提供没有重叠的对应于每一个像素的唯一光径。另一方面，不希望具有捕获比可用角度范围更大的角度范围的微透镜，因为这样将导致传感器上的空白空间/黑色。摄影机的各个元件的精确配置和规格可以被选择来针对具体应用优化性能。

前面的描述集中于其中不同平面和元件基本上平行的实施例。但是应当认识到，这并不是必需的，并且在其他实施例中也可以使用其他配置。具体来说，发散元件平面、透镜平面、微透镜阵列平面和传感器平面可以被设置在Scheimpflug配置中。这样的实施例的实例在图6和7中提供。图6示出了具有平坦外部焦平面和内部Scheimpflug配置的一个实例，图7示出了具有外部Scheimpflug聚焦和平坦内部配置的一个实例。

应当认识到，虽然图2和3的结构考虑了单个维度（图中的上/下方向）中的光线分散/传播，但是在其他实现方式中可以考虑多于一个维度。举例来说，在一些实施例中，传入光的光谱还可以在垂直于所示方向的方向上分散（也就是说类似的分散可以发生在进入及离开所示附图的方向上）。

还应当认识到，在一些实施例中，可以使用移动中的摄影机来生成多个多光谱图像，其中所述多个图像被用于随后的分析。举例来说，可以在摄影机在围绕所评估对象的一道弧线中移动的同时生成多个多光谱图像。局部光谱特性以及其中的改变随后可以被用于分析所述对象。这例如可能适合于分析油漆碎片或其他材料。

实际上，可以由所描述的多光谱摄影机提供的多光谱成像能够被使用在许多应用中。

举例来说，其可以被用于其中必须满足非常严格的颜色呈现标准的照明应用。例如可以采用多光谱成像来检测及模仿日光外观。

作为另一个实例，所述方法可以被用于（局部）显示器表征，以便检测及补偿可能由于老化效应或热不均匀性而导致在LED背光或OLED器件中出现的局部颜色不均匀性。

所述方法还可以被使用在各种表征应用中，比如食物质量检测、油漆表征、污染物检测等等。其还可以被使用在消费者领域内，其中所描述的方法足够紧凑并且机械上可靠，从而可以被内建到移动电话中。

此外，所描述的方法可以被用于健康护理领域内的几种应用。举例来说，光穿透皮肤的深度取决于光的波长。通过作为波长的函数产生皮肤结构的图像，可以在一定变化深度范围内对皮肤进行成像。此外，皮肤的反射率光谱具有非常独特的特征。可以利用这一特征来检测场景中的人类。这可以通过执行局部光谱与预期光谱特征的互相关来实现，从而提供人类概率地图。这样的光谱人类检测应当比基于三个较宽颜色通道的常见皮肤色调检测器可靠得多。

应当认识到，前面的描述为了清楚起见参照不同的功能单元和处理器描述了本发明的各个实施例。但是应当明白的是，在不背离本发明的情况下可以使用不同功能单元或处理器之间的任何适当的功能分布。举例来说，被显示为由分开的处理器或控制器执行的功能可以由相同的处理器或控制器来执行。因此，对于特定功能单元的参考应当仅仅被视为对于提供所描述的功能的适当装置的参考，而不表明严格的逻辑或物理结构或组织。

本发明可以通过任何适当的形式来实施，其中包括硬件、软件、固件或其任意组合。本发明可以可选地被至少部分地实施为运行在一个或更多数据处理器和/或数字信号处理器上的计算机软件。本发明的一个实施例的各个元件和组件可以在物理、功能和逻辑方面通过任何适当方式来实施。实际上，所述功能可以被实施在单个单元中、实施在多个单元中或者实施为其他功能单元的一部分。因此，本发明可以被实施在单个单元中或者可以在物理和功能方面分布在不同单元和处理器之间。

虽然结合一些实施例描述了本发明，但是本发明不应被限制到这里所阐述的具体形式。相反，本发明的范围仅由所附权利要求书限定。此外，虽然某一项特征看起来可能是关于特定实施例描述的，但是本领域技术人员将认识到，根据本发明可以组合所描述的各个实施例的各项特征。在权利要求书中，“包括”一词不排除其他元件或步骤的存在。

此外，虽然是被单独列出的，但是多个装置、元件或方法步骤例如可以由单个单元或处理器实施。此外，虽然各项单独的特征可能被包括在不同的权利要求中，但是可能有利地组合这些特征，并且被包括在不同权利要求中并不意味着特征的组合不是可行的和/或有利的。此外，在一类权利要求中包括某一项特征并不意味着限制到该类别，而是表明所述特征在适当情况下同样适用于其他权利要求类别。此外，权利要求中的特征顺序并不意味着各项特征必须依其工作的任何特定顺序，并且特别是方法权利要求中的各个单独的步骤的顺序并不意味着必须按照该顺序来执行所述步骤。相反，可以按照任何适当顺序来执行所述步骤。此外，在提到单数时不排除复数。因此，在提到“一个”、“一”、“第一”、“第二”等等时并不排除复数。权利要求中的附图标记仅仅是作为澄清实例而提供的，其不应当被解释为以任何方式限制权利要求的范围。

Claims (15)

1.一种多光谱摄影机，其包括：

具有至少一个允许光穿过的孔洞（203）的光阻断元件（201）；

用于在取决于波长的不同方向上分散来自所述至少一个孔洞（203）的光的发散元件（205）；

用于把来自所述发散元件（205）的光聚焦在像平面（209）上的透镜（207）；

接收来自所述透镜（207）的光的微透镜阵列（211）；

图像传感器（213），其接收来自所述微透镜阵列（211）的光并且生成包括对应于所述图像传感器（213）的各个像素的入射光数值的像素值信号；以及

用于从所述像素值信号生成多光谱图像的处理器。

2.权利要求1的多光谱摄影机，其中，所述多光谱图像包括对应于该多光谱图像的各个像素的光谱分布表示。

3.权利要求1的多光谱摄影机，其中，所述处理器被设置成：

从所述像素值信号合成彩虹平面（215）处的第一图像；

通过对第一图像应用空间掩模生成第二图像，所述空间掩模对应于光谱特性；以及

对于所述多光谱图像从第二图像生成对应于所述光谱特性的空间图像。

4.权利要求3的多光谱摄影机，其中，所述处理器被设置成：

通过对第一图像应用相应的不同空间掩模，确定对应于不同光谱特性的多个空间图像；以及

从所述多个空间图像生成多光谱图像。

5.权利要求3的多光谱摄影机，其中，所述光谱特性对应于带通滤波器。

6.权利要求1的多光谱摄影机，其中，所述微透镜阵列（211）和图像传感器（213）被设置成使得在完全相同的角度下穿过所述至少一个孔洞（203）的光被分布在所述图像传感器（213）的多个像素上，所述分布是取决于波长的分布。

7.权利要求1的多光谱摄影机，其中，所述处理器被设置成补偿接收光线的所述图像传感器（213）的单个像素值，所述光线对应于具有不同波长的光线并且在不同角度下穿过所述至少一个孔洞（203）。

8.权利要求1的多光谱摄影机，其中，所述微透镜阵列（211）基本上位于像平面（209）处。

9.权利要求1的多光谱摄影机，其中，所述微透镜阵列（211）位于像平面（209）与图像传感器（213）之间。

10.权利要求1的多光谱摄影机，其还包括用户输入和控制器，该控制器用于响应于用户输入调节微透镜阵列（211）和图像传感器（213）的至少其中之一的位置。

11.权利要求1的多光谱摄影机，其中，所述光阻断元件（201）提供光阻断平面，并且所述至少一个孔洞（203）是所述光阻断平面中的缝隙。

12.权利要求1的多光谱摄影机，其中，所述图像传感器（213）是二维图像传感器。

13.权利要求1的多光谱摄影机，其中，所述至少一个孔洞（203）包括形成已编码孔径的多个孔洞。

14.权利要求1的多光谱摄影机，其中，所述至少一个孔洞（203）包括针孔。

15.一种生成多光谱图像的方法，所述方法包括：

提供具有至少一个允许光穿过的孔洞（203）的光阻断元件（201）；

提供用于在取决于波长的不同方向上分散来自所述至少一个孔洞（203）的光的发散元件（205）；

提供用于把来自所述发散元件（205）的光聚焦在像平面（209）上的透镜（207）；

提供接收来自所述透镜（207）的光的微透镜阵列（211）；

提供图像传感器（213），其用于接收来自所述微透镜阵列（211）的光并且生成包括对应于所述图像传感器（213）的各个像素的入射光数值的像素值信号；以及

从所述像素值信号生成多光谱图像。

Images