CN103975577A

CN103975577A - 智能监视摄像机系统及方法

Info

Publication number: CN103975577A
Application number: CN201280060176.5A
Authority: CN
Inventors: A·C·泰希; N·霍根斯特恩; T·R·赫尔特; K·斯特兰德玛
Original assignee: Flir Systems Inc
Current assignee: Teledyne Flir LLC
Priority date: 2011-10-07
Filing date: 2012-09-28
Publication date: 2014-08-06
Anticipated expiration: 2032-09-28
Also published as: BR112014008362A2; EP2764686B1; WO2013052383A1; CN103975577B; CA2851259A1; EP2764686A1; KR20140067160A; KR101831486B1; CA2851259C

Abstract

本发明公开了使用热成像来智能地控制监视场景的照明和监控的智能监视摄像机系统和方法的各种技术。例如，智能摄像机系统可以包括热成像仪、红外照明器、可见光照明器、可见光/近红外NIR光摄像机以及处理器。摄像机系统可以利用热成像仪捕获场景的热图像，并对热图像进行分析以检测场景中的对象的存在和属性。响应于检测，可以选择性地操作各种光源，以仅当需要和期望时才以合适类型的光源、合适的光束角度和宽度或者以其他期望的方式照明对象。还可以基于检测选择性地操作可见光/NIR光摄像机以捕获或者记录包含感兴趣的对象的监视图像。

Description

智能监视摄像机系统及方法

相关申请的交叉引用

本申请主张申请号为61/545,056、申请日为2011年10月7日、题为“NON-UNIFORMITY CORRECTION TECHNIQUES FOR INFRAREDIMAGING DEVICES”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

技术领域

本发明的一个或者多个实施例总体上涉及红外成像装置，更具体的，例如涉及使用热图像智能地控制照明和监视摄像机系统的监控操作。

背景技术

很多传统的摄像机(例如，监视摄像机)使用由可见或者红外光源实现的恒定有源照明。不幸的是，这种光源可能吸引各种类型的昆虫，这可能会显著降低这种摄像机提供场景的有用图像的质量和能力。例如，蜘蛛网可能会累积在摄像机的正面或者附近，并且这样的蜘蛛网可能会反过来吸引并留住更多的昆虫和/或碎屑。因此，由于昆虫和蜘蛛网的干扰和阻塞，通常会降低监视图像的质量。更糟糕的是，监视摄像机可能会将这些对象的存在或者移动认为是移动，从而导致某些系统(例如，传统的视频运动检测(VMD)系统)继续记录。例如，以只有蜘蛛网随风飘动、飞蛾在周围飞舞或者蜘蛛结网这样的长时间但毫无意义的监视记录结束并不少见。基于很多传统的摄像机系统不能从虚假的对象(例如，昆虫或者蜘蛛网)或环境变化(例如，无论环境还是背景的其他改变的照明环境的变化)中有效地区分出真实的感兴趣的对象(例如，人，车)的事实，该问题更加突出。

发明内容

公开了使用热成像来智能地控制监视场景的照明和监控的智能监视摄像机系统和方法的各种技术。例如，智能摄像机系统可以包括热成像仪、红外(IR)照明器、可见光照明器、可见光/近红外(NIR)光摄像机以及处理器。所述摄像机系统可以利用热成像仪捕获场景的热图像，并对所述热图像进行分析以检测所述场景中的对象的存在和属性。响应于所述检测，可以选择性地操作摄像机系统的各种光源，以仅当需要和期望时才以合适的光源类型、合适的光束角度和宽度或者以其他期望的方式照明对象。还可以基于所述检测选择性地操作可见光/NIR光摄像机以捕获或者记录包含感兴趣的对象的监视图像。

在一个实施例中，摄像机系统包括：热成像仪，其包括被配置为捕获场景的热图像的焦平面阵列(FPA)；光源，其被配置为对所述场景进行照明；摄像机，其被配置为捕获所述场景的附加图像；以及处理器，其被配置为：分析所述热图像以确定与所述场景中的所述对象相关的属性，以及基于所述对象的所述属性，选择性地操作所述光源和所述摄像机。

在另一个实施例中，所述方法包括：在热成像仪的焦平面阵列(FPA)捕获场景的热图像；分析所述热图像以确定于所述场景中的对象相关的属性；以及基于所述对象的所述属性，选择性地操作所述光源和摄像机，其中：所述光源被配置为对所述场景进行照明，并且所述摄像机被配置为捕获所述场景的附加图像。

本发明的范围由权利要求书限定，通过引用的方式将这部分合并于此。通过考虑下面对一个或者多个实施例的详细描述，将会向本领域技术人员提供对本发明实施例的更加完整的理解以及其中附加的优点的实现。下面将参考随附的首先会简要描述的附图。

附图说明

图1示出了根据本公开实施例的、被配置为实现在主机装置中的红外成像模块；

图2示出了根据本公开实施例的、装配后的红外成像模块。

图3示出了根据本公开实施例的、并列的置于插座之上的红外成像模块的分解图。

图4示出了根据本公开实施例的、包括红外传感器阵列的红外传感器组件的框图。

图5示出了根据本公开实施例的、确定NUC项的各种操作的流程图。

图6示出了根据本公开实施例的、相邻像素之间的差值。

图7示出了根据本公开实施例的平场校正技术。

图8示出了根据本公开实施例的、应用在图像处理流水线中的图5的各种图像处理技术和其他操作。

图9示出了根据本公开实施例的瞬时噪声消减步骤。

图10示出了根据本公开实施例的、图6的图像处理流水线的几个步骤的具体的实施细节。

图11示出了根据本公开实施例的、邻近像素中的空间相关的FPN。

图12示出了根据本公开实施例的、具有热成像仪的智能监视摄像机系统的框图。

图13示出了根据本公开实施例的、具有热成像仪的智能监视摄像机系统的前视图

图14示出了根据本公开的另一个实施例的、具有热成像仪的智能监视摄像机系统的前视图。

图15示出了根据本公开实施例的、实现为能够方便地配置的模块的智能监视摄像机系统的透视图。

图16示出了根据本公开实施例的、执行监视场景的智能照明和监控的过程。

通过参考下面的详细描述，能更好地理解本发明的实施例及其优点。应当理解的是，相同的附图标记用于表示一副或者多幅附图中的相同元件。

具体实施方式

图1示出了根据本公开的实施例的、被配置为实现在主机装置102中的红外成像模块100(例如，红外摄像机或者红外成像装置)。在一个或者多个实施例中，可根据晶圆级封装技术或者其他封装技术，实现小外形因素的红外成像模块100。

在一个实施例中，红外成像模块100可被配置为实现在小型的便携式主机装置102中，例如，移动电话、平板电脑装置、膝上型电脑装置、个人数字助理、可见光摄像机、音乐播放器或者任何其他合适的移动装置。就这方面而言，红外成像模块100可用于向主机装置102提供红外成像功能。例如，红外成像模块100可被配置为捕获、处理、和/或管理红外图像，并将该红外图像提供给主机装置102，主机装置102能够以任何期望的方式来使用该红外图像(例如，对该红外图像进行进一步的处理、存储到存储器中、显示、由运行在主机装置102中的各种应用程序使用、输出到其他装置、或者其他应用)。

在各种实施例中，红外成像模块100可被配置为在低电压电平和宽温度范围内工作。例如，在一个实施例中，红外成像模块100可使用约2.4伏、2.5伏、2.8伏或更低的电压的电源工作，并且可在约-20℃到约+60℃的温度范围中工作(例如，在约80℃的环境温度范围中提供合适的动态范围和性能)。在一个实施例中，通过使红外成像模块100工作在低电压电平，与其他类型的红外成像装置相比，红外成像模块100自身所产生的热量可以减少。因此，红外成像模块100在工作时，可利用简化的措施来补偿这种自身产生的热量。

如图1所示，主机装置102可包括插座104、快门105、运动传感器194、处理器195、存储器196、显示器197和/或其他部件198。插座104可被配置为如箭头101所示的接收红外成像模块100。就这方面而言，图2示出了根据本公开实施例的、装配在插座104中的红外成像模块100。

可由一个或者多个加速度计、陀螺仪或者可用于检测主机装置102的运动的其他合适的装置来实现运动传感器194。处理模块160或者处理器195可对运动传感器194进行监控并且运动传感器194可向处理模块160或者处理器195提供信息，以检测运动。在各种实施例中，运动传感器194可实现为主机装置102的一部分(如图1所示)，也可实现为红外成像模块100或者连接到主机装置102或与主机装置102通信的其他装置的一部分。

处理器195可实现为任何合适的处理装置(例如，逻辑装置、微控制器、处理器、专用集成电路(ASIC)或者其他装置)，主机装置102可使用上述处理装置来执行适当的指令，例如，存储在存储器196中的软件指令。显示器197可用于显示捕获的和/或处理后的红外图像和/或其他图像、数据和信息。其他部件198可用于实现主机装置102的任何功能作为可能期望的各种应用(例如，时钟、温度传感器、可见光摄像机或者其他部件)。另外，机器可读介质193可用于存储非临时性指令，可将该非临时性指令加载到存储器196中并由处理器195执行。

在各种实施例中，可大量生产红外成像模块100和插座104，以推动它们的大容量应用，例如，其可应用在移动电话或者其他装置(例如，需要小外形因素的装置)中。在一个实施例中，当红外成像模块100安装到插座104中时，红外成像模块100和插座104的组合所显示出的整体尺寸大约为8.5mm*8.5mm*5.9mm。

图3示出了根据本公开的实施例的、并列的置于插座104之上的红外成像模块100的分解图。红外成像模块100可包括透镜镜筒110、外壳120、红外传感器组件128、电路板170、基座150和处理模块160。

透镜镜筒110可至少部分地装入有光学元件180(例如，透镜)，通过透镜镜筒110中的孔112，所述光学元件180在图3中部分地可见。透镜镜筒110可包括大致呈圆柱形的延长部分114，其可用于使透镜镜筒110与外壳120中的孔122接触。

例如，可由安装在基板140上的帽130(例如，盖子)来实现红外传感器组件128。红外传感器组件128可包括按列或者其他方式设置在基板140上并由帽130覆盖的多个红外传感器132(例如，红外探测器)。例如，在一个实施例中，红外传感器组件128可实现为焦平面阵列(FPA)。这种焦平面阵列可实现为例如真空封装的组件(例如，由帽130和基板140密封)。在一个实施例中，红外传感器组件128可实现为晶片级封装(例如，红外传感器组件128可以是与设置在晶片上一组真空包装组件相分离的)。在一个实施例中，红外传感器组件128可实现为使用约2.4伏、2.5伏、2.8伏或者类似的电压的电源来工作。

红外传感器132可被配置为检测目标场景的红外辐射(例如，红外能量)，所述目标场景包括：例如波中红外波段(MWIR)、长波红外中段(LWIR)、和/或如在特定应用中所可能期望的其他热成像波段。在一个实施例中，可根据晶片级封装技术来提供红外传感器组件128。

红外传感器132可实现为例如微辐射热计探测器，或者以任意期望的阵列方向图配置以提供多个像素的其他类型的热成像红外传感器。在一个实施例中，红外传感器132可实现为具有17微米像素间距的氧化钒(VOx)探测器。在各种实施例中，可使用约32*32阵列的红外传感器132、约64*64阵列的红外传感器132、约80*64阵列的红外传感器132或者其他大小的阵列。

基板140可包括各种电路，其中包括例如读出集成电路(ROIC)，在一个实施例中，该读出集成电路(ROIC)的尺寸比约5.5mm*5.5mm小。基板140还可包括接合焊盘142，其可用于当如图5A，5B和5C所示的那样装配好红外成像模块100时，与放置在外壳120的内表面上的辅助连接点相接触。在一个实施例中，可利用执行电压调节的低压差线性稳压器(LDO)来实现ROIC，以降低引入到红外传感器组件128中的电源噪声，从而提供改进的电源抑制比(PSRR)。另外，通过实现具有ROIC的LDO(例如，在晶圆级封装内)，可消耗更少的管芯面积并且需要的离散管芯(或者芯片)较少。

图4示出了根据本公开的实施例的、包括红外传感器132阵列的红外传感器组件128的框图。在示出的实施例中，红外传感器132作为ROIC402的单位晶格阵列的一部分。ROIC402包括偏压产生和定时控制电路404、列放大器405、列多路复用器406、行多路复用器408和输出放大器410。可通过输出放大器410将红外传感器132捕获的图像帧(例如热图像)提供给处理模块160、处理器195和/或任何其他合适的部件，以执行本文所描述的各种处理技术。尽管图4示出的是8*8的阵列，但是任何期望的阵列配置均可用于其他实施例中。ROIC和红外传感器(例如微测热辐射计电路)的进一步描述可在2000年2月22日公开的美国专利6,028,309中找到，通过引用的方式将其作为整体合并于此。

红外传感器组件128可捕获图像(例如，图像帧)，并以各种速率从它的ROIC提供这种图像。处理模块160可用于对捕获的红外图像执行适当的处理，并且可以根据任何适当的结构来实现该处理模块160。在一个实施例中，处理模块160可实现为ASIC。就这方面而言，这种ASIC可被配置为高性能地和/或高效率地执行图像处理。在另一个实施例中，可利用通用中央处理单元(CPU)来实现处理模块160，所述CPU可被配置为执行适当的软件指令，以进行图像处理、利用各种图像处理块协调和进行图像处理、协调处理模块160和主机装置102之间的交互和/或其他操作。在另一个实施例中，可利用现场可编程门阵列(FPGA)来实现处理模块160。在其他实施例中，如本领域技术人员所理解的，可利用其他类型的处理和/或逻辑电路来实现处理模块160。

在这些和其他实施例中，处理模块160还可由其他合适的部件来实现，例如，易失性存储器、非易失性存储器和/或一个或者多个接口(例如，红外检测器接口、内部集成电路(I2C)接口、移动行业处理器接口(MIPI)、联合测试行动组(JTAG)接口(例如，IEEE1149.1标准测试访问端口和边界扫描结构)、和/或其他接口)。

在一些实施例中，红外成像模块100可进一步包括一个或者多个致动器199，其可用于调整红外传感器组件128捕获的红外图像帧的焦点。例如，致动器199可用于移动光学元件180、红外传感器132和/或彼此相关的其他部件，以根据本文所描述的技术来选择性地聚焦和散焦红外图像帧。可根据任何类型的运动感应装置或者机构来实现致动器199，并且可将致动器199放置在红外成像模块100内部或者外部的任何位置，以适应不同的应用。

当将红外成像模块100装配好时，外壳120可基本装入有红外传感器组件128、基座150以及处理模块160。外壳120可便于红外成像模块100的各种部件的连接。例如，在一个实施例中，外壳120可提供用于连接各种部件的电连接件126，下面将进行进一步描述。

当将红外成像模块100装配好时，电连接件126(例如，导电路径、电气轨迹或者其他类型的电连接件)可与接合焊盘142电气连接。在各种实施例中，可将电连接件126嵌入到外壳120中、设置在外壳120的内表面上和/或由外壳120提供所述电连接件126。如图3所示，电连接件126可终止于从外壳120的底表面突出的连接件124中。当将红外成像模块100装配好时，连接件124可与电路板170连接(例如，在各种实施例中，外壳120可置于电路板170的顶部)。处理模块160可通过合适的电连接件与电路板170电连接。因此，红外传感器组件128可例如通过导电路径与处理模块160电连接，所述导电路径可由接合焊盘142、外壳120内表面上的辅助连接件、外壳120的电连接件126、连接件124及电路板170提供。有利的是，这种布置的实现可无需在红外传感器组件128和处理模块160之间设置焊线。

在各种实施例中，可使用任何期望的材料(例如，铜或者任何其他合适的导电材料)来制造外壳120中的电连接件126。在一个实施例中，电连接件126可有助于对红外成像模块100产生的热量进行散热。

其他实施例中可使用其他连接件。例如，在一个实施例中，传感器组件128可通过陶瓷板连接到处理模块160，所述陶瓷板通过焊线连接到传感器组件128并通过球栅阵列(BGA)连接到处理模块160。在另一个实施例中，传感器组件128可直接安装到刚柔性板上并与焊线电连接，并且可利用焊线或者BGA将处理部件160安装并且连接到刚柔性板。

本文所阐述的红外成像模块100和主机装置102的各种应用只是为了举例，而不是限制。就这方面而言，本文所描述的各种技术中的任何一个均可应用到任何红外摄像机系统、红外成像器或者用于进行红外/热成像的其他装置。

红外传感器组件128的基板140可安装到基座150上。在各种实施例中，基座150(例如，底座)可例如由通过金属注射成形(MIM)形成的铜制造，并且对所述基座150进行黑色氧化处理或者镍涂层处理。在各种实施例中，基座150可由任何期望的材料制造，例如，可根据特定应用的需要，由例如锌、铝或者镁制造，并且，基座150可通过任何期望的应用流程形成，例如，可根据特定应用的需要，例如通过铝铸件、MIM或者锌的快速铸造来形成。在各种实施例中，基座150可用于提供结构支撑、各种电路路径、热散热器性能以及其他合适的功能。在一个实施例中，基座150可以是至少部分使用陶瓷材料实现的多层结构。

在各种实施例中，电路板170可容纳外壳120，从而可在物理上支撑红外成像模块100的各种部件。在各种实施例中，电路板170可实现为印刷电路板(例如，FR4电路板或者其他类型的电路板)、刚性或者柔性的互连设备(例如，互连带或者其他类型的互连设备)、柔性电路基板、柔性塑料基板或者其他合适的结构。在各种实施例中，基座150可实现为具有描述的电路板170的各种功能和属性，反之亦然。

插座104可包括被配置为容纳红外成像模块100(例如，如图2所示的装配后的视图)的腔体106。红外成像模块100和/或插座104可包括合适的卡片、臂、销、紧固件或者任何其他合适的接合部件，所述接合部件可用于通过摩擦、张力、粘附和/或任何其他合适的方式将红外成像模块100固定到插座104，或者将红外成像模块100固定到插座104内部。插座104可包括接合部件107，其可在当红外成像模块100插入到插座104的腔体106中时，接合外壳120的表面109。其他类型的接合部件可用于其他实施例中。

红外成像模块100可通过适当的电连接件(例如，触点、销、电线或者任何其他合适的连接件)与插座104电连接。例如，插座104可包括电连接件108，其可与红外成像模块100的相应的电连接件(例如，互连焊盘、触点、或者在电路板170侧面或者底表面上的其他电连接件、接合键盘142或者基座150上的其他电连接件、或者其他连接件)接触。电连接件108可由任何期望的材料(例如，铜或者任何其他合适的导电材料)制造。在一个实施例中，红外成像模块100插入到插座104的腔体106中时，电连接件108可被机械地偏置以挤压红外成像模块100的电连接件。在一个实施例中，电连接件108可至少部分地将红外成像模块100固定到插座104中。其他实施例中可使用其他类型的电连接件。

插座104可通过类似类型的电连接件与主机102电连接。例如，在一个实施例中，主机102可包括穿过孔190与电连接件108连接的电连接件(例如，焊接连接件、搭扣式连接件或者其他连接件)。在各种实施例中，这种电连接件可置于插座104的侧面和/或底部。

可通过倒装芯片技术来实现红外成像模块100的各种部件，所述倒装芯片技术可用于将部件直接安装到电路板上，而无需通常用于焊线连接的额外的间隙。倒装芯片连接例如可用于在紧凑小型化应用中减少红外成像模块100的整体尺寸。例如，在一个实施例中，可使用倒装芯片连接将处理部件160安装到电路板170。例如，可使用这种倒装芯片配置来实现红外成像模块100。

在各种实施例中，可根据如申请号为12/844,124，申请日为2010年7月27日的美国专利申请和申请号为61/469,651，申请日为2011年3月30日的美国临时专利申请所记载的各种技术(例如，圆晶级封装技术)，来实现红外成像模块100和/或相关的部件，通过引用的方式将其作为整体合并于此。另外，根据一个或者多个实施例，可根据如下所述文献记载的各种技术来实现、校正、测试和/或使用红外成像模块100和/或相关的部件，所述文献例如为：如专利号为7,470,902、发布于2008年12月30日的美国专利，专利号为6,028,309、发布于2000年2月22日的美国专利，专利号为6,812,465、发布于2004年11月2日的美国专利，专利号为7,034,301、发布于2006年4月25日的美国专利，专利号为7,679,048、发布于2010年3月16日的美国专利，专利号为7,470,904、发布于2008年12月30日的美国专利，申请号为12/202,880、申请日为2008年9月2日的美国专利申请以及申请号为12/202,896、申请日为2008年9月2日的美国专利申请，通过引用的方式将上述文献作为整体合并于此。

再次参考图1，在各种实施例中，主机装置102可包括快门105。就这方面而言，可在红外成像模块100安装在插座中时，将快门105选择性的放置在插座104上(例如，如箭头103所确定的方向)。就这方面而言，快门105例如可用于在红外成像模块100不使用时对其进行保护。快门105还可用作温度参考，如本领域技术人员所应当理解的，所述温度参考作为红外成像模块100的校正过程(例如，非均匀性校正(NUC)过程或者其他校正过程)的一部分。

在各种实施例中，快门105可由各种材料制造，例如，聚合物、玻璃、铝(例如，涂漆的或者经过阳极氧化处理后的铝)或者其他材料。在各种实施例中，快门105可包括一个或者多个涂层(例如，均匀的黑体涂层或者反射性的镀金涂层)，其用于选择性地过滤电磁辐射和/或调整快门105的各种光学属性。

在另一个实施例中，可将快门105固定在适当位置以全天候的保护红外成像模块100。在这种情况下，快门105或者快门105的一部分可由基本上不会过滤掉需要的红外线波长的合适的材料(例如，聚合物，或者诸如硅、锗、硒化锌或硫属化物玻璃的红外透射材料)制造。在另一个实施例中，如本领域技术人员所应当理解的，快门可实现为红外成像模块100的一部分(例如，在透镜镜筒或者红外成像模块100的其他部件内，或者作为透镜镜筒或者红外成像模块100的其他部件的一部分)。

可选的，在另一个实施例中，无需提供快门(例如，快门105或者其他类型的外部或者内部快门)，而是可使用无快门的技术进行NUC步骤或者其他类型的校正。在另一个实施例中，使用无快门技术的NUC步骤或者其他类型的校正可与基于快门的技术结合进行。

可根据下述文献记载的各种技术中的任意一种来实现红外成像模块100和主机装置102，所述文献为：申请号为61/495,873，申请日为2011年6月10日的美国临时专利申请；申请号为61/495,879，申请日为2011年6月10日的美国临时专利申请；以及申请号为61/495,888，申请日为2011年6月10日的美国临时专利申请。通过引用的方式将上述文献作为整体合并于此。

在各种实施例中，主机装置102和/或红外成像模块100可实现为本地系统，或者实现为部件之间通过有线和/或无线网络彼此进行通信的分布式系统。因此，可根据特定应用的需要，通过本地和/或远程部件来执行本公开所指出的各种部件。

图5示出了根据本公开实施例的、确定NUC项的各种操作的流程图。在一些实施例中，可由对红外传感器132捕获的图像帧进行处理的处理模块160或者处理器195(二者通常也指处理器)来执行图5的操作。

在块505，红外传感器132开始捕获场景的图像帧。通常，场景将会是主机装置102当前处于的真实环境。就这方面而言，快门105(如果可选地提供)可打开以允许红外成像模块从场景接收红外辐射。在图5所示的所有操作期间，红外传感器132可连续地捕获图像帧。就这方面而言，连续地捕获图像帧可用于如下文所进一步讨论的各种操作。在一个实施例中，可对捕获的图像帧进行瞬时滤波(例如，本文将根据图8进一步描述的块826的步骤)，并且在所述图像帧被用于图5所示的操作之前，由其他项(例如，工厂增益项812、工厂偏移项816、先前确定的NUC项817、列FPN项820以及行FPN项824，本文将根据图8对其做进一步描述)对它们进行处理。

在块510，检测到NUC步骤的启动事件。在一个实施例中，NUC步骤可响应于主机装置102的物理移动而启动。例如，可由被处理器轮询的运动传感器194来检测这种移动。在一个例子中，用户可能会以特定的方式来移动主机装置102，例如，通过有意的来回移动主机装置102，使主机装置102做“擦除”或者“重击”运动。就这方面而言，用户可根据预定的速率和方向(速度)，例如，通过上下、左右或者其他类型的运动来启动NUC步骤。在这个例子中，这种移动的使用可允许用户直观地操作主机装置102，以模拟对捕获的图像帧的噪声“消减”。

在另一个例子中，如果运动超过阈值(例如，运动超过了期望的正常使用)，则可由主机装置102来启动NUC步骤。可以预期的是，主机装置102的任何期望的类型的空间平移均可用于启动NUC步骤。

在另一个例子中，如果自从先前执行的NUC步骤以来，已经过去了最小时间，则可由主机装置102启动NUC步骤。在另一个例子中，如果自从先前执行的NUC步骤以来，红外成像模块100已经经历了最小的温度改变，则可由主机装置102启动NUC步骤。在另外的例子中，可连续地启动并重复NUC步骤。

在块515，检测到NUC步骤启动事件之后，确定是否应该真正地执行NUC步骤。就这方面而言，可基于一个或者多个附加条件是否满足，来选择性地启动NUC步骤。例如，在一个实施例中，除非自从先前执行的NUC步骤以来，已经过去了最小时间，否则不会执行NUC步骤。在另一个实施例中，除非自从先前执行的NUC步骤以来，红外成像模块100已经经历了最小的温度变化，否则不会执行NUC步骤。其他标准或者条件可用于其他实施例中。如果已经满足合适的标准或者条件，流程图就会继续到块520。否则，流程图返回到块505。

在NUC步骤中，模糊图像帧可用于确定NUC项，所述NUC项可应用于捕获的图像帧以校正FPN。如所讨论的，在一个实施例中，可通过累加运动场景的多个图像帧(例如，当场景和/或热成像仪处于运动的状态时捕获的图像帧)来获得模糊图像帧。在另一个实施例中，可通过使热成像仪的光学元件或者其他部件散焦，来获得模糊图像帧。

因此，块520提供了两种方法的选择。如果使用基于运动的方法，则流程图继续到块525。如果使用基于散焦的方法，则流程图继续到块530。

现在参考基于运动的方法，在块525，检测到运动。例如，在一个实施例中，可基于红外传感器132捕获的图像帧检测运动。就这方面而言，运动检测步骤(例如，图像配准步骤、帧到帧的差值计算或者其他合适的步骤)可应用于捕获的图像帧，以确定是否存在运动(例如，是否已经捕获到静态的或者运动的图像帧)。例如，在一个实施例中，能够确定连续图像帧的像素的周围的像素或者区域发生的改变是否已经超过了用户定义的量(例如，百分比和/或阈值)。如果至少给定百分比的像素改变了至少用户定义的量，则可以非常肯定地检测到运动，从而流程图转到块535。

在另一个实施例中，可以在每个像素的基础上确定运动，其中，只累加那些显示出明显变化的像素，以提供模糊图像帧。例如，可以为每个像素设置计数器，所述计数器用于保证每个像素累加的像素值的数量相同，或者用于根据每个像素实际上累加的像素值的数量来对像素值取平均。可执行其他类型的基于图像的运动检测，例如，执行拉东(Radon)变换。

在另一个实施例中，可基于运动传感器194提供的数据来检测运动。在一个实施例中，这种运动检测可包括检测主机装置102是否在空间中沿着相对笔直的轨迹移动。例如，如果主机装置102正沿着相对笔直的轨迹移动，那么下述情况是可能的：出现在成像后的场景中的某些对象可能不够模糊(例如，场景中的对象与笔直轨迹对准或者基本上沿着平行于所述笔直轨迹的方向移动)。因此，在该实施例中，由运动传感器194检测的运动是以主机装置102显示或者不显示特定轨迹为条件的。

在另一个实施例中，可使用运动检测步骤和运动传感器194二者。因此，使用这些各种实施例中任意一个，能够确定在场景的至少一部分和主机装置102相对于彼此运动的同时(例如，这可由主机装置102相对于场景移动、场景的至少一部分相对于主机装置102移动或者上述两种情况引起)，是否捕获到每个图像帧。

可以预期的是，检测到运动的图像帧可显示出捕获的场景的一些次级模糊(例如，与场景相关的模糊的热图像数据)，所述次级模糊是由于与场景移动交互的红外传感器132的热时间常数(例如，微微测热辐射计热时间常数)而引起的。

在块535，对检测到运动的图像帧进行累加。例如，如果检测到连续的一系列图像帧的运动，则可对该系列图像帧进行累加。做为另外一个例子，如果只检测到仅一些图像帧运动，则可忽略掉没有运动的图像帧并且不对所述没有运动的图像帧进行累加。因此，可基于检测到的运动，选择连续组的或者不连续组的图像帧进行累加。

在块540，对累加的图像帧进行平均以提供模糊图像帧。因为累加的图像帧是在运动期间捕获到的，所以期望图像帧之间实际的场景信息将会不同，从而导致在得到的模糊的图像帧中场景信息被进一步的模糊(块545)。

与此相反，在运动期间，在至少短时间内以及场景辐射的至少有限变化时，FPN(例如，由红外成像模块100的一个或者多个部件引起的)保持不变。结果是，在运动期间捕获到的时间和空间上接近的图像帧将会遭受相同的或者至少非常类似的FPN。因此，尽管连续图像帧中的场景信息可能会改变，但是FPN将保持基本不变。通过平均，运动期间捕获的多个图像帧将会模糊场景信息，但是不会模糊FPN。结果是，与场景信息相比，FPN将在块545提供的模糊图像帧中保持的更加清楚。

在一个实施例中，在块535和540中，对32个或者更多图像帧进行累加和平均。然而，任何期望数量的图像帧均可用在其他实施例中，只是随着帧的数量的减少，校正精度通常会降低。

现在参考基于散焦的方法，在块530，进行散焦操作以有意地使红外传感器132捕获的图像帧散焦。例如，在一个实施例中，一个或者多个致动器199可用于调整、移动或者平移光学元件180、红外传感器组件128和/或红外成像模块100的其他部件，以使得红外传感器132捕获场景的模糊的(例如，没有聚焦)图像帧。也可考虑使用其他不基于致动器的技术来有意地使红外图像帧散焦，例如，如人工(例如，用户启动的)散焦。

尽管图像帧中的场景可能会出现模糊，但是通过散焦操作，FPN(例如，由红外成像模块100的一个或者多个部件引起)将会保持不受影响。结果是，场景的模糊图像帧(块545)将会具有FPN，并且与场景信息相比，所述FPN将在所述模糊图像中保持的更加清楚。

在上面的讨论中，已经描述的基于散焦的方法与单个捕获的图像帧有关。在另一个实施例中，基于散焦的方法可包括当红外成像模块100已经被散焦时对多个图像帧进行累加，并且对散焦的图像帧进行平均以消除瞬时噪声的影响并在块545提供模糊图像帧。

因此，可以理解的是，在块545既可通过基于运动的方法也可通过基于散焦的方法来提供模糊的图像帧。因为运动、散焦或者上述二者均会使很多的场景信息模糊，所以可实际上将模糊图像帧认为是原始捕获的有关场景信息的图像帧的低通滤波版本。

在块550，对模糊图像帧进行处理以确定更新的行和列的FPN项(例如，如果之前没有确定行和列的FPN项，那么更新的行和列的FPN项可以是块550的第一次迭代中的新的行和列的FPN项)。如本公开所使用的，根据红外传感器132和/或红外成像模块100的其他部件的方向，术语行和列可互换的使用。

在一个实施例中，块550包括确定每行模糊图像帧(例如，每行模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项，以及还确定每列模糊图像帧(例如，每列模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项。这种处理可用于减少空间并减少热成像仪固有的行和列FPN的缓慢变化(1/f)，这种缓慢变化例如是由ROIC402中的放大器的1/f噪声特征引起，所述1/f噪声特征可表现为图像帧中的垂直和水平条。

有利的是，通过利用模糊图像帧确定空间行和列的FPN，会降低将实际成像的场景中的垂直和水平目标误认为是行和列噪声的风险(例如，真真实场景内容被模糊，而FPN保持不被模糊)。

在一个实施例中，可通过考虑模糊图像帧的相邻像素之间的差值来确定行和列FPN项。例如，图6示出了根据本公开实施例的、相邻像素之间的差值。具体地，在图6中，将像素610与离它最近的8个水平相邻像素进行比较：d0-d3在一侧，d4-d7在另一侧。可对相邻像素之间的差值进行平均，以获得示出的像素组的偏移误差的估计值。可对行或者列中的每个像素的偏移误差进行计算，并且平均结果可用于校正整个行或者列。

为了防止将真实的场景数据解释为噪声，可使用上限阈值和下限阈值(thPix和-thPix)。落入这些阈值之外的像素值(在该例子中，是像素d1和d4)不用于获得偏移误差。另外，这些阈值可限制行和列FPN校正的最大量。

申请号为12/396,340，申请日为2009年3月2日的美国专利申请记载了执行空间行和列FPN校正处理的更具体的技术，通过引用的方式将其作为整体合并于此。

再次参考图5，将在块550确定更新的行和列FPN项进行存储(块552)并将其应用于(块555)块545提供的模糊图像帧。在应用这些项之后，可降低模糊图像帧中的一些空间行和列的FPN。然而，因为这些项通常应用于行和列，所以附加的FPN可保持，例如，空间不相关的FPN与像素到像素的偏移或者其他原因相关。空间不相关的FPN的相邻区域也可保持，其可能与单个行和列不直接相关。因此，可进行进一步的处理以确定NUC项，下面将对其进行描述。

在块560，确定模糊图像帧中的局部反差值(例如，相邻像素或者小组像素之间的梯度边缘值或者绝对值)。如果模糊图像帧中的场景信息包括还没有被明显模糊的反差区域(例如，原始场景数据中的高反差边缘)，那么可由块560的反差确定步骤来识别该特征。

例如，可计算模糊图像帧中的局部反差值，或者任何其他所需类型的边缘检测步骤可应用于识别作为局部反差区域的一部分的、模糊图像中的某些像素。可以认为以这种方式标记的像素包含很高空间频率的场景信息，可将该很高空间频率的场景信息解释为FPN(例如，这种区域可对应于还没有被充分模糊的场景的部分)。因此，可将这些像素排除在用于进一步确定NUC项的处理之外。在一个实施例中，这种反差检测处理可依赖于高于与FPN相关的期望反差值的阈值(例如，可以认为显示出的反差值高于阈值的像素是场景信息，而认为那些低于阈值的像素显示FPN)。

在一个实施例中，在行和列FPN项已经应用于模糊图像帧之后，可在模糊图像帧上执行块560的反差确定(例如，如图5所示)。在另一个实施例中，可在块550之前执行块560，以在确定行和列FPN项之前确定反差(例如，以防止基于场景的反差对于确定该项有影响)。

在块560之后，可以预期的是，残留在模糊图像帧中的任何高空间频率分量一般可的归因于空间不相关的FPN。就这方面而言，在块560之后，已经将很多其他噪声或者真正需要的基于场景的信息去除或者排除在模糊图像帧之外，这是因为：对图像帧的有意地模糊(例如，通过从块520到545的运动或者散焦)、行和列FPN项的应用(块555)以及反差的确定(块560)。

因此，可以预期的是，在块560之后，任何残留的高空间频率分量(例如，显示为模糊图像帧中的反差或者差别区域)均可归因于空间不相关的FPN。因此，在块565，对模糊图像帧进行高通滤波。在一个实施例中，这可包括应用高通滤波器以从模糊图像帧中提取高空间频率分量。在另一个实施例中，这可包括对模糊图像帧应用低通滤波器，并提取低通滤波后的图像帧和没有滤波的模糊图像帧之间的差值以获得高空间频率分量。根据本公开的各种实施例，可通过计算传感器信号(例如，像素值)和其相邻信号之间的平均差值来实现高通滤波器。

在块570，对高通滤波后的模糊图像帧进行平场校正处理，以确定更新的NUC项(例如，如果先前没有进行NUC步骤，那么更新的NUC项可以是块570的第一次迭代中的新的NUC项)。

例如，图7示出了根据本公开实施例的平场校正技术700。在图7中，可通过使用像素710的相邻像素712到726的值来确定模糊图像帧的每个像素710的NUC项。对于每个像素710来说，可基于各种相邻像素的值之间的绝对差值来确定数个梯度。例如，可确定下述像素之间的绝对差值：像素712和714之间(从左到右的对角梯度)、像素716和718之间(从上到下的垂直梯度)、像素720和722之间(从右到左的对角梯度)以及像素724和726之间(从左到右的水平梯度)。

可对这些绝对差值进行求和，以提供像素710的求和梯度。可确定像素710的权重值，所述权重值与求和梯度成反比。可对模糊图像帧的全部像素710执行该步骤，直到为每个像素710提供加权值。对于具有低梯度的区域(例如，被模糊的区域或者具有低对比度的区域)来说，权重值将会接近1。相反，对于具有高梯度的区域来说，权重值将会为0或者接近0。如由高通滤波器估计的NUC项的更新值与权重值相乘。

在一个实施例中，通过将一定量的时间衰减应用到NUC项确定步骤，能够进一步地降低将场景信息引入到NUC项的风险。例如，可选择位于0和1之间的时间衰减因子λ，这样存储的新的NUC项(NUC_NEW)是旧的NUC项(NUC_OLD)和估计的更新的NUC项(NUC_UPDATE)的加权平均值。在一个实施例中，这可表示为：NUC_NEW＝λ·NUC_OLD+(1-λ)·(NUC_OLD+NUC_UPDATE)。

尽管已经描述了根据梯度来确定NUC项，但是适当的时候也可使用局部反差值来代替。也可使用其他技术，例如，标准偏差计算。可执行其他类型的平场校正步骤以确定NUC项，包括：例如专利号为6.,028,309，发布于2000年2月22日的美国专利；公开号为6,812,465，发布于2004年11月2日的美国专利；以及申请号为12/114,865，申请日为2008年5月5日的美国专利申请所记载的各种步骤。通过引用的方式将上述文献作为整体合并于此。

再次参考图5，块570可包括对NUC项的附加处理。例如，在一个实施例中，为了保留场景信号的平均值，可通过从每个NUC项中减去NUC项的平均值来将全部NUC项的和归一化到0。同样的在块570，为了避免行和列噪声影响NUC项，可从每行和列的NUC项中减去每行和列的平均值。结果是，使用在块550确定的行和列FPN项的行和列FPN滤波器可以更好地过滤掉将NUC项应用到捕获的图像之后(例如，在块580所进行的步骤，本文将对此作进一步地描述)的进一步的迭代中(例如，如图8所进一步示出的)的行和列噪声。就这方面而言，行和列FPN滤波器通常可使用更多的数据来计算每行和每列的偏移系数(例如，行和列的FPN项)，并且与基于高通滤波器来捕获空间上不相关的噪声相比，可从而提供比NUC项更加可靠的、用于减少空间相关的FPN的可选项。

在块571-573，可以可选地对更新的NUC项执行附加高通滤波和进一步的确定处理以消除空间相关的FPN，所述空间相关的FPN具有比先前由行和列FPN项消除的空间频率更低的空间频率。就这方面而言，红外传感器132或者红外成像模块100的其他部件的一些变化可产生空间相关的FPN噪声，不能轻易地将所产生的空间相关的FPN噪声建模为行或者列噪声。这种空间相关的FPN可包括例如传感器组件或者红外传感器132组上的窗样缺损，所述红外传感器132组与相邻的红外传感器132相比，对辐射度的响应不同。在一个实施例中，可使用偏移校正来减少这种空间相关的FPN。如果这种空间相关的FPN的数量很多，则也可在模糊图像帧中检测到噪声。由于这种类型的噪声可影响相邻像素，具有很小内核的高通滤波器可能不能检测到相邻像素中的FPN(例如，高通滤波器使用的全部值可从与受到影响的像素附近的像素中提取，从而可被同样的偏移误差影响)。例如，如果使用小的内核执行块565的高通滤波(例如，只考虑落入受到空间相关的FPN影响的像素的附近范围中的直接相邻的像素)，则可能不能检测到广泛分布的空间相关的FPN。

例如，图11示出了根据本公开实施例的、附近像素中的空间相关的FPN。如采用的图像帧1100所示，像素1100的附近的像素可表现出空间相关的FPN，所述空间相关的FPN不准确地与单个行和列相关，并且分布于附近的多个像素(例如，在该例子中，附近的像素约为4*4的像素)。采样的图像帧1100还包括一组像素1120和一组像素1130，所述像素1120表现出在滤波计算中没有使用的基本上均匀的响应，所述像素1130用于估计附近像素1110的低通值。在一个实施例中，像素1130可以是可分为2个的多个像素，以便于硬件或者软件的有效计算。

再次参考图5，在块571-573，可以可选地对更新的NUC项执行附加高通滤波和进一步的确定处理，以消除空间相关的FPN，例如，像素1110表现出的空间相关的FPN。在块571，将在块570确定的更新的NUC项应用到模糊图像帧。因此，此时，模糊图像帧将会已经用于初步校正空间相关的FPN(例如，通过在块555应用更新的行和列FPN)，并且也用于初步校正空间不相关的FPN(例如，通过在块571应用更新的NUC项)。

在块572，进一步的应用高通滤波器，该高通滤波器的核比块565中使用的高通滤波器的核大，并且可在块573确定进一步更新的NUC项。例如，为了检测像素1110中存在的空间相关的FPN，在块572应用的高通滤波器可包括来自像素的足够大的相邻区域的数据，从而能够确定没有受到影响的像素(例如，像素1120)和受到影响的像素(例如，像素1110)之间的差值。例如，可使用具有大核的低通滤波器(例如，远大于3*3像素的N*N内核)，并且可减去得到的结果以进行适当的高通滤波。

在一个实施例中，为了提高计算效率，可使用稀疏内核，从而仅使用N*N附近区域内的较少数量的相邻像素。对于任何给定的使用较远的相邻像素的高通滤波器操作(例如大核)来说，存在将实际的(可能模糊的)场景信息建模为空间相关的FPN的风险。因此，在一个实施例中，可将用于在块573确定的更新的NUC项的时间衰减因子λ设置为接近1。

在各种实施例中，可重复块571-573(例如，级联)，以利用递增的核尺寸迭代地执行高通滤波，从而提供进一步更新的NUC项，所述进一步更新的NUC项用于进一步校正需要的相邻区域尺寸的空间相关的FPN。在一个实施例中，可根据通过块571-573的先前操作的更新的NUC项是否已经将空间相关的FPN真正地消除，来作出是否执行这种迭代的决定。

在块571-573完成之后，作出关于是否将更新的NUC项应用到捕获的图像帧的决定(块574)。例如，如果整个图像帧的NUC项的绝对值的平均值小于最小的阈值，或者大于最大的阈值，则可认为该NUC项是假的或者不能提供有意义的校正。可选的，可将阈值标准应用到各个像素，以确定哪个像素接收到更新的NUC项。在一个实施例中，阈值可对应于新计算的NUC项和先前计算的NUC项之间的差值。在另一个实施例中，阈值可独立于先前计算的NUC项。可应用其他测试(例如，空间相关性测试)以确定是否应该应用该NUC项。

如果认为NUC项是假的或者不能提供有意义的校正，则流程图返回到块505。否则，存储最新确定的NUC项(块575)以替代先前的NUC项(例如，由图5中先前执行的迭代确定)，并将所述最新确定的NUC项应用到(块580)捕获的图像帧。

图8示出了根据本公开实施例的、应用在图像处理流水线800中的图5的各种图像处理技术和其他操作。就这方面而言，流水线800标识了在用于校正红外成像模块100提供的图像帧的全部迭代图像的处理方案的情况下，图5的各种操作。在一些实施例中，可由对通过红外传感器132捕获的图像帧进行操作的处理模块160或者处理器195(二者通常也指处理器)来提供流水线800。

可将红外传感器132捕获的图像帧提供给帧平均器804，所述帧平均器804求多个图像帧的积分以提供具有改进的信噪比的图像帧802。可通过红外传感器132、ROIC402以及实现为支持高图像捕获速率的红外传感器组件128的其他部件来有效地提供帧平均器804。例如，在一个实施例中，红外传感器组件128可以以240Hz的帧速率(例如，每秒捕获240副图像)来捕获红外图像帧。在该实施例中，例如可通过使红外传感器组件128工作在相对较低的电压(例如，与移动电话的电压相兼容)，以及通过使用相对较小的红外传感器132阵列(例如，在一个实施例中，为64*64的红外传感器阵列)，来实现这样高的帧速率。

在一个实施例中，可以以较高的帧速率(例如，240Hz或者其他帧速率)将这种来自红外传感器阵列128的红外图像帧提供给处理模块160。在另一个实施例中，红外传感器组件128可以在较长的时间段或者多个时间段进行积分，从而以较低的帧速率(例如，30Hz、9Hz或者其他帧速率)将积分后的(例如，取平均后的)红外图像帧提供给处理模块160。有关可用于提供较高图像捕获速率的实现方案的详细信息可在本文之前引用过的申请号为61/495,879的美国临时专利申请中找到。

通过流水线800处理图像帧802，在流水线800中它们用于由各种项调整、被时间滤波、用于确定各种调整项和增益补偿。

在块810和814，将工厂增益项812和工厂偏移项816应用于图像帧802，以分别补偿在制造和测试期间所确定的各种红外传感器132和/或红外成像模块100的其他部件之间的增益和偏移差。

在块580，将NUC项817应用于图像帧802，以如上所述的校正FPN。在一个实施例中，如果还没有确定NUC项817(例如，在已经启动NUC步骤之前)，则可能不会执行块580，或者可将初始值用于不会导致图像数据改变的NUC项817(例如，每个像素的偏移值将等于0)。

在块818到822，分别将列FPN项820和行FPN项824应用到图像帧802。如上所述可根据块550来确定列FPN项820和行FPN项824。在一个实施例中，如果还没有确定列FPN项820和行FPN项824(例如，在已经启动NUC步骤之前)，则可能不会执行块818和822，或者可将初始值用于不会导致图像数据改变的列FPN项820和行FPN项824(例如，每个像素的偏移值将等于0)。

在块826，根据瞬时噪声消减(TNR)步骤对图像帧802执行瞬时滤波。图9示出了根据本公开实施例的TNR步骤。在图9中，对当前接收到的图像帧802a和先前瞬时滤波后的图像帧802b进行处理以确定新的瞬时滤波后的图像帧802e。图像帧802a和802b包括分别以像素805a和805b为中心的局部相邻像素803a和803b。相邻像素803a和803b对应于图像帧802a和802b内的相同位置，并且是图像帧802a和802b全部像素的子集。在示出的实施例中，相邻像素803a和803b包括5*5像素的区域。其他尺寸的相邻像素可用于其他实施例中。

确定相邻像素803a和803b中对应的像素的差值并对其求平均，以为对应于像素805a和805b的位置提供平均delta值805c。平均delta值805c可用于在块807中确定权重值，以将其应用到图像帧802a和802b的像素805a和805b。

在一个实施例中，如图形809所示，在块807确定的权重值可与平均delta值805c成反比，以使得当相邻像素803a和803b之间差别较大时，权重值迅速的降低到0。就这方面而言，相邻像素803a和803b之间较大差别可表示场景内(例如，由于运动)已经发生了变化，并且在一个实施例中，可对像素802a和802b进行适当的加权，以避免在遇到帧到帧的场景改变时引入模糊。权重值和平均delta值805c之间的其他关联可用于其他实施例中。

在块807确定的权重值可用于像素805a和805b，以确定图像帧802e的相应像素805e的值(块811)。就这方面而言，像素805e可具有像素805a和805b的加权平均值(或者其他组合)，取决于在块807确定的平均delta值805c和权重值。

例如，瞬时滤波后的图像帧802e的像素805e可能是图像帧802a和802b的像素805a和805b的加权和。如果像素805a和805b之间的平均差别是由于噪声引起的，那么可以预期的是，相邻像素805a和805b之间的平均变化将会接近于0(例如，对应于不相关的变化的平均值)。在这种情况下，可以预期的是，相邻像素805a和805b之间的差值的和将会接近于0。在这种情况下，可对图像帧802a的像素805a进行适当的加权，以有助于生成像素805e的值。

然而，如果该差值的和不为0(例如，在一个实施例中，甚至仅与零相差很小的量)，那么可将变化解释为是由运动引起的，而不是由噪声引起的。因此，可基于相邻像素805a和805b所表现出的平均值的变化来检测运动。在这种情况下，可对图像帧802a的像素805a施加较重的权重，而对图像帧802b的像素805b施加较轻的权重。

其他实施例也是可以考虑的。例如，尽管描述的是根据相邻像素805a和805b来确定平均delta值805c，但是在其他实施例中，可根据任何期望的标准(例如，根据单个像素或者其他类型的由一系列像素组成的像素组)来确定平均delta值805c。

在上面的实施例中，已经将图像帧802a描述为当前接收到的图像帧，并且已经将图像帧802b描述为先前经过瞬时滤波后的图像帧。在另一个实施例中，图像帧802a和802b可以是红外成像模块100捕获到的还没有经过瞬时滤波的第一和第二图像帧。

图10示出了与块826所执行的TNR步骤有关的进一步实施细节。如图10所示，分别将图像帧802a和802b读入到行缓冲器1010a和1010b，并且在将图像帧802b(例如，先前图像帧)读入到行缓冲器1010b之前，可将其存储到帧缓冲器1020中。在一个实施例中，可由红外成像模块100和/或主机装置102的任何合适的部件提供的一块随机存储器(RAM)来实现行缓冲器1010a-b和帧缓冲器1020。

再次参考图8，可将图像帧802e传送到自动增益补偿块828，其对图像帧802e进行进一步地处理，以提供可由主机装置102根据需要使用的结果图像帧830。

图8进一步地示出了用于如所讨论的确定行和列FPN项以及NUC项所执行的各种操作。在一个实施例中，这些操作可使用如图8所示的图像帧802e。因为已经对图像帧802e进行了瞬时滤波，所以可消除至少某些瞬时噪声，从而不会不经意的影响对行和列FPN项824和820以及NUC项817的确定。在另一个实施例中，可使用非瞬时滤波的图像帧802。

在图8中，图5的块510、515和520集中的表示在一起。如所讨论的，可响应于各种NUC步骤启动事件以及基于各种标准或者条件来选择性地启动或者执行NUC步骤。还如所讨论的，可根据基于运动的方法(块525、535和540)或者基于散焦的方法(块530)来执行NUC步骤，以提供模糊的图像帧(块545)。图8进一步地示出了先前所讨论的关于图5的各种附加块550、552、555、560、565、570、571、572、573和575。

如图8所示，可确定行和列FPN项824和820以及NUC项817，并且以迭代的方式应用上述项，从而使用已经应用了先前项的图像帧802来确定更新的项。结果是，图8的所有步骤可重复地更新，并应用这些项以连续地减少将要被主机装置102使用的图像帧830中的噪声。

再次参考图10，其示出了图5和图8中与流水线800有关的各种块的详细的实施细节。例如，将块525、535和540显示为以通过流水线800接收的图像帧802的正常帧速率操作。在图10所示的实施例中，将在块525所做的决定表示为决定菱形，其用于确定给定图像帧802是否已经充分的改变，从而可以认为其是这样的图像帧：如果将图像帧加入到其他图像帧中，该图像帧将会增强模糊，因此将该图像帧进行累加(在该实施例中，通过箭头来表示块535)和平均(块540)。

同样的在图10中，将对列FPN项820的确定(块550)显示为以更新速率操作，在该例子中，由于在块540执行的平均处理，该更新速率为传感器帧速率(例如，正常帧速率)的1/32。其他更新速率可用于其他实施例中。尽管图10仅标识出了列FPN项820，但是可以以相同的方式、以降低的帧速率来实现行FPN项824。

图10还示出了与块570的NUC确定步骤有关的进一步实施细节。就这方面而言，可将模糊图像帧读入到行缓冲器1030(例如，由红外成像模块100和/或主机装置102的任何合适的部件提供的一块RAM来实现)。可在模糊图像帧上执行图7的平场校正技术700。

鉴于本公开的内容，应当理解的是，本文描述的方法可用于消除各种类型的FPN(例如，包括很高幅度的FPN)，例如，空间相关的行和列FPN以及空间不相关的FPN。

其他实施例也是可以考虑的。例如，在一个实施例中，行和列FPN项和/或NUC项的更新速率可与模糊图像帧中的估计的模糊量成反比和/或与局部反差值(例如，在块560确定)的大小成反比。

在各种实施例中，描述的技术优于传统的基于快门的噪声校正技术。例如，通过使用无快门的步骤，不需要设置快门(例如，如快门105)，从而可以减少尺寸、重量、成本和机械复杂度。如果不需要机械的操作快门，还可降低提供给红外成像模块100或者由红外成像模块100产生的功率和最大电压。通过将作为潜在的故障点的快门去除，将会提高可靠性。无快门的步骤还消除了由通过快门成像的场景的暂时性封锁所引起的潜在的图像中断。

同样的，通过有意地使用从真实场景(不是快门提供的统一场景)捕获的模糊图像帧来校正噪声，可对图像帧进行噪声校正，所述图像帧的辐射水平与期望被成像的真实场景的辐射水平类似。这能够改进根据各种描述的技术所确定的噪声校正项的精度和效率。

现在转到图12-16，现在将描述使用热成像仪的智能监视摄像机系统及方法。根据本公开的各种实施方式，通过对热成像仪(例如，图1的红外成像模块100)捕获的监视场景的热图像进行处理和分析，智能监视摄像机系统可以提供智能照明和对监视场景的记录。在一个实施例中，智能监视摄像机系统可以包括红外(IR)照明器、可见光照明器、可感测可见和反射的近红外(NIR)光(例如，来自由IR照明器照明的对象的光)的可见光摄像机、热成像仪和处理器。在一个实施例中，热成像仪和/或处理器可被配置为检测场景中的感兴趣的对象(例如，人、车)、以及基于检测对IR照明器、可见光照明器、和/或可见光/NIR光摄像机进行控制。

例如，当感兴趣的对象进入视场(FOV)时，智能监视摄像机可以激活IR照明器和/或可见光照明器。该激活可取决于对象的类型和/或其他属性。因此，这些长时间照明会变热的照明器可以间歇地、仅在期望或者需要时打开。

这样的智能照明可以有利地防止对传统监视摄像机的性能产生不利影响的蜘蛛网的累积，并可以提供本文所描述的其他优点。各种传统的摄像机系统可能会要求主动照明器在低亮度的情况下(例如，在夜间或者光线昏暗的房间)持续不断的打开，这样会吸引昆虫并使得在靠近摄像机的地方筑起蜘蛛网，进而可能触发摄像机不断地记录毫无意义的图像。相反，智能监视摄像机系统首先通过仅当需要的时候才间歇地打开照明器，可以减少对昆虫和蜘蛛网的吸引，并且即使存在虚假的对象(例如，蜘蛛网或者昆虫)，摄像机也不会持续地记录毫无意义的图像，这是因为通过捕获并分析监视场景的热图像，能够这样检测出虚假图像。因此，智能监视摄像机系统可以有利地减少照明器和摄像机的功耗，同时能够节省浪费在查看长段剪辑的毫无意义的视频图像的时间和精力。

在各种实施例中，智能监视摄像机系统可以基于检测到的对象的存在和/或其他属性，利用可见光/NIR光摄像机选择性地捕获(例如，以传送到本地或者远程的监控站)监视场景的图像。智能监视摄像机系统可以基于所述检测选择性地记录这种图像，例如，记录在本地或者远程的存储装置上。如上所述，可以响应于所述检测选择性地操作各种光源(例如，可见光照明器、IR照明器)，为可见光/NIR光摄像机照明监视场景，或者独立于可见光/NIR光摄像机的操作。如可以理解的是，智能监视摄像机系统可以提供智能照明和记录操作的很多有用的结合。

就这方面而言，智能监视摄像机系统可以允许用户进一步地定义、定制或者配置智能照明和记录操作。用户可以根据检测到的对象的类型，将摄像机系统配置为执行特定的照明和记录操作。

例如，在一些实施例中，如果检测到人，通过选择性地打开和关闭定向为以特定的方向投射光的每个可见光照明器，或者通过机械地调整从可见光照明器输出的光的方向，可见光照明器可用作追踪视场FOV内的人的聚光灯。在另一个例子中，如果检测到车辆或者其他大型的对象，会打开所需的尽可能多的可见光照明器以充分地对该对象进行照明(例如，形成泛光灯)。在另一个例子中，如果检测到动物或者其他非虚假图像，当该对象位于视场FOV内时，会打开IR照明器。在另一个例子中，如果检测到虚假对象(例如，蜘蛛网、昆虫、风滚草或者不是感兴趣的监视目标的其他对象)，则不打开照明器。

在这些和其他例子中，用户可以将摄像机系统配置为在激活或者不激活各个照明器的情况下，选择性地提供用于本地记录和/或远程记录/观看监视的场景的图像(例如，可见光/NIR光图像帧和/或热图像帧，如来自可见光/NIR光摄像机和/或热成像仪的视频或者静态图像)。在一些实施例中，摄像机系统可以向用户提供用于记录高对比度、高分辨率的用户可视的热图像的选项，这样即使图像是在低亮度情况下捕获的(例如，夜间监视)，也能提供有用的细节。在一些实施例中，通过将热成像仪捕获的热图像与可见光摄像机捕获的NIR图像混合，可生成这种混合的热图像。在该实施例中，用户可以例如将摄像机设置为打开IR照明器并记录混合的热图像，所述混合的热图像可以有助于确定检测到的虚假对象运动中的可能原因(例如，躲在树丛后面的人)，而不是将摄像机系统配置为忽略检测到的虚假对象的运动(例如，通过使得照明器和可见光摄像机关闭)。

在各种实施例中，摄像机系统可以进一步包括与其他外部装置进行交互和通信的通信模块。该通信模块可以被配置为支持家庭网络(例如，X10标准)、监视摄像机网络(例如，开放式网络视频接口论坛(ONVIF)标准)、无线网络(例如，IEEE801.11WIFI标准、蓝牙^TM标准、ZigBee^TM标准)、一般的有线网络(例如，以太网、HomePlug^TM规范)和/或其他类型的网络的各种通信标准和协议。因此，例如，如果检测到汽车，摄像机系统还可以打开大门和车库门；如果检测到感兴趣的对象，摄像机系统则会打开安全灯；摄像机系统还会记录来自其他监视摄像机的拍摄，和/或基于对监视场景中的对象的检测，控制其他网络装置。

图12示出了根据本公开实施例的、智能监视摄像机系统1200的框图。摄像机系统1200可以包括热成像仪1202、可见光/NIR光摄像机1204、一个或者多个IR照明器1206、一个或者多个可见光照明器1208A-1208B、处理器1210、通信模块1212、存储装置1214和/或其他部件1216。摄像机系统1200可以附着、安装、或者以其他方式装配到期望的位置，以通过记录、传输以用于远程观看/记录、或者提供白天或夜间的场景的图像，提供对场景(例如，场景1230)的监视。在各种实施例中，可以按照与图1的主机装置102的相应元件相同或者类似的方式来实现摄像机系统1200的部件。此外，摄像机系统1200的部件可以被配置为执行本文所描述的各个NUC步骤和其他步骤。

在一些实施例中，摄像机系统1200的各个部件可以是分开的，并通过网络1260彼此之间进行通信。在该实施例中，如果需要的话，可以对部件进行复制以用作摄像机系统1200的特定应用。也就是说，被配置为执行相同或者类似操作的部件可以通过网络分布。此外，如果需要，可以利用远程装置1262(例如，传统的远程数字视频录像机(DVR)、远程监控站、和/或其他装置)的合适部件来实现各个部件中的任一个的全部或部分。因此，例如，可以在远程装置1262实现或复制处理器1210的全部或者部分和/或存储装置1214的全部或者部分，并且可将处理器1210的全部或者部分和/或存储装置1214的全部或者部分配置为记录监视图像或者控制监视图像的记录，本文将对其做进一步的描述。在另一个例子中，摄像机系统1200可以包括另一个可见光/NIR摄像机1220，该可见光/NIR摄像机1220定位为与可以封入热成像仪1202、可见光/NIR摄像机1204和/或处理器1210的外壳1250相分离并远离。将会理解的是，在不脱离本公开的范围和精神的情况下，摄像机系统1200的分布实现的很多其他组合是可能的。

可以利用图1的红外成像模块100或者适合捕获热图像的其他合适的红外成像装置来实现红外成像仪1202。热成像仪1202可以包括例如根据本文公开的各种实施例或者其他合适的实施方式实现的FPA。热成像仪1202可以被配置为捕获、处理和/或管理场景1230的热图像。热成像仪1202捕获、处理和/或管理的热图像可以是经过辐射标准化后的图像。也就是说，构成捕获的图像的像素可包含校准的热数据(例如，温度)。如以上有关图1的红外成像模块100所述，可使用合适的技术对热成像仪1202和/或相关的部件进行校准，以使得热成像仪1202捕获的图像是正确校准后的热图像。在一些实施例中，可由热成像仪1202和/或处理器1210周期地执行适当的校准步骤，以使得热成像仪1202以及由其捕获的热图像可以保持适当的校准。

辐射标准化允许热成像仪1202和/或处理器1210能够从热图像中有效地检测出具有特定温度范围的对象。因为可以容易地从背景和其他对象中区分出具有特定温度的对象的热图像，并且不易受照明条件或者模糊的影响，因此热成像仪1202和/或处理器1210可以有效和高效地检测出该对象。相反，在可见光图像或者没有标准化的红外图像(例如，反射的由CMOS或者CCD传感器捕获的NIR图像)上执行的对象检测操作(例如，对该图像执行边缘检测和/或模式识别算法)可能计算复杂并且低效。

例如，在一个实施例中，热成像仪1202和/或处理器1210可被配置为从热图像中检测连续的像素区域(也称作“斑点”或者“暖斑点”)，该连续的像素区域具有大约处于穿着衣服的人的温度范围的温度，例如，在大约75°F(例如，人体的穿着衣服的部分)和大约110°F(例如，人体的暴露部分，如脸和手)之间。该“暖斑点”可表示在场景1230中存在人(例如，人1232)，并且可以如本文所述的作进一步的分析以确定存在一个或者多个人。通过检测并分析具有感兴趣的对象的典型温度的对象，热成像仪1202和/或处理器1210可以类似地检测并辨别动物、车辆(例如，车辆1234)或者场景1230中的其他感兴趣的对象。因此，摄像机系统1200对人、机动车辆、动物或者场景1230中感兴趣的其他对象的检测可能是有效的，并且不易受虚假对象(例如，随风飘动的蜘蛛网)的错误检测的影响。

另外，在各种实施例中，捕获的热图像可以是按比例和/或透视校准的热图像。也就是说，能够从热图像中的对象的像素坐标推导出真实场景中的对象的几何属性(例如，尺寸和位置)。当将摄像机系统1200首次安装到期望的位置时，可以利用已知的技术手动或者自动地执行按比例和/或透视校准。在一些实施例中，也可以在安装之后，利用已知的技术周期性地执行自动校准。因此，例如，处理器1210可被配置为基于从热图像中推导出的对象的合适的位置确定激活哪个照明器和/或可见光/NIR摄像机。

在各种实施例中，热成像仪1202可以包括一个或者多个光学元件1203(例如，红外透射透镜、红外透射棱镜、红外反射镜、红外光纤和/或其他元件)，其用于适当地收集来自场景1230中的红外光并将其发送到热成像仪1202的FPA。光学元件1203还可以定义热成像仪1202的视场FOV1205。在一个例子中，视场1205可以是宽视场，从而场景1230覆盖区域比可见光/NIR摄像机1204覆盖的区域或者各个照明器1206、1208A-1208B的照明区域更大。可以预期的是，可以使用任何期望的宽和/或窄视场1205和1207，并且视场1205和1207可以重叠到任何期望的程度。例如，视场1205和1207中的每个可以比另一个的更宽或者更窄，或者都是基本上相同的尺寸，并且可以彼此部分地、基本上或者完全地重叠。

在这些和其他例子中，可分析场景1230的热图像，以激活和/或控制一个或者多个其他可见光/NIR摄像机，所述一个或者多个其他可见光/NIR摄像机具有覆盖未被可见光/NIR摄像机1204的视场1207覆盖的场景1230中的区域的视场。例如，摄像机系统1200可以检测到场景1230中的车辆1234正移出可见光/NIR摄像机1204的视场1207并进入远端可见光/NIR摄像机1220的视场1221。在这种情况下，摄像机系统1200可以关闭和/或停止可见光/NIR摄像机1204的记录，并打开和/或开始远端可见光/NIR摄像机1220的记录。在各种实施例中，摄像机系统1200可以根据特定应用的需要包括任意数量的本地(例如，位于与热成像仪相同的位置)和远端摄像机，并且摄像机系统1200可以被配置为使用任何数量的这种本地和远端摄像机来执行上文或者本公开的其他地方所描述的对捕获和/或记录操作的智能控制。

在其他实施例中，光学元件1230可以可选地提供可切换的视场(例如，变焦透镜)，这可通过热成像仪1202和/或处理器1210来选择。同样的，热成像仪1202、可见光/NIR摄像机1204和/或摄像机系统外壳1250可以可选地包括为摄像机系统1200提供摇摄和倾斜功能的合适的驱动机构1218(例如，致动器、马达和/或其他合适的机构或者装置)。也就是说，在一些实施例中，摄像机系统1200可以可选的提供本领域中通常称作PTZ功能的摇摄-倾斜-变焦功能。

可以利用适于捕获可见光和NIR光图像的传统的图像传感器来实现可见光/NIR光摄像机1204。例如，传统的电荷耦合装置(CCD)传感器和互补金属氧化物半导体(CMOS)传感器通常可感测NIR光谱(例如，0.7-1.0微米的波长)和可见光光谱中的光。因此，如果有源IR照明可用，则这些传统的图像传感器可以能够捕获可见光较暗的情况下反射的NIR光的图像。

可见光/NIR摄像机1204可被配置为捕获场景1230的至少一部分的可见光和/或NIR图像。可以基于场景1230中对象的检测，并且在一些实施例中进一步基于用户定义的参数，打开或者激活可见光/NIR光摄像机1204以捕获可见光和/或NIR光图像。例如，当感兴趣的对象(例如，人1232、车辆1234)出现在或者预计会进入可见光/NIR光摄像机1204的视场1207时，基于如下文将进一步描述的对热成像仪1202捕获的场景1230的热图像的分析，可以打开或者激活可见光/NIR光摄像机1204。就这方面而言，可见光/NIR光摄像机1204可以位于与热成像仪1202相同的位置，并调整所述可见光/NIR光摄像机1204的朝向，以使得视场1207的至少一部分位于热成像仪1202覆盖的场景1230内。

另外，摄像机系统1200可以包括任何数量如所描述的可见光/NIR光摄像机1204，例如，以覆盖宽监视区域。如所讨论的，在一些实施例中，除了可见光/NIR光摄像机1204以外或者代替所述可见光/NIR光摄像机1204，一个或者多个可见光/NIR光摄像机1220可以与热成像仪1202分离并远离它。可见光/NIR光摄像机1220可以封装在其自身的外壳中，并且可以包括其自身的IR照明器1224和可见光照明器1226。在其他方面，可以用与可见光/NIR光摄像机1204类似方式实现可见光/NIR光摄像机1220。

在一些实施例中，可见光/NIR光摄像机1204/1220可以使用可见光(例如，由可见光照明器1208A-1208B/1226提供)和/或IR光(例如，由IR照明器1206/1224提供)的有源照明来在低亮度的情况下(例如，晚间监视)捕获可用的图像。在各种实施例中，摄像机系统1200可以确定(例如，在处理器1210处)是否由于环境光不足而可能需要有源照明。例如，可以基于可见光/NIR光摄像机1204/1220的指示来确定需要有源照明，所述可见光/NIR光摄像机1204/1220可以被配置为使用数字成像中的传统技术来感测是否有足够数量的光来捕获可用的图像。在另一个例子中，可以由检测环境光的量的分开的光电池生成环境光不足的指示。在其他例子中，在确定是否需要有源照明时可以考虑其他参数，例如，一天中的时刻。

在各种实施例中，可见光/NIR光摄像机1204/1220可以感应至少包括第一部分(例如，NIR光)和第二部分(例如，可见光)的光谱，可以用选择性的方式有源地照明所述第一部分和第二部分的每一个。例如，可以在光谱的NIR光部分上提供有源照明(例如，由IR照明器1206/1224提供NIR光)，而在光谱的可见光部分上没有提供有源照明。在另一实例中，可以在光谱的可见光部分上提供有源照明(例如，由可见光照明器1208A-1208B/1226提供可见光)，而在光谱的NIR光部分上没有提供有源照明。在另一实例中，可以在光谱的NIR光部分上和可见光部分上都提供有源照明。在另一实例中，可以不提供有源照明。

如所讨论的，可见光/NIR光摄像机1204/1220可以感测NIR光和可见光。相应的，可见光/NIR光摄像机1204/1220可以响应于NIR光和可见光来捕获图像。因此，表示在或者以其他方式关联于可见光/NIR光摄像机1204/1220捕获的图像的光的光谱可以对应于NIR光和/或可见光，可以以选择的方式使NIR光和可见光的每一个被有源地照明，以改进和/或增强表示在或者以其他方式关联于所述捕获的图像的光谱的期望部分。

在一些实施例中，可见光/NIR光摄像机1204/1220可以包括IR滤波器，可将所述IR滤波器选择性地移动到光路中的合适位置(例如，图像传感器的前面)，以通过阻止红外光来改进白天图像捕获中的颜色和对比度。例如，IR滤波器可以连接到致动器，该致动器适于响应于来自可见光/NIR光摄像机1204/1220和/或处理器1210的控制信号，从光路中清除IR滤波器，在低亮度情况下激活IR照明器1206/1224进行IR照明时，可见光/NIR光摄像机1204/1220和/或处理器1210可以生成清除IR滤波器的控制信号。

可以利用产生红外光(包括NIR光谱中的红外光)的合适的光源或者发光器来实现IR照明器1206/1224。在一个实施例中，可以使用垂直腔面发射激光器(VCSEL)来实现IR照明器1206/1224，与生成红外光的其他技术相比，VCSEL可以提供更高的效率、更高的可靠性、以及更集中的发射光谱。可以理解的是，利用VCSEL实现IR照明器可以降低对摄像机系统1200的功率要求，这反过来又可以允许通过电池和/或太阳能电池板对全部或者部分摄像机系统1200供电。在其他实施例中，可以利用发光二极管(LED)、卤钨红外灯或者其他传统的红外光源来实现IR照明器1206/1224。

在各种实施例中，可以响应于来自热成像仪1202和/或处理器1210的控制信号，打开或者激活IR照明器1206/1224以利用红外光来照明监视场景(例如，场景1230)的至少一部分。热成像仪1202和/或处理器1210可以响应于场景1230中感兴趣的对象的检测，并且在一些实施例中可以基于此处讨论的用户定义的参数，激活IR照明器1206/1224。例如，当确定环境光不足时，可以与可见光/NIR光摄像机1204/1220的激活相关地激活IR照明器1206/1224。就这方面而言，摄像机系统1200可以包括根据期望或需要的任意数量的IR照明器1206/1224以为场景1230提供充足的IR照明。可以理解的是，因为人和大多数动物通常不能检测红外光，因此通过激活IR照明器1206/1224，而不是激活可见光照明器1208A-1208B/1226，可在无需使监视对象(例如，人或动物)警觉的情况下秘密地捕获和/或记录监视图像。

可以利用任何合适的可见光源或者发光装置来实现可见光照明器1208A-1208B/1226。在一个实施例中，LED灯可用于实现可见光照明器1208A-1208B/1226。在其他实施例中，其他光源(例如，白炽灯、场致发光灯、荧光灯和无极灯)可用于实现可见光照明器1208A-1208B/1226。

在一些实施例中，可以调整多个可见光照明器中的每一个的方向，从而以特定的方向投射可见光，这样当以特定的顺序打开和关闭可见光照明器时，由此产生的光束会生成移动的聚光灯。例如，当人1232移动穿过场景1230时，可见光照明器1208B可以熄灭或者逐渐变暗，同时可见光照明器1208A可以相应的打开或逐渐变亮，从而产生了对人1232的移动进行追踪的聚光灯。就这方面而言，摄像机系统1200可以包括期望的多个可见光照明器，以在任何方向产生对平稳地穿过场景1230的对象进行追踪的聚光灯。例如，当需要照明大面积区域时，可以打开全部或者大部分这种可见光照明器以产生泛光灯而不是聚光灯。在另一个例子中，可以打开或者关闭任意数量的这种可见光照明器，以根据需要增加或者减少照明区域，从而可基于场景中的对象的尺寸或类型产生聚光灯、泛光灯、或者这两种照明之间的任意尺寸的照明区域。

在其他实施例中，可见光照明器1208A-1208B/1226可以包括驱动机构1218(例如，致动器、马达)，其被配置为通过摇摄、倾斜或者以其他方式改变可见光照明器1208A-1208B/1226的方向。在该实施例中，驱动机构1218可用于产生移动的聚光灯。在各种实施例中，摄像机系统1200可以包括用于增加总的光输出和/或照明区域所需那么多的这种可见光照明器。例如，当需要照明大面积区域时，可以打开全部或者大部分这种可见光照明器以产生泛光灯而不是聚光灯。在另一个例子中，可以打开或者关闭任意数量的这种可见光照明器，以基于场景中的对象的尺寸和类型产生照明区域。在一些实施例中，可见光照明器1208A-1208B/1226例如可以使用可调节的反射器来提供可调节的光束角度(即，光束的直径或者宽度)，以根据产生聚光灯、泛光灯、或者这两种照明之间的任意尺寸的照明区域的需要，增加或者减少光照区域。

可以响应于来自热成像仪1202和/或处理器1210的控制信号，以泛光灯模式、跟踪聚光灯模式或者其他期望的照明模式来激活可见光照明器1208A-1208B/1226。热成像仪1202和/或处理器1210可以根据对场景1230中感兴趣的对象的检测，并且在一些实施例中，进一步根据如本文所述的用户定义的参数，激活和/或控制可见光照明器1208A-1208B/1226的操作。例如，可以激活可见光照明器1208A-1208B/1226，从而为利用可见光/NIR光摄像机1204捕获监视图像提供有源照明、为了司机、行人或者其他人的安全进行区域照明和/或利用打开的泛光灯或者追踪他们的聚光灯来阻止不道德的侵入者。

处理器1210可以实现为如描述的有关图1的处理器195的任意合适的处理装置。在一些实施例中，本文描述的处理器1210的至少某些部分或者某些操作可以实现为热成像仪1202的一部分，例如，以上结合图1所述的处理模块160。处理器1210可以适于与摄像机系统1200的其他部件进行交互和通信，以执行本文所描述的操作和步骤。

处理器1210可以被配置为接收由热成像仪1202捕获的监视场景(例如，场景1230)的热图像。处理器1210可以被配置为检测监视场景中的感兴趣的对象(例如，人1232、车辆1234)，并如本公开进一步描述的通过处理和分析接收到的热图像和包含在其中的辐射测量数据，来确定检测的对象的类型(例如，人、车辆、动物和/或其他非虚假的对象)。在一些实施例中，处理器1210可以进一步被配置为确定与检测到的对象相关的其他属性，例如，位置、运动矢量(例如，移动的速度和方向)和尺寸。

在各种实施例中，处理器1210可以被配置为基于对监视场景中的感兴趣的对象的检测以及对其存在、类型和/或其他属性的确定，产生控制信号以激活/关闭或者以其他方式控制IR照明器1206/1224、可见光照明器1210A-1210B/1226、和/或可见光/NIR光摄像机1204/1220的操作。在一些实施例中，可以进一步基于用户定义的参数来生成控制信号，所述参数例如根据检测到的对象的类型和/或其他属性指定对监视场景的各种照明和记录操作。

例如，作为默认设置，如果确定检测到的对象是人，处理器1210可以控制可见光照明器1210A-1210B/1226以聚光灯模式对人进行追踪，并且可选的基于与人相关的位置和/或运动矢量，利用可见光/NIR光摄像机1204/1220中的合适的一个来记录至少一部分场景的图像(例如，当人位于视场内时打开和/或记录，和/或当人离开视场时关闭和/或停止记录)。如果检测到的对象是车辆或者其他大型对象，处理器1210就可以在对象在场景中时控制可见光照明器1210A-1210B/1226以泛光灯模式照明场景，并且基于与该对象相关的位置和/或运动矢量，可选的利用合适的可见光/NIR光摄像机1204/1220记录场景的图像。如果检测到的对象是动物或者秘密监控的其他非虚假的对象，处理器1210就可以在对象在场景中时控制IR照明器120/1224打开，并且基于与该对象相关的位置和/或运动矢量，利用可见光/NIR光摄像机1204/1220和热成像仪1202中合适的一个记录场景的可见光/NIR图像、热图像或者混合图像。如果检测到的对象是虚假对象(例如，蜘蛛网、昆虫、风滚草或者不是感兴趣的监视目标的其他对象)，处理器1210就可以关闭照明器和摄像机。在一个实施例中，处理器1210可以基于检测对象的尺寸或者类型，控制可见光照明器1210A-1210B/1226以改变光束角度(例如，光束宽度、光束直径)的尺寸。

可以实现检测到的对象类型和相应的照明/监控操作之间的各种其他联系。在一些实施例中，处理器1210可以进一步的被配置为允许用户定义这种联系。例如，在某些情况下，优选的可以打开IR照明器1206/1224而不是可见光照明器1210A-1210B/1226，以在不引起人们注意的情况下对人们进行监控。在另一个例子中，没有忽略虚假对象(例如，包括无法分类的对象)，优选的记录场景的热图像或者混合的(例如，将热成像仪生成的高对比度、高分辨率的图像与NIR或者可见光图像混合)图像，以使得可以观看到图像中检测到的虚假对象运动中的可能原因(例如，躲在矮树丛后面的人)。在另一个例子中，如果检测到多于一个人或者对象，优选的在一些情况下，利用聚光灯进行追踪和/或分别并且单独地记录每个人或者对象。用户可以定义、定制或者以其他方式配置触发对象的类型和相应的照明/监控操作之间的这些和其他期望的联系，以及其他用户定义的参数，例如，用于激活特定照明/监控操作的一天中的时刻。本文可以将这种联系、定义、定制或者配置统称为用户定义参数。用户定义参数可以存储在存储器(例如，存储装置1214)中。

在一些实施例中，处理器1210可以被配置为生成4、由热成像仪1202捕获的监视场景(例如，场景1230)的用户可观看的热图像(例如，温谱图)。处理器1210可被配置为利用合适的方法和算法转换热图像。在一个实施例中，可以将包含在热图像的像素中的辐射测量数据(例如，温度数据)转换为灰度或者彩阶像素，以构成能够被人观看的图像。用户可观看的热图像可以可选的包括指示相应的像素颜色和/或强度的大概温度的图例或者刻度。在另一个例子中，处理器1210可以被配置为混合、叠加、融合或者以其他方式合并热图像和可见光/NIR光图像(例如，由可见光/NIR光摄像机1204/1220捕获的)，以生成具有更高明晰度和清晰度的用户可观看的图像。例如，处理器1210可以被配置为执行申请号为13/105,765、申请日为2011年5月11日的美国专利申请所公开的分辨率和对比度增强融合操作，通过引用的方式将上述专利申请作为整体合并于此。在极低亮度或完全黑暗的情况下，这种热图像或混合图像可以提供比主动照明NIR图像更有用的信息。

在一些实施例中，处理器1210可以产生激活/关闭或者以其他方式控制外部装置的操作的控制信号。例如，处理器1210可以被配置为基于车辆的检测和所述车辆的位置和/或运动矢量的确定，产生操作大门或者车库门的控制信号。在另一个例子中，可由处理器1210控制位于监视场景中或者附近的安全灯1236、街灯或者其他类似的灯或者灯具。在该实施例中，用户定义的参数可以进一步包括用户定义的检测到的对象类型和外部装置操作之间的联系。

就这方面而言，通信模块1212可以被配置为处理、管理或者以其他方式促进摄像机系统1200和外部装置之间以及摄像机系统1200的各个部件之间的有线和/或无线通信。例如，通过通信模块1212，处理器1210可以将控制信号传送到远端的可见光/NIR光摄像机1220、外部监视摄像机系统、车库门开启器、安全灯、或者摄像机系统或外部装置1200的其他位于远端的部件。

在各种实施例中，为了处理、管理或者以其他方式促进摄像机系统1200和外部装置之间的通信，通信模块1212可以支持用于家庭和建筑物的自动化网络的各种接口、协议和标准，例如，X10标准、建筑物自动化和控制网络(BACNet)协议、S-Bus协议、C-Bus协议、CEBus协议、ONE-NET标准、和/或其他协议和标准。可以使用该标准直接从通信模块1212将发送给装置的控制信号直接传送到装置，或者可以将该控制信号传送到中央控制器(例如，用于建筑物/家庭自动化的传统的建筑物控制面板)，所述中央控制器中继控制信号并将控制信号分发到在其控制下的各种装置。例如，处理器1210可以通过通信模块1212传送指令到建筑物访问控制器(例如，用于打开、关闭、锁定、解锁大门和门)和/或建筑物照明控制器。

在各种实施例中，通信模块1212可以进一步地被配置为支持用于监视摄像机和系统的各种接口、协议和标准，例如，ONVIF标准和/或其他标准。因此，例如，摄像机系统1200可以通过通信模块1212控制其他ONVIF兼容的外部摄像机、将捕获的或者记录的图像传送到ONVIF兼容的中央监控站、传送对象检测信息或者由处理器1210生成的其他数据、和/或从ONVIF兼容的计算机接收命令和配置(例如，用户定义的参数)。

在各种实施例中，通信模块1212可以进一步被配置为更通用的无线和/或有线网络接口、协议和标准。在一个实施例中，通信模块1212可以包括无线通信部件(例如，基于IEEE802.11WiFi标准、蓝牙^TM标准、ZigBee^TM标准、或者其他合适的短距离无线通信标准)、无线宽带部件(例如，基于WiMax技术)、蜂窝式移动部件、无线卫星部件、或者其他合适的无线通信部件。通信模块1212可以包括连接到该通信模块1212的、用于无线通信目的的天线。在一个实施例中，通信模块1212可以被配置为通过有线通信部件(例如，电力线调制解调器(例如，支持HomePlug^TM标准)、数字用户线(DSL)调制解调器、公共交换电话网(PSTN)调制解调器、以太网接口、电缆调制解调器、和/或用于有线通信的其他合适的部件)与有线网络进行交互。在一些实施例中，通信模块1211可以被配置为专有有线通信协议和接口、和/或基于射频(RF)、微波频率(MWF)、红外频率(IRF)、和/或其他合适的无线传输技术的专有无线通信协议和接口。

因此，例如，摄像机系统1200通过有线或者无线连接可以控制各种外部装置、将捕获或者记录的图像传送到外部监控和/或记录装置、传送对象检测信息或者处理器1210生成的其他数据、和/或从外部计算机接收命令和配置(例如，用户定义的参数)。

在各种实施例中，摄像机系统1200可以包括期望的多个这种通信模块1212，以用于摄像机监控系统1200的各种应用。在其他实施例中，通信模块1212可以集成到摄像机系统1200的各种其他部件或者实现为摄像机系统1200的各种其他部件的一部分。例如，热成像仪1202、处理器1210和远端的可见光/NIR光摄像机1220中的每一个可以包括子部件，所述子部件可以被配置为执行通信模块1212的操作，并且可以无需单独的通信模块1212的情况下通过有线和/或无线连接进行通信。

存储装置1214可以包括一个或者多个内存装置或者机电存储器装置以及相关的逻辑(例如，以硬件、软件或者二者组合实现)，以存储并访问一个或者多个内存或者机电存储装置中的数据和信息。所述一个或者多个存储器或者机电存储装置可以包括各种类型的易失性或者非易失性内存和存储器，例如，硬盘驱动器、闪存、RAM(随机存取存储器)、EEPROM(电可擦除只读存储器)、以及用于存储数字信息的其他装置。

在各种实施例中，存储装置1214可以被配置为存储并访问由摄像机系统1200的各个摄像机和成像仪捕获的图像。在一个实施例中，可以由用于存储和访问视频图像数据的传统的DVR来实现至少一部分存储装置1214。因此，例如，存储装置1214可以被配置为直接或者通过通信模块1212与可见光/NIR光摄像机1204/1220和/或处理器1210进行通信，以接受各种原始和/或处理后的监视场景的图像，并存储该图像。例如，可以利用存储装置1214来记录由可见光/NIR光摄像机1204/1220捕获的监视场景的可见光/NIR光图像、处理器1210将热成像仪1202捕获的热图像转换的用户可观看的热图像、和/或处理器1210生成的热图像和NIR图像的混合图像。就这方面而言，存储装置1212和/或处理器1210可以被配置为将图像压缩和/或转换为合适的格式，例如，各种运动图像专家组(MPEG)格式。在一些实施例中，存储装置1214可以在本地实现为热成像仪1202和/或摄像机系统1200的各种部件。在其他实施例中，存储装置1214可以远程实现并与系统1200的各个部件通信(例如，经由通信模块1212通过网络1260进行通信，或者以其他方式通信)。也可以考虑混合的本地和远程实现。

在各种实施例中，可以利用存储装置1214来存储摄像机系统1200生成和/或使用的其他数据和信息。例如，在一些实施例中，处理器1210可以被配置为执行存储在存储装置1214和/或机器可读介质193(参见图1)上的软件指令，以执行本文所描述的各种方法、步骤或者操作的全部或者部分。在另一个例子中，用于定义的参数也可以存储在存储装置中。

其他部件1216可以包括如可能期望用于摄像机系统1200的各种应用的其他任何装置或者部件。在一些实施例中，其他部件1216可以包括全球定位系统(GPS)接收器和/或电子罗盘。可以利用适于集成到小型电子装置中的合适的芯片组件或者电子模块来实现GPS接收器和/或电子罗盘1216，以提供GPS接收器操作、电子罗盘操作或者上述两种操作。GPS接收器和/或电子罗盘可用于自动获得涉及摄像机系统1200的安装位置的地理位置信息。处理器1210和/或通信模块1212可以通过使用计算机网络领域中公知的合适技术，利用所述地理位置信息来自动构造位置映射信息，以实现摄像机系统1200的多个实例、其他监视摄像机和系统以及其他外部装置之间的位置感知通信。

在一些实施例中，其他部件1216可以包括用于检测环境光量的光电管。这种光电管可用于如以上结合可见光/NIR光摄像机1204/1220所述，确定是否需要有源照明。

在一些实施例中，其他部件1216可以包括报警灯(例如，频闪灯、闪光灯)、鸣钟、利用相关电路产生声音的扬声器、或者可用于产生可听和/或可视报警的其他合适的装置。这种装置可用于例如在已经发生不寻常的事件(例如，检测到侵入者)的前提下，向居民发出警报。

在一些实施例中，其他部件1216可以包括便携式电源，例如，电池或者太阳能电池板。便携式电源与通信模块1212一起被配置为无线通信，所述便携式电源可以允许将摄像机系统1200方便地安装到进行监视的各个位置，包括电力线路和/或网络电缆不能容易到达的位置。如本文所述，摄像机系统1200可以通过使便携式电源有意义地替代有线电源来实现节省功率。

在各种实施例中，可以根据期望或者基于应用要求，组合或不组合和/或实现或不实现摄像机系统1200的一个或者多个部件。例如，处理器1210可以与热成像仪1202、通信模块1212、和/或存储装置1214组合。在另一个例子中，处理器1210可以与热成像仪1202合并，其中，热成像仪1202内的电路(例如，处理器、逻辑装置、微处理器或者微控制器)仅执行处理器1210的某些操作。在另一个例子中，可以使用传统的DVR装置的合适部件来实现处理器1210和/或存储装置1214，其可以根据摄像机系统1200的各种应用的需要位于远离摄像机系统1200的其他部件或者位于与摄像机系统1200的其他部件相同的位置。

由此可知，智能监视摄像机系统1200的各个实施例通过处理和分析热成像仪1202捕获的监视场景的热图像，可以提供对监视场景的智能照明和记录。摄像机系统1200的各个实施例可以根据检测到的对象的类型和/或其他属性来智能地控制各个有源照明器(例如，IR照明器1206/1224、可见光照明器1210A-1210B/1226)、摄像机(例如，可见光/NIR光摄像机1204/1220)以及外部装置。摄像机系统1200的各个实施例还可以允许用户进一步地根据检测到的对象的类型和/或其他属性来定义、定制、配置各种智能照明/监控操作。

此外，摄像机系统1200通过只有当需要时才立即打开照明器，可以减少对昆虫和蜘蛛网的吸引，并且因为通过捕获并分析监视场景的热图像能够检测到虚假对象，所以即使存在诸如蜘蛛网或者昆虫的虚假对象，摄像机也不会持续地记录毫无意义的图像。因此，摄像机系统1200可以有利地减少照明器和摄像机的功率消耗，并节省浪费在查看长段的毫无意义的视频图像的时间和精力。

图13示出了根据本公开实施例实现的智能监视摄像机系统1300的前视图。可以以与摄像机系统1200的相应部件相同或者相似的方式实现摄像机系统1300的部件。如这个例子所示，摄像机系统1300可以包括沿着所述摄像机系统1300的前部边缘设置并且排列成圆形的多个IR照明器1306。IR照明器1306的这种排列可以允许将大量的IR照明器置于摄像机系统1300的前侧表面，并且还产生大的照明区域。可以利用VCSEL来实现IR照明器1306，与其他类型的红外光源相比，VCSEL可以提供更高的能量效率。

该实施例中的可见光照明器1308可以包括大量LED灯，所述大量LED灯布置在除了热成像仪1302、基于CMOS的可见光/NIR光摄像机1304、以及IR照明器1306所处位置之外的摄像机系统1300的整个前侧表面。可以校准可见光照明器1308，以使得光束投向特定的方向，这样通过选择性地打开、关闭、变暗或增亮可见光照明器1308，可以产生移动的聚光灯。可以将可见光照明器1308中的每一个校准为彼此不同的方向，或者可选的，可以将两个或者更多个可见光照明器1308作为组校准为相同的方向。类似的，通过选择性地并且单独或成组地打开、关闭、变暗或增亮可见光照明器1308中的每一个，可以产生移动的聚光灯。可以打开多个可见光照明器1308中的全部或者多个(例如，当从处理器和/或热成像仪1302接收到工作在泛光模式的控制命令时)，以产生可以覆盖大照明区域的泛光。

图14示出了根据本公开的另一个实施例实现的智能监视摄像机系统1400的前视图。可以以与摄像机系统1200/1300的相应部件相同或者相似的方式实现摄像机系统1400的部件。摄像机系统1400可以包括热成像仪1402、基于CMOS的可见光/NIR光摄像机1404、多个基于VCSEL的IR照明器1406、以及多个基于LED的可见光照明器1408，可以将它们全部安置在类似于摄像机系统1300的前侧表面上。然而，在该实施例中，可见光照明器1408与可见光照明器1308相比数量较少并且可以位于摄像机系统1400的前侧表面的中心区域。另外，不是将可见光照明器1408固定在某个方向，而是可见光照明器1408可以包括驱动机构1418(例如，马达、致动器)，所述驱动机构1408可以被配置为通过摇摄、倾斜或者以其他方式改变一个或者多个(例如，某些、基本上全部或者全部)可见光照明器1408的方向。因此，在该实施例中，利用驱动机构1418可以产生追踪聚光灯。可见光照明器1408还可以提供可调节的光束角度(即，光束的直径或者宽度)，例如，通过使用可调节的反射器，以根据需要增加或者减少光照区域，从而在聚光灯和泛光灯之间进行交替。

图15示出了根据本公开的另一个实施例的、实现为能够方便地安装、附着或者以其他方式布置在不同地点(例如，天花板上、墙壁上)的模块1500的智能监视摄像机系统1200的例子。模块1500可以包括热成像仪1502、可见光/NIR光摄像机1504、IR照明器1506、可见光照明器1508、处理器1510、通信模块1512、以及存储装置1514，除了另有说明，可以以与摄像机系统1200/1300/1400的相应部件相同或者相似的方式来实现它们中的任意一个。

模块1500还可以包括外壳1550，其允许将模块1500安装、附着或者以其他方式方便地安装在各个位置，这样例如可以快速方便地部署智能监视摄像机系统1200的网络。模块1500还可以包括设置在外壳1550上的透明盖1551。透明盖1551可以被配置为使红外和可见光穿过以进入到红外成像模块1502和可见光/NIR光摄像机1504，并且可以保护模块1500的这些以及其他部件免受外部因素(例如，雨水、杂物)的损害。

现在参考图16，示出了根据本公开实施例的、执行监视场景的智能照明和监控的步骤1600的流程图。例如，可以通过摄像机系统1200的各个实施例来执行步骤1600。应当理解的是，标识出的场景1230、摄像机系统1200以及该摄像机系统1200的各个部件仅是为了举例的目的，任何其他合适的摄像机系统可以用于执行全部或者部分步骤1600。

在块1602，可以由热成像仪捕获监视场景的热图像(例如，包含辐射测量数据的像素)。例如，可以由图12的热成像仪1202捕获视场1205内的场景1230的热辐射图像。因为热成像仪(例如，热成像仪1202)无源地从场景中检测热辐射，因此不需要有源IR照明。此外，如果对象太靠近照明器，有源照明图像会被洗掉，如果对象不够靠近照明器，有源照明图像就过于昏暗，相对于该有源照明图像来说，即使在完全黑暗的条件下并且即使在雾或者烟造成模糊时，热图像仍然可以提供对象的清楚的热像图像。

如以上结合热成像仪1202的描述所示，捕获的热图像可以是经过辐射测量校正的热图像，并且在一些实施例中，可以是按比例和/或全面校准的热图像。例如，可以在通信地耦接到热成像仪1202的处理器1210处接收捕获的热图像。

在块1604，可以在捕获的热图像上执行各种热图像处理操作。例如，可以例如通过使用本文公开的各种NUC技术，在捕获的热图像上执行一个或者多个NUC步骤以去除其中的噪声。还可以根据步骤1600各种应用的需要执行各种其他图像处理操作，例如，传统的分割、过滤、变换或者去卷积操作。

在块1606，可以对处理后的热图像作进一步的处理和/或分析，以检测感兴趣的对象的存在并确定与检测到的对象相关的一个或者多个属性。在一个实施例中，可以从辐射测量校正后的热图像检测具有特定范围的温度值的连续像素区域，以检测感兴趣的对象。例如，检测操作可以区分具有代表人、汽车或者动物的特征的表面温度分布的区域(或者“斑点”)。可以对热图像及其中的斑点作进一步的处理和/或分析，例如，通过执行各种滤波操作以及分析斑点的尺寸、形状和/或热特征，以确定对象的检测。

在另一个实施例中，例如，可以使用背景建模技术、边缘检测技术、或者适于用于热图像的其他前景对象检测技术，对热图像进行分析以检测一个或者多个候选前景对象。可以随后对候选对象的辐射测量属性(例如，表面温度分布)进行分析，以确定它们是否对应于感兴趣的对象(例如，人、车辆、动物)的那些属性。例如，可以首先将挂在热成像仪前端的蜘蛛网检测为候选前景对象，但是它的辐射测量属性可以快速地表明它不具有感兴趣的对象的表面温度分布特征。如这个例子所示，与使用有源照明的可见光或者NIR光图像相比，使用热图像的对象检测可以不易受到虚假对象的错误检测的影响(例如，蜘蛛网或者飞蛾的特写和/或模糊图像)。还可以对候选对象的尺寸和形状进行分析，以基于检测到的候选对象的尺寸、形状和辐射测量属性对所述检测进行确定。

在该实施例的一个方面，背景模型技术可用于检测场景中的对象。因为背景(例如，空白的监视场景)很少变化，并且因为热图像对变化的照明条件一般不敏感，因此，可以构建高精度的背景模型(例如，属于背景的像素)，并且可以容易地将与背景不同的像素区域(也称作“感兴趣的区域”)识别为候选前景对象。如上所述，可以随后对这种感兴趣的区域(ROI)的辐射测量属性进行分析，以进一步地确定检测到的ROI是否可能代表感兴趣的对象。

通过进一步地分析和处理、和/或在为了对象检测而执行的分析和处理期间，可以确定于检测到的感兴趣的对象有关的各种属性。例如，通过分析尺寸、形状和/或辐射测量属性，以及在一些实施例中，通过将它们与特定类型的感兴趣的参考对象的轮廓或者特征进行比较，可以确定检测到的对象的类型。在各种实施例中，通过将热图像中的检测到的对象的像素坐标转换为监视场景中的大致位置，可以确定检测到的对象的位置。在一些实施例中，通过使用视频和图像分析中的合适技术，还可以从热图像中确定与检测到的对象相关的运动矢量(例如，运动的速度和方向)。

在各种实施例中，可以包括或者忽略在块1606中描述的各种处理和分析操作，并且可以以适合于检测对象并确定相关属性的任意其他顺序来执行上述各种处理和分析操作。例如，在一些实施例中，检测到热图像中的暖“斑点”对于检测场景中的感兴趣的对象来说可能是足够的，然而在其他实施例中，可以组合地进行各种热图像分析以增加检测精度。块1606还可以使用其他合适的检测热图像中的对象的技术。

在块1608，可以基于如通过分析监视场景中的热图像而确定的感兴趣的对象的存在和类型，激活和/或以其他方式控制各种照明器(例如，IR照明器1206/1224和/或可见光照明器1210A-1210B/1226)、摄像机(可见光/NIR光摄像机1204/1220)、和/或存储装置(例如，DVR或者其他装置)。例如，如以上结合图12所述，可以激活并控制可见光照明器，从而以追踪聚光灯模式照明对象；可以激活可见光照明器，从而以泛光灯模式照明对象；可以激活IR照明器以为NIR图像记录提供有源IR照明；可以将可见光/NIR光摄像机与DVR一起激活以记录监视场景的图像；和/或可以摇摄、倾斜、或缩放可见光/NIR光摄像机以追踪对象。基于检测到的对象的位置和/或运动矢量，可以激活、关闭或者根据它们的位置以其他方式控制摄像机和照明器。

捕获的或者记录的监视场景的图像可以包括可见光/NIR光图像、用户可以观看的热图像、和/或混合图像(例如，通过将可见光/NIR摄像机捕获的图像与热成像仪捕获的热图像融合)。就这方面而言，如以上结合图12的处理器1210所描述的，步骤1600可以进一步地包括生成监视场景的用户可观看的热图像、和/或将热图像和可见光/NIR光图像合并以生成具有更高明晰度和/或清晰度的合成图像。

还如以上所述，用户可以进一步定义、定制或者以其他方式配置这种操作和触发对象类型之间的关系。就这方面而言，可以从用户接收用户定义的参数。例如，可以从用户的外部计算机接收包含用户定义的参数的文件或者数据包。在另一个例子中，可以通过设置在摄像机系统上的控制面板(例如，包括键盘、指示装置、物理按钮、滑块、拨盘或者其他致动机构)或者图形用户界面(GUI)接收来自用户的命令和/或输入。可以对接收到的文件、数据或者输入进行编译、处理或者以其他方式管理，以更新触发对象类型和相应的操作之间的关系。

在各种实施例中，可以基于热图像分析执行其他动作或者操作。例如，基于检测到车辆在大门或者车库门附近或者接近大门或者车库门(例如，如由位置和/或运动矢量确定)，可以打开或者关闭由机器操作的大门或者车库门。类似的，可以基于对象的类型、位置和/或运动矢量，控制安全灯、街灯、走廊灯或者其他类似的发光体和灯。在另一个例子中，如果有特殊事件发生(例如，人越过虚拟边界)，则可以触发警报。

就这方面而言，步骤1600可以进一步包括与外部装置进行通信。例如，步骤1600可以包括将控制信号传送到外部装置，例如，外部摄像机、建筑物访问控制器或者建筑物照明控制器。在其他例子中，步骤1600可以包括将捕获的或者记录的图像传送到外部的监控和/或记录装置、传送对象检测信息或者由步骤1600的各种操作生成的其他数据、和/或从外部计算机接收命令和配置信息(例如，用户定义的参数)。

因此，可以执行全部或者部分步骤1600，以使用场景的热图像智能地控制监视场景的照明和监控。可以根据检测到的对象的类型和/或其他属性来有利的控制合适的照明器、摄像机、存储装置和/或其他外部装置，其中用户可以进一步地定义或者定制相应的照明和/或记录操作。因为只有当需要或者期望时才会立即打开有源照明，因此可以减少蜘蛛网或者昆虫的累积并可以降低功耗。另外，即使蜘蛛网或者其他虚假对象确实靠近摄像机镜头建造，步骤1600中的热图像分析操作仍然允许能够区分虚假对象的更加稳健的检测，从而防止毫无意义的监视图像的记录。

在合适的情况下，可通过硬件、软件或者硬件和软件的结合来实现本公开所提供的各种实施例。同样的在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件合并为包括软件、硬件和/或二者的复合部件。在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件分离为包括软件、硬件和/或二者的子部件。另外，在合适的情况下，可以预期的是，软件部件能够实现为硬件部件，反之亦然。

根据本公开的软件，例如，非暂时性指令、程序代码和/或数据可存储在一个或者多个非暂时性机器可读介质中。还可以预期的是，可使用一个或者多个通用或者专用计算机和/或计算机系统、网络和/或其他方式来实现本文所提及的软件。在合适的情况下，本文所描述的各种步骤的顺序可以改变、合并为复合步骤和/或分离为子步骤，以提供本文所描述的特征。

以上所描述的实施例仅为了举例说明，而不是限制本发明。还应当理解的是，根据本发明的原理，许多修改和改变是可能的。因此，本发明的范围仅由下面的权利要求书限定。

Claims

1.一种系统，包括：

热成像仪，其包括被配置为捕获场景的热图像的焦平面阵列FPA；

光源，其被配置为对所述场景进行照明；

摄像机，其被配置为捕获所述场景的附加图像；以及

处理器，其被配置为：

分析所述热图像以确定与所述场景中的对象相关的属性，以及

基于所述对象的所述属性，选择性地操作所述光源和所述摄像机。

2.根据权利要求1所述的系统，其中，所述光源是可见光源，所述系统进一步包括红外IR光源，其中所述处理器被配置为基于所述对象的所述属性，选择性地操作所述可见光源或者所述IR光源。

3.根据权利要求1所述的系统，其中：

所述属性是所述场景中的所述对象的位置；并且

所述处理器被配置为响应于所述场景中的所述对象的位置改变，选择性地使所述光源指向所述对象。

4.根据权利要求1所述的系统，其中：

所述属性是所述场景中的所述对象的尺寸；并且

所述处理器被配置为基于所述场景中的所述对象的尺寸，选择性地调整所述光源的光束宽度。

5.根据权利要求1所述的系统，其中：

所述摄像机是非热摄像机；并且

所述光源被配置为通过与所述附加图像相关的光谱的至少一部分来提供照明。

6.根据权利要求5所述的系统，其中，所述光谱包括至少一部分近红外NIR光谱。

7.根据权利要求6所述的系统，其中，所述处理器被配置为将所述热图像和所述附加图像合并，以生成所述场景的混合图像。

8.根据权利要求1所述的系统，其中，所述处理器被配置为基于所述对象的所述属性，选择性地启动和停止对所述热图像和/或所述附加图像的记录。

9.根据权利要求8所述的系统，其进一步包括相对于所述热成像仪来说位于远程位置的存储装置，并且所述存储装置被配置为响应于所述处理器而对所述热图像和/或所述附加图像进行记录。

10.根据权利要求8所述的系统，其中所述摄像机是具有第一视场FOV的第一摄像机，所述系统进一步包括被配置为捕获所述场景的其他附加图像的第二摄像机，并且所述第二摄像机具有第二视场FOV，其中：

所述属性是所述对象的位置，并且

所述处理器被配置为：

基于所述对象相对于所述第一FOV和第二FOV的位置，作出是否对所述附加图像和/或其他附加图像进行记录的决定，以及

基于所述决定选择性地启动和停止对所述附加图像和/或其他附加图像的记录。

11.根据权利要求1所述的系统，其中，所述处理器进一步被配置为基于所述对象的所述属性，选择性地操作外部装置。

12.根据权利要求1所述的系统，其中：

所述热图像是所述场景的不模糊的热图像；

所述热成像仪被配置为捕获所述场景的有意模糊的热图像；以及

所述处理器被配置为基于所述有意模糊的热图像确定多个非均匀性校正NUC项，并将所述NUC项应用到所述不模糊的热图像，以从所述不模糊的热图像中去除噪声。

13.一种方法，包括：

在热成像仪的焦平面阵列FPA捕获场景的热图像；

分析所述热图像以确定与所述场景中的对象相关的属性；以及

基于所述对象的所述属性，选择性地操作光源和摄像机，其中：

所述光源被配置为对所述场景进行照明，并且

所述摄像机被配置为捕获所述场景的附加图像。

14.根据权利要求13所述的方法，其中，所述光源是可见光源，所述方法进一步包括基于所述对象的所述属性，选择性地操作所述可见光源或者红外IR光源，其中，所述IR光源被配置为对所述场景进行照明。

15.根据权利要求13所述的方法，其中：

所述属性是所述场景中的所述对象的位置；并且

选择性地操作光源包括响应于所述场景中的所述对象的位置改变，选择性地使所述光源指向所述对象。

16.根据权利要求13所述的方法，其中：

所述属性是所述场景中的所述对象的尺寸；并且

所述选择性地操作所述光源包括基于所述场景中的所述对象的尺寸，选择性地调整所述光源的光束宽度。

17.根据权利要求13所述的方法，进一步包括：

将所述热图像和所述附加图像合并，以生成所述场景的混合图像，其中：

所述摄像机是非热摄像机；并且

18.根据权利要求13所述的方法，其中，选择性地操作摄像机包括基于所述对象的所述属性，选择性地启动和停止对所述热图像和/或所述附加图像的记录。

19.根据权利要求18所述的方法，其中，选择性地启动和停止记录包括将所述热图像和/或所述附加图像记录到存储装置，所述存储装置相对于所述热成像仪来说位于远程位置。

20.根据权利要求18所述的方法，其中：

所述摄像机是具有第一视场FOV的第一摄像机；

所述属性是所述对象的位置；以及

选择性地启动和停止记录包括：

基于所述对象相对于所述第一和第二视场FOV的位置，作出是否对由具有第二FOV的第二摄像机捕获的场景的所述附加图像和/或其他附加图像进行记录的决定，以及

21.根据权利要求13所述的方法，进一步包括基于所述对象的所述属性，选择性地操作外部装置。

22.根据权利要求13所述的方法，其中，所述热图像是不模糊的热图像，所述方法进一步包括：

捕获场景的有意模糊的热图像；

基于所述有意模糊的热图像，确定多个非均匀性校正NUC项；以及

将所述NUC项应用到不模糊的热图像，以从有意模糊的热图像去除噪声。