CN106210505A - 图像校正电路、图像校正方法及相机模块 - Google Patents

图像校正电路、图像校正方法及相机模块 Download PDF

Info

Publication number
CN106210505A
CN106210505A CN201610239667.6A CN201610239667A CN106210505A CN 106210505 A CN106210505 A CN 106210505A CN 201610239667 A CN201610239667 A CN 201610239667A CN 106210505 A CN106210505 A CN 106210505A
Authority
CN
China
Prior art keywords
image
data
motion
lens
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610239667.6A
Other languages
English (en)
Inventor
柳熙龙
姜命求
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electro Mechanics Co Ltd
Original Assignee
Samsung Electro Mechanics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electro Mechanics Co Ltd filed Critical Samsung Electro Mechanics Co Ltd
Publication of CN106210505A publication Critical patent/CN106210505A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G06T5/73
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Theoretical Computer Science (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

提供一种图像校正电路、图像校正方法及相机模块。所述图像校正电路包括:运动传感器,被构造为在捕捉图像的过程中生成与相机模块的运动对应的运动数据;控制器,被构造为在使用运动数据对图像进行后期校正以除去由相机模块的运动导致的图像的模糊。

Description

图像校正电路、图像校正方法及相机模块
本申请要求于2015年5月29日在韩国知识产权局提交的第10-2015-0076496号韩国专利申请的权益,该申请的全部公开内容出于所有目的通过引用包含于此。
技术领域
下面的描述涉及一种图像校正电路、通过所述图像校正电路执行的图像校正方法以及一种相机模块。
背景技术
通常,在数字成像系统中,通过数字信号处理器处理通过成像装置(或图像拾取装置)接收的图像。对处理后的图像进行压缩以生成图像文件,并可将图像文件存储在存储器中。
数字成像系统可在诸如液晶显示器(LCD)的显示装置上显示通过图像拾取装置接收的图像文件的图像或存储在存储介质中的图像文件的图像。然而,当使用者捕捉图像时,在相机光圈的曝光过程中由于使用者手部抖动等导致的相机的运动或旋转造成捕捉图像的模糊。也就是说,诸如相机的数字成像系统会经历由于使用者手部抖动而导致的运动或摆动。这样的运动或摆动可能导致通过图像拾取装置输入的图像的抖动,这样可能导致不能捕捉清晰的图像。
因此,为了防止由于手部抖动导致的成像失败,数字成像系统包括防手抖功能。也就是说,当出现手部抖动时,通过安装在相机中的陀螺仪传感器等检测相机的角速度等,基于检测到的角速度计算相机透镜的运动方向和运动距离,并通过致动器使透镜基本上运动为等于运动距离的量。其后,使用霍尔传感器的输出信号通过反馈控制对处于运动位置的透镜执行光学图像稳定(OIS)。
上述OIS法包括透镜移位法和图像传感器移位法。透镜移位法是当结合到相机的陀螺仪传感器感测相机的运动时通过使透镜沿与相机运动所沿方向相对的方向运动来抵消运动的方法。图像传感器移位法是当结合到相机的陀螺仪传感器感测相机的运动时通过使图像传感器沿着与相机运动所沿方向相反方向运动来抵消运动的方法。小型装置在OIS模块中一般采用透镜移位法。
发明内容
提供本发明内容用于以简化形式介绍在下面的具体实施方式中进一步描述的发明构思的选择。本发明内容并不意在确定所要求保护的主题的关键特征或必要技术特征,也不意在用于帮助决定所要求保护的主题的范围。
根据一个总的方面,一种图像校正电路包括:运动传感器,被构造为在捕捉图像的过程中生成与相机模块的运动对应的运动数据;控制器,被构造为在使用运动数据对图像进行后期校正以除去由相机模块的运动导致的图像的模糊。
所述运动传感器可包括:角速度传感器,被构造为基于相机模块的运动生成代表角速度变化的角速度数据;位置传感器,被构造为根据检测透镜的位置生成透镜的位置数据。
所述控制器可被构造为通过根据对角速度数据积分获得的角度确定透镜的运动方向和运动距离来生成运动控制数据。
所述控制器可被构造为使用运动控制数据和位置数据之间的误差除去图像的模糊。
所述控制器可被构造为通过比较运动控制数据与位置数据来检测误差,并计算与误差有关的图像轨迹,所述图像轨迹包括关于三个轴方向的信息。
所述控制器可被构造为基于图像轨迹来估计点分布函数,并通过对点分布函数应用反卷积而从图像除去模糊。
所述控制器可包括:第一处理器,被构造为使用通过对角速度数据积分计算得到的角度来生成包括关于透镜的运动方向和运动距离的信息的运动控制数据;第二处理器,被构造为使用通过比较运动控制数据和位置数据获得的差值来检测误差,根据与误差对应的坐标生成图像轨迹,并对基于图像轨迹估计的点分布函数应用反卷积。
所述位置传感器可包括:第一霍尔传感器,被构造为感测透镜的在x轴上的位置;第二霍尔传感器,被构造为感测透镜的在y轴上的位置;第三霍尔传感器,被构造为感测透镜的在z轴上位置。
根据另一总的方面,一种图像校正方法包括:执行数据生成操作,包括在图像捕捉期间根据相机模块的运动生成包括透镜的运动控制数据和关于透镜的位置信息的位置数据;执行模糊除去操作,包括在使用运动控制数据和位置数据对图像进行后期校正以除去由相机模块的运动导致的图像的模糊。
执行数据生成操作还可包括:生成代表相机模块运动的角速度变化的角速度数据;通过对角速度数据积分来计算角度,并基于计算的角度通过确定透镜的运动方向和运动距离来生成运动控制数据;检测透镜的位置以生成位置数据。
执行模糊除去操作还可包括:检测位置数据与运动控制数据之间的误差,以计算误差路径;基于误差路径估计点分布函数;通过对点分布函数应用反卷积除去图像的模糊。
检测误差可包括使用通过比较运动控制数据与位置数据获得的差值来检测误差;计算误差路径可包括根据与误差对应的坐标检测三维路径。
根据另一总的方面,一种相机模块包括:图像传感器,被构造为捕捉图像;控制器,被构造为:在捕捉图像的过程中接收与相机模块的运动对应的运动数据,在使用运动数据对图像进行后期校正以除去由相机模块的运动导致的图像的模糊。
所述运动数据可包括基于相机模块的运动的代表角速度变化的角速度数据以及透镜的位置数据。
所述控制器可被构造为通过根据对角速度数据积分获得的角度确定透镜的运动方向和运动距离来生成运动控制数据;所述控制器可被构造为使用运动控制数据与位置数据之间的误差除去图像的模糊。
所述控制器可被构造为:计算关于误差的图像轨迹,所述图像轨迹包括与三个轴方向有关的信息;基于图像轨迹估计点分布函数;通过对点分布函数应用反卷积而从图像除去模糊。
根据下面的具体实施方式、附图和权利要求,其他特征和方面将变得显而易见。
附图说明
图1是示出图像校正电路的示例的框图。
图2是示出位置传感器的示例的示图。
图3是示出透镜运动距离的示例的示图。
图4是示出沿轴方向的透镜运动控制数据和透镜位置数据的示例的曲线图。
图5是示出透镜运动误差的路径(或轨迹)的示例的示图。
图6是示出图像校正方法的示例的流程图。
在所有的附图和具体实施方式中,相同的附图标号将被理解为指示相同的元件。附图不一定按比例绘制,为了清楚、说明及简洁起见,可放大附图中元件的相对尺寸、比例和描绘。
具体实施方式
提供以下具体实施方式以帮助读者获得对这里所描述的方法、装置和/或系统的全面理解。然而,这里所描述的方法、装置和/或系统的各种变换、修改及等同物对于本领域的普通技术人员将是显而易见的。这里所描述的操作顺序仅仅是示例,其并不限于这里所阐述的顺序,而是除了必须以特定顺序发生的操作之外,可做出对本领域的普通技术人员将是显而易见的变换。此外,为了提高清楚性和简洁性,可省略对于本领域的普通技术人员来说公知的功能和结构的描述。
这里所描述的特征可以以不同的形式实施,并且不应被解释为被这里所描述的示例所限制。更确切的说,已经提供了这里所描述的示例,以使本公开将是彻底的和完整的,并将把本公开的全部范围传达给本领域的普通技术人员。
在整个说明书中,将被理解的是,当元件(诸如,层、区域或晶圆(基板))被称为“在”另一元件“上”、“连接到”另一元件或“结合到”另一元件时,其可直接“在”另一元件“上”、“连接到”另一元件或“结合到”另一元件,或者可存在介于它们之间的其他元件。相反,当元件被称为“直接在”另一元件“上”、“直接连接到”另一元件或“直接结合到”另一元件时,可不存在介于它们之间的元件或层。相同的标号始终指示相同的元件。如在此所使用的,术语“和/或”包括所列出的相关项的一项或更多项的任何以及全部组合。
将被理解的是,尽管可在这里使用“第一”、“第二”、“第三”等术语来描述各个构件、组件、区域、层和/或部分,但这些构件、组件、区域、层和/或部分不应当受这些术语限制。这些术语仅仅用于使一个构件、组件、区域、层和/或部分与另一个构件、组件、区域、层和/或部分相区分。因此,在不脱离实施例的教导的情况下,以下讨论的第一构件、组件、区域、层和/或部分可描述为第二构件、组件、区域、层和/或部分。
在这里可使用诸如“在……之上”、“上部”、“在……之下”和“下部”等的空间关系术语,以易于描述如附图所示的一个元件与其他元件的关系。将理解的是,空间关系术语意图包含除了在附图中所描绘的方位之外装置在使用或操作中的不同方位。例如,如果附图中的装置被翻转,则被描述为在其他元件“上部”或“之上”的元件随后将定位为在其他元件或特征“下部”或“之下”。因此,术语“在……之上”可根据附图的特定方向而包括“在……之上”和“在……之下”两种方位。所述装置可被另外定位(旋转90度或者处于其他方位),并可对在这里使用的空间关系描述符做出相应的解释。
在此使用的术语仅用于描述特定实施例,而不是意图限制本公开。如在此所使用的,除非上下文另外清楚地指明,否则单数的形式也意图包括复数的形式。还将理解的是,在该说明书中使用的术语“包括”和/或“由……组成”列举存在的所陈述的特征、整数、步骤、操作、构件、元件和/或它们组成的组,但不排除存在或添加一个或更多个其他特征、整数、步骤、操作、构件、元件和/或它们组成的组。
在下文中,将参照示出实施例的示意图描述实施例。在附图中,例如,由于生产技术和/或公差,可估计所示出的形状的变形。因此,实施例不应被解释为局限于在此示出的区域的特定形状,例如,包括由于制造导致的形状的改变。下面的实施例还可由其中一个或其组合构成。
如图1所示,相机模块1包括图像校正电路,所述图像校正电路包含包括角速度传感器110和位置传感器120的运动传感器100以及包括第一处理器210和第二处理器220的控制器200。图像校正电路还包括显示器40、图像传感器50、透镜10、光学驱动器20和光学驱动模块30。尽管透镜10被描述为包括在图像校正电路中,但是,如通过围绕透镜10的虚线框所示,透镜10可设置在相机模块1中但位于图像校正电路的外部。
图像校正电路可应用在诸如数码相机、智能手机、平板PC、个人数字助理(PDA)、便携式多媒体播放器(PMP)、膝上型计算机和台式计算机的移动多功能装置中,但不限于这样的应用。
透镜10可包括变焦透镜、聚焦透镜或补偿透镜,并使得来自对象的光通量入射到图像传感器50上。当相机模块1在图像捕捉期的期间运动时,通过光学驱动模块40(将在下文描述)使透镜10运动,以在图像传感器50上使对象准确地成像。
图像传感器50光学地处理来自对象的光以检测对象的像。在由于相机模块1的运动导致图像变模糊的情况下,图像传感器50将模糊的图像发送至第一处理器210(将在下文中描述)。图像传感器50可以是被构造为将入射光的光学信号转换为电气模拟信号的电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。
运动传感器100可设置在相机模块1的内部或外部,并产生与相机模块1的运动相对应的运动数据。也就是说,运动传感器100感测与相机模块1的运动有关的角速度,并使透镜10的位置运动为与相机模块1的运动相对应。
图像捕捉期指快门被打开并使图像传感器50暴露到通过透镜10入射的光的时间段。此外,相机模块1的运动指的是当使用者使用相机模块1捕捉图像时由于使用者手部抖动导致的运动。
角速度传感器110是被构造为检测从客体施加的扭矩的大小并测量角速度的传感器。例如,生成了与相机模块1的运动相对应的角速度数据。角速度传感器110感测关于俯仰轴(pitch axis)、横摆轴(yaw axis)和侧倾轴(rollaxis)的运动的角速度。例如,俯仰轴、横摆轴和侧倾轴分别对应于x轴、y轴和z轴。因此,角速度传感器110可以是能够感测沿三个轴方向的运动的角速度变化的陀螺仪传感器。
为了消除输出信号中的噪声和直流(DC)偏置,角速度传感器110还可包括高通滤波器(HPF)(未示出)和DC偏置消除器(未示出)。
位置传感器120在图像捕捉期的期间感测透镜10的位置,以生成包括关于透镜10的位置的位置信息的位置数据。位置传感器120可以是被构造为使用根据磁场强度改变电压的霍尔效应来感测透镜10的位置变化的霍尔传感器。
如图2所示,为了感测透镜10沿三个轴方向的位置,在透镜10中设置了第一霍尔传感器121(被构造为沿x轴方向感测)、第二霍尔传感器122(被构造为沿y轴方向感测)和第三霍尔传感器123(被构造为沿z轴方向感测)。因此,第一至第三霍尔传感器121、122和123在图像捕捉期的期间感测通过第一致动器31至第三致动器33运动的透镜10的三维(3D)位置,并基于感测到的透镜10的3D位置计算以3D(x轴、y轴和z轴)坐标形式存储的位置数据。
控制器200包括第一处理器210和第二处理器220。为了从图像中除去由于相机模块1的运动导致的模糊,控制器200使用运动数据对图像进行后期校正。
模糊是指在使快速运动的对象成像时或在成像过程中发生使用者手部抖动时在图像中引起的物的残像或由于残像导致的拖尾效应。因此,当由于使用者手部抖动导致相机模块1运动时,出现了模糊,其结果是无法获得清晰图像以及图像质量的劣化。因此,控制器200使用运动数据除去图像的模糊,以将清晰的图像提供给使用者并增强图像质量。
详细地,控制器200通过对由角速度传感器110生成的角速度数据积分来计算角度,并基于所述角度确定透镜10的运动方向和运动距离,以与相机模块1的运动相对应。然后,控制器200生成包括透镜10的运动方向和运动距离的运动控制数据。
控制器200对从位置传感器120接收的运动控制数据和位置数据进行比较,以检测运动控制数据与位置数据之间的误差,并计算与误差有关的3D路径(运动轨迹或图像轨迹)。与误差有关的3D路径包括关于三个轴方向(x轴、y轴和z轴方向)的信息。
此外,控制器200基于与误差有关的3D路径估计点分布函数(PSF),并对PSF应用反卷积来从图像中除去模糊。
当在下文中描述第一处理器210和第二处理器220时,将详细描述运动控制数据、与误差有关的3D路径、PSF和反卷积。
第一处理器210对通过角速度传感器110产生的角速度数据积分来计算角度,并使用所计算的角度生成包括关于透镜10的运动方向和运动距离的信息的运动控制数据。此外,第一处理器210将运动控制数据和模糊的图像发送至第二处理器220。
为了对从角速度传感器110接收的角速度数据进行积分,第一处理器210包括积分器(未示出)。积分器通过对角速度数据积分来计算透镜10要运动的角度,并对沿x轴、y轴和z轴中每个轴的角速度数据进行积分。可通过软件或硬件实现积分器。
为了使透镜10运动为与相机模块1的运动相对应,需要与透镜10要运动的方向和距离有关的信息。运动方向可以根据角度θ来确定,运动距离可通过下面的等式1获得。详细地,如图3所示,当透镜10从透镜10的初始位置运动了角度θ时,可基于在透镜10的初始位置和目标运动位置以及图像传感器50之间建立的直角三角形关系如等式1所表示来计算透镜10的运动距离。
[等式1]
运动距离(d)=焦距(S)×tanθ
运动距离d指透镜10要运动的距离,焦距S指透镜10的初始位置与传感器50之间的距离。角度θ指通过对角速度数据积分而计算的角度。然而,运动距离不一定仅通过等式1来计算,可将本领域知晓的任何方法应用于本公开的示例。
运动控制数据指的是关于透镜10将要运动到的位置的位置信息,以在图像捕捉期的期间与相机模块1的运动相对应。也就是说,运动控制数据指的是透镜的目标位置,而非透镜10已经实际到达的位置。运动控制数据包括关于在图像捕捉期的期间透镜10将要到达的位置的3D(x轴、y轴和z轴)坐标形式的目标位置信息。
光学驱动器20基于位置控制数据生成施加到光学驱动模块30的控制信号和驱动电压,以使透镜10根据控制信号运动。光学驱动模块30包括第一至第三致动器31、32和33,致动器可均包括音圈马达(VCM)或压电装置。第一致动器31沿x轴方向控制透镜10的运动,第二致动器32沿y轴方向控制透镜10的运动,第三致动器33沿z轴方向控制透镜10的运动。
第二处理器220通过区分位置数据和运动控制数据来计算误差,并计算与误差有关的3D路径。如以上讨论的,位置数据包括关于在图像捕捉期的期间通过光学驱动模块30运动的透镜10的位置信息,运动控制数据包括透镜10在图像捕捉期的期间要运动为与相机模块1的运动相对应的运动信息。
换句话说,位置数据包括与透镜10已经实际运动到的位置有关的位置信息,而运动控制数据包括与透镜10的目标位置有关的目标位置信息。因此,理想上,位置数据和运动控制数据应当匹配。然而,在实际的驱动中,由于噪声或机械误差导致位置数据和运动控制数据彼此不匹配,从而造成图像中的模糊。
在图4中示出的曲线图中,水平轴代表时间,竖直轴代表透镜10的运动距离。虚线代表与沿一个方向(例如,沿x轴方向、y轴方向或z轴方向)的运动控制数据有关的曲线,实线代表与沿一个方向的位置数据有关的曲线。如图4所示,当位置数据和运动控制数据未准确匹配时,透镜10不能运动为与相机模块1的运动相对应,因而造成图像中的模糊。因此,使用通过比较位置数据和运动控制数据所检测的误差来除去图像的模糊。
通过比较运动控制数据和位置数据来计算误差。由于与运动控制数据和位置数据有关的信息以坐标的形式存储,因此,可比较运动控制数据和位置数据,并可通过从运动控制数据减去位置数据或从位置数据减去运动控制数据而获得他们之间的误差。然而,可不一定使用位置数据与目标数据之间的差值来计算误差,且只要对各数据进行比较,则可使用任何方法计算误差。
图5是示出基于误差检测的3D路径的示图。例如,假设从位置数据减去目标数据,在时间t1的某一点的位置数据的坐标是(3,8,9)且运动控制数据的坐标是(2,6,2)的情况下,误差数据是(1,2,7)。在时间t2的某一点的位置数据的坐标是(8,7,5)且运动控制数据的坐标是(5,2,1)的情况下,误差数据是(3,5,4)。以相同的方式检测从t0至t9的与误差有关的3D路径。
第二处理器220基于与误差有关的3D路径估计点分布函数(PSF)。点分布函数是指当对象的点未被复制为图像中的实际点时表示缺乏清晰度的函数。如图5所示,可识别分布在与误差有关的3D路径中的点的数量,可基于分布的点估计点分布函数。估计点分布函数的具体单元被本公开所属技术领域的技术人员所知晓,因此,将省略估计点分布函数的单元的详细描述。
第二处理器220通过对估计的点分布函数应用反卷积算法来从图像中除去模糊。
[等式2]
B=I*K
这里,B指模糊图像,I指点分布函数,K指不模糊的清晰图像,*指卷积。关于等式2,可以看出,模糊图像等于对点分布函数与清晰图像的卷积应用。因此,当对模糊图像应用点分布函数的反卷积算法时,可获得不模糊的清晰图像。
反卷积算法包括使用空间域的维纳滤波法(Wiener filter scheme)以及使用频域的L2法和Levin法。可应用所述方法中的全部。此外,并未限制于此,本公开所属领域公知的任何技术可被应用到反卷积算法应用方案。这里,由于反卷积算法应用方案对于本公开所属技术领域的技术人员是公知的且是公知技术,因此,将省略其详细描述。
控制器200、第一处理器210和第二处理器220可包括用于执行上述函数的算法,并可使用固件、软件或硬件(例如,半导体芯片和专用集成电路(ASIC))来实现。
显示器40从第二处理器220接收除去模糊的图像,并向使用者输出所接收的图像。显示器40可以是液晶显示器(LCD)、等离子显示面板(PDP)、电致发光显示器(ELD)或有源矩阵有机发光二极管(AMOLED),但不限于此。
在使透镜10运动为与相机模块1的运动对应的过程中,即使在应用光学图像稳定(OIS)之后,也会在运动控制数据与位置数据之间出现误差,其结果是在图像中存在剩余的细小模糊。因此,为了除去细小模糊,对基于运动控制数据与位置数据之间的误差的路径进行检测,并对基于与误差有关的路径估计的点分布函数应用反卷积算法。其结果是,使用者可通过显示器40看到清晰图像。
此外,因为未考虑在3D空间中的另外的剩余轴的值,因此在2D空间中的运动控制数据和位置数据的使用可能导致存储清晰图像的限制。然而,因为在图像捕捉期的期间通过包括关于透镜10的3个轴(x轴、y轴和z轴)方向的方向信息和3个轴方向的位置信息的运动控制数据而检测与误差有关的运动轨迹而除去了模糊,因此,模糊图像可被校正为更清晰的图像。
在下文中,将参照图6描述包括上述构造的图像校正方法。在附图中,将省略或简要描述与上述组件或部件相似或相同的组件或部件。
如图6所示,图像校正方法一般包括:获取由于相机模块1的运动导致模糊的图像的操作S100,在图像捕捉期的期间产生与相机模块1的运动对应的透镜10的运动控制数据和位置数据的数据生成操作,使用运动控制数据和位置数据从图像中除去由于相机模块1的运动导致的模糊以对图像进行后期校正的模糊除去操作。
参照数据生成操作,在操作S110,在图像捕捉期的期间检测代表相机模块1的运动的角速度变化的角速度数据。角速度数据包括关于沿三个轴方向的角速度变化的信息并通过角速度传感器110(也就是说,陀螺仪传感器)来获取。其后,通过对检测的角速度数据积分来计算透镜10的运动角度,使用等式1确定透镜10的运动距离。因此,在操作S120,基于角速度数据生成包括运动方向信息和运动距离信息的运动控制数据。其后,在操作S130,感测将运动为与相机模块1的运动对应的透镜10的位置以产生位置数据。
模糊除去操作包括:分别检测位置数据与运动控制数据之间的误差和计算误差路径的误差路径检测操作S140和S150,基于误差路径估计点分布函数的操作S160,随后对点分布函数应用反卷积以从图像中除去模糊的操作S170。
在因为没有根据控制指令使透镜10准确运动而使图像模糊的情况下,使用通过比较运动控制数据和位置数据而获得的差值来检测误差。所检测的误差可形成为3D坐标,且可使用3D坐标形式的误差检测在图像捕捉期的期间的3D路径(或图像轨迹)。
模糊图像、清晰图像和点分布函数是等式2的关系,因此,通过基于3D路径估计点分布函数并对估计的点分布函数应用基于维纳滤波法(Wienerfilter scheme)或L2法和Levin法的反卷积算法来除去图像的模糊。
图像校正方法还包括将不模糊的图像通过显示器40输出到使用者的操作S180。
如以上阐述的,在图像校正电路和图像校正方法中,为了除去由于透镜10未运动为与相机模块1的运动对应而导致的模糊,使用运动控制数据与位置数据之间的误差估计点分布函数,并对估计的点分布函数应用反卷积算法。
由于运动控制数据和位置数据包括与三个轴方向有关的信息,因此,能够计算与误差有关的3D路径(或图像轨迹)。由于模糊被除去以在3D路径上准确地与运动对应,因此,可获得与现有技术的图像相比更清晰的图像。
通过硬件组件实现示出在图1中的用于执行在此关于图6描述的操作的装置、单元、模块、器件和其它组件(例如,运动传感器100、角速度传感器110、位置传感器120以及控制器200、第一处理器210、第二处理器220、显示器40、图像传感器50、光学驱动器20和光学驱动模块30)。硬件组件的示例包括控制器、传感器、生成器、驱动器和本领域普通技术人员知晓的任何其它电子组件。在一个示例中,通过一个或更多个处理器或计算机来实现硬件组件。通过一个或更多个处理元件(诸如逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或本领域普通技术人员知晓的能够以限定的方式响应并执行指令从而获得预期结果的装置的组合或任何其它装置)实现处理器或计算机。在一个示例中,处理器或计算机包括(或连接到)一个或更多个存储了通过处理器或计算机执行的指令或软件的存储器。通过处理器或计算机实现的硬件组件执行诸如操作系统(OS)和在OS上运行的一个或更多个软件应用的软件或指令以执行在此关于图6描述的操作。硬件组件还响应于指令或软件的执行来存取、操作、处理、创建和存储数据。为简单起见,单数的术语“处理器”或“计算机”可用于描述这里所描述的示例,但在另外的示例中,使用了多个处理器或计算机,或者处理器或计算机包括多个处理元件或多种形式的处理元件,或者包括二者。在一个示例中,硬件组件包括多处理器,在另一示例中,硬件组件包括处理器和控制器。硬件组件具有任意一个或更多个不同的处理配置,其示例包括单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多重处理装置、单指令多数据(SIMD)多重处理装置、多指令单数据(MISD)多重处理装置和多指令多数据(MIMD)多重处理装置。
通过如上所述的执行指令或软件的处理器或计算机来执行在图6中示出的执行在此关于图1至图5描述的操作的方法,以执行在此所描述的操作。
为了单独或集体地指示或配置处理器或计算机作为机用计算机或专用计算机进行操作来执行通过如上所述的硬件组件和所述方法执行的操作,用于控制处理器或计算机以实现硬件组件以及执行在如上所述方法的指令或操作被写为计算机程序、代码段、指令或其任意组合。在一个示例中,指令或软件包括通过处理器或计算机直接执行的机器代码,诸如由编译器产生的机器代码。在另一示例中,指令或软件包括使用解释器通过处理器或计算机执行的高级别代码。本领域的普通程序员在理解本说明书之后,基于公开了执行通过如上所述的硬件组件和方法执行的操作的算法的附图中的框图和流程图以及说明书中的相应的描述,可容易地编写指令或软件。
用于控制处理器或计算机以实现如上描述的硬件组件并执行如上描述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构被记录、存储或固定在一个或更多个非暂时性计算机可读存储介质之中或之上。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘和本领域普通技术人员已知的能够以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并能够将指令或软件以及任何相关联的数据、数据文件和数据结构提供到处理器或计算机以使处理器或计算机能执行指令的任何装置。在一个示例中,指令或软件以及任何相关联的数据、数据文件和数据结构分布在连接互联网的计算机系统上,以便通过处理器或计算机以分布式方式存储、访问和执行指令和软件以及任何相关联的数据、数据文件和数据结构。
虽然本公开包含特定的示例,但是对于本领域普通技术人员将清楚的是,在没有脱离权利要求和它们的等同物的精神和范围的情况下,可以在形式上和细节上对这些示例做各种变化。这里所描述的示例将仅被理解为描述性含义,而非出于限制的目的。在每个示例中的特征或方面的描述将被认为是可适用于其它示例中的相似特征或方面。如果以不同的顺序执行描述的技术,和/或如果以不同的方式组合描述的系统、构造、装置或者电路中的组件和/或用其它组件或者它们的等同物来替换或者补充描述的系统、构造、装置或者电路中的组件,则可以获得适当的结果。因此,本公开的范围不是由具体实施方式限定的,而是由权利要求和它们的等同物限定,并且在权利要求和它们的等同物的范围内的所有变型将被解释为包含于本公开中。

Claims (16)

1.一种图像校正电路,包括:
运动传感器,被构造为在捕捉图像的过程中生成与相机模块的运动对应的运动数据;
控制器,被构造为在使用所述运动数据对图像进行后期校正以除去由相机模块的运动导致的图像的模糊。
2.根据权利要求1所述的图像校正电路,其中,所述运动传感器包括:
角速度传感器,被构造为基于相机模块的运动生成代表角速度变化的角速度数据;
位置传感器,被构造为根据检测透镜的位置而生成透镜的位置数据。
3.根据权利要求2所述的图像校正电路,其中,所述控制器被构造为通过根据对角速度数据积分获得的角度确定透镜的运动方向和运动距离来生成运动控制数据。
4.根据权利要求3所述的图像校正电路,其中,所述控制器被构造为使用运动控制数据和位置数据之间的误差除去图像的模糊。
5.根据权利要求4所述的图像校正电路,其中,所述控制器被构造为通过比较运动控制数据与位置数据来检测误差,并计算与误差有关的图像轨迹,所述图像轨迹包括关于三个轴方向的信息。
6.根据权利要求5所述的图像校正电路,其中,所述控制器被构造为基于图像轨迹来估计点分布函数,并通过对点分布函数应用反卷积而从图像除去模糊。
7.根据权利要求2所述的图像校正电路,其中,所述控制器包括:
第一处理器,被构造为使用通过对角速度数据积分计算的角度来生成包括关于透镜的运动方向和运动距离的信息的运动控制数据;
第二处理器,被构造为使用通过比较运动控制数据和位置数据获得的差值来检测误差,根据与误差对应的坐标生成图像轨迹,并对基于图像轨迹估计的点分布函数应用反卷积。
8.根据权利要求2所述的图像校正电路,其中,所述位置传感器包括:
第一霍尔传感器,被构造为感测透镜的在x轴上的位置;
第二霍尔传感器,被构造为感测透镜的在y轴上的位置;
第三霍尔传感器,被构造为感测透镜的在z轴上的位置。
9.一种图像校正方法,包括:
执行数据生成操作,包括在图像捕捉期间根据相机模块的运动生成包括透镜的运动控制数据和关于透镜的位置信息的位置数据;
执行模糊除去操作,包括在使用运动控制数据和位置数据对图像进行后期校正以除去由相机模块的运动导致的图像的模糊。
10.根据权利要求9所述的图像校正方法,其中,执行数据生成操作还包括:
生成代表相机模块运动的角速度变化的角速度数据;
通过对角速度数据积分计算角度,并基于计算的角度通过确定透镜的运动方向和运动距离来生成运动控制数据;
检测透镜的位置以生成位置数据。
11.根据权利要求9所述的图像校正方法,其中,执行模糊除去操作还包括:
检测位置数据与运动控制数据之间的误差,以计算误差路径;
基于误差路径估计点分布函数;
通过对点分布函数应用反卷积除去图像的模糊。
12.根据权利要求11所述的图像校正方法,其中,
检测误差包括使用通过比较运动控制数据与位置数据获得的差值来检测误差;
计算误差路径包括根据与误差对应的坐标检测三维路径。
13.一种相机模块,包括:
图像传感器,被构造为捕捉图像;
控制器,被构造为:
在捕捉图像的过程中接收与相机模块的运动对应的运动数据,
在使用运动数据对图像进行后期校正以除去由相机模块的运动导致的图像的模糊。
14.根据权利要求13所述的相机模块,其中,所述运动数据包括基于相机模块的运动的代表角速度变化的角速度数据以及透镜的位置数据。
15.根据权利要求14所述的相机模块,其中:
所述控制器被构造为通过根据对角速度数据积分获得的角度确定透镜的运动方向和运动距离来生成运动控制数据;
所述控制器被构造为使用运动控制数据与位置数据之间的误差除去图像的模糊。
16.根据权利要求15所述的相机模块,其中,所述控制器被构造为:
计算与误差有关的图像轨迹,所述图像轨迹包括与三个轴方向有关的信息;
基于图像轨迹估计点分布函数;
通过对点分布函数应用反卷积而从图像除去模糊。
CN201610239667.6A 2015-05-29 2016-04-18 图像校正电路、图像校正方法及相机模块 Pending CN106210505A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150076496A KR20160140193A (ko) 2015-05-29 2015-05-29 영상 보정 회로 및 그 보정 방법
KR10-2015-0076496 2015-05-29

Publications (1)

Publication Number Publication Date
CN106210505A true CN106210505A (zh) 2016-12-07

Family

ID=57399424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610239667.6A Pending CN106210505A (zh) 2015-05-29 2016-04-18 图像校正电路、图像校正方法及相机模块

Country Status (3)

Country Link
US (1) US20160353027A1 (zh)
KR (1) KR20160140193A (zh)
CN (1) CN106210505A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993274A (zh) * 2017-12-29 2019-07-09 深圳云天励飞技术有限公司 人工智能计算装置及相关产品
CN113139949A (zh) * 2021-04-30 2021-07-20 逻腾(杭州)科技有限公司 一种机器人图像模糊度检测方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018025659A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
US10992984B2 (en) * 2017-03-31 2021-04-27 Cae Inc. Multiple data sources of captured data into single newly rendered video feed
US20180316840A1 (en) * 2017-05-01 2018-11-01 Qualcomm Incorporated Optical image stabilization devices and methods for gyroscope alignment
KR102360412B1 (ko) * 2017-08-25 2022-02-09 엘지디스플레이 주식회사 영상 생성 방법과 이를 이용한 표시장치
JP7116639B2 (ja) * 2018-08-30 2022-08-10 株式会社タムロン 像振れ補正装置、及びそれを備えたレンズユニット、撮像装置、並びに像振れ補正方法
CN113538294B (zh) * 2021-08-20 2023-09-12 西安交通大学 一种消除图像运动模糊的方法及系统
CN116358562B (zh) * 2023-05-31 2023-08-01 氧乐互动(天津)科技有限公司 消毒操作轨迹检测方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1732406A (zh) * 2002-12-25 2006-02-08 株式会社尼康 抖动校正相机系统
CN1870715A (zh) * 2005-05-26 2006-11-29 三洋电机株式会社 手抖动校正装置
CN101895682A (zh) * 2009-05-21 2010-11-24 佳能株式会社 图像处理装置及图像处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3466895B2 (ja) * 1997-12-12 2003-11-17 キヤノン株式会社 振れ補正装置、撮像装置、撮像システム、カメラユニット、及びレンズユニット
US7650178B2 (en) * 2004-04-30 2010-01-19 University Of Basel Magnetic field sensor-based navigation system to track MR image-guided interventional procedures
KR101575630B1 (ko) 2009-03-17 2015-12-08 삼성전자주식회사 손떨림 보정장치
US8180209B2 (en) * 2010-05-19 2012-05-15 Eastman Kodak Company Determining camera activity from a steadiness signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1732406A (zh) * 2002-12-25 2006-02-08 株式会社尼康 抖动校正相机系统
CN1870715A (zh) * 2005-05-26 2006-11-29 三洋电机株式会社 手抖动校正装置
CN101895682A (zh) * 2009-05-21 2010-11-24 佳能株式会社 图像处理装置及图像处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993274A (zh) * 2017-12-29 2019-07-09 深圳云天励飞技术有限公司 人工智能计算装置及相关产品
CN113139949A (zh) * 2021-04-30 2021-07-20 逻腾(杭州)科技有限公司 一种机器人图像模糊度检测方法

Also Published As

Publication number Publication date
KR20160140193A (ko) 2016-12-07
US20160353027A1 (en) 2016-12-01

Similar Documents

Publication Publication Date Title
CN106210505A (zh) 图像校正电路、图像校正方法及相机模块
WO2020259106A1 (zh) 相机和惯性测量单元相对姿态的标定方法及装置
CN105654464B (zh) 图像处理装置及图像处理方法
EP3443736B1 (en) Method and apparatus for video content stabilization
TWI421616B (zh) 使用光學運動感測器作為迴轉儀之成像裝置
Joshi et al. Image deblurring using inertial measurement sensors
CN107113420B (zh) 利用单个像机的三维成像
Rehder et al. Camera/IMU calibration revisited
CN101551572B (zh) 照相装置
JP6285955B2 (ja) 別個のコンピュータ視覚ベース姿勢および慣性センサベース姿勢の表示
CN108828874A (zh) 照相机模块及其光学元件的位置控制方法
JP2020532772A (ja) 標的要素の位置を特定するためのマシンビジョンシステムおよび方法
CN106842771A (zh) 致动器驱动装置和包括该致动器驱动装置的相机模块
CN105049682B (zh) 数字照相系统及用于控制该数字照相系统的方法
US11042984B2 (en) Systems and methods for providing image depth information
CN108632596A (zh) 摄影装置及摄影装置的操作方法
US10412306B1 (en) Optical image stabilization method and apparatus
JP6098873B2 (ja) 撮像装置および画像処理装置
CN106060375B (zh) 数字拍摄设备和控制方法
US8111293B2 (en) Photographic apparatus
CN107370937A (zh) 摄影装置及其操作方法、非挥发性计算机可读取记录媒体
JPWO2010055809A1 (ja) 撮像装置の調整方法および撮像装置
CN106254771A (zh) 拍摄防抖方法、装置和移动终端
JP2012163824A (ja) ブレ補正装置及び光学機器
JP2006115346A (ja) 撮像装置および手ぶれ補正方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161207

WD01 Invention patent application deemed withdrawn after publication