CN103218804B - 图像处理装置、图像处理方法和图像处理系统 - Google Patents
图像处理装置、图像处理方法和图像处理系统 Download PDFInfo
- Publication number
- CN103218804B CN103218804B CN201210511508.9A CN201210511508A CN103218804B CN 103218804 B CN103218804 B CN 103218804B CN 201210511508 A CN201210511508 A CN 201210511508A CN 103218804 B CN103218804 B CN 103218804B
- Authority
- CN
- China
- Prior art keywords
- pixel
- region
- image
- optical filter
- rectangular area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
Abstract
本发明提供了一种图像处理装置、图像处理方法和图像处理系统。该图像处理装置包括:获得部、第一提取部、第二提取部、设置部、滤光片设置部、生成部和判定部。获得部获得包括有核的目标细胞的测试体的捕获图像。第一提取部从捕获图像中包括的像素提取作为核的候补的像素。第二提取部提取作为目标细胞的候补的连接像素群。设置部在捕获图像中设置矩形区域。滤光片设置部设置滤光片。生成部生成图像特征值。判定部基于生成的图像特征值是否满足图像特征值条件判定矩形区域中是否包括目标细胞。图像特征值条件是预先确定的。
Description
技术领域
本发明涉及一种图像处理装置、图像处理方法和图像处理系统。
背景技术
在胎儿出生之前对胎儿进行诊断的情况下,已经利用了母血中包括的少量有核红细胞(NRBC,下面称为“目标细胞”)。因为母血中包括的NRBC的数目非常少,因此难以进行NRBC的目视检测。为此,如日本专利No.4346923中所描述的,已经提出了下述技术:通过针对具有符合用于例如NRBC的颜色、形状、位置关系以及面积比率的条件的细胞搜索目标图像来机械地检测NRBC。
发明内容
因此,本发明的目的在于提供一种图像处理装置、图像处理方法和图像处理系统,在通过图像处理针对目标细胞搜索有核的目标细胞的捕获图像的情况下,所述图像处理装置、图像处理方法和图像处理系统不容易受到目标细胞的各测试体之间的差异或者图像捕获条件之间的差异等等的影响。
根据本发明的第一方面,提供了一种图像处理装置,该图像处理装置包括:获得部、第一提取部、第二提取部、设置部、滤光片设置部、生成部和判定部。获得部获得包括有核的目标细胞的测试体的捕获图像。第一提取部从捕获图像中包括的像素提取作为核的候补的像素。第二提取部从其中由第一提取部提取的像素中的相邻像素彼此连接的连接像素群提取作为目标细胞的候补的连接像素群。设置部在捕获图像中设置矩形区域。每个矩形区域是其中心位于由第二提取部提取的连接像素群中包括的像素处并且具有给定大小的区域。滤光片设置部设置滤光片,该滤光片包括第1至第N区域并且被构造为第i区域没有延伸到第(i+1)区域之外,其中N是等于或大于2的整数并且i是1至N-1的范围内的任何整数。在由滤光片设置部设置的滤光片被布置在由设置部设置的每个矩形区域中的情况下,生成部基于滤光片的奇数编号的区域中包括的像素的像素值的总和与滤光片的偶数编号的区域中包括的像素的像素值的总和之间的差生成图像特征值。判定部基于由生成部生成的图像特征值是否满足用于图像特征值的图像特征值条件判定矩形区域中是否包括目标细胞。图像特征值条件是预先确定的。
根据本发明的第二方面,在根据第一方面的图像处理装置中,滤光片设置部基于由第二提取部提取的连接像素群的大小和对于该连接像素群由设置部设置的矩形区域中的每一个的大小设置第1区域和第N区域的大小。
根据本发明的第三和第四方面中的每一个方面,根据第一和第二方面中的对应一个的图像处理装置进一步包括计算部。该计算部将由设置部设置的每个矩形区域分为预先判定的部分区域,基于每个部分区域中包括的像素中的每一个处的强度梯度方向计算特征值,并且基于对于所述部分区域计算的特征值计算矩形区域的第二图像特征值。在由滤光片设置部设置的滤光片被布置在由设置部设置的每个矩形区域中的情况下,生成部基于滤光片的奇数编号的区域中包括的像素的像素值的总和与滤光片的偶数编号的区域中包括的像素的像素值的总和之间的差生成第一图像特征值。判定部基于第一图像特征值和第二图像特征值中的每一个是否满足用于第一图像特征值的图像特征值条件和用于第二图像特征值的图像特征值条件中的对应的一个来判定所述矩形区域中是否包括目标细胞。每个图像特征值条件是预先确定的。
根据本发明的第五和第六方面中的每一个,根据第一和第二方面中的对应一个的图像处理装置进一步包括计算部。该计算部将由设置部设置的每个矩形区域分为预先判定的部分区域,基于每个部分区域中包括的像素中的每一个处的强度梯度方向计算特征值,并且基于对于所述部分区域计算的特征值计算矩形区域的第二图像特征值。在由滤光片设置部设置的滤光片被布置在由设置部设置的每个矩形区域中的情况下,生成部基于基于滤光片的奇数编号的区域中包括的像素的像素值的总和与滤光片的偶数编号的区域中包括的像素的像素值的总和之间的差的第一图像特征值并且基于对于矩形区域由计算部计算的第二图像特征值生成第三图像特征值。判定部基于第三图像特征值是否满足用于第三图像特征值的图像特征值条件来判定所述矩形区域中是否包括目标细胞。图像特征值条件是预先确定的。
根据本发明的第七方面,在根据第一至第六方面中的任一个的图像处理装置中,通过基于目标细胞的正例和反例进行机器学习来学习图像特征值条件。
根据本发明的第八方面,提供了一种图像处理方法,该图像处理方法包括下述步骤:获得包括有核的目标细胞的测试体的捕获图像;从捕获图像中包括的像素提取作为核的候补的像素;从其中提取的像素中的相邻像素彼此连接的连接像素群提取作为目标细胞的候补的连接像素群;在捕获图像中设置矩形区域,每个矩形区域是其中心位于提取的连接像素群中包括的像素处并且具有给定大小的区域;设置滤光片,该滤光片包括第1至第N区域并且被构造为第i区域没有延伸到第(i+1)区域之外,其中N是等于或大于2的整数并且i是1至N-1的范围内的任何整数;在滤光片被布置在每一个设置的矩形区域中的情况下,基于滤光片的奇数编号的区域中包括的像素的像素值的总和与滤光片的偶数编号的区域中包括的像素的像素值的总和之间的差生成图像特征值;以及基于生成的图像特征值是否满足用于图像特征值的图像特征值条件判定矩形区域中是否包括目标细胞。图像特征值条件是预先确定的。
根据本发明的第九方面,提供了一种图像处理系统,该图像处理系统包括:图像处理装置、光学显微镜和显示装置。光学显微镜连接到图像处理装置。显示装置连接到图像处理装置。图像处理装置包括:获得部、第一提取部、第二提取部、设置部、滤光片设置部、生成部、判定部和使得显示装置显示矩形区域的单元。获得部从光学显微镜获得包括有核的目标细胞的测试体的捕获图像。第一提取部从捕获图像中包括的像素提取作为核的候补的像素。第二提取部从其中由第一提取部提取的像素中的相邻像素彼此连接的连接像素群提取作为目标细胞的候补的连接像素群。设置部在捕获图像中设置矩形区域。每个矩形区域是其中心位于由第二提取部提取的连接像素群中包括的像素处并且具有给定大小的区域。滤光片设置部设置滤光片,该滤光片包括第1至第N区域并且被构造为第i区域没有延伸到第(i+1)区域之外,其中N是等于或大于2的整数并且i是1至N-1的范围内的任何整数。在由滤光片设置部设置的滤光片被布置在由设置部设置的每个矩形区域中的情况下,生成部基于滤光片的奇数编号的区域中包括的像素的像素值的总和与滤光片的偶数编号的区域中包括的像素的像素值的总和之间的差生成图像特征值。判定部基于由生成部生成的图像特征值是否满足用于图像特征值的图像特征值条件判定矩形区域中是否包括目标细胞。图像特征值条件是预先确定的。使得显示装置显示矩形区域的单元使得显示装置显示矩形区域中已经由判定部判定为包括目标细胞的区域的矩形区域。
在通过图像处理针对目标细胞搜索有核的目标细胞的捕获图像的情况下,根据第一方面的图像处理装置不容易受到目标细胞的各测试体之间的差异或者图像捕获条件之间的差异等等的影响。
在根据第二方面的图像处理装置中,通过利用根据作为目标细胞的候补的连接像素群的大小设置的滤光片能够获得连接像素群的图像特征。
与没有使用第一图像特征值和第二图像特征值的情况相比,根据第三和第四方面中的任一个的图像处理装置能够以高准确性检测目标细胞。
与没有使用基于第一图像特征值和第二图像特征值的图像特征值的情况相比,根据第五和第六方面中的任一个的图像处理装置能够以高准确性检测目标细胞。
与没有执行基于目标细胞的正例和反例的机器学习的情况相比,根据第七方面的图像处理装置能够以高准确性检测目标细胞。
在通过图像处理针对目标细胞搜索有核的目标细胞的捕获图像的情况下,根据第八方面的图像处理方法和根据第九方面的图像处理系统不容易受到目标细胞的各测试体之间的差异或者图像捕获条件之间的差异等等的影响。
附图说明
将基于下面的附图详细描述本发明的示例性实施方式,其中:
图1是根据本示例性实施方式的图像处理系统的系统构成图;
图2是图像处理装置的功能框图;
图3是示出测试体(母血)的已经由光学显微镜捕获的捕获图像的示例的图;
图4是示出作为核的候补的像素的示例的图;
图5是示出已经被提取作为目标细胞的候补的像素群的示例的图;
图6是示出已经在捕获图像中设置的判定对象区域的示例的图;
图7A至图7C是用于解释由正规化部执行的处理的流程的图;
图8A至图8D是用于解释由图像插值部执行的处理的流程的图;
图9A和图9B是示出滤光片的基本图案的示例的图;
图10包括示出改变滤光片的内部图案的大小的情况的示例的图;
图11包括示出改变滤光片的内部图案的位置坐标的情况的示例的图;
图12A和图12B是用于解释基于梯度方向直方图(HOG)的特征值的图;
图13是基于目标细胞的正例和反例执行的学习图像特征值的学习处理的流程图;
图14是针对目标细胞搜索已经由光学显微镜捕获的测试体(母血)的捕获图像的处理的流程图;
图15A是针对目标细胞搜索已经由光学显微镜捕获的测试体(母血)的捕获图像的处理的流程图;
图15B是针对目标细胞搜索已经由光学显微镜捕获的测试体(母血)的捕获图像的处理的流程图;
图15C是针对目标细胞搜索已经由光学显微镜捕获的测试体(母血)的捕获图像的处理的流程图;以及
图16是图像插值处理的流程图。
具体实施方式
下面,将参考附图描述根据本发明的示例性实施方式。
图1是根据本示例性实施方式的图像处理系统1的系统构成图。如图1中所示,图像处理系统1包括光学显微镜2、图像处理装置10和显示装置6。图像处理装置10连接到光学显微镜2和显示装置6使得能够在图像处理装置10与光学显微镜2和显示装置6中的每一个之间执行数据通信。
光学显微镜2经由诸如物镜4的光学系统使用电荷耦合器件(CCD)相机5捕获设置在布置在测试体台上的显微镜载片3上的测试体的图像。在本示例性实施方式中,已经施加到显微镜载片3并且进行了吉染色的母血用作测试体。因此,母血中包括的NRBC被染成蓝紫色。下面,每个NRBC将被称为“目标细胞”。
图像处理装置10获得已经由光学显微镜2捕获的捕获图像,并且针对目标细胞搜索已经获得的捕获图像。将在下面描述由图像处理装置10执行的搜寻目标细胞的处理的细节。
显示装置6显示基于由图像处理装置10执行的处理的结果的画面。例如,已经由光学显微镜2捕获的捕获图像、已经由图像处理装置10执行的搜寻目标细胞的处理的结果等等显示在显示装置6上。
图2是图像处理装置10的功能框图。如图2中所示,图像处理装置10包括捕获图像获得部12、预处理部14、核候补区域提取部16、目标细胞候补区域提取部18、判定对象区域设置部20、正规化部22、图像插值部24、特征值选择部26、第一特征值计算部28A、第二特征值计算部28B、第三特征值计算部28C、学习数据获得部30、学习部32、判定部34、目标细胞区域存储部36和结果输出部38。
关于图像处理装置10中包括的上述部中的每一个的功能,包括例如诸如中央处理单元(CPU)的控制器、存储器以及从外部装置接收数据/将数据发送到外部装置的输入/输出部的计算机可以读取和执行存储在计算机可读信息存储介质上的程序,从而实现所述功能。注意的是,程序可以使用诸如光盘、磁盘、磁带、磁光盘或闪存的信息存储介质提供给是计算机的图像处理装置10,或者可以经由诸如互联网的数据通信网络提供给图像处理装置10。
由光学显微镜2中包括的CCD相机5捕获测试体的图像,并且捕获图像获得部12从光学显微镜2获得捕获图像。
图3示出测试体(母血)的已经由光学显微镜2捕获并且已经由捕获图像获得部12获得的捕获图像的示例。在图3中所示的捕获图像中,已经染色为深颜色的有核的细胞是目标细胞。注意的是,目标细胞(NRBC)具有下述四个特征(参见2008年9月的the Journal ofthe Institute of Image Electronics Engineers of Japan第5期第37卷的AutomaticExtraction of Nucleated Red Cells from Large Number of MicroscopicImages)。关于NRBC的第一个特征,在每个NRBC中存在一个核,核的形状接近与正圆形,并且核具有高密度。关于第二个特征,通过吉染色法对NRBC的核进行染色使得NRBC的核的颜色比其它细胞的核的颜色略深。关于第三个特征,每个NRBC的面积、其核的面积以及每个NRBC的面积与其核的面积的比率处于特定范围内。关于第四个特征,每个NRBC的核的颜色密度与其细胞质的颜色密度之间的差异略大于其它细胞中的每一个的核的颜色密度与其细胞质的颜色密度之间的差异。
预处理部14执行对由捕获图像获得部12获得的捕获图像进行直方图均衡化、诸如使用主成份分析的颜色匹配或者使用均值滤波器或中值滤波器的处理的图像处理,从而对捕获图像执行颜色正规化或者噪声减少。
核候补区域提取部16从已经由预处理部14移除了噪声的捕获图像提取其颜色或颜色密度处于预定范围内的像素作为核候补区域。例如,核候补区域提取部16可以使用预定颜色(或颜色密度)的阈值对捕获图像中包括的像素进行二值化。更具体地,核候补区域提取部16可以提取其颜色(或颜色密度)高于阈值(或等于或高于阈值)的像素作为黑像素。
图4示出作为核的候补并且已经由核候补区域提取部16从图3中所示的捕获图像提取的像素的示例。如图4中所示,通过由核候补区域提取部16执行的处理从捕获图像提取作为核的候补的区域(像素)。
目标细胞候补区域提取部18从连接像素群提取具有满足预定条件的大小和形状的连接像素群作为是目标细胞的候补的像素群(目标细胞候补区域)。连接像素群是已经由核候补区域提取部16提取的作为核的候补的像素中的相邻像素彼此连接的像素群。例如,目标细胞候补区域提取部18对其中已经由核候补区域提取部16提取的作为核的候补的像素(黑像素)彼此连接的连接像素群(连接像素群1至n)执行标记。连接像素群1至n中的每一个由连接像素群i(其中i是1至n的范围内的整数)表示。目标细胞候补区域提取部18设置用于连接像素群i的外接矩形。然后,关于已经为连接像素群设置的外接矩形中的每一个的长度和宽度,外接矩形的长宽比以及外接矩形的黑像素密度,目标细胞候补区域提取部18提取其长度和宽度、比率以及黑像素密度的值均处于预定范围内的连接像素群作为目标细胞的候补。
图5示出已经从图4中所示的作为核的候补的像素中提取作为目标细胞的候补的像素群的示例。如图5中所示,通过由目标细胞候补区域提取部18执行的处理从核的候补中提取均可能是目标细胞的核的图像区域。
对于已经为由目标细胞候补区域提取部18提取的连接像素群设置的矩形区域(候补矩形区域)中的每一个,判定对象区域设置部20在捕获图像中设置其中心位于矩形区域中包括的像素处并且具有给定大小(例如,N个像素×M个像素)的矩形区域(判定对象区域)。例如,判定对象区域设置部20从候补矩形区域中包括的像素中选择一个像素,并且基于已经选择的该一个像素的位置坐标判定捕获图像中包括的对应像素。判定对象区域设置部20设置其中心位于已经判定的对应像素处并且具有给定大小的判定对象区域。注意的是,判定对象区域设置部20可以从候补矩形区域中包括的像素中一个接一个地顺序选择像素,并且可以对于每个选择的像素设置判定对象区域。
图6示出已经由判定对象区域设置部20在捕获图像中设置的判定对象区域的示例。如图6中所示,设置了其中心位于候补矩形区域中包括的一个像素处的判定对象区域。
正规化部22执行旋转由判定对象区域设置部20设置的判定对象区域中包括的图像的处理,从而该图像的方向将取向为预定方向。例如,正规化部22获得判定对象区域中包括的二值化图像的重心的位置并且计算取向为预定方向(例如,向上方向)所需的旋转角度、通过在判定对象区域的中心位置与获得的重心的位置之间连接获得的方向矢量。然后,正规化部22将判定对象区域中包括的图像(捕获图像的部分图像)旋转计算出的旋转角度。注意的是,可以不需要执行由正规化部22执行的处理。
图7A至图7C是用于解释由正规化部22执行的处理的流程的图。图7A示出了已经在捕获图像中设置的判定对象区域。图7B示出了判定对象区域中包括的二值化图像。图7C示出了通过将图7A中所示的捕获图像旋转将图7B中所示的方向矢量取向为向上方向所需的旋转角度θ并且通过对应于判定对象区域切割捕获图像获得的图像。
关于图像插值部24,当捕获图像的边缘包括在由判定对象区域设置部20设置的判定对象区域中时,图像插值部24对判定对象区域中包括的图像进行插值。例如,图像插值部24扩展判定对象区域使得判定对象区域将具有预定大小(2M个像素×2M个像素)。之后,图像插值部24将与扩展后的判定对象区域中包括的二值化图像关联的平行于捕获图像的边缘的线段中的最长的线段设置为中心线。然后,图像插值部24计算从设置的中心线到捕获图像的边缘的距离L。图像插值部24在扩展后的判定对象区域中将部分区域从相对于中心线的捕获图像的边缘面对的判定对象区域的边缘移动到相对于中心线对称的位置,从而对判定对象区域中包括的图像进行插值。所述部分区域由垂直于中心线的方向上的(M-L)个像素×平行于中心线的方向上的2M个像素构成。
图8A至图8D是用于解释由图像插值部24执行的处理的流程的图。图8A是由判定对象区域设置部20设置的判定对象区域的示例。如图8A中所示,捕获图像的边缘包括在判定对象区域中。在该情况下,如图8B中所示,图像插值部24将判定对象区域扩展为该判定对象区域将具有2M个像素×2M个像素的大小。之后,图像插值部24将与判定对象区域中包括的二值化图像关联的平行于捕获图像的边缘的线段中的最长的线段的位置设置为中心线。接下来,图像插值部24计算中心线与捕获图像的边缘之间的距离L(参见图8C)。图8D示出了下述图,其中,图像插值部24在扩展后的判定对象区域中将部分区域从相对于中心线的捕获图像的边缘面对的判定对象区域的边缘移动到相对于中心线对称的位置并且图像插值部24已经将部分区域结合到判定对象区域。该部分区域由垂直于中心线的方向上的(M-L)个像素×平行于中心线的方向上的2M个像素构成。注意的是,将与判定对象区域结合的部分区域可以相对于中心线反转。
特征值选择部26选择将在学习处理和识别处理中使用的图像特征值。例如,特征值选择部26可以选择将在下面描述的第一至第三图像特征值中的至少一个。可以基于用户的指定来执行图像特征值的选择,或者可以预先判定将要利用的图像特征值。下面,将描述第一至第三图像特征值中的每一个的细节。
第一特征值计算部28A计算用于由判定对象区域设置部20设置的判定对象区域中包括的图像(其可以是已经由正规化部进行了正规化处理的图像或者可以是还没有进行正规化处理的图像)的第一图像特征值(基于Haar-Like特征的特征值,下面称为“Haar-Like特征值”)。例如,第一特征值计算部28A可以将Z个滤光片(其中Z为自然数)布置在判定对象区域中,并且可以生成Z维特征矢量作为第一图像特征值。Z维特征值具有在布置了各滤光片的情况下获得的Z个特征值作为元素。下面,将描述由第一特征值计算部28A使用的Z个滤光片的构造的示例。
在本示例性实施方式中,第一特征值计算部28A可以通过改变(1)滤光片的基本图案的设置、(2)每个滤光片的内部图案的大小的设置和(3)每个滤光片的内部图案的位置坐标的设置来构造Z个滤光片。
首先,将描述滤光片的基本图案的设置(1)。图9A和图9B示出滤光片的基本图案的示例。在本示例性实施方式中,如图9A和图9B中所示,滤光片的基本图案的示例包括图9A中所示的第一基本图案和图9B中所示的第二基本图案。通过将黑区域布置在矩形滤光片内以及通过将具有矩形框架形状的白区域布置在黑区域外部来构造第一基本图案。通过将黑区域布置在矩形滤光片内并且通过交替地布置白区域、黑区域以及位于黑区域外部的具有矩形框架形状的白区域来构造第二基本图案。注意的是,根据图3中所示的目标细胞的图像特征来判定滤光片的基本图案的形状。图9A中所示的黑区域对应于核区域,并且图9B中所示的黑区域对应于核区域以及细胞膜。在每个基本图案中,关于黑区域和与黑区域相邻的白区域,黑区域的外边缘的一部分以及白区域的外边缘的一部分可以彼此接触。
这里,可以通过反转图9A和图9B中所示的滤光片中包括的黑区域和白区域来构造滤光片。注意的是,在本示例性实施方式中,关于滤光片的基本图案,提供了其中滤光片被构造为矩形滤光片的示例。然而,每个滤光片以及布置在滤光片中的白区域和黑区域均可以具有另外的形状,例如,包括矩形的多边形形状或者椭圆形状。
接下来,将描述(2)每个滤光片的内部图案的大小的设置的示例。第一特征值计算部28A计算由核候补区域提取部16提取的核候补区域中的每一个的大小与由判定对象区域设置部20对于核候补区域设置的对应的判定对象区域的大小的比率(α)。第一特征值计算部28A基于计算出的比率(α)设置布置在矩形滤光片内的黑区域的大小与矩形滤光片的大小的比率的范围(从β到γ)。例如,假设a是等于或小于1的系数,并且b是大于1的系数,可以使用等式β=a·α和γ=b·α.来计算β和γ。例如,可以假设满足等式a/b=1/10。注意的是,大小与大小的比率可以是矩形的边长度之间的比率或面积之间的比率。
图10示出改变矩形滤光片的内部图案的大小的情况的示例。如图10中所示,当假设矩形滤光片的一边的长度为1时,黑矩阵的一边的长度可以在1/γ至1/β的范围内改变。布置在位于中心的黑区域外部的黑区域的外周和内周的大小可以设置在1/β至1的范围内。
接下来,将描述(3)每个滤波器的内部图案的位置坐标的设置的示例。第一特征值计算部28A可以通过改变布置在矩形滤光片内部的黑区域的位置坐标使得黑区域没有超出矩形滤光片来构造矩形滤光片。这里,图11示出改变滤光片的内部图案的位置坐标的情况的示例。注意的是,关于设置在滤光片内部的黑区域,黑区域可以布置为从能够布置黑区域的区域的边缘开始以预定间隔改变黑区域的位置,或者可以布置在其中能够布置黑区域的区域中的预定位置(例如,居中、靠左对齐或者靠右对齐)。
第一特征值计算部28A生成具有其中已经改变了上述设置(1)至(3)中的至少一个的构造的不同的Z个滤光片(Z个滤光片中的每一个由Fi表示,其中i是1至Z的范围内的整数)。另外,当第一特征值计算部28A将生成的滤光片(Fi)布置在判定对象区域中时,第一特征值计算部28A计算包括在滤光片的黑区域中并且包括在判定对象区域中的各像素的像素值的和(Si)以及包括在滤光片的白区域中并且包括在判定对象区域中的各像素的像素值的和(Ti)。第一特征值计算部28A计算已经计算出的和Si与和Ti之间的差作为元素特征值Ci(由等式Ci=Si-Ti来表示)。然后,第一特征值计算部28A基于已经对于作为Z个滤光片中的每一个的滤光片Fi计算的元素特征值Ci计算C(由C1、C2、…和Cz构成)作为用于判定对象区域的第一图像特征值(Haar-Like特征值)。
第二特征值计算部28B计算由判定对象区域设置部20设置的判定对象区域中包括的图像(其可以是已经进行了由正规化部执行的正规化处理的图像或者可以是未进行正规化处理的图像)的第二图像特征值。例如,作为第二图像特征值,可以使用基于梯度方向直方图(HOG)的特征值(下面称为“HOG特征值”),或者可以使用其它值。
图12A和图12B是用于解释由第二特征值计算部28B计算的HOG特征值的图。如图12A中所示,判定对象区域被分为预定数目(例如,4×4)个部分区域。计算每个部分区域中包括的每个像素处的强度梯度方向。对于每个部分区域计算计算出的强度梯度方向的直方图。为部分区域计算出的直方图被彼此组合,从而获得HOG特征值。如图12B中所示,强度梯度方向可以例如为八个方向(上、右上、右下、右、下、左下、左和左上)。注意的是,在没有计算各部分区域的直方图的情况下,已经为各部分区域计算出的强度梯度方向可以彼此组合,从而生成第二图像特征值。这里,诸如Gabor滤波器的滤波器可以用于计算各部分区域的强度梯度方向。
第三特征值计算部28C计算由判定对象区域设置部20设置的判定对象区域中包括的图像(其可以是已经进行了由正规化部执行的正规化处理的图像或者可以是未进行正规化处理的图像)的第三图像特征值。例如,第三图像特征值可以通过组合第一图像特征值(Haar-Like特征值)和第二图像特征值(HOG特征值)来生成。更具体地,可以生成包括第一图像特征值的元素(Z1个元素)和第二图像特征值的元素(Z2个元素)的矢量(由Z1+Z2个元素构成的矢量)作为第三图像特征值。
学习数据获得部30获得目标细胞的正例和反例的样本图像,并且获得每个获得的正例和反例的第一至第三图像特征值。例如,学习数据获得部30可以使用第一特征值计算部28A、第二特征值计算部28B和第三特征值计算部28C中的每一个对于每个样本图像计算图像特征值中对应的一个以获得计算结果。或者,学习数据获得部30可以获得预先计算的第一至第三图像特征值。
学习部32基于已经由学习数据获得部30获得的各正例和反例的第一至第三图像特征值学习将用于识别第一至第三图像特征值以便于将目标细胞彼此区分的条件(标准)。注意的是,可以使用诸如支持向量机或自适应增强(Adaboost)的学习算法来执行学习处理。例如,当使用支持向量机用于学习处理时,由匹配目标细胞的图像特征值和不匹配目标细胞的图像特征值彼此分离的超平面表示将要学习的用于每个图像特征值的条件。注意的是,学习部32基于用于各正例和反例的第一图像特征值学习第一识别器,基于用于各正例和反例的第二图像特征值学习第二识别器并且基于用于各正例和反例的第三图像特征值学习第三识别器。
判定部34基于由第一特征值计算部28A、第二特征值计算部28B和第三特征值计算部28C计算的第一至第三图像特征值是否满足第一至第三图像特征值的已经由学习部32学习的并且用于识别第一至第三图像特征值以便于将目标细胞彼此区分的条件来判定判定对象区域中包括的图像是否表示目标细胞。下面,将描述由判定部34执行的处理的具体示例。可以预先判定将采用哪种判定标准,或者可以通过接受由用户做出的选择来判定采用哪种判定标准。
在第一示例中,判定部34基于为判定对象区域计算的第一图像特征值是否满足已经由学习部32学习的用于识别第一图像特征值以便于将目标细胞彼此区分的第一图像特征值的条件来判定判定对象区域中包括的图像是否表示目标细胞。
在第二示例中,判定部34基于为判定对象区域计算的第二图像特征值是否满足已经由学习部32学习的用于识别第二图像特征值以便于将目标细胞彼此区分的第二图像特征值的条件来判定判定对象区域中包括的图像是否表示目标细胞。
在第三示例中,判定部34基于为判定对象区域计算的第三图像特征值是否满足已经由学习部32学习的用于识别第三图像特征值以便于将目标细胞彼此区分的第三图像特征值的条件来判定判定对象区域中包括的图像是否表示目标细胞。
在第四示例中,判定部34基于为判定对象区域计算的第一和第二图像特征值是否都满足已经由学习部32学习的用于识别第一和第二图像特征值以便于将目标细胞彼此区分的第一和第二图像特征值的条件来判定判定对象区域中包括的图像是否表示目标细胞。
在第五示例中,判定部34基于为判定对象区域计算的第一和第二图像特征值中的任一个是否满足已经由学习部32学习的用于识别第一和第二图像特征值以便于将目标细胞彼此区分的第一和第二图像特征值的条件来判定判定对象区域中包括的图像是否表示目标细胞。
目标细胞区域存储部36存储捕获图像中包括的对应于已经由判定部34判定为包括目标细胞的区域的判定对象区域的坐标范围。注意的是,目标细胞区域存储部36可以存储其中已经被判定为包括目标细胞的区域的多个判定对象区域彼此交叠的部分作为其中存在目标细胞的区域。
结果输出部38输出基于包括在捕获图像中并且存储在目标细胞区域存储部36中的坐标范围的结果。例如,结果输出部38可以执行使得显示装置6显示对应于包括在捕获图像中并且存储在目标细胞区域存储部36中的坐标范围的图像的处理,或者可以执行将光学显微镜2的图像捕获位置移动到所述坐标范围的处理。
接下来,将参考图13、图14、图15A至图15C以及图16的流程图顺序地描述由图像处理装置10执行的处理的流程的示例。
图13是基于目标细胞的正例和反例执行的学习图像特征值的学习处理的流程图。
图像处理装置10获得目标细胞的正例的图像(S101)。图像处理装置10根据获得的正例的图像计算第一至第三图像特征值中的每一个,并且生成关于正例的学习数据(S102)。
接下来,图像处理装置10获得目标细胞的反例的图像(S103)。图像处理装置10根据获得的反例的图像计算第一至第三图像特征值中的每一个,并且生成关于反例的学习数据(S104)。
图像处理装置10基于关于正例的学习数据(第一至第三图像特征值)和关于反例的学习数据(第一至第三图像特征值)学习识别目标细胞的各第一至第三图像特征值的第一至第三识别器的各状态(模型参数)(S105)。图像处理装置10存储学习的模型参数(S106),并且结束学习处理。
接下来,将参考图14和图15A至图15C的流程图描述用于针对目标细胞搜索测试体(母血)的已经由光学显微镜2捕获的捕获图像的处理。
如图14中所示,图像处理装置10获得母血的由光学显微镜2捕获的捕获图像(S201)。图像处理装置10对已经获得的捕获图像执行诸如使用中值滤波器的处理的预处理(S202)。然后,图像处理装置10对于已经进行了预处理的捕获图像生成其中其颜色(例如,RGB值)处于预定范围内的像素为1(黑像素)并且其它像素为0(白像素)的二值化图像(S203)。这里,二值化图像中包括的黑像素表示核候补区域。
图像处理装置10通过将二值化图像中包括的黑像素中的相邻像素彼此连接而生成连接像素群,并且对连接像素群执行标记(S204)。
图像处理装置10选择已经进行了标记的连接像素群中的一个(S205,其中,由Li表示这里已经选择的连接像素群并且i的初始值为1)。图像处理装置10判定为连接像素群Li设置的外接矩形的大小和形状是否满足作为目标细胞的候补的连接像素群的外接矩形应该满足的条件(S206)。当在S206中判定外接矩形的大小和形状满足条件(S206中为是)时,图像处理装置10将该连接像素群Li设置为目标细胞的搜索对象区域(S207)。当在S206中判定外接矩形的大小和形状不满足条件(S206中为否)时,图像处理装置10不将该连接像素群Li设置为目标细胞的搜索对象区域(S208)。当在连接像素群中剩余还没有被选择的连接像素群(S209中为是)时,图像处理装置10递增i(S210),并且返回到S206。此外,当没有剩余还没有被选择的连接像素群(S209中为否)时,在采用根据第一至第三示例的判定标准(S211中的A)时,图像处理装置前进到A(图15A中所示的流程)。在采用根据第四示例的判定标准(S211中的B)时,图像处理装置前进到B(图15B中所示的流程)。在采用根据第五示例的判定标准(S211中的C)时,图像处理装置前进到C(图15C中所示的流程)。下面,将顺序地描述图15A至图15C中所示的流程。
首先,将描述图15A中所示的流程。
如图15A中所示,图像处理装置10选择已经设置的搜索对象区域(由A1至Am表示)中的一个(S301,其中,由Aj表示这里已经选择的搜索对象区域并且j的初始值为1)。之后,图像处理装置10选择搜索对象区域Aj的外接矩形中包括的像素中还没有被选择的一个像素(S302)。然后,图像处理装置10在捕获图像中设置其中心位于所选择的像素处并且具有给定大小的矩形区域(具有大小S的判定对象区域,其中大小S的初始值为Smin)(S303)。图像处理装置10对对应于已经设置的判定对象区域的图像的方向进行正规化(S304)。当从判定对象区域的中心到捕获图像的边缘的距离短于阈值时(即,当判定对象区域被在捕获图像的边缘处切割时),图像处理装置10执行图像插值处理(S305)。将在下面描述图像插值处理的流程的细节。
在执行了上述处理之后,图像处理装置10选择第一至第三图像特征值中将用于判定的一个图像特征值(S306)。这里,所选择的图像特征值由第k图像特征值来表示(其中,k是1至3的范围内的整数)并且描述如下。
在执行了上述处理之后,图像处理装置10计算已经设置的判定对象区域中包括的图像的第k图像特征值(S307)。图像处理装置10基于计算出的第k图像特征值和预先学习的识别目标细胞的第k图像特征值的第k识别器的模型参数判定判定对象区域中是否包括目标细胞(S308)。当判定判定对象区域中包括目标细胞(S308中为是)时,图像处理装置10存储包括在捕获图像中并且对应于判定对象区域的坐标范围(S309)。在S309之后或者当判定判定对象区域中没有包括目标细胞(S308中为否)时,在剩余了搜索对象区域Aj的外接矩形中包括的像素中未被处理的像素(S310中为是)的情况下,图像处理装置10返回到S302。在没有剩余未被处理的像素(S310中为否)的情况下,图像处理装置10判定判定对象区域的大小S是否已经达到Smax(>Smin)(S311)。当判定对象区域的大小S还没有达到Smax(S311中为否)时,大小S被增加ΔS(S312),并且图像处理装置10返回到S303。当判定对象区域的大小S已经达到Smax(S311中为是)时,图像处理装置10前进到S313。
当还没有处理所有搜索对象区域(S313中为否)时,图像处理装置10递增搜索对象区域Aj的j(S314),并且返回到S302。当所有搜索对象区域都已经被处理(S313中为是)时,图像处理装置10显示包括在捕获图像中并且被判定为包括目标细胞的范围的坐标范围(S315),并且结束处理。
接下来,将描述图15B中所示的流程。
如图15B中所示,图像处理装置10选择已经设置的搜索对象区域(由A1至Am表示)中的一个(S401,由Aj表示这里已经选择的搜索对象区域并且j的初始值为1)。之后,图像处理装置10选择搜索对象区域Aj的外接矩形中包括的像素中还没有被选择的一个像素(S402)。然后,图像处理装置10在捕获图像中设置其中心位于所选择的像素处并且具有给定大小的矩形区域(具有大小S的判定对象区域,其中大小S的初始值为Smin)(S403)。图像处理装置10对对应于已经设置的判定对象区域的图像的方向进行正规化(S404)。当从判定对象区域的中心到捕获图像的边缘的距离短于阈值时(即,当判定对象区域被在捕获图像的边缘处切割时),图像处理装置10执行图像插值处理(S405)。将在下面描述图像插值处理的流程的细节。
在执行了上述处理之后,图像处理装置10计算已经设置的判定对象区域中包括的图像的第一和第二图像特征值(S406)。然后,图像处理装置10基于计算出的第一图像特征值和预先学习的识别目标细胞的第一图像特征值的第一识别器的模型参数判定判定对象区域中是否包括目标细胞(S407)。当判定判定对象区域中包括目标细胞(S407中为是)时,图像处理装置10基于计算出的第二图像特征值和预先学习的识别目标细胞的第二图像特征值的第二识别器的模型参数判定判定对象区域中是否包括目标细胞(S408)。
当在S408中判定目标细胞包括在判定对象区域中(S408中为是)时,图像处理装置10存储包括在捕获图像中并且对应于判定对象区域的坐标范围(S409)。在S409之后或者当在S407或S408中判定判定对象区域中没有包括目标细胞(S407中为否或S408中为否)时,在剩余了搜索对象区域Aj的外接矩形中包括的像素中未被处理的像素(S410中为是)的情况下,图像处理装置10返回到S402。在没有剩余未被处理的像素(S410中为否)的情况下,图像处理装置10判定判定对象区域的大小S是否已经达到Smax(>Smin)(S411)。当判定对象区域的大小S还没有达到Smax(S411中为否)时,大小S被增加ΔS(S412),并且图像处理装置10返回到S403。当判定对象区域的大小S已经达到Smax(S411中为是)时,图像处理装置10前进到S413。
当还没有处理所有搜索对象区域(S413中为否)时,图像处理装置10递增搜索对象区域Aj的j(S414),并且返回到S402。当所有搜索对象区域都已经被处理(S413中为是)时,图像处理装置10显示包括在捕获图像中并且被判定为包括目标细胞的范围的坐标范围(S415),并且结束处理。
最终,将描述图15C中所示的流程。
如图15C中所示,图像处理装置10选择已经设置的搜索对象区域(由A1至Am表示)中的一个(S501,由Aj表示这里已经选择的搜索对象区域并且j的初始值为1)。之后,图像处理装置10选择搜索对象区域Aj的外接矩形中包括的像素中还没有被选择的一个像素(S502)。然后,图像处理装置10在捕获图像中设置其中心位于所选择的像素处并且具有给定大小的矩形区域(具有大小S的判定对象区域,其中大小S的初始值为Smin)(S503)。图像处理装置10对对应于已经设置的判定对象区域的图像的方向进行正规化(S504)。当从判定对象区域的中心到捕获图像的边缘的距离短于阈值时(即,当判定对象区域被在捕获图像的边缘处切割时),图像处理装置10执行图像插值处理(S505)。将在下面描述图像插值处理的流程的细节。
在执行了上述处理之后,图像处理装置10计算已经设置的判定对象区域中包括的图像的第一和第二图像特征值(S506)。然后,图像处理装置10基于计算出的第一图像特征值和预先学习的识别目标细胞的第一图像特征值的第一识别器的模型参数判定判定对象区域中是否包括目标细胞(S507)。当判定判定对象区域中没有包括目标细胞(S507中为否)时,图像处理装置10基于计算出的第二图像特征值和预先学习的识别目标细胞的第二图像特征值的第二识别器的模型参数判定判定对象区域中是否包括目标细胞(S508)。
当在S507或S508中判定判定对象区域中包括目标细胞(S507中为是或者在S508中为是)时,图像处理装置10存储包括在捕获图像中并且对应于判定对象区域的坐标范围(S509)。在S509之后或者当在S508中判定判定对象区域中没有包括目标细胞(S508中为否)时,在剩余了搜索对象区域Aj的外接矩形中包括的像素中未被处理的像素(S510中为是)的情况下,图像处理装置10返回到S502。在没有剩余未被处理的像素(S510中为否)的情况下,图像处理装置10判定判定对象区域的大小S是否已经达到Smax(>Smin)(S511)。当判定对象区域的大小S还没有达到Smax(S511中为否)时,大小S被增加ΔS(S512),并且图像处理装置10返回到S503。当判定对象区域的大小S已经达到Smax(S511中为是)时,图像处理装置10前进到S513。
当还没有处理所有搜索对象区域(S513中为否)时,图像处理装置10递增搜索对象区域Aj的j(S514),并且返回到S502。当所有搜索对象区域都已经被处理(S513中为是)时,图像处理装置10显示包括在捕获图像中并且被判定为包括目标细胞的范围的坐标范围(S515),并且结束处理。
接下来,将参考图16的流程图描述S305、S405和S505的图像插值处理的流程。
当从判定对象区域的中心到捕获图像的边缘的距离(d)没有等于或长于阈值(M)(在S601中为否)时,图像处理装置10将判定对象区域扩展为判定对象区域的边将与捕获图像的边缘对齐并且判定对象区域的大小将为2M个像素×2M个像素(S602)。图像处理装置10将与扩展后的判定对象区域中包括的二值图像关联的并且平行于捕获图像的边缘的线段中的最长的线段设置为中心线(S603)。
图像处理装置10计算从设置的中心线到捕获图像的边缘的距离L(S604)。图像处理装置10将部分区域从相对于扩展后的判定对象区域中的中心线的捕获图像的边缘面对的判定对象区域的边缘移动到相对于中心线对称的位置,从而对判定对象区域中包括的图像进行插值(S605)。该部分区域由垂直于中心线的方向上的(M-L)个像素×平行于中心线的方向上的2M个像素构成。在S605之后或者当从判定对象区域的中心到捕获图像的边缘的距离(d)等于或长于阈值(M)(S601中为是)时,图像处理装置10返回到执行图像插值处理的步骤。
在上述根据本示例性实施方式的图像处理系统1中,基于颜色或颜色密度对母血中包括的NRBC(目标细胞)的候补进行第一缩小范围处理。然后,基于NRBC的大小和形状对已经通过第一缩小范围处理获得的候补进行第二缩小范围处理。基于第二缩小范围处理的结果设置判定对象区域。已经从判定对象区域获得的第一至第三图像特征值被与基于NRBC的正例和反例学习的标准进行比较以判定判定对象区域中是否包括NRBC。因此,除了减少了检测母血中包括的NRBC的处理的负担之外,与对细胞的每个候补执行图案匹配的情况相比,图像处理系统1不容易受到母血的各测试体之间的差异或者图像捕获条件之间的差异等等的影响。
本发明不限于上述示例性实施方式。例如,在上述示例性实施方式中,描述了其中从光学显微镜2顺序地输入测试体的捕获图像的图像处理系统1的示例。然而,图像处理装置10可以经由通信网络从信息处理装置接收搜索捕获图像中包括的目标细胞的请求,并且可以将搜索目标细胞的结果返回给信息处理装置。
已经为了示出和描述的目的提供了本发明的示例性实施方式的前述描述。其不是全部或者将本发明限制到具体公开的形式。显而易见的是,很多修改和变化将对于本领域技术人员来说都是显而易见的。仅为了最好地描述本发明的原理及其实际应用而选择并描述了实施方式,从而使得本领域技术人员能够理解本发明的各种实施方式以及适合于实际使用的各种修改。本发明的范围应该由所附权利要求及其等价物来限定。
Claims (9)
1.一种图像处理装置,所述图像处理装置包括:
获得部,所述获得部获得包括有核的目标细胞的测试体的捕获图像;
第一提取部,所述第一提取部从所述捕获图像中包括的像素提取作为所述核的候补的像素;
第二提取部,所述第二提取部从由所述第一提取部提取的所述像素中的相邻像素彼此连接的连接像素群提取作为所述目标细胞的候补的连接像素群;
设置部,所述设置部在所述捕获图像中设置矩形区域,所述矩形区域中的每一个矩形区域是其中心位于由所述第二提取部提取的所述连接像素群中包括的像素处并且具有给定大小的区域;
滤光片设置部,所述滤光片设置部设置滤光片,所述滤光片包括第1区域至第N区域并且被构造为第i区域没有延伸到第(i+1)区域之外,其中N是等于或大于2的整数并且i是1至N-1的范围内的任何整数;
生成部,在由所述滤光片设置部设置的滤光片被布置在由所述设置部设置的所述矩形区域中的每个矩形区域中的情况下,所述生成部基于所述滤光片的奇数编号的区域中包括的像素的像素值的总和与所述滤光片的偶数编号的区域中包括的像素的像素值的总和之间的差生成图像特征值;以及
判定部,所述判定部基于由所述生成部生成的所述图像特征值是否满足用于所述图像特征值的图像特征值条件来判定所述矩形区域中是否包括所述目标细胞,所述图像特征值条件是预先确定的。
2.根据权利要求1所述的图像处理装置,其中,所述滤光片设置部基于由所述第二提取部提取的所述连接像素群的大小和对于所述连接像素群由所述设置部设置的所述矩形区域中的每一个矩形区域的大小设置所述第1区域和所述第N区域的大小。
3.根据权利要求1所述的图像处理装置,所述图像处理装置进一步包括:
计算部,所述计算部将由所述设置部设置的所述矩形区域中的每一个矩形区域分为预先确定的部分区域,基于所述部分区域中的每一个部分区域中包括的所述像素中的每一个像素处的强度梯度方向计算特征值,并且基于计算的所述部分区域的特征值计算所述矩形区域的第二图像特征值,
其中,在由所述滤光片设置部设置的所述滤光片被布置在由所述设置部设置的所述矩形区域中的每一个矩形区域中的情况下,所述生成部基于所述滤光片的奇数编号的区域中包括的所述像素的像素值的总和与所述滤光片的偶数编号的区域中包括的所述像素的像素值的总和之间的差生成第一图像特征值,并且
其中,所述判定部基于所述第一图像特征值和所述第二图像特征值中的每一个是否满足用于所述第一图像特征值的图像特征值条件和用于所述第二图像特征值的图像特征值条件中的对应的一个来判定所述矩形区域中是否包括所述目标细胞,所述第一图像特征值条件和所述第二图像特征值条件中的每一个是预先确定的。
4.根据权利要求2所述的图像处理装置,所述图像处理装置进一步包括:
计算部,所述计算部将由所述设置部设置的所述矩形区域中的每一个矩形区域分为预先确定的部分区域,基于所述部分区域中的每一个部分区域中包括的所述像素中的每一个像素处的强度梯度方向计算特征值,并且基于计算的所述部分区域的特征值计算所述矩形区域的第二图像特征值,
其中,在由所述滤光片设置部设置的所述滤光片被布置在由所述设置部设置的所述矩形区域中的每一个矩形区域中的情况下,所述生成部基于所述滤光片的奇数编号的区域中包括的所述像素的像素值的总和与所述滤光片的偶数编号的区域中包括的所述像素的像素值的总和之间的差生成第一图像特征值,并且
其中,所述判定部基于所述第一图像特征值和所述第二图像特征值中的每一个是否满足用于所述第一图像特征值的图像特征值条件和用于所述第二图像特征值的图像特征值条件中的对应的一个来判定所述矩形区域中是否包括所述目标细胞,所述第一图像特征值条件和所述第二图像特征值条件中的每一个是预先确定的。
5.根据权利要求1所述的图像处理装置,所述图像处理装置进一步包括:
计算部,所述计算部将由所述设置部设置的所述矩形区域中的每一个矩形区域分为预先确定的部分区域,基于所述部分区域中的每一个部分区域中包括的所述像素中的每一个像素处的强度梯度方向计算特征值,并且基于计算出的所述部分区域的特征值计算所述矩形区域的第二图像特征值,
其中,在由所述滤光片设置部设置的所述滤光片被布置在由所述设置部设置的所述矩形区域中的每一个矩形区域中的情况下,所述生成部基于第一图像特征值并且基于由所述计算部计算的所述矩形区域的所述第二图像特征值生成第三图像特征值,所述第一图像特征值基于所述滤光片的所述奇数编号的区域中包括的所述像素的像素值的总和与所述滤光片的所述偶数编号的区域中包括的所述像素的像素值的总和之间的差,并且
其中,所述判定部基于所述第三图像特征值是否满足用于所述第三图像特征值的图像特征值条件来判定所述矩形区域中是否包括所述目标细胞,所述图像特征值条件是预先确定的。
6.根据权利要求2所述的图像处理装置,所述图像处理装置进一步包括:
计算部,所述计算部将由所述设置部设置的所述矩形区域中的每一个矩形区域分为预先确定的部分区域,基于所述部分区域中的每一个部分区域中包括的所述像素中的每一个像素处的强度梯度方向计算特征值,并且基于计算出的所述部分区域的特征值计算所述矩形区域的第二图像特征值,
其中,在由所述滤光片设置部设置的所述滤光片被布置在由所述设置部设置的所述矩形区域中的每一个矩形区域中的情况下,所述生成部基于第一图像特征值并且基于由所述计算部计算的所述矩形区域的所述第二图像特征值生成第三图像特征值,所述第一图像特征值基于所述滤光片的所述奇数编号的区域中包括的所述像素的像素值的总和与所述滤光片的所述偶数编号的区域中包括的所述像素的像素值的总和之间的差,并且
其中,所述判定部基于所述第三图像特征值是否满足用于所述第三图像特征值的图像特征值条件来判定所述矩形区域中是否包括所述目标细胞,所述图像特征值条件是预先确定的。
7.根据权利要求1至6中的任一项的图像处理装置,其中,通过基于所述目标细胞的正例和反例进行机器学习来学习所述图像特征值条件。
8.一种图像处理方法,所述图像处理方法包括下述步骤:
获得包括有核的目标细胞的测试体的捕获图像;
从所述捕获图像中包括的像素提取作为所述核的候补的像素;
从提取的像素中的相邻像素彼此连接的连接像素群提取作为所述目标细胞的候补的连接像素群;
在所述捕获图像中设置矩形区域,所述矩形区域中的每一个矩形区域是其中心位于提取的所述连接像素群中包括的像素处并且具有给定大小的区域;
设置滤光片,所述滤光片包括第1区域至第N区域并且被构造为第i区域没有延伸到第(i+1)区域之外,其中N是等于或大于2的整数并且i是1至N-1的范围内的任何整数;
在设置的所述滤光片被布置在设置的矩形区域中的每一个矩形区域中的情况下,基于所述滤光片的奇数编号的区域中包括的像素的像素值的总和与所述滤光片的偶数编号的区域中包括的像素的像素值的总和之间的差生成图像特征值;以及
基于生成的所述图像特征值是否满足用于所述图像特征值的图像特征值条件来判定所述矩形区域中是否包括所述目标细胞,所述图像特征值条件是预先确定的。
9.一种图像处理系统,所述图像处理系统包括:
图像处理装置;
光学显微镜,所述光学显微镜连接到所述图像处理装置;以及
显示装置,所述显示装置连接到所述图像处理装置,
所述图像处理装置包括:
获得部,所述获得部从所述光学显微镜获得包括有核的目标细胞的测试体的捕获图像,
第一提取部,所述第一提取部从所述捕获图像中包括的像素提取作为所述核的候补的像素,
第二提取部,所述第二提取部从由所述第一提取部提取的像素中的相邻像素彼此连接的连接像素群提取作为所述目标细胞的候补的连接像素群,
设置部,所述设置部在所述捕获图像中设置矩形区域,所述矩形区域中的每一个矩形区域是其中心位于由所述第二提取部提取的所述连接像素群中包括的像素处并且具有给定大小的区域,
滤光片设置部,所述滤光片设置部设置滤光片,所述滤光片包括第1区域至第N区域并且被构造为第i区域没有延伸到第(i+1)区域之外,其中N是等于或大于2的整数并且i是1至N-1的范围内的任何整数,
生成部,在由所述滤光片设置部设置的所述滤光片被布置在由所述设置部设置的所述矩形区域中的每个矩形区域中的情况下,所述生成部基于所述滤光片的奇数编号的区域中包括的像素的像素值的总和与所述滤光片的偶数编号的区域中包括的像素的像素值的总和之间的差生成图像特征值,
判定部,所述判定部基于由所述生成部生成的所述图像特征值是否满足用于所述图像特征值的图像特征值条件来判定所述矩形区域中是否包括所述目标细胞,所述图像特征值条件是预先确定的,以及
使得所述显示装置显示矩形区域的单元,所述使得所述显示装置显示矩形区域的单元使得所述显示装置显示所述矩形区域中已经由所述判定部判定为包括所述目标细胞的区域的矩形区域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011279338A JP5333570B2 (ja) | 2011-12-21 | 2011-12-21 | 画像処理装置、プログラム及び画像処理システム |
JP2011-279338 | 2011-12-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103218804A CN103218804A (zh) | 2013-07-24 |
CN103218804B true CN103218804B (zh) | 2017-07-18 |
Family
ID=48654603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210511508.9A Active CN103218804B (zh) | 2011-12-21 | 2012-12-04 | 图像处理装置、图像处理方法和图像处理系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9070005B2 (zh) |
JP (1) | JP5333570B2 (zh) |
CN (1) | CN103218804B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6070420B2 (ja) | 2013-05-31 | 2017-02-01 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
BR112016011252B1 (pt) * | 2013-12-12 | 2020-11-24 | Mes Medical Electronic Systems Ltd | Dispositivo 0ptico, aparelho de teste, suporte de amostra e metodo para o teste |
JP6156137B2 (ja) | 2013-12-27 | 2017-07-05 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
JP6194791B2 (ja) * | 2013-12-27 | 2017-09-13 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
JP6866629B2 (ja) * | 2016-12-16 | 2021-04-28 | 大日本印刷株式会社 | 画像解析装置、画像解析方法及びプログラム |
JP6781987B2 (ja) * | 2017-02-17 | 2020-11-11 | 国立大学法人大阪大学 | 電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラム |
WO2019039035A1 (ja) | 2017-08-25 | 2019-02-28 | 富士フイルム株式会社 | 判別器の学習装置、方法およびプログラム、並びに判別器 |
JP7063680B2 (ja) * | 2018-03-29 | 2022-05-09 | 住友化学株式会社 | 画像処理装置、異物検査装置、画像処理方法、および異物検査方法 |
EP3865565A4 (en) * | 2018-10-12 | 2022-07-20 | Nikon Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM AND EVALUATION DEVICE |
CN109635669B (zh) * | 2018-11-19 | 2021-06-29 | 北京致远慧图科技有限公司 | 图像分类方法、装置及分类模型的训练方法、装置 |
JP2020170408A (ja) * | 2019-04-04 | 2020-10-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
CN111860413A (zh) * | 2020-07-29 | 2020-10-30 | Oppo广东移动通信有限公司 | 目标对象的检测方法、装置、电子设备及存储介质 |
JP7090297B2 (ja) * | 2020-10-08 | 2022-06-24 | 国立大学法人大阪大学 | 電磁波検出装置、フローサイトメーター、電磁波検出方法、電磁波検出プログラム及び機械学習結果 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1735907A (zh) * | 2002-11-12 | 2006-02-15 | 秦内蒂克有限公司 | 图像分析 |
CN102158653A (zh) * | 2011-05-03 | 2011-08-17 | 东华大学 | 一种实时高动态范围数字图像获取装置及方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020186874A1 (en) * | 1994-09-07 | 2002-12-12 | Jeffrey H. Price | Method and means for image segmentation in fluorescence scanning cytometry |
US5768412A (en) * | 1994-09-19 | 1998-06-16 | Hitachi, Ltd. | Region segmentation method for particle images and apparatus thereof |
US5671288A (en) * | 1995-05-31 | 1997-09-23 | Neopath, Inc. | Method and apparatus for assessing slide and specimen preparation quality |
WO1997004419A1 (en) * | 1995-07-19 | 1997-02-06 | Morphometrix Technologies Inc. | Window texture extraction for image analysis |
US6430309B1 (en) * | 1995-09-15 | 2002-08-06 | Monogen, Inc. | Specimen preview and inspection system |
EP0850405A2 (en) * | 1995-09-19 | 1998-07-01 | Morphometrix Technologies Inc. | A neural network assisted multi-spectral segmentation system |
US6259807B1 (en) * | 1997-05-14 | 2001-07-10 | Applied Imaging Corp. | Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images |
US8406498B2 (en) * | 1999-01-25 | 2013-03-26 | Amnis Corporation | Blood and cell analysis using an imaging flow cytometer |
EP1163502A1 (en) * | 1999-02-18 | 2001-12-19 | Bio-View Ltd | System and method for identifying and analyzing rare cell types in a mixed population of cells |
US7006674B1 (en) * | 1999-10-29 | 2006-02-28 | Cytyc Corporation | Apparatus and methods for verifying the location of areas of interest within a sample in an imaging system |
JP4346923B2 (ja) * | 2003-02-21 | 2009-10-21 | 晴夫 高林 | 標的細胞自動探索システム |
JP2004340738A (ja) * | 2003-05-15 | 2004-12-02 | Sysmex Corp | 細胞分類装置とシステム及び細胞分類方法 |
SE0302114D0 (sv) * | 2003-07-21 | 2003-07-21 | Cellavision Ab | Sätt att urskilja en objektkontur |
US7711174B2 (en) * | 2004-05-13 | 2010-05-04 | The Charles Stark Draper Laboratory, Inc. | Methods and systems for imaging cells |
US20070031043A1 (en) * | 2005-08-02 | 2007-02-08 | Perz Cynthia B | System for and method of intelligently directed segmentation analysis for automated microscope systems |
US7826652B2 (en) * | 2006-12-19 | 2010-11-02 | Cytyc Corporation | Method for forming an optimally exposed image of cytological specimen |
JP5380026B2 (ja) * | 2008-09-24 | 2014-01-08 | シスメックス株式会社 | 標本撮像装置 |
-
2011
- 2011-12-21 JP JP2011279338A patent/JP5333570B2/ja active Active
-
2012
- 2012-10-31 US US13/665,158 patent/US9070005B2/en active Active
- 2012-12-04 CN CN201210511508.9A patent/CN103218804B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1735907A (zh) * | 2002-11-12 | 2006-02-15 | 秦内蒂克有限公司 | 图像分析 |
CN102158653A (zh) * | 2011-05-03 | 2011-08-17 | 东华大学 | 一种实时高动态范围数字图像获取装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
US9070005B2 (en) | 2015-06-30 |
JP5333570B2 (ja) | 2013-11-06 |
CN103218804A (zh) | 2013-07-24 |
JP2013128438A (ja) | 2013-07-04 |
US20130163844A1 (en) | 2013-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103218804B (zh) | 图像处理装置、图像处理方法和图像处理系统 | |
CN103582697B (zh) | 图像处理装置、图像处理方法和图像处理系统 | |
CN105335725B (zh) | 一种基于特征融合的步态识别身份认证方法 | |
JP5464244B2 (ja) | 画像処理装置、プログラム及び画像処理システム | |
CN101751574B (zh) | 图像处理设备、成像装置和成像处理方法 | |
CN105740780B (zh) | 人脸活体检测的方法和装置 | |
JP6194791B2 (ja) | 画像処理装置及びプログラム | |
CN103413347B (zh) | 基于前景背景融合的单目图像深度图提取方法 | |
CN106960210B (zh) | 目标检测的方法和装置 | |
CN108510491B (zh) | 虚化背景下人体骨骼关键点检测结果的过滤方法 | |
CN101930533B (zh) | 在图像采集设备中进行天空检测的装置和方法 | |
CN107852533A (zh) | 三维内容生成装置及其三维内容生成方法 | |
CN107305635A (zh) | 对象识别方法、对象识别装置和分类器训练方法 | |
CN105027553B (zh) | 图像处理装置、图像处理方法以及存储图像处理程序的存储介质 | |
CN110263768A (zh) | 一种基于深度残差网络的人脸识别方法 | |
CN109544599A (zh) | 一种基于相机位姿估计的三维点云配准方法 | |
CN114241031A (zh) | 基于双视角融合的鱼类体尺测量和体重预测的方法及装置 | |
CN114742888A (zh) | 一种基于深度学习的6d姿态估计方法 | |
CN112116398A (zh) | 一种宝石估价方法及相关设备 | |
CN105915785A (zh) | 双摄像头被遮挡的确定方法、确定装置和终端 | |
CN110322470A (zh) | 行动识别装置、行动识别方法以及记录介质 | |
Cui et al. | Global propagation of affine invariant features for robust matching | |
CN107944340A (zh) | 一种结合直接度量和间接度量的行人再识别方法 | |
CN106952301A (zh) | 一种rgb‑d图像显著性计算方法 | |
CN110472085A (zh) | 三维图像搜索方法、系统、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20180425 Address after: Tokyo, Japan, Japan Patentee after: Fuji Film Corp. Address before: Tokyo, Japan, Japan Patentee before: Fuji Xerox Corp. |