CN101167076A - 对于缺乏时间信息的图像的添加性聚类 - Google Patents

对于缺乏时间信息的图像的添加性聚类 Download PDF

Info

Publication number
CN101167076A
CN101167076A CNA2006800071208A CN200680007120A CN101167076A CN 101167076 A CN101167076 A CN 101167076A CN A2006800071208 A CNA2006800071208 A CN A2006800071208A CN 200680007120 A CN200680007120 A CN 200680007120A CN 101167076 A CN101167076 A CN 101167076A
Authority
CN
China
Prior art keywords
images
database
new images
group
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800071208A
Other languages
English (en)
Other versions
CN101167076B (zh
Inventor
M·达斯
A·C·路易
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mau new gate Venture Capital Co., Ltd.
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of CN101167076A publication Critical patent/CN101167076A/zh
Application granted granted Critical
Publication of CN101167076B publication Critical patent/CN101167076B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Abstract

一种具有按时间排序的图像的数据库基于时间差阈值被分类到各事件组中，并且基于相似性量度被分类到各子组中。在一种用于把新图像组合到这种数据库中的方法和系统中，基于所评估的图像特征把新图像排序到各群集中。在每个群集中选择代表性图像。指定在时间顺序上与所述新图像重叠的数据库段，并且在所述段中识别出类似于每个代表性图像的一组数据库图像。把包括一个或多个所检索图像的不同子组与每一个群集相关联，以便提供各匹配的子组。把所述新图像分配给与相应的群集相关联的所述各匹配的子组。

Description

对于缺乏时间信息的图像的添加性聚类
技术领域
本发明涉及对图像进行自动分类的数字图像处理，更特别地涉及对于缺乏个别化的捕获日期-时间信息的图像的添加性聚类(additiveclustering)。
背景技术
随着数字消费电子捕获设备(比如数字照相机和照相机电话)的广泛使用，消费者的图像集合的尺寸持续非常快速地增大。自动的图像管理和组织对于这些大集合的容易的访问、搜索、检索和浏览来说是非常重要的。
在授予Loui和Pavie的美国专利No.6,606,411 B1(其被结合在此以作参考)中描述了一种基于日期-时间信息和图像之间的颜色相似性而把图像自动分组成事件和子事件的方法。一种事件聚类算法使用捕获日期-时间信息来确定事件。块级颜色直方图相似性被用来确定子事件。该方法的缺点在于，对非常大的图像组进行聚类会花费大量的时间。如果每当把新图像添加到消费者的图像集合中时都需要重新计算事件和子事件，则上述缺点是非常成问题的，这是因为所述添加每次发生几下，但是却发生得相对较为频繁。另一个问题是为了允许进行无缝访问，消费者需要能够合并在多个个人计算机、移动设备、图像装置、网络服务器和在线存储库中分布的图像集合。在每次合并之后重新计算事件和子事件是低效的。
在美国专利No.6,606,411 B1中描述的所述事件聚类算法的局限性在于，它使用来自数字照相机捕获元数据的日期-时间信息。这在将被添加到数据中的图像缺乏正确的日期-时间信息的情况下是成问题的。这种图像的例子包括扫描图像、来自胶片捕获的数字图像CD、来自视频摄录机的静止图像或者来自具有不正确的日期-时间设置的数字照相机的图像。在许多情况下，所述图像所具有的相关联的日期-时间涉及到在扫描或其他处理之后的数字文件的产生，而不是图像捕获的日期-时间。
对于其中没有元数据可用的图像已经提出了以基于内容的图像分类为基础的许多方法。在2001年5月25日公布的PCT专利申请WO01/37131 A2中，突出的图像区域的视觉属性被用来分类图像。除了对于视觉属性的数值测量之外，神经网络被用来利用诸如“天空”和“皮肤”之类的语义项对一些区域进行分类。对于所述集合中的图像的基于区域的特性进行索引，以便能够容易地找到与给定的查询图像的特性相匹配的其他图像。2001年5月29日发布的美国专利No.6,240,424 B1公开了一种利用图像中的主对象作为聚类中心来分类和查询图像的方法。通过基于给定图像中的主对象制定适当的查询来找到与给定的未分类图像相匹配的图像。2002年11月5日发布的美国专利No.6,477,269B1公开了一种允许用户通过使用示例查询来基于颜色或形状找到类似图像的方法。已经知道使用多种技术来从图像数据库中检索图像。2002年11月12日发布的授予Zhu和Mehrotra的美国专利No.6,480,840公开了利用低级别特征(比如颜色、纹理和颜色组成)的基于内容的图像检索。
这些基于内容的方法的缺点在于没有考虑到通常可与图像一起获得的另一种信息，即时间顺序。图像通常按时间顺序被存储在介质上。例如，从胶片捕获导出的Kodak PictureCDTM上的图像具有捕获的顺序。通常使用导致时间排序的数值序列或其他序列来为图像产生文件名。例如，一些所捕获的数字图像在文件名中具有表明生成顺序的数值后缀。
因此，将希望提供在数据库中对新图像进行添加性聚类而无需对整个数据库进行重新聚类的方法和系统。
还希望提供可以在添加性聚类的过程中考虑到时间顺序的方法和系统。
发明内容
本发明由权利要求书来限定。在更广的方面，本发明提供一种用于把新图像组合到数据库中的方法和系统，该数据库具有按时间排序的图像，所述按时间排序的图像基于时间差阈值被分类到各事件组中，并且基于相似性量度被分类到各子组中。在所述方法和系统中，基于所评估的图像特征把新图像排序到各群集(cluster)中。在每一个群集中选择一个代表性图像。指定在时间顺序上与所述新图像重叠的数据库段，并且在该段中识别出类似于每个代表性图像的一组数据库图像。把包括一个或多个所检索的图像的不同子组与每一个群集相关联，以便提供匹配的子组。所述新图像被分配给与相应的群集相关联的匹配的子组。
本发明的一个有利效果在于提供改进的方法和系统，其中在数据库中对新图像进行添加性聚类而无需对整个数据库进行重新聚类。
本发明的另一个有利效果在于提供改进的方法和系统，其中在添加性聚类的过程中保持了时间顺序，即使在缺少捕获日期/时间信息时也是如此。
附图说明
通过在下面参考结合附图对本发明的实施例所进行的描述，本发明的上述和其他特征及目的以及其实现方式将变得更为明显，并且本发明本身将被更好地理解，其中：
图1是所述方法的一个实施例的流程图。
图2是所述系统的一个实施例的示意图。
图3是所述方法的另一个实施例的流程图。
图4是在图3的方法中查询数据库的图。
图5是用于图4的方法的所选择的其中一种子组关联算法的数据结构的图。
具体实施方式
在所述方法中，图像被添加性聚类到图像数据库的先前存在的各事件组和各子组中。所述各组是在日期-时间信息的基础上组织的。该数据库的所述各子组是基于相似性量度而不是日期-时间信息。在此使用的术语“日期-时间”指的是以实际的日期和时间或者相对于共同标准所经过的日期和时间的形式的时间信息。
在下面的描述中，将按照通常将被实现为软件程序的情况来描述本发明的一些实施例。本领域技术人员将容易认识到，这种软件的等效方案也可以用硬件来构造。由于图像处理算法和系统是公知的，因此这里的描述将特别针对形成根据本发明的方法的一部分或者与其更直接协作的算法和系统。未在此特别示出或描述的所述算法和系统的其他方面以及用于产生并以其他方式处理其中所涉及的图像信号的硬件和/或软件可以从现有技术中已知的所述系统、算法、组件和元件中选择。在下面给出根据本发明的所述系统的情况下，未在此特别示出、提出或描述的可用于实现本发明的软件是常规的，并且可由本领域技术人员想到。
如在此使用的计算机程序可以被存储在计算机可读存储介质中，所述介质例如可以包括：诸如磁盘(例如硬盘驱动器或软盘)或磁带之类的磁存储介质；诸如光盘、光带或机器可读条形码之类的光存储介质；诸如随机存取存储器(RAM)或只读存储器(ROM)之类的固态电子存储设备；或者被用来存储计算机程序的任何其他物理设备或介质。
本发明可以用计算机硬件实现。参考图2，其中示出了一种用于实现本发明的系统。虽然所示出的该计算机系统是用于说明一个优选实施例，但是本发明并不限于所示出的该系统，而是可以被使用在任何电子处理系统上，比如用在个人计算机以及用于处理数字图像的其他系统中的电子处理系统。因此，在此将不详细讨论该计算机系统。在此使用的图像可以被直接输入到该计算机系统中(例如通过数字照相机)或者可以在输入到该计算机系统中之前被数字化(例如通过扫描原始图像，比如卤化银胶片)。
参考图2，该计算机系统110包括一个基于微处理器的单元112，其用于接收和处理软件程序，并且用于执行其他处理功能。显示器114被电连接到该基于微处理器的单元112，以便例如通过图形用户接口显示与所述软件相关联的用户相关的信息。键盘116也被连接到该基于微处理器的单元112，以便允许用户向所述软件输入信息。作为使用该键盘116进行输入的替换方案，可以使用鼠标118，以便在该显示器114上移动选择器120并且选择该选择器120所覆盖的项目，正如本领域中所公知的那样。
通常包括软件程序的紧致盘-只读存储器(CD-ROM)124被插入到所述基于微处理器的单元中，以便提供一种向该基于微处理器的单元112输入所述软件程序和其他信息的手段。另外，软盘126也可以包括软件程序，并且被插入到该基于微处理器的单元112中以用于输入所述软件程序。可选择地，所述紧致盘-只读存储器(CD-ROM)124或软盘126可以被插入到位于外部的盘驱动器单元122中，该盘驱动器单元122被连接到该基于微处理器的单元112。更进一步，如本领域中所公知的那样，该基于微处理器的单元112被编程，以便内部存储所述软件程序。该基于微处理器的单元112还可以具有到外部网络(比如局域网或因特网)的网络连接127(比如电话线)。打印机128也可以被连接到该基于微处理器的单元112，以便打印来自该计算机系统110的输出的硬拷贝。
还可以通过个人计算机卡(PC卡)130在所述显示器114上显示图像，如先前所知的那样，所述个人计算机卡130例如是PCMCIA卡(基于个人计算机存储卡国际协会的规范)，其包含数字化的图像，所述数字化的图像被电子地具体实现在该卡130中。该PC卡130最终被插入到所述基于微处理器的单元112中，以便允许在该显示器114上对图像进行视觉显示。可选择地，该PC卡130可以被插入到位于外部的PC卡读取器132中，该PC卡读取器132被连接到该基于微处理器的单元112。还可以通过所述紧致盘124、软盘126或网络连接127输入图像。存储在所述PC卡130、软盘126或紧致盘124中的或者通过所述网络连接127输入的任何图像都可以是从多种源获得的，比如数字照相机(未示出)或扫描仪(未示出)。还可以通过连接到该基于微处理器的单元112的照相机对接端口136直接从数字照相机134输入图像，或者通过到该基于微处理器的单元112的电缆连接138直接从数字照相机134输入图像，或者通过到该基于微处理器的单元112的无线连接140输入图像。
所述输出设备提供已经经历过所述变换的最终图像。该输出设备可以是提供纸张或者其他硬拷贝最终图像的打印机或其他输出设备。该输出设备还可以是提供作为数字文件的最终图像的输出设备。该输出设备还可以包括输出的组合，比如打印的图像和存储器单元(比如CD或DVD)上的数字文件。
本发明还可以与产生数字图像的多个捕获设备一起使用。例如，图2可以表示一个系统，在该系统中，其中一个图像捕获设备是常规的照相胶片照相机和胶片扫描器设备，该照相胶片照相机用于在彩色底片或反转片上捕获场景，该胶片扫描器设备用于扫描所述胶片上的已显影图像并且产生数字图像。另一个捕获设备可以是具有电子成像器的数字射线照相捕获单元(未示出)。该电子捕获单元可以具有模拟-数字转换器/放大器，其接收来自该电子成像器的信号、放大该信号并且将其转换成数字形式以及把该图像信号传送到所述基于微处理器的单元。
所述基于微处理器的单元112提供用于处理所述数字图像以便在预定输出设备或介质上产生看起来令人满意的图像的装置。本发明可以与多种输出设备一起使用，其中可以包括但不限于数字照相打印机和软拷贝显示器。该基于微处理器的单元112可以被用来处理数字图像，以便对数字图像的总体亮度、色阶、图像结构等等进行调节，从而由图像输出设备产生有用图像。本领域技术人员将认识到，本发明不仅仅限于所提到的这些图像处理功能。
图2中示出的通用控制计算机可以把本发明存储为计算机程序产品，其具有存储在计算机可读存储介质中的程序，所述介质例如可以包括：诸如磁盘(例如软盘)或磁带之类的磁存储介质；诸如光盘、光带或机器可读条形码之类的光存储介质；诸如随机存取存储器(RAM)或只读存储器(ROM)之类的固态电子存储设备。本发明的相关的计算机程序实现方式可以被存储在用来存储计算机程序的任何其他物理设备或介质上，其由离线存储器设备表示。在描述本发明之前，注意到本发明优选地被利用在任何公知的计算机系统(比如个人计算机)上，这样便于理解。
还应当注意，本发明可以用软件和/或硬件的组合来实现，并且不限于物理地相连的和/或位于相同物理位置处的设备。图2中所示出的一个或多个设备可以是远程的，并且可以通过网络连接。一个或多个所述设备可以被无线地连接，比如经由射频链路直接连接或者通过网络连接。
本发明可以被采用在多种情境和环境中。特别关于组合来自不同模式的图像的示例性情境和环境包括但不限于：医学成像、遥感以及涉及到客运和货运的安全成像。特别关于捕获可见光的模式的其他示例性情境和环境包括但不限于：批发数字照相洗印(其涉及到诸如胶片或数字图像输入、数字处理、打印输出之类的示例性处理步骤或阶段)、零售数字照相洗印(胶片或数字图像输入、数字处理、打印输出)、家庭打印(家庭扫描胶片或数字图像输入、数字处理、打印输出)、桌面软件(对数字图像应用算法的软件)、其他数字实施方式(比如数字图像输入(从介质输入或通过web输入)、数字处理以及图像输出(在介质上以数字形式输出，通过web以数字形式输出，或者打印在硬拷贝印刷品上))、信息站(数字或扫描输入、数字处理、数字或扫描输出)、移动设备(例如可以用作处理单元、显示单元或者给出处理指令的单元的PDA或蜂窝电话)以及作为通过万维网提供的服务。
现在参考图1，在该方法中，多个新图像被组合到一个现有数据库中，该数据库具有按时间排序的图像，所述按时间排序的图像基于时间差阈值被分类到各事件组中，并且在各事件组内基于相似性量度被分类到各事件子组中。对所述新图像的特征进行评估(10)，并且基于这些特征把新图像排序或分组(12)到各群集中。在每一个群集中选择(14)一个代表性图像。指定(16)在时间顺序上与所述新图像重叠的数据库段。通过查询(18)该数据库，识别出类似于每个所述代表性图像的包括一个或多个所检索的数据库图像的各组。把包括所述所检索的图像的不同子组与每一个群集相关联(20)，并且把所述新图像分配(22)给各相关子组。
把所述数据库分类到各事件组中的方式并不十分重要，并且可以通过利用事件聚类算法而为自动的，或者为人工的，或者为二者的组合。这对于把各事件组分类到各子组中同样适用。人工分类可以被用来试探性地确定所述时间差阈值，之后是利用该阈值进行自动分类。在一个特定实施例中，如在授予Loui和Pavie的美国专利No.6,606,411 B1中所描述的那样，所述数据库图像已经基于日期-时间信息和图像之间的颜色相似性而被自动分类到各事件和子事件中。
所述数据库支持基于内容的图像检索，所述图像检索利用了作为所述相似性量度的基础的相同的一个或多个特征。在一个特定实施例中，如在发布于2/16/02的授予Loui和Pavie的美国专利No.6,351,556(其由此被结合于此以作参考)中所描述的那样，基于在被划分成小块的每个图像块中计算的直方图的颜色匹配被用来计算图像之间的相似性。在授予Loui和Pavie的美国专利No.6,606,411 B1中所描述的自动事件聚类方法中，该相似性量度还被用来确定子事件边界。可选择地，可以使用诸如颜色、纹理和颜色组成之类的低级别特征来计算相似性。在2002年11月12日发布的授予Zhu和Mehrotra的美国专利No.6,480,840中公开了颜色和纹理表示以及一种用于基于相似性的检索的过程。在该专利中，确定一个图像的主色，并且每种主色由各属性组描述，所述各属性组包括一段内的颜色范围、颜色矩和颜色分布。纹理是按照对比度、尺度和角度描述的。两个图像之间的相似性分数被计算为所述基本特征的相似性的加权组合。
当被接收时，所述新图像缺乏捕获日期-时间信息或者具有被认为不值得信任的日期-时间信息。所述新图像可以来自一个源或多个源。例如，所述新图像可以处在通过在照相洗印期间扫描底片而获得的PictureCD上，可以是来自扫描的印刷品的图像文件，或者可以是经过编辑的数字图像(其中捕获元数据已经被不经意地擦除)。所述新图像可以来自具有不正确地设置的日期和/或时间的数字照相机。这可以自动确定或者人工确定。例如，表明未来的日期-时间的日期-时间信息可以被自动忽略。
参考图3，如果使用与新图像相关的时间顺序信息，则提高了所述方法的可靠性。在这种情况下，如下面所讨论的那样确定(210)新图像的特征，并且查明(211)所述新图像的时间顺序。在输入新图像并且把所述新图像分类到所述数据库中之后保持所述新图像的时间顺序。换句话说，使用关于所述新图像的相对时间序列的信息，并且在输入新图像之后在该数据库的时间排序中保持所述相对序列。(在被包括在所述数据库中之后，所述新图像很可能散布在较早结合的数据库图像之中。所述数据库在输入新图像之后保持时间排序。)
首先查明所述新图像的时间顺序。这可以通过提取与所述新图像相关的元数据来实现。例如，可以与新图像一起提供文件产生的自动生成的日期，或者所述新图像可以具有唯一的文件名，所述文件名包括定义相对时间顺序的元数据。也可以基于图像在存储介质中的物理顺序来查明时间顺序，或者可以通过接受指定所述顺序的用户输入来查明时间顺序。在整个添加过程中，输入图像的排序得以保持。
在接收到新图像之后，确定每一个新图像的一个或多个图像特征。所述确定可以是人工的、半自动的或者自动的。非常优选的是，所使用的一个或多个特征是作为所述相似性量度的基础的相同特征。在一个特定实施例中，所述特征是在发布于2/16/02的授予Loui和Pavie的美国专利No.6,351,556中所描述的块级颜色直方图。
所述新图像基于所述图像特征而被排序/分组到各群集中。这种排序/分组可以按照多种不同的方式执行，但是非常优选的是，所述分组的基础与在所述数据库中把各事件组分类成各子组的基础是相同的。像这样使用相同的分类过程有助于确保防止出现异常分类的可能性，所述异常分类可能是由于使用不同的分类过程而导致的。在一个特定实施例中，所述聚类是基于相邻图像中的颜色相似性，正如在授予Loui和Pavie的美国专利No.6,351,556中所描述的那样，从而保持了图像的排序。
在每个群集中选择一个代表性图像。该代表性图像与该群集中的其他图像具有高相似性，并且可以在用于对新图像进行分组的所述一个或多个特征的基础上被选择。该代表性图像可以具有一个相似性量度值，该值处在或者接近用于该群集的所有成员的相同量度的平均值。可选择地，该代表性图像可以是处在所述经过时间排序的组的中间点处的图像。又一个替换方案是人工选择每个群集的代表性图像。
指定所述数据库的在时间顺序上与新图像重叠的一段。该段可以是整个数据库，但是优选地限于该数据库的一部分。该段的时间长度可以基于与所述新图像相关的任何可用日期-时间信息而受到限制。在大多数情况下，所述新图像将具有最后日期-时间，该最后日期-时间可以被用来从所述段中排除该数据库的处在所述新图像最后日期-时间与最近的数据库图像日期-时间之间的一部分。例如，所述最后日期-时间可以是从印刷品或胶片产生扫描数字图像的日期、通过电子邮件接收到所述新图像的日期、或者最后的文件产生日期。该最后日期-时间还可以由用户提供，例如作为针对自动生成的问题的响应。(用户可以隐含地提供所述最后日期-时间，这例如是通过选择使用所述方法而不是在所述数据库的时间顺序末尾添加图像。)
在所述方法中，所述最后日期-时间不迟于所述最近数据库图像日期-时间。如果该最后日期-时间更迟，则不使用该方法，或者精选(cull)所述新图像，直到可以建立早于该最近数据库图像日期-时间的最后日期-时间。所述精选可以在用户输入的基础上进行。
所述数据库的经过时间排序的一段可以包括早于所述新图像最后日期-时间的所有图像，但是为了减少计算需求，优选地还查明所述新图像的开始日期-时间。如果该开始日期-时间迟于该数据库的最早(leastrecent)时间顺序末尾，则可以随后缩短所述段，这是通过把该段限制到其日期-时间处在所述开始日期-时间和最后日期-时间上或者处于这两个日期-时间之间的数据库图像。可以按照与所述最后日期-时间相同的方式查明该开始日期-时间。
来自每个群集的代表性图像被用来查询所述数据库以找到相似图像。所述查询图像的排序被保持为最近最先。在所述段中识别出与每个代表性图像相似的包括一个或多个数据库图像的一组，从而导致用于每个代表性图像的包括一个或多个所检索的图像的一组，如图4中所示。这里使用的相似性量度可以是任何类型，并且可以与用在所述数据库的子组分类和群集排序中的相似性量度相同。在一个特定实施例中，使用了在发布于2/16/02的授予Loui和Pavie的美国专利No.6,351,556中所描述的块级颜色直方图。
有可能使得所述代表性图像按照与所述新群集相同的时间顺序分别匹配不同子组的所检索的图像，从而使得各群集与各子组的关联不重要，但是很可能不是这种情况。一般来说，需要在算法上解决把新群集分配给现有子组的同时还保持各群集的时间排序的问题，以便解决冲突。当前优选的是所述算法选择(图3中的(201))匹配的子组，以便在认为所述图像相似性匹配分数具有低区分能力的情况下最小化所述匹配的子组的累积持续时间；或者选择(图3中的(203))匹配的子组，以便在认为所述图像相似性匹配分数具有高区分能力时最大化所述代表性图像与相应的各组数据库图像的相似性。以下详细讨论这些替换方案。
关于将要使用的方法的决定(图3中的(205))是基于所组合的所有代表性图像的、在最上面的m个图像中的匹配分数的分布。确定所述代表性图像与相应的所检索图像之间的相对相似性，从而导致相应的相似性分数。使用与剩余的所检索图像相比与相应的代表性图像具有更大相似性的所有或预定数目的所检索图像来评估所述相似性分数的方差。当该方差小于预定阈值时，则使用贪婪算法，这是因为如果所述匹配分数紧紧聚类在一个均值周围，则所述匹配分数不具区分性。当所述方差与该预定阈值相同或者大于该预定阈值时，则使用另一种方法，这是因为对于在最上面的所检索的各组中的图像，匹配程度之间存在显著差异，在这种情况下，除了排序约束之外，所述优化步骤需要考虑到匹配的程度。
其他替换方案也是可能的，比如平衡所述两个目标，或者为用户提供替换的输出以便从二者中选择一个。
现在参考图4，在一个特定实施例中，在把所检索的数据库图像与相应的新图像群集相关联的过程中使用贪婪算法。“贪婪”算法是这样一种算法，其总是仅仅基于紧接的或局部的信息在每个给定步骤处选择最好的替换方案。所述贪婪算法的使用是基于假设通过低级别(颜色、纹理、颜色组成)特征产生的匹配分数无法被用于在图像之间进行精细区分；也就是，只有匹配分数中的大差异是有意义的。
来自于所述N个所检索的组当中的每一个的对应于所述数据库段内的最上面的m个图像的各子事件通过递减时间标记而被排序(最近最先)。m的值是优选地处在3与20之间的整数，例如是5。N是群集中的新图像的数目。图4示出了将由所述算法进行处理的数据的设置。
所述贪婪算法被用来把新的各组分配给现有的各子事件，从而在分配所述新的各组时确保这样一个标准：对更近的子事件给予高于较早的子事件的优先级。该算法确保选择最短的起止时间(在添加一个新组时从第一个子事件到最后一个子事件的时间)，该最短起止时间保持所述新图像的排序。用于把各新图像分配给现有子事件的所述贪婪算法如下：
如果对应于j的子事件的日期-时间早于来自新群集(i-1)的图像所被分配到的子事件的日期-时间，则把对应于i的新群集的图像分配给对应于j的子事件(i＝0的日期-时间被认为是当前日期-时间)；并且对于i＝1到N以及对于j＝1到m进行重复(其中j表示具有递减时间顺序的所检索的图像组，以及其中i表示从最后一个开始到第一个的新群集的代表性图像)。如果j＞m(从而没有分配是可能的)，则把编号i标记为未分配，并且继续。无法适合所述段的查询被分配给邻近所述最近邻居所插入的新事件，其中所述最近邻居是所述解答表的一部分。
第二替换方案具有一种动态编程算法，除了满足所述排序约束之外，其基于假设所述匹配分数是有意义的而最大化所述匹配分数。
在所述动态编程范例之后，利用下面的算法选择最大化所述图像相似性分数同时还保持新图像的顺序的分配。图5示出了用于该算法的数据结构。
1、按照递减时间顺序排列最上面的m个所检索的图像，从而如下面所描述的那样产生一个长度为Nm的单元的阵列A。每个单元i存储以下数据：
a)Q(i)：为其检索了该图像的查询图像的序列号(对于该编号使用术语“单元标签”)。注意，该序列号保持将被插入的新的各组的时间排序，并且从最近的图像开始。
b)S(i)：利用该查询图像检索的A中的第i个图像的相似性分数。
c)L(i，j)：长度j的列表，其中j＝1，2，...，N，其包含A的阵列索引。令Lk(i，j)表示列表L(i，j)的第k个成员。为了使一个列表是有效的，每个成员必须满足标准Lk(i，j)＞Lk-1(i，j)。当考虑A的前i个单元时，每个列表L(i，j)给出了长度j的所检索图像的最佳有效选择(其产生最高的累积相似性分数)。注意，许多单元将具有少于N个列表，这是因为可能无法产生更大的有效列表。所述列表的长度受到阵列位置的限制，例如，在位置i处(其中i＜N)，所述列表的最大长度至多可以是i。
d)M(i，j)：由下式给出的列表L(i，j)的累积分数：
Σ k = 1 j S ( L k ( i , j ) )
其目标是找到具有单元标签1到N的一组有序单元，其产生最大累积匹配分数。
2、初始化L(1，1)＝1。如下按顺序构造每个列表：
如果 Q ( i + 1 ) < min j Q ( L ( i , j ) )
L(i+1，1)＝(i+1)；当j＞1时，L(i+1，j)＝空(即第一个列表包含当前阵列位置的索引)否则，如果 Q ( i + 1 ) > min j Q ( L ( i , j ) )
L(i+1，j)＝L(i，j)并且L(i+1，j+1)＝L(i，j)+(i+1)(即添加一个新列表到该单元，并且保持其他列表相同)否则L(i+1，j)＝L(i，j)-Lj(i，j)+(i+1)
如果S(i+1)+M(i，j-1)＞M(i，j)并且Q(i+1)＞Q(Lj-1(i，j))否则＝L(i，j)
(即如果利用当前分配可能有更好的分数并且有可能把当前分配插入到较早的列表中，则更新列表)
3、所生成的最长列表提供所述查询图像到所检索图像的最佳分配。如果有超过一个候选，则来自具有较低索引号的该单元的所述列表就是所述解答(因为这些分配更接近当前时间)。属于与查询q相对应的群集的新图像被分配给对应于所检索图像Lk(i，j)的子事件，其中Q(Lk(i，j))＝q。
4、如果所述解答表的长度＜N，则没有找到将适合所有排序约束的分配。在这种情况下，无法适合所述时间线的查询被分配给邻近所述最近邻居所插入的新事件，其中所述最近邻居是所述解答表的一部分。

Claims (20)

1.一种用于把多个新图像组合到现有数据库中的方法，该数据库具有按时间排序的图像，所述数据库图像基于时间差阈值被分类到各事件组中，并且在各事件组内基于相似性量度被分类到各事件子组中，所述方法包括以下步骤：
评估每个所述新图像的一个或多个图像特征；
基于所述图像特征把所述新图像排序到各群集中；
在每个所述群集中选择代表性图像；
指定在时间顺序上与所述新图像重叠的所述数据库图像的一段；
在所述段中识别出类似于每个所述代表性图像的包括一个或多个所述数据库图像的一组，以便提供各组所检索的图像；
把包括一个或多个所述所检索图像的不同事件子组与每一个所述群集相关联，以便提供各匹配的子组；
把所述新图像分配给与相应的所述群集相关联的所述各匹配的子组。
2.一种用于把多个新图像组合到现有数据库中的方法，该数据库具有按时间排序的图像，所述数据库图像基于时间差阈值被分类到各事件组中，并且在各事件组内基于相似性量度被分类到各事件子组中，所述方法包括以下步骤：
确定每个所述新图像的一个或多个图像特征；
查明所述新图像的时间顺序；
基于所述图像特征把所述新图像排序到各群集中；
在每个所述群集中选择代表性图像；
指定在时间顺序上与所述新图像重叠的所述数据库图像的一段；
在所述段中识别出类似于每个所述代表性图像的包括一个或多个所述数据库图像的一组，以便提供各组所检索的图像；
把包括一个或多个所述所检索图像的不同事件子组与每一个所述群集相关联，以便提供各匹配的子组；
把所述新图像分配给与相应的所述群集相关联的所述各匹配的子组；以及
在所述分配期间，保持所述新图像的所述时间顺序。
3.权利要求2所述的方法，其中，所述查明还包括：基于与所述新图像相关联的元数据来为所述新图像分配时间顺序。
4.权利要求3所述的方法，其中，所述元数据是文件产生的自动生成的日期。
5.权利要求3所述的方法，其中，所述新图像具有唯一的文件名，所述文件名包括定义所述时间顺序的元数据，并且所述查明还包括提取所述元数据。
6.权利要求2所述的方法，其中，所述查明还包括：基于所述图像在存储介质上的物理顺序来为所述新图像分配时间顺序。
7.权利要求2所述的方法，其中，所述查明还包括：接受指定所述时间顺序的用户输入。
8.权利要求2所述的方法，其中，所述数据库定义最近数据库图像日期-时间，并且所述指定还包括确定所述新图像的最后日期-时间，所述最后日期-时间不迟于所述最近数据库图像日期-时间。
9.权利要求8所述的方法，其中，所述确定还包括查明所述新图像的开始日期-时间；并且所述指定还包括把所述段限制到在所述开始日期-时间和所述最后日期-时间上或者处在所述开始日期-时间与所述最后日期-时间之间的数据库图像。
10.权利要求9所述的方法，其中，所述查明还包括：接受指定所述开始日期-时间的用户输入。
11.权利要求2所述的方法，还包括：在所述关联期间，选择所述各匹配的子组，以便最小化所述各匹配的子组的累积持续时间。
12.权利要求11所述的方法，其中，所述选择还包括：使用贪婪算法。
13.权利要求2所述的方法，还包括：在所述关联期间，选择所述各匹配的子组，以便最大化所述代表性图像与相应的所述各组数据库图像的相似性。
14.权利要求2所述的方法，还包括在所述关联之前选择以下步骤的其中之一：
选择所述各匹配的子组，以便最小化所述各匹配的子组的累积持续时间；以及
选择所述各匹配的子组，以便最大化所述代表性图像与相应的所述各组数据库图像的相似性；并且
在所述关联期间应用所选择的选择步骤。
15.权利要求2所述的方法，其中，所述选择还包括：
确定所述代表性图像与相应的所述所检索图像之间的相对相似性，以便提供相应的相似性分数；
评估所述相似性分数的方差；
当所述方差小于预定阈值时，使用所述第一选择步骤；以及
当所述方差不小于所述预定阈值时，使用所述第二选择步骤。
16.权利要求2所述的方法，其中，所述评估还包括：计算其与相应的所述代表性图像的相似性大于剩余的所述所检索图像的预定数目的所述所检索图像的方差。
17.权利要求2所述的方法，其中，所述段包括时间顺序上早于所述新图像的最后日期-时间的所有所述数据库图像。
18.权利要求2所述的方法，其中，对于所述新图像的所述特征的所述确定是自动的。
19.一种用于把多个新图像组合到现有数据库中的系统，该数据库具有按时间排序的图像，所述数据库图像基于时间差阈值被分类到各事件组中，并且在各事件组内基于相似性量度被分类到各事件子组中，所述系统包括：
用于确定每个所述新图像的一个或多个图像特征的装置；
用于查明所述新图像的时间顺序的装置；
用于基于所述图像特征把所述新图像排序到各群集中的装置；
用于在每个所述群集中选择代表性图像的装置；
用于指定在时间顺序上与所述新图像重叠的所述数据库图像的一段的装置；
用于在所述段中识别出类似于每个所述代表性图像的包括一个或多个所述数据库图像的一组以便提供各组所检索的图像的装置；
用于把包括一个或多个所述所检索图像的不同事件子组与每一个所述群集相关联以便提供各匹配的子组的装置；
用于把所述新图像分配给与相应的所述群集相关联的所述各匹配的子组同时保持所述新图像的所述时间顺序的装置。
20.一种用于把多个新图像组合到现有数据库中的计算机程序产品，该数据库具有按时间排序的图像，所述数据库图像基于时间差阈值被分类到各事件组中，并且在各事件组内基于相似性量度被分类到各事件子组中，所述计算机程序产品包括其上存储有计算机程序的计算机可读存储介质，所述计算机程序用于执行以下步骤：
确定每个所述新图像的一个或多个图像特征；
查明所述新图像的时间顺序；
基于所述图像特征把所述新图像排序到各群集中；
在每个所述群集中选择代表性图像；
指定在时间顺序上与所述新图像重叠的所述数据库图像的一段；
在所述段中识别出类似于每个所述代表性图像的包括一个或多个所述数据库图像的一组，以便提供各组所检索的图像；
把包括一个或多个所述所检索图像的不同事件子组与每一个所述群集相关联，以便提供各匹配的子组；
把所述新图像分配给与相应的所述群集相关联的所述各匹配的子组；以及
在所述分配期间，保持所述新图像的所述时间顺序。
CN2006800071208A 2005-03-04 2006-02-24 对于缺乏时间信息的图像的添加性聚类 Expired - Fee Related CN101167076B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/072,792 US7831599B2 (en) 2005-03-04 2005-03-04 Addition of new images to an image database by clustering according to date/time and image content and representative image comparison
US11/072,792 2005-03-04
PCT/US2006/006990 WO2006096384A1 (en) 2005-03-04 2006-02-24 Additive clustering of images lacking temporal information

Publications (2)

Publication Number Publication Date
CN101167076A true CN101167076A (zh) 2008-04-23
CN101167076B CN101167076B (zh) 2012-07-04

Family

ID=36579986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800071208A Expired - Fee Related CN101167076B (zh) 2005-03-04 2006-02-24 对于缺乏时间信息的图像的添加性聚类

Country Status (5)

Country Link
US (1) US7831599B2 (zh)
EP (1) EP1854033A1 (zh)
JP (1) JP4964788B2 (zh)
CN (1) CN101167076B (zh)
WO (1) WO2006096384A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594440B2 (en) 2008-08-21 2013-11-26 Hewlett-Packard Development Company, L.P. Automatic creation of a scalable relevance ordered representation of an image collection
CN107750383A (zh) * 2015-06-12 2018-03-02 皇家飞利浦有限公司 用于显示语义分类的时间线的装置、系统和方法
WO2021036906A1 (zh) * 2019-08-27 2021-03-04 华为技术有限公司 一种图片处理方法及装置

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130119124A1 (en) * 2004-11-29 2013-05-16 Leigh M. Rothschild Combining an image with a symbology selected image
US20080097972A1 (en) * 2005-04-18 2008-04-24 Collage Analytics Llc, System and method for efficiently tracking and dating content in very large dynamic document spaces
US7853898B2 (en) * 2005-11-17 2010-12-14 International Business Machines Corporation Method and apparatus for managing image display in a digital image display apparatus
US8639028B2 (en) * 2006-03-30 2014-01-28 Adobe Systems Incorporated Automatic stacking based on time proximity and visual similarity
KR100898454B1 (ko) * 2006-09-27 2009-05-21 야후! 인크. 통합 검색 서비스 시스템 및 방법
US8370479B2 (en) 2006-10-03 2013-02-05 Axeda Acquisition Corporation System and method for dynamically grouping devices based on present device conditions
US8176065B2 (en) 2006-10-13 2012-05-08 Sony Corporation System and method for automatic selection of digital photo album cover
CN101543067B (zh) * 2007-03-07 2011-01-26 索尼株式会社 显示控制设备、显示控制方法和显示系统
JP4564512B2 (ja) * 2007-04-16 2010-10-20 富士通株式会社 表示装置、表示プログラム、および表示方法
CA2601154C (en) 2007-07-07 2016-09-13 Mathieu Audet Method and system for distinguising elements of information along a plurality of axes on a basis of a commonality
US8601392B2 (en) 2007-08-22 2013-12-03 9224-5489 Quebec Inc. Timeline for presenting information
JP4811433B2 (ja) * 2007-09-05 2011-11-09 ソニー株式会社 画像選択装置、画像選択方法、およびプログラム
GB2454213A (en) * 2007-10-31 2009-05-06 Sony Corp Analyzing a Plurality of Stored Images to Allow Searching
US20090158214A1 (en) * 2007-12-13 2009-06-18 Nokia Corporation System, Method, Apparatus and Computer Program Product for Providing Presentation of Content Items of a Media Collection
KR101659097B1 (ko) * 2008-04-14 2016-09-22 티피 비전 홀딩 비.브이. 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치
EP2297703A1 (en) * 2008-06-03 2011-03-23 ETH Zurich Method and system for generating a pictorial reference database using geographical information
US20100077289A1 (en) 2008-09-08 2010-03-25 Eastman Kodak Company Method and Interface for Indexing Related Media From Multiple Sources
EP2351352A4 (en) * 2008-10-26 2012-11-14 Hewlett Packard Development Co ARRANGEMENT OF PICTURES TO PAGES WITH CONTENT-BASED FILTERING AND THEMED-BASED CLUSTERING
KR20100052676A (ko) * 2008-11-11 2010-05-20 삼성전자주식회사 컨텐츠 앨범화 장치 및 그 방법
US20100131499A1 (en) * 2008-11-24 2010-05-27 Van Leuken Reinier H Clustering Image Search Results Through Folding
US8112428B2 (en) * 2008-11-24 2012-02-07 Yahoo! Inc. Clustering image search results through voting: reciprocal election
US8326087B2 (en) * 2008-11-25 2012-12-04 Xerox Corporation Synchronizing image sequences
JP2012530287A (ja) 2009-06-15 2012-11-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 代表的な画像を選択するための方法及び装置
CN102110122B (zh) 2009-12-24 2013-04-03 阿里巴巴集团控股有限公司 一种建立样本图片索引表和图片过滤、搜索方法及装置
US9460068B2 (en) * 2010-02-03 2016-10-04 Google Inc. Narrative-based media organizing system for transforming and merging graphical representations of digital media within a work area
US8868569B2 (en) * 2010-02-24 2014-10-21 Yahoo! Inc. Methods for detecting and removing duplicates in video search results
US9785653B2 (en) * 2010-07-16 2017-10-10 Shutterfly, Inc. System and method for intelligently determining image capture times for image applications
US8724910B1 (en) * 2010-08-31 2014-05-13 Google Inc. Selection of representative images
WO2012050832A1 (en) 2010-09-28 2012-04-19 Google Inc. Systems and methods utilizing efficient video compression techniques for providing static image data
US9497249B2 (en) * 2011-08-08 2016-11-15 Sony Corporation Information processing apparatus, information processing method, program, and information processing system
US10289657B2 (en) 2011-09-25 2019-05-14 9224-5489 Quebec Inc. Method of retrieving information elements on an undisplayed portion of an axis of information elements
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US8891883B2 (en) 2012-05-15 2014-11-18 Google Inc. Summarizing a photo album in a social network system
WO2013177515A1 (en) 2012-05-24 2013-11-28 Nant Holdings Ip, Llc Event archiving, systems and methods
US8983228B1 (en) 2012-05-31 2015-03-17 Google Inc. Systems and methods for automatically adjusting the temporal creation data associated with image files
US9519693B2 (en) 2012-06-11 2016-12-13 9224-5489 Quebec Inc. Method and apparatus for displaying data element axes
US9646080B2 (en) 2012-06-12 2017-05-09 9224-5489 Quebec Inc. Multi-functions axis-based interface
US20140006406A1 (en) * 2012-06-28 2014-01-02 Aol Inc. Systems and methods for analyzing and managing electronic content
US8805091B1 (en) * 2012-08-17 2014-08-12 Google Inc. Incremental image processing pipeline for matching multiple photos based on image overlap
US8983150B2 (en) 2012-12-17 2015-03-17 Adobe Systems Incorporated Photo importance determination
US8897556B2 (en) 2012-12-17 2014-11-25 Adobe Systems Incorporated Photo chapters organization
US9384242B1 (en) * 2013-03-14 2016-07-05 Google Inc. Discovery of news-related content
US9064149B1 (en) 2013-03-15 2015-06-23 A9.Com, Inc. Visual search utilizing color descriptors
US9299009B1 (en) * 2013-05-13 2016-03-29 A9.Com, Inc. Utilizing color descriptors to determine color content of images
WO2014186392A2 (en) * 2013-05-14 2014-11-20 Google Inc. Summarizing a photo album
US11080318B2 (en) 2013-06-27 2021-08-03 Kodak Alaris Inc. Method for ranking and selecting events in media collections
MX366844B (es) * 2013-12-12 2019-07-26 Mes Medical Electronic Systems Ltd Dispositivo casero de pruebas.
WO2015200350A1 (en) 2014-06-24 2015-12-30 Google Inc. Ranking and selecting images for display from a set of images
US10031928B2 (en) * 2014-07-02 2018-07-24 BicDroid Inc. Display, visualization, and management of images based on content analytics
US9280820B2 (en) 2014-07-22 2016-03-08 Google Inc. Creating camera clock transforms from image information
CN104133899B (zh) * 2014-08-01 2017-10-13 百度在线网络技术（北京）有限公司 图片搜索库的生成方法和装置、图片搜索方法和装置
US9805248B2 (en) * 2014-08-29 2017-10-31 Definiens Ag Applying pixelwise descriptors to a target image that are generated by segmenting objects in other images
AU2015203570A1 (en) * 2015-06-26 2017-01-19 Canon Kabushiki Kaisha Method, system and apparatus for segmenting an image set to generate a plurality of event clusters
WO2018073052A1 (en) 2016-10-18 2018-04-26 Philips Lighting Holding B.V. Illumination control.
CN106599067B (zh) * 2016-11-18 2020-12-18 金华市智甄通信设备有限公司 照片显示方法及系统
US10310471B2 (en) * 2017-02-28 2019-06-04 Accenture Global Solutions Limited Content recognition and communication system
US10671266B2 (en) 2017-06-05 2020-06-02 9224-5489 Quebec Inc. Method and apparatus of aligning information element axes
GB2582592A (en) * 2019-03-26 2020-09-30 Sony Corp A method, apparatus and computer program product for storing images of a scene
WO2020195188A1 (ja) * 2019-03-26 2020-10-01 富士フイルム株式会社 画像処理装置，画像処理方法および画像処理プログラム
GB2582589A (en) * 2019-03-26 2020-09-30 Sony Corp A method, apparatus and computer program product for identifying new images of a scene
CN110443297B (zh) * 2019-07-30 2022-06-07 浙江大华技术股份有限公司 图像的聚类方法、装置及计算机存储介质

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06119388A (ja) * 1992-10-07 1994-04-28 Sony Corp 画像データ管理方法及び画像データベース
US5749077A (en) * 1994-11-28 1998-05-05 Fs Holdings, Inc. Method and apparatus for updating and selectively accessing financial records related to investments
JP3817306B2 (ja) * 1996-06-04 2006-09-06 キヤノン株式会社 文書編集システム及び文書編集方法
US6249316B1 (en) * 1996-08-23 2001-06-19 Flashpoint Technology, Inc. Method and system for creating a temporary group of images on a digital camera
JP3419645B2 (ja) * 1997-03-14 2003-06-23 株式会社日立国際電気 動画像編集方法
US6324545B1 (en) * 1997-10-15 2001-11-27 Colordesk Ltd. Personalized photo album
US6278446B1 (en) * 1998-02-23 2001-08-21 Siemens Corporate Research, Inc. System for interactive organization and browsing of video
US6240424B1 (en) * 1998-04-22 2001-05-29 Nbc Usa, Inc. Method and system for similarity-based image classification
US6285995B1 (en) * 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
US6345274B1 (en) * 1998-06-29 2002-02-05 Eastman Kodak Company Method and computer program product for subjective image content similarity-based retrieval
US6606411B1 (en) * 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
US6351556B1 (en) * 1998-11-20 2002-02-26 Eastman Kodak Company Method for automatically comparing content of images for classification into events
US6347313B1 (en) * 1999-03-01 2002-02-12 Hewlett-Packard Company Information embedding based on user relevance feedback for object retrieval
US6477269B1 (en) 1999-04-20 2002-11-05 Microsoft Corporation Method and system for searching for images based on color and shape of a selected image
AU1401401A (en) 1999-11-16 2001-05-30 At & T Laboratories Cambridge Limited Method of and apparatus for classifying an image
US7016910B2 (en) * 1999-12-30 2006-03-21 Decode Genetics Ehf. Indexing, rewriting and efficient querying of relations referencing semistructured data
JP4017354B2 (ja) * 2000-04-17 2007-12-05 富士通株式会社 情報分類装置および情報分類プログラム
JP2002041544A (ja) * 2000-07-25 2002-02-08 Toshiba Corp テキスト情報分析装置
JP2002162958A (ja) * 2000-11-28 2002-06-07 Pioneer Electronic Corp 画像表示方法および装置
US6950989B2 (en) * 2000-12-20 2005-09-27 Eastman Kodak Company Timeline-based graphical user interface for efficient image database browsing and retrieval
US7076503B2 (en) * 2001-03-09 2006-07-11 Microsoft Corporation Managing media objects in a database
US6804684B2 (en) * 2001-05-07 2004-10-12 Eastman Kodak Company Method for associating semantic information with multiple images in an image database environment
US6684177B2 (en) * 2001-05-10 2004-01-27 Hewlett-Packard Development Company, L.P. Computer implemented scalable, incremental and parallel clustering based on weighted divide and conquer
JP2002358316A (ja) * 2001-06-01 2002-12-13 Canon Inc 画像処理装置及びその方法、プログラム
US6993180B2 (en) * 2001-09-04 2006-01-31 Eastman Kodak Company Method and system for automated grouping of images
US7130864B2 (en) * 2001-10-31 2006-10-31 Hewlett-Packard Development Company, L.P. Method and system for accessing a collection of images in a database
JP2003216621A (ja) * 2002-01-23 2003-07-31 Fuji Photo Film Co Ltd プログラム、画像管理装置、及び画像管理方法
US7039239B2 (en) * 2002-02-07 2006-05-02 Eastman Kodak Company Method for image region classification using unsupervised and supervised learning
JP2003298991A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd 画像整理方法および装置並びにプログラム
JP2004120420A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像整理装置およびプログラム
US6865297B2 (en) * 2003-04-15 2005-03-08 Eastman Kodak Company Method for automatically classifying images into events in a multimedia authoring application
US7197127B2 (en) * 2003-05-15 2007-03-27 Comcast Cable Holdings, Llc Method and system for priority based telephone call screening
JP2004356984A (ja) * 2003-05-29 2004-12-16 Casio Comput Co Ltd 撮影画像処理装置およびプログラム
US7242809B2 (en) * 2003-06-25 2007-07-10 Microsoft Corporation Digital video segmentation and dynamic segment labeling
US7747625B2 (en) * 2003-07-31 2010-06-29 Hewlett-Packard Development Company, L.P. Organizing a collection of objects
US7313574B2 (en) * 2003-10-02 2007-12-25 Nokia Corporation Method for clustering and querying media items
JP4407272B2 (ja) * 2003-12-22 2010-02-03 富士ゼロックス株式会社 文書分類方法、文書分類装置及び文書分類プログラム
US7653249B2 (en) * 2004-11-17 2010-01-26 Eastman Kodak Company Variance-based event clustering for automatically classifying images
US7643686B2 (en) * 2004-11-17 2010-01-05 Eastman Kodak Company Multi-tiered image clustering by event
WO2006073299A1 (en) * 2005-01-10 2006-07-13 Samsung Electronics Co., Ltd. Method and apparatus for clustering digital photos based on situation and system and method for albuming using the same
US7640218B2 (en) * 2005-01-18 2009-12-29 Fuji Xerox Co., Ltd. Efficient methods for temporal event clustering of digital photographs

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594440B2 (en) 2008-08-21 2013-11-26 Hewlett-Packard Development Company, L.P. Automatic creation of a scalable relevance ordered representation of an image collection
CN102132318B (zh) * 2008-08-21 2014-06-11 惠普开发有限公司 图像收藏集的可缩放的相关性排序表示的自动创建
CN107750383A (zh) * 2015-06-12 2018-03-02 皇家飞利浦有限公司 用于显示语义分类的时间线的装置、系统和方法
CN107750383B (zh) * 2015-06-12 2023-06-06 皇家飞利浦有限公司 用于显示语义分类的时间线的装置、系统和方法
WO2021036906A1 (zh) * 2019-08-27 2021-03-04 华为技术有限公司 一种图片处理方法及装置
CN112445922A (zh) * 2019-08-27 2021-03-05 华为技术有限公司 一种图片处理方法及装置

Also Published As

Publication number Publication date
US7831599B2 (en) 2010-11-09
JP2008532180A (ja) 2008-08-14
WO2006096384A1 (en) 2006-09-14
JP4964788B2 (ja) 2012-07-04
EP1854033A1 (en) 2007-11-14
US20060200475A1 (en) 2006-09-07
CN101167076B (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
CN101167076B (zh) 对于缺乏时间信息的图像的添加性聚类
CN102132318B (zh) 图像收藏集的可缩放的相关性排序表示的自动创建
JP4902270B2 (ja) デジタル画像のコレクションの組み立て方法
JP5934653B2 (ja) 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
US6915011B2 (en) Event clustering of images using foreground/background segmentation
CN102804759B (zh) 图像相册创建
CN101165689B (zh) 文件管理设备和控制文件管理设备的方法
US20080085055A1 (en) Differential cluster ranking for image record access
US20100121852A1 (en) Apparatus and method of albuming content
US20030059107A1 (en) Method and system for automated grouping of images
US20060126944A1 (en) Variance-based event clustering
WO2011161889A1 (ja) 画像評価装置、画像評価方法、プログラム、集積回路
WO2006075902A1 (en) Method and apparatus for category-based clustering using photographic region templates of digital photo
JP2004118573A (ja) 画像整理装置およびプログラム
KR100664959B1 (ko) 이미지 클러스터링 장치 및 방법
US20100262605A1 (en) Image management apparatus, control method thereof and storage medium storing program
CN102084641A (zh) 控制图像处理设备的方法、图像处理设备以及图像文件
JP2020140555A (ja) 画像処理装置、制御方法、及びプログラム
JP4542013B2 (ja) プリント注文システム、プログラム、プログラム記憶媒体、およびプリント注文サーバ
JP2006031181A (ja) 画像検索装置、方法、記憶媒体及びプログラム
JP4796022B2 (ja) 画像記録装置、制御プログラム、コンピュータ読み取り可能な記録媒体、及び画像記録方法
US8571357B2 (en) Image data management apparatus, method and program
JP4650034B2 (ja) 画像管理装置、画像管理方法、および画像管理プログラム
Shen et al. Photo selection for family album using deep neural networks
JP2005004564A (ja) 画像分類処理システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: GAOZHI 83 FOUNDATION LLC

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20130409

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130409

Address after: Nevada, USA

Patentee after: Gaozhi 83 Foundation Co.,Ltd.

Address before: American New York

Patentee before: Eastman Kodak Co.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180530

Address after: Texas, USA

Patentee after: Mau new gate Venture Capital Co., Ltd.

Address before: Nevada, USA

Patentee before: Gaozhi 83 Foundation Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120704

Termination date: 20190224

CF01 Termination of patent right due to non-payment of annual fee