CN103140879A - 信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序 - Google Patents

Abstract

本发明公开了一种具有改善的便利性的信息再现装置。一种用作信息呈现装置的数字照相机设有：CG叠加单元（17），其用于使得虚拟物体叠加在由成像元件（3）所捕获的现实空间图像上，并且显示在显示单元（23）上；视线检测单元（12），其检测包括在由成像元件（3）所捕获的现实空间图像中的人物的视线；以及叠加位置确定单元（11），其基于由视线检测单元（12）检测到的视线来确定虚拟物体的叠加位置。

Description

信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序

技术领域

本发明涉及一种信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序。

背景技术

在由照相机拍摄的现实空间图像（捕获图像）上叠加并显示虚拟物体的增强现实技术已推广市场，并且采用增强现实技术的移动电话或头戴式显示器（HMD）开始出现。

提供这种增强现实的增强现实提供设备在显示单元上显示适于具有增强现实提供设备的用户的图像。例如，在专利文献1中，根据佩戴HMD的用户的视线来确定待叠加在捕获图像上的虚拟物体。

当可以考虑到由照相机拍摄的人物而不限于具有增强现实提供设备的用户而进行显示时，增强现实提供设备的使用能得以拓宽，从而能够实现增强现实技术的市场规模的扩展。

例如，专利文献2描述了一种对包括在捕获图像中的人物进行检测且将CG装束叠加在人物上的方法。根据该方法，可以考虑到由增强现实提供设备的照相机拍摄的人物而进行显示。然而，专利文献2的方法需要连续地将CG叠加在走动的人物上，使得系统配置变得复杂。因此，一般的用户不能没有负担地使用它。

专利文献3是用于在虚拟空间上显示人物的CG的技术，但是与增强现实提供设备无关。

专利文献4涉及一种用于检测人物的面部位置和面部方向的系统，但是与增强现实提供设备无关。

专利文献5涉及一种技术，在该技术中，三维空间中人物的面部位置和面部方向被用来确定人物是否是彼此面对，并且根据确定结果将属性值分配给人物以使唯一的ID与每个人物的属性值相关联，但是该技术与增强现实提供设备无关。

同时，当在特定位置处投影三维图像的投影仪可以考虑到观看图像的人物进行投影而不受限于增强现实提供设备时，投影仪的使用能够被拓宽。专利文献1至5未公开能够实现这样的投影仪的技术。

引文列表

专利文献

专利文献1JP-A-2005-174021

专利文献2JP-A-2009-289035

专利文献3JP-A-2000-331190

专利文献4JP-A-2007-026073

专利文献5JP-A-2010-044448

发明内容

技术问题

本发明是考虑到上面情况而做出的，并且本发明的目的是提供一种具有改善的便利性的信息呈现装置、信息呈现方法和信息呈现程序。

问题的解决方案

本发明的一种信息呈现装置是向现实空间中的人物呈现信息的信息呈现装置，该信息呈现装置包括：控制单元，其执行控制以将信息叠加在由成像元件捕获的待显示在显示单元上的现实空间图像上或者将信息投影在现实空间的一个位置上；视线检测单元，其检测在由成像元件捕获的现实空间图像中所包括的人物的视线；以及信息呈现位置确定单元，其基于由视线检测单元检测到的视线来确定信息的叠加位置或所述一个位置。

本发明的数字照相机和头戴式显示器中的每一个均包括信息呈现装置的各个单元、成像元件和显示单元，并且控制单元执行控制以将信息叠加在由成像元件捕获的待显示在显示单元上的现实空间图像上。

本发明的投影仪是这样的投影仪，其包括信息呈现装置的各个单元以及成像元件，并且控制单元执行控制以将信息投影在现实空间的位置上。

本发明的信息呈现方法是一种向现实空间中的人物呈现信息的信息呈现方法，其包括：控制步骤，用于执行控制以将信息叠加在由成像元件捕获的待显示在显示单元上的现实空间图像上或者将信息投影在现实空间的位置上；视线检测步骤，用于检测包括在由成像元件捕获的现实空间图像中的人物的视线；以及信息呈现位置确定步骤，用于基于通过视线检测步骤检测到的视线来确定信息呈现位置以确定信息的叠加位置或投影位置。

本发明的信息呈现程序是使计算机执行信息呈现方法的各个步骤的程序。

本发明的有益效果

根据本发明，可以提供一种非常方便的信息呈现装置、信息呈现方法和信息呈现程序。

附图说明

图1是用于说明本发明的实施例示出数字照相机的示意性配置的示图。

图2是用于说明人物的视线矢量的示图。

图3是用于说明当图2所示的三个视线被视线检测单元12检测到时确定虚拟物体的叠加位置的方法的示图。

图4是用于说明当图1所示的数字照相机处于增强现实模式时的操作的流程图。

图5是示出图1所示的数字照相机的第一变型示例的示图。

图6是示出记录在数据库10a中的第一表格的示例（在人物的数量为三个的情况下）的示图。

图7是用于说明当图5所示的数字照相机处于增强现实模式时的操作的示图。

图8是用于说明当图5所示的数字照相机处于增强现实模式时的操作的流程图。

图9是示出图1所示的数字照相机的第二变型示例的示图。

图10是示出记录在图9所示的数字照相机的数据库10a中的第二表格的示例。

图11A至图11C是用于说明当图9所示的数字照相机处于两个人物增强现实模式时的操作的示图。

图12是用于说明当图9所示的数字照相机处于两个人物增强现实模式时的操作的流程图。

图13是用于说明当图1所示的数字照相机处于增强现实模式时的操作的变型示例的流程图。

图14是用于说明当图1所示的数字照相机由HMD取代时的操作的示图。

图15是示出用于说明本发明实施例的三维投影仪150的示意性配置的示图。

图16是用于说明图15所示的投影仪的操作的示图。

具体实施方式

下面，参照附图对与本发明的信息呈现装置的实施例相对应的数字照相机进行描述。

图1是用于说明本发明的实施例示出数字照相机的示意性配置的示图。该数字照相机配备有增强现实模式，在增强现实模式中诸如虚拟物体的信息（计算机图形；CG）被叠加在通过拍摄现实空间所获得的将要显示的现实空间图像（捕获图像）上以向用户提供增强现实性。

图1所示的数字照相机的图像捕获系统包括：拍摄镜头1，其例如包括聚焦透镜或变焦透镜；光圈2，其设置在拍摄镜头1的后侧；成像元件3（例如CCD类型或MOS类型成像元件），其设置在光圈2的后侧；模拟前端（“AFE”）32，其对从成像元件3输出的信号进行模拟信号处理；AD转换单元33，其将AFE32的输出信号进行数字转换以进行输出；镜头驱动单元4，其控制拍摄镜头1的聚焦透镜或变焦透镜的移动；以及成像元件驱动单元5，其控制成像元件3的驱动。从AD转换单元33输出的数字形式的捕获图像信号被输出至总线B。

镜头驱动单元4、成像元件驱动单元5、AFE32和AD转换单元33受到系统控制单元（“CPU”）6的控制，系统控制单元6全面控制整个数字照相机。CPU6与用于数字照相机的各种操控的操控单元7、其中存储有由CPU6执行的各种程序的ROM8、以及用作CPU6的工作存储器的RAM9相连接。此外，CPU6连接至总线B。

图1所示的数字照相机的电子控制系统包括CPU6、叠加位置确定单元11、视线检测单元12、坐标转换单元14、面部部位检测单元15、面部检测单元16、CG叠加单元17、存储器18、信号处理单元19、控制存储器卡（记录介质）21的卡接口20、以及控制诸如液晶面板或有机EL面板之类的显示单元23的显示控制单元22，而且这些部件通过总线B彼此相连并且受到CPU6的控制。

叠加位置确定单元11、视线检测单元12、坐标转换单元14、面部部位检测单元15、面部检测单元16和CG叠加单元17是由CPU6（对应于计算机）执行存储在ROM8中的信息呈现程序而实现的功能块。

信号处理单元19由数字信号处理器（“DSP”）构成，并且对从AD转换单元33输出的且临时存储在存储器18中的捕获图像信号执行图象处理（例如合成处理或γ校正处理），以产生捕获图像数据。

面部检测单元16获取从信号处理单元19产生的捕获图像数据，并且对所获取的捕获图像数据执行面部检测处理。

面部部位检测单元15检测面部的各部位（下面，作为示例，将这些部分设置为两个眼睛和嘴），其中面部由面部检测单元16所检测。

坐标转换单元14将二维平面中连接由面部部位检测单元15所检测到的两个眼睛的每个的中心和嘴的中心的三角形的每个点的坐标转换成三维空间中的坐标（全局坐标）。

视线检测单元12基于由坐标转换单元14进行转换之后的三角形的全局坐标来检测人物的视线（在三维空间中具有方向和大小的矢量）。

例如，视线检测单元12计算出三维空间中的三角形的法向矢量，该法向矢量的起始点对应于在由坐标转换单元14所转换的三角形的各个点中与两个眼睛相对应的各点的中点，并且视线检测单元12检测法向矢量作为视线。如图2所示，当三个人物2A、2B和2C包括在捕获图像数据中时，视线检测单元12计算出连接每个人物的两个眼睛和嘴的三角形的法向矢量（视线矢量）B1至B3。

叠加位置确定单元11基于由视线检测单元12所检测到的多个视线来计算与多个视线正注视的区域相对应的三维空间上关注区域的重心。此外，叠加位置确定单元11确定重心位置作为在其上将要叠加虚拟物体的位置（关注点）。

图3是用于说明当图2所示的三个视线B1至B3被视线检测单元12检测到时确定虚拟物体的叠加位置的方法的示图。

叠加位置确定单元11在由全局坐标所限定的三维空间中连接视线矢量B1和视线矢量B2且垂直于视线矢量B1和视线矢量B2的线段中计算出最短线段3A。

此外，叠加位置确定单元11在连接视线矢量B1和视线矢量B3且垂直于视线矢量B1和视线矢量B3的线段中计算出最短线段3B。

更进一步地，叠加位置确定单元11在连接视线矢量B2和视线矢量B3且垂直于视线矢量B2和视线矢量B3的线段中计算出最短线段3C。

随后，叠加位置确定单元11在计算出的线段3A至3C中删去其长度等于或大于阈值的线段。如果存在其长度等于或大于阈值的线段，则可以判断由该线段连接的两个视线矢量彼此较宽地间隔开。为此，不采用这样的线段来确定叠加虚拟物体的位置，以防止虚拟物体的叠加位置的计算精度降低。

当在删去其长度等于或大于阈值的线段之后仍然存在三个或更多线段时，叠加位置确定单元11将通过连接这三个或更多线段的各个中点所形成的多边形定义为关注区域，并且将该关注区域的重心设置作为用于叠加虚拟物体的坐标。

此外，当在删去其长度等于或大于阈值的线段之后仍然存在两个线段时，叠加位置确定单元11将连接这两个线段的各个中点的线段的中点定义为用于叠加虚拟物体的坐标。更进一步地，当在删去其长度等于或大于阈值的线段之后存在一个线段时，叠加位置确定单元11将该线段的中点定义为用于叠加虚拟物体的坐标。

当如图3所示所有线段3A至3C的长度均小于阈值时，连接线段3A的中点、线段3B的中点和线段3C的中点的三角形的重心成为用于叠加虚拟物体的坐标（关注点坐标）。

CG叠加单元17将由叠加位置确定单元11所确定的关注点坐标转换成二维坐标，并且生成其中虚拟物体与转换的坐标相结合的增强现实图像数据，并且指示显示控制单元22将基于增强现实图像数据的图像显示在显示单元23上。

显示控制单元22控制显示单元23来显示基于由CG叠加单元17指示的增强现实图像数据的图像。

下面，对图1所示的数字照相机在其处于增强现实模式时的操作进行描述。图4是用于说明当图1所示的数字照相机处于增强现实模式时的操作的流程图。

当其设置为增强现实模式时，CPU6控制成像元件驱动单元5以通过成像元件3开始进行移动图像的拍摄。

当通过成像元件3开始移动图像的拍摄时，信号处理单元19对顺序地从成像元件3输出的捕获图像信号进行图像处理以生成捕获图像数据。所生成的捕获图像数据通过显示控制单元22的控制而顺序地显示在显示单元23上。因此，用户能够将拍摄的现实空间图像识别为即时预览图像。

同时，当生成捕获图像数据时，面部检测单元16获取捕获图像数据（步骤S40），并且对所获取的捕获图像数据执行面部检测处理（步骤S41）。

当作为面部检测处理的结果检测到一个或多个面部时（步骤S42：是），面部部位检测单元15在所检测到的面部中检测两个眼睛和一个嘴（步骤S43）。当作为面部检测处理的结果未检测到一个或多个面部时（步骤S42：否），处理返回至步骤S40，并且获取下一帧移动图像，而且对该帧进行面部检测处理。

当在步骤S43的处理中检测到针对两个或更多人物的由两个眼睛和嘴构成的部位组时（步骤S44：是），执行步骤S45之后的处理。同时，当未检测到针对两个或更多人物的部位组时（步骤S44：否），在步骤S40获取下一帧移动图像，并且对该帧执行面部检测处理。

在步骤S45，坐标转换单元14计算出连接步骤S43中所检测到的每个部位组的两个眼睛线的每个中心和嘴的中心的三角形（部位三角形）的每个顶点的坐标，并且将该坐标转换成三维空间的坐标（全局坐标）（步骤S45）。

随后，在转换至全局坐标之后，视线检测单元12针对每个部位三角形计算出其起始点为连接两个眼睛的线段的中点的法向矢量（视线矢量）（步骤S46），其中两个眼睛形成该部位三角形。此时，计算出N（N是大于等于2的自然数）个视线矢量。

随后，叠加位置确定单元11针对N个视线矢量中的每一个执行在连接一个视线矢量和其它N-1个视线矢量中每一个、且与这两个视线矢量均垂直的线段中计算出最短线段的处理。因此，计算出[{N（N-1）}/2]个线段（步骤S47）。

随后，叠加位置确定单元11在[{N（N-1）}/2]个线段中删去其长度等于或大于阈值（TH）的线段（步骤S48）。同时，当在步骤48删去所有线段时，处理进行至步骤S40。同时，当在步骤48留下一个或多个线段时，处理进行至步骤S49。

在步骤S49，当留下三个或更多线段时，叠加位置确定单元11将连接三个线段中每一个的中点的多边形的重心设置作为用于叠加虚拟物体的关注点坐标。此外，当留下两个线段时，叠加位置确定单元11将连接这两个线段的中点的线段的中点设置作为用于叠加虚拟物体的关注点坐标。更进一步地，当留下一个线段时，叠加位置确定单元11将该线段的中点设置作为用于叠加虚拟物体的关注点坐标。

随后，CG叠加单元17将在步骤S49计算出的关注点坐标转换成二维坐标。此外，CG叠加单元17产生虚拟物体与二维坐标相结合的增强现实图像数据，并且允许由显示控制单元22将基于增强现实图像数据的图像显示在显示单元23上（步骤S50）。

在步骤S50之后，当通过操控单元17发出指令以拍摄静止图像时，成像元件3拍摄静止图像，并因此由信号处理单元19生成捕获图像数据。然后，执行步骤S40至步骤S49的处理，并且将所生成的增强现实图像数据显示在显示单元23上，同时通过卡接口20将增强现实图像数据记录在存储器卡21上。

如上所述，根据该数字照相机，可以根据由成像元件3所拍摄的人物的视线来确定虚拟物体相对于显示单元23上所显示的现实空间图像的叠加位置。为此，还可以提供考虑正拍摄目标的增强现实，使得可以拓宽增强现实提供设备的使用。

进一步地，数字照相机具有简单配置，使得所拍摄的人物的视线得以检测并且根据该视线简单地确定虚拟物体的叠加位置。为此，不需要如专利文献2中所述的复杂系统，在该复杂系统中使用了从便携式现实装置接收数据并且基于所接收到的数据返回用于叠加的图像数据的服务器计算机。因此，本发明的技术可以简单地结合在一般用户可容易地购买到的诸如数字照相机的设备中。

同时，在上述说明中，在发出拍摄静止图像的指令之前显示即时预览图像期间执行从步骤S40至步骤S50的处理。然而，可以仅在发出拍摄静止图像的指令时执行该处理。

例如，在拍摄完成之后，数字照相机执行图4所示的步骤S40至S49的处理，以针对由信号处理单元19所生成的捕获图像数据计算出关注点的坐标。其后，数字照相机生成虚拟物体与坐标相结合的增强现实图像数据，在显示单元23上显示增强现实图像数据，并且同时将增强现实图像数据记录在存储器卡21中。

根据该配置，无需在显示即时预览期间执行图4所示的流程图的处理的情况下结束处理，使得可以减小数字照相机的功耗。

此外，数字照相机可以对拍摄已结束且记录在存储器卡21中的捕获图像数据或由另一个照相机所拍摄的捕获图像数据执行图4所示的处理，以生成增强现实图像数据。

通过这样做，各种捕获图像数据可以转换成增强现实图像数据，而不会受限于通过由数字照相机进行拍摄所获得的捕获图像数据，使得可以增加数字照相机的附加值。

同时，当多个人物朝向完全不同的方向时，不能确定关注点。因此，数字照相机的先决条件在于：在摄影师使用例如手指来指示对应于被摄体的人物朝向待注视的方向之后，驱动数字照相机以开始拍摄。

下面，将对图1所示的数字照相机的变型示例进行描述。

图5是示出图1所示的数字照相机的第一变型示例的示图。除增加了虚拟物体确定单元10、人物识别单元13和数据库10a之外，图5所示的数字照相机具有与图1所示的数字照相机相同的配置。虚拟物体确定单元10和人物识别单元13是通过由CPU6执行信息呈现程序所实现的功能块。

人物识别单元13在由信号处理单元19所生成的捕获图像数据中检测每个人物，并且确定人物属性。

数据库10a具有人物属性表格，在人物属性表格中记录的人物的图像和属性彼此对应。人物识别单元13基于在捕获图像数据中所提取的人物的图像和人物属性表格来确定所提取的人物的图像的属性。这里，人物属性指的是表示性别、年龄、职业、姓名和装束中至少一个的信息。

虚拟物体确定单元10基于通过人物识别单元13和数据库10a所确定的属性结果来确定虚拟物体的内容。

数据库10a具有第一表格，在第一表格中彼此对应地记录人物属性和虚拟物体的内容。根据人物数量来准备第一表格。当存在多个人物时，将表示用于多个人物的属性的组合的一个虚拟物体的内容的数据记录于其中。

图6是示出记录在数据库10a中的第一表格的示例（在人物的数量为三个的情况下）的示图。

如图6所示，汽车作为虚拟物体的内容对应于30至35岁男人、30至35岁女人、和0至5岁男人的三个人物的组合。进一步地，玩偶作为虚拟物体的内容对应于30至35岁男人、30至35岁女人、和0至5岁女人的三个人物的组合。更进一步地，英式足球作为虚拟物体的内容对应于20至25岁穿制服的男人、20至25岁穿制服的另一个男人、和20至25岁穿裁判制服的男人的三个人物的组合。

例如，当由人物识别单元13所确定的三个人物的属性为20至25岁穿制服的男人、20至25岁穿制服的另一个男人、以及20至25岁穿裁判制服的男人时，虚拟物体确定单元10根据人物属性和数据库10A来确定英式足球作为虚拟物体。

结果，基于增强现实图像数据（由CG叠加单元17生成）所生成的图像成为如图7所示的图像G中的图像，并且与正拍摄的人物具有高度相关性的虚拟物体被叠加并且显示在正拍摄的人物所注视的区域上。

图8是用于说明当图5所示的数字照相机处于增强现实模式时的操作的流程图。在图5中，与图4相同的处理由相同的附图标记表示，并且将省略其描述。

当确定检测到两个或更多人物的眼睛和嘴时，人物识别单元13针对其中在步骤S41检测到面部的捕获图像数据识别每个人物，并且确定包括在捕获图像数据中的人物的属性（步骤S81）。

在步骤S81之后，执行步骤S45至步骤S49的处理，然后虚拟物体确定单元10基于在步骤S81所确定的属性和数据库10a来确定虚拟物体（步骤S82）。

在步骤S82之后，CG叠加单元17生成其中步骤S82所确定的虚拟物体被叠加于步骤S49所确定的关注点上的增强现实图像数据，并且在步骤S50使基于增强现实图像数据的图像显示在显示单元23上。

如上所述，根据第一变型示例的数字照相机，根据被拍摄的人物的属性可以确定待叠加于现实空间图像上的虚拟物体的内容。为此，虚拟物体可以设置成为具有与正被拍摄人物的高度相关性的虚拟物体，使得即使摄影师没有指定虚拟物体，也可以获得不提供不相容感觉的增强现实图像。

图9是示出图1所示的数字照相机的第二变型示例的示图。除增加了视线角度检测单元24之外，图9所示的数字照相机具有与图5所示的数字照相机相同的配置。图9所示的数字照相机具有两个人物增强现实模式，作为先决条件两个人物增强现实模式要求待拍摄的人物数量为两个。视线角度检测单元24是通过由CPU6执行信息呈现程序来实现的功能块。

当处于两个人物增强现实模式时，视线角度检测单元24将由视线检测单元12检测到的两个视线矢量投影在二维平面（对应于捕获图像的平面）上，并且计算出由两个投影的视线矢量形成的角度θ。

当处于两个人物增强现实模式时，叠加位置确定单元11将两个视线矢量的交点的全局坐标转换成二维坐标，并且确定该二维坐标作为将要叠加CG的位置（关注点）。

当处于除两个人物增强现实模式之外的增强现实模式时，叠加位置确定单元11根据由视线检测单元12检测到的N个视线矢量来确定关注点，如上所述。

当处于两个人物增强现实模式的状态时，虚拟物体确定单元10基于由视线角度检测单元24计算出的角度θ和由人物识别单元13所确定的两个人物的属性来确定虚拟物体的内容（类型和大小）。

图9所示的数字照相机中的数据库10a具有第二表格，在第二表格中彼此对应地记录有两个人物的属性的组合、由两个人物形成的角度θ、以及虚拟物体的内容（类型和大小）。

图10是示出记录在图9所示的数字照相机的数据库10a中的第二表格的示例。

如图10所示，30至35岁穿燕尾服的男人和30至35岁穿结婚礼服的女人的两个人物的组合、0≤θ≤π/8的信息、以及作为虚拟物体的内容的“大的心”被记录成彼此对应。

进一步地，30至35岁穿燕尾服的男人和30至35岁穿结婚礼服的女人的两个人物的组合、π/8≤θ≤π/4的信息、以及作为虚拟物体的内容的“小的心”被记录成彼此对应。

更进一步地，20至25岁穿制服的男人和20至25岁穿制服的另一个男人的两个人物的组合、0≤θ≤π/8的信息、以及作为虚拟物体的内容的“火焰”被记录成彼此对应。

例如，在由人物识别单元13所确定的属性是30至35岁穿燕尾服的男人和30至35岁穿结婚礼服的女人的组合以及由视线角度检测单元24计算出的角度θ为三十度的情况下，小的心被叠加并且显示在拍摄的现实空间图像中所包括的两个人物的视线的交点附近，如图11A所示。

此外，例如，在由人物识别单元13所确定的属性是30至35岁穿燕尾服的男人和30至35岁穿结婚礼服的女人的组合以及由视线角度检测单元24计算出的角度θ为五度的情况下，大的心被显示为叠加在拍摄的现实空间图像中所包括的两个人物的视线的交点附近，如图11B所示。

更进一步地，例如，在由人物识别单元13所确定的属性是20至25岁穿制服的男人和20至25岁穿制服的另一个男人的组合以及由视线角度检测单元24计算出的角度θ为五度的情况下，火焰被叠加并且显示在拍摄的现实空间图像中所包括的两个人物的视线的交点附近，如图11C所示。

图12是用于说明当图9所示的数字照相机处于两个人物增强现实模式时的操作的流程图。在图12中，与图8相同的处理由相同附图标记表示，并且将省略其描述。

在步骤S43的处理中，当确定成功检测到两个人物的眼睛和嘴时（步骤S110：是），则顺序地执行步骤S81、步骤S45和步骤S46。

在步骤S46之后，视线角度检测单元24将两个视线矢量投影在步骤S46中计算出的二维平面上（步骤S111），然后计算出由投影的两个视线矢量形成的角度θ（步骤S112）。

随后，基于步骤S81中确定的两个人物的属性、步骤S112中计算出的角度θ、以及记录在数据库10a上的第二表格，虚拟物体确定单元10确定虚拟物体（步骤S113）。

随后，叠加位置确定单元11计算出全局坐标中的在步骤S46计算出的两个视线矢量的交点的坐标，并且设置交点坐标作为关注点。

其后，CG叠加单元17将交点坐标转换成二维坐标，生成在步骤S113所确定的虚拟物体结合在交点的转换的坐标处的增强现实图像数据，并且将基于增强现实图像数据的图像显示在显示单元23上（步骤S114）。

同时，除两个人物增强现实模式之外的增强现实模式下的操作与图8所示的相同。

如上所述，根据第二变型示例的数字照相机，可以根据两个人物的属性和视线形成的角度来确定待叠加在现实空间图像上的虚拟物体的类型和大小。为此，如图11A至11C所示，可以根据两个人物的感觉来叠加和显示虚拟物体，因此，可以提供反映人物意图的有趣的增强现实。

同时，当处于两个人物增强现实模式时，第二变型示例的数字照相机可以省略对人物的识别。在这种情况下，待叠加和显示的虚拟物体由用户指定，使得虚拟物体确定单元10根据由视线角度检测单元24计算出的角度θ来确定指定的虚拟物体的大小。

例如，当用户指定心作为虚拟物体且拍摄如图11A所示的两个人物时，如果两个人物的视线的角度大，那么如图11A心变得较小，以及如果两个人物的视线的角度小，那么如图11B心变得较大。

如此，当预先定义虚拟物体时，可以仅仅根据由视线形成的角度θ来确定虚拟物体的内容（大小）。

在目前为止的描述中，当两个或更多人物包括在由成像元件3拍摄的现实空间图像中时，在根据人物视线的位置上叠加和显示虚拟物体。下面将描述即使当仅一个人物包括在由成像元件3拍摄的现实空间图像中时也叠加和显示虚拟物体的方法。

图13是用于说明当图1所示的数字照相机处于增强现实模式时的操作的变型示例的流程图。在图13中，与图3相同的处理由相同附图标记表示，并且将省略其描述。

作为S43处理的结果，当确定在捕获图像数据中未检测到两个或更多人物的眼睛和嘴时，即，当仅一个人物包括在捕获图像数据中时（步骤S44：否），坐标转换单元14计算出三角形（部位三角形）每个顶点的坐标，其中该三角形连接在步骤S43检测到的每个眼睛的中心和嘴的中心，并且坐标转换单元14将计算出的坐标转换成三维空间的坐标（全局坐标）（步骤S131）。

随后，在转换成全局坐标之后，视线检测单元12计算出其起始点为连接构成部位三角形的两个眼睛的线段的中点的部位三角形的法向矢量（视线矢量）（步骤S132）。此时，计算出一个视线矢量。

随后，视线检测单元12获取拍摄中的成像元件3的视线矢量的信息以便获得捕获图像数据（步骤S133），其中在步骤S41针对该捕获图像数据执行了面部检测。由于成像元件3的视线矢量与数字照相机的光轴相一致，因此视线检测单元12计算出从捕获图像数据的中心垂直于捕获图像数据延伸的直线作为成像元件3的视线矢量，以获取成像元件3的视线矢量的信息。

随后，叠加位置确定单元11基于在步骤S132计算出的一个视线矢量和在步骤S133获取的成像元件3的视线矢量来确定虚拟物体叠加到的位置（关注点）（步骤S134）。

具体地，叠加位置确定单元11在连接步骤S132中计算出的一个视线矢量和步骤S133中获取的成像元件3的视线矢量、且垂直于这两个视线矢量的线段中计算出最短线段，并且将计算出的最短线段的中点确定作为虚拟物体叠加到的关注点。

在步骤S134之后，CG叠加单元17产生虚拟物体与捕获图像数据的在步骤S134确定的关注点相结合的增强现实图像数据，并且在步骤S50将基于增强现实图像数据的图像显示在显示单元23上。

如上所述，即使当仅一个人物包括在通过由成像元件3拍摄所获得的现实空间图像中时，也可以基于现实空间图像中所包括的人物的视线矢量和成像元件3的视线矢量来确定虚拟物体将要叠加到的位置。在这种情况下，虚拟物体的大小可以根据由现实空间图像中所包括的人物的视线矢量和成像元件3的视线矢量所形成的角度而发生变化。

如上所述，根据图1、图5和图9所示的数字照相机以及执行图13中所示的操作的数字照相机，可以生成考虑了将要拍摄的人物的增强现实图像数据以提供给用户，从而可以提出了前所未有的作为增强现实提供设备的使用。

同时，在如上所述的说明中，数字照相机配备有增强现实功能，然而头戴式显示器HMD也可以配备有增强现实功能。

例如，将针对如图14所示的三个人物14A、14B和14C佩戴HMD的情况来举例说明具有图1所示的框图配置或其变型配置的HMD。

在这种情况下，人物14B和人物14C包括在由人物14A佩戴的HMD的成像元件3所拍摄的图像中。为此，将虚拟物体叠加在根据现实空间图像中的人物14B和人物14C的视线的位置上的增强现实图像G1被显示在人物14A佩戴的HMD的显示单元23上。

仅人物14A包括在由人物14B和人物14C佩戴的HMD的成像元件3所拍摄的图像中。为此，其中虚拟物体叠加在根据人物14A的视线和人物14B佩戴的HMD的视线的位置上的增强现实图像G2被显示在人物14B佩戴的HMD的显示单元23上。进一步地，其中虚拟物体叠加在根据人物14A的视线和人物14C佩戴的HMD的视线的位置上的增强现实图像G3被显示在人物14C佩戴的HMD的显示单元23上。

如上所述，可以在HMD中提供增强现实功能，因此，增强现实可以由拍摄照片的人物和将被拍摄的目标共同分享。

在包括成像装置的三维投影仪中可以提供本发明中描述的增强现实功能。

图15是示出用于说明本发明的实施例的三维投影仪150的示意性配置的示图。除CG叠加单元17被删去并且投影单元30取代显示控制单元22和显示单元23而安装于其中之外，图15所示的框图配置与图1所示的数字照相机的相同。

其中记录了捕获图像数据被转换成全局坐标的虚拟空间以及与虚拟空间位置相对应的现实空间位置的表格被登记在三维投影仪中。此外，叠加位置确定单元11从表格读出与所确定的关注点的全局坐标相对应的现实空间位置，并且指示投影单元30将虚拟物体投影到现实空间位置。

投影单元30根据指令将虚拟物体投影到现实空间位置。

如图16所示，当拍摄三个人物时，三维投影仪150检测拍摄图像中所包括的三个人物的视线，根据检测到的视线确定关注点，并且将虚拟物体（图16所示的示例中的足球）投影到与所确定的视线相对应的现实空间位置。

通过这样做，被拍摄的人物分享了虚拟物体而不使用HMD。

同时，三维投影仪150的用于拍摄的部件（镜头1、光圈2、成像元件3、AFE32、AD转换单元33、镜头驱动单元4和成像元件驱动单元5）可以是独立于其主体的单独构件。通过单独地配置用于拍摄的部件，可以将用于拍摄的部件置于可容易地检测到人物视线的位置上，使得可以容易地检测到视线。

另外，图5和图9所示的框图配置还可以配置成删去CG叠加单元17并且安装投影单元30来取代显示单元23和显示控制单元22，并且向投影单元30发出指令以将虚拟物体投影到由叠加位置确定单元11确定的关注点上，由此形成三维投影仪。进一步地，图13中说明的变型示例还可以应用于三维投影仪150。

还可以通过商业上可购得的计算机来实现本发明中说明的增强现实功能。

例如，将用于执行图4所示的流程图的各个步骤的程序从存储该程序的计算机可读介质（例如，CD-ROM、CD-R、DVD-ROM、DVD-R、USB存储器）安装在计算机中。当通过计算机执行程序时，计算机在图4所示的步骤S40中获取由用户指定的捕获图像数据，通知用户在步骤S42的确定结果为否并且根据步骤S48的处理的结果未留下线段的情况下不能生成增强现实图像数据，然后完成处理。进一步地，在步骤S50，计算机将基于增强现实图像数据的图像显示在连接到计算机的显示单元上。

另外地，将用于执行图8和图12所示的流程图的各个步骤的程序从存储该程序的计算机可读介质安装在计算机中，并且图5或图9所示的数据库10a被嵌入其中。当通过计算机执行程序时，计算机在图8和图12所示的步骤S40获取由用户指定的捕获图像数据，通知用户在步骤S42中的确定结果为否并且在步骤S44和步骤S110中的确定结果为否的情况下不能生成增强现实图像数据，然后完成处理。进一步地，在步骤S50和步骤S114，计算机使基于增强现实图像数据的图像显示在连接到计算机的显示单元上。

另外地，将用于执行图13所示的流程图的各个步骤的程序从存储该程序的计算机可读介质安装在计算机中。当通过计算机执行程序时，计算机在图13所示的步骤S40获取由用户指定的捕获图像数据，通知用户在步骤S42中的确定结果为否并且根据步骤S48的处理结果未留下线段的情况下不能生成增强现实图像数据，然后完成处理。进一步地，在步骤S50，计算机使基于增强现实图像数据的图像显示在连接到计算机的显示单元上。

如上所述，可以在商业上可购得的不具有图像捕获功能的计算机上生成增强现实图像数据，以再现增强现实图像数据。

如目前为止所描述的，在本说明书中公开了以下内容。

公开的信息呈现装置是一种向现实空间中的人物呈现信息的信息呈现装置，包括：控制单元，其执行控制以将信息叠加在由成像元件捕获的待显示在显示单元上的现实空间图像上或者将信息投影在现实空间的投影位置上；视线检测单元，其检测在由成像元件捕获的现实空间图像中所包括的人物的视线；以及信息呈现位置确定单元，其基于由视线检测单元检测到的视线来确定信息的叠加位置或投影位置。

公开的信息呈现装置是这样的信息呈现装置，其还包括：属性确定单元，其利用其视线被检测到的所有人物的图像和数据库来确定所有人物的属性，所述所有人物的图像与其属性彼此对应地记录在数据库中；以及信息内容确定单元，其根据所有人物的属性来确定信息内容。

公开的信息呈现装置是这样的信息呈现装置，其中人物的属性表示性别、年龄、职业、姓名和装束中的至少一个。

公开的信息呈现装置是这样的信息呈现装置，其还包括：角度计算单元，其计算出在由成像元件捕获的现实空间图像中所包括的两个人物的各自视线形成的角度；以及信息内容确定单元，其至少根据由视线形成的角度来确定信息内容。

公开的信息呈现装置是这样的信息呈现装置，其还包括：属性确定单元，其使用两个人物的图像和数据库来确定两个人物的属性，两个人物的图像和其属性彼此对应地记录在数据库中，其中信息内容确定单元根据由两个人物的视线形成的角度和两个人物的属性来确定信息内容。

公开的信息呈现装置是这样的信息呈现装置，其中人物的属性表示性别、年龄、职业、姓名和装束中的至少一个。

公开的信息呈现装置是这样的信息呈现装置，其还包括：成像元件视线信息获取单元，其在仅一个人物包括在由成像元件捕获的现实空间图像中时获取成像元件的视线的信息，其中信息呈现位置确定单元基于一个人物的视线和成像元件的视线来确定信息的叠加位置或投影位置。

公开的数字照相机是这样的数字照相机，其包括：信息呈现装置的各个单元；成像元件；和显示单元，其中控制单元执行控制以将信息叠加在由成像元件捕获的待显示在显示单元上的现实空间图像上。

公开的头戴式显示器是这样的头戴式显示器，其包括：信息呈现装置的各个单元；成像元件；和显示单元，其中控制单元执行控制以将信息叠加在由成像元件捕获的待显示在显示单元上的现实空间图像上。

公开的投影仪是这样的投影仪，其包括：信息呈现装置的各个单元；和成像元件，其中控制单元执行控制已将信息投影在现实空间的位置上。

公开的信息呈现方法是一种向现实空间中的人物呈现信息的信息呈现方法，包括：控制步骤，用于执行控制以将信息叠加在由成像元件捕获的待显示在显示单元上的现实空间图像上或者将信息投影在现实空间的位置上；视线检测步骤，用于检测包括在由成像元件捕获的现实空间图像中的人物的视线；以及信息呈现位置确定步骤，用于基于通过视线检测步骤检测到的视线来确定信息呈现位置以确定信息的叠加位置或投影位置。

公开的信息呈现方法是这样的信息呈现方法，其还包括：属性确定步骤，用于利用其视线被检测到的所有人物的图像和数据库来确定所有人物的属性，所有人物的图像与其属性彼此对应地记录在数据库中；以及信息内容确定步骤，用于根据所有人物的属性来确定信息内容。

公开的信息呈现方法是这样的信息呈现方法，其中人物的属性表示性别、年龄、职业、姓名和装束中的至少一个。

公开的信息呈现方法是这样的信息呈现方法，其还包括：角度计算步骤，用于计算出由成像元件捕获的现实空间图像中所包括的两个人物的各自视线形成的角度；以及信息内容确定步骤，用于至少根据由视线形成的角度来确定信息内容。

公开的信息呈现方法是这样的信息呈现方法，其还包括：属性确定步骤，用于使用两个人物的图像和数据库来确定两个人物的属性，两个人物的图像和其属性彼此对应地记录在数据库中，其中在信息内容确定步骤中，根据由两个人物的视线形成的角度和两个人物的属性来确定信息内容。

公开的信息呈现方法是这样的信息呈现方法，其中人物的属性表示性别、年龄、职业、姓名和装束中的至少一个。

公开的信息呈现方法是这样的信息呈现方法，其还包括：成像元件视线信息获取步骤，用于在仅一个人物包括于由成像元件捕获的现实空间图像中时获取成像元件的视线的信息，其中在信息呈现位置确定步骤中，基于一个人物的视线和成像元件的视线来确定信息的叠加位置或投影位置。

公开的信息呈现程序是这样的程序：当执行时，该程序使信息呈现方法的各个步骤发生。

工业适用性

根据本发明，可以提供一种具有改善的便利性的信息呈现装置、信息呈现方法和信息呈现程序。

尽管已详细地或者参照具体实施例对本发明进行了描述，然而对于本领域技术人员显而易见的是，在不背离本发明的精神和范围内可以做出各种变型或修改。

该申请要求于2010年9月30日提交的日本专利申请No.2010-223278的优先权和权益，该申请的公开内容通过引证方式并入到本文中。

附图标记列表

3：成像元件，11：叠加位置确定单元

12：视线检测单元，17：CG叠加单元，23：显示单元

Claims (18)

1.一种向现实空间中的人物呈现信息的信息呈现装置，包括：

控制单元，其执行控制以将所述信息叠加在由成像元件捕获的待显示在显示单元上的现实空间图像上或者将所述信息投影在现实空间的投影位置上；

视线检测单元，其检测在由所述成像元件捕获的所述现实空间图像中所包括的人物的视线；以及

信息呈现位置确定单元，其基于由所述视线检测单元检测到的视线来确定所述信息的叠加位置或投影位置。

2.根据权利要求1所述的信息呈现装置，还包括：

属性确定单元，其利用其视线被检测到的所有人物的图像和数据库来确定所有人物的属性，所述所有人物的图像与其属性彼此对应地记录在所述数据库中；以及

信息内容确定单元，其根据所有人物的属性确定信息内容。

3.根据权利要求2所述的信息呈现装置，其中人物的所述属性表示性别、年龄、职业、姓名和装束中的至少一个。

4.根据权利要求1所述的信息呈现装置，还包括：

角度计算单元，其计算由所述成像元件捕获的所述现实空间图像中所包括的两个人物的各自视线形成的角度；以及

信息内容确定单元，其至少根据由所述视线形成的角度来确定所述信息内容。

5.根据权利要求4所述的信息呈现装置，还包括：

属性确定单元，其使用两个人物的图像和数据库来确定所述两个人物的属性，所述两个人物的图像和其属性彼此对应地记录在所述数据库中，

其中所述信息内容确定单元根据由所述两个人物的视线形成的角度和所述两个人物的属性来确定所述信息内容。

6.根据权利要求5所述的信息呈现装置，其中人物的所述属性表示性别、年龄、职业、姓名和装束中的至少一个。

7.根据权利要求1所述的信息呈现装置，还包括：

成像元件视线信息获取单元，其在仅一个人物包括在由所述成像元件捕获的所述现实空间图像中时获取所述成像元件的视线的信息，

其中所述信息呈现位置确定单元基于所述一个人物的视线和所述成像元件的视线来确定所述信息的叠加位置或所述投影位置。

8.一种数字照相机，其包括：

根据权利要求1至7中任一项所述的信息呈现装置的各个单元；

所述成像元件；以及

所述显示单元，

其中所述控制单元执行控制以将所述信息叠加在由所述成像元件捕获的待显示在所述显示单元上的现实空间图像上。

9.一种头戴式显示器，其包括：

根据权利要求1至7中任一项所述的信息呈现装置的各个单元；

所述成像元件；以及

所述显示单元，

其中所述控制单元执行控制以将所述信息叠加在由所述成像元件捕获的待显示在所述显示单元上的现实空间图像上。

10.一种投影仪，其包括：

根据权利要求1至7中任一项所述的信息呈现装置的各个单元；以及

所述成像元件，

其中所述控制单元执行控制以将所述信息投影在现实空间的位置上。

11.一种向现实空间中的人物呈现信息的信息呈现方法，包括：

控制步骤，用于执行控制以将所述信息叠加在由成像元件捕获的待显示在显示单元上的现实空间图像上或者将所述信息投影在现实空间的投影位置上；

视线检测步骤，用于检测包括在由所述成像元件捕获的所述现实空间图像中的人物的视线；以及

信息呈现位置确定步骤，用于基于通过所述视线检测步骤检测到的视线来确定信息呈现位置以确定所述信息的叠加位置或所述投影位置。

12.根据权利要求11所述的信息呈现方法，还包括：

属性确定步骤，用于利用其视线被检测到的所有人物的图像和数据库来确定所有人物的属性，其中所述所有人物的图像与其属性彼此对应地记录在所述数据库中；以及

信息内容确定步骤，用于根据所有人物的属性来确定信息内容。

13.根据权利要求12所述的信息呈现方法，其中人物的属性表示性别、年龄、职业、姓名和装束中的至少一个。

14.根据权利要求11所述的信息呈现方法，还包括：

角度计算步骤，用于计算由所述成像元件捕获的所述现实空间图像中所包括的两个人物的各自视线形成的角度；以及

信息内容确定步骤，用于至少根据由所述视线形成的角度来确定所述信息内容。

15.根据权利要求14所述的信息呈现方法，还包括：

属性确定步骤，用于使用两个人物的图像和数据库来确定所述两个人物的属性，其中所述两个人物的图像和其属性彼此对应地记录在所述数据库中，

其中在所述信息内容确定步骤中，根据由所述两个人物的视线形成的角度和所述两个人物的属性来确定所述信息内容。

16.根据权利要求15所述的信息呈现方法，其中人物的属性表示性别、年龄、职业、姓名和装束中的至少一个。

17.根据权利要求11所述的信息呈现方法，还包括：

成像元件视线信息获取步骤，用于在仅一个人物包括在由所述成像元件捕获的所述现实空间图像中时获取所述成像元件的视线的信息，

其中在所述信息呈现位置确定步骤中，基于所述一个人物的视线和所述成像元件的视线来确定所述信息的叠加位置或所述投影位置。

18.一种信息呈现程序，在运行所述信息呈现程序时使得执行根据权利要求11至17中任一项所述的信息呈现方法的各个步骤。

Images