CN102436460A - 用于提供对象信息的装置和方法 - Google Patents
用于提供对象信息的装置和方法 Download PDFInfo
- Publication number
- CN102436460A CN102436460A CN2011102120288A CN201110212028A CN102436460A CN 102436460 A CN102436460 A CN 102436460A CN 2011102120288 A CN2011102120288 A CN 2011102120288A CN 201110212028 A CN201110212028 A CN 201110212028A CN 102436460 A CN102436460 A CN 102436460A
- Authority
- CN
- China
- Prior art keywords
- attribute information
- institute
- weighted
- information
- weighted units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000004891 communication Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 17
- 239000002131 composite material Substances 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 9
- 238000007689 inspection Methods 0.000 claims description 5
- 238000011002 quantification Methods 0.000 claims 1
- 230000003190 augmentative effect Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2203/00—Aspects of automatic or semi-automatic exchanges
- H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
- H04M2203/359—Augmented reality
Abstract
本发明提供了用于提供对象信息的装置和方法,该装置和方法用于在增强现实中提供关于正在该装置的屏幕上显示的对象的属性信息。用于显示从诸如相机的图像输入中提取出的对象的所述装置包括通信单元、对象识别单元和控制单元。所述通信单元被配置为针对对象服务器执行数据通信,所述对象服务器存储有多个对象和每个对象的属性信息。所述对象识别单元被配置为从所述图像输入中提取所述对象并且识别所述对象。所述装置基于所述对象的状态确定正在显示的对象的属性信息并且提供属性信息。
Description
技术领域
本发明涉及增强现实(augumented reality:AR),并且更具体地,涉及用于提供对象的属性信息的装置和方法。
背景技术
本申请要求2010年8月20日提交的申请号为10-2010-0080781的韩国专利申请的优先权,在此通过引证的方式将上述申请并入于此。
AR是一种通过将用户观看到的真实世界与具有附加信息的虚拟世界进行混合而获得的虚拟现实。与提供虚拟空间和虚拟对象的显示的虚拟现实(VR)不同地,AR通过向真实世界添加虚拟对象而提供附加信息。也就是说,与仅利用虚拟世界获取的VR不同地,AR是通过将虚拟对象与真实世界进行混合而获得的,由此向用户提供带有附加信息的现实的图像。由于移动设备(诸如,移动电话、个人数字助理(PDA)、超便携移动个人电脑(UMPC)等)和无线网络装置的计算能力的发展,各种类型的AR业务已经变得可用。
作为一个示例,移动电话的相机拍摄的真实世界的对象和与该对象相关的属性信息被处理为虚拟信息,该虚拟信息与真实世界中的另一个对象合并并且被一起显示。在这样的传统AR业务中,如果显示有多个对象,则无法有效地提供每个对象的属性信息。也就是说,如果在移动电话的显示器的预定区域中以某对象为焦点,则AR业务显示该对象的属性信息,或者与用户的关注无关地显示对象的属性信息。
发明内容
在一个方面中,提供了一种用于提供对象信息的装置和方法,该装置和方法能够根据基于显示在屏幕上的对象的状态的级别而提供对象的属性信息。
本发明的其它特征将在以下描述中进行阐述,并且部分将从该描述而变得明了,或者可以通过对本发明的实践而得知。
一种示例性实施方式提供了一种显示从图像中提取出的对象的装置,该装置包括:与对象服务器通信的通信单元,所述对象服务器存储对象和对应的属性信息;识别所述对象的对象识别单元;控制单元,其控制与所识别的对象一起显示属性信息,在所述对象服务器中存储有与所识别对象的预定加权相对应的数量的属性信息。
一种示例性实施方式提供了一种用于在装置上显示从图像中提取出的对象和关于该对象的属性信息的方法,该方法包括:从所述图像中识别所述对象;基于加权信息存储单元而确定与所识别的对象相关的所显示的属性信息的数量,所述加权信息存储单元存储用于确定所显示的属性信息的数量的加权条件值;和从存储有多个对象和关于所述多个对象的属性信息的对象服务器接收所确定的数量的属性信息;和在显示单元上与所识别的对象一起显示所述属性信息
应该理解,前面的一般描述和下面的具体描述都是示例性和说明性的,并且旨在对要求保护的本发明提供进一步说明。
附图说明
附图被包括进来以提供对本发明的进一步的理解,并且被并入而构成本申请的一部分,附图示出了本发明的实施方式,并与说明书一起用于解释本发明的原理。在附图中:
图1是示出根据本发明的示例性实施方式的装置的示例的框图;
图2是示出根据本发明的示例性实施方式的装置的显示器的图;
图3是示出根据本发明的示例性实施方式的装置的显示器的图;
图4是示出根据本发明的示例性实施方式的显示属性信息的装置的显示器的图;
图5是示出了根据本发明的示例性实施方式的用于显示属性信息的方法的示例的流程图。
具体实施方式
以下参照附图对本发明进行更充分地描述,附图中示出了本发明的实施方式。然而,本发明可以由许多不同的形式实现并且不应被理解为限于在此阐述的实施方式。而是,提供这些实施方式使本公开详尽,并且将向本领域普通技术人员充分地传达本发明的范围。在附图中,为了清楚起见,可能放大了层和区域的尺寸和相对尺寸。附图中相似的附图标记表示相似的元件。
应当理解,当提到元件或者层“在”另一个元件或层“上”或者与另一个元件或层“连接”时,可以是直接在另一个元件或层上或者直接与另一个元件或层连接,或者可以存在插入元件或层。与之不同地,当提到元件或者层“直接在”另一个元件或层“上”或者与另一个元件或层“直接连接”时,则不存在存在插入元件或层。
图1是示出根据本发明的示例性实施方式的装置的示例的框图。
如图1所示,用于提供对象信息(在显示的各个阶段)的装置包括通信单元100、对象识别单元110、控制单元120、加权信息存储单元130和显示单元140。该装置可以是诸如移动电话、平板计算机等的移动设备或者固定终端。通信单元100例如通过无线或者有线网络与对象服务器(未示出)通信。该装置可以向对象服务器发送图像的对象,该对象为图像中的诸如建筑或者标志的区别项。该图像通过显示单元140显示,并且可以与对象属性信息(可以包括对应对象的状态)一同显示。该装置通过通信单元100从对象服务器接收与该对象的状态(诸如其在图像中的位置)对应的属性信息。对象服务器存储多个对象的图像以及基于对象相对于图像或者装置的状态的对应属性信息。
对象识别单元110从图像中提取并且识别对象,该图像可通过内置于该装置中的相机来输入。然而,可以使用其他图像源,诸如从外部相机接收到的图像或者存储在装置内或者装置外部的图像文件。该装置基于对象相对于图像的状态、通过通信单元100从对象服务器接收属性信息。控制单元120可以基于所识别的对象以及基于加权条件的属性信息执行控制操作。可以使用各种加权条件,以下讨论几种示例。控制单元120可以执行控制操作以将属性信息与所识别的对象进行混合,并且通过显示单元140在该装置上显示至少包含有所识别的对象和所识别的对象的属性信息的图像。控制单元120可以与加权值处理单元121和合并单元129相结合地执行该操作。
加权值处理单元121确定与正在显示的对象的属性信息相关联的加权,并且存储用于确定关于多个对象的属性信息的加权条件值。因此,加权值处理单元121通过使用存储在加权信息存储单元130中的加权条件值,而确定正在显示的对象的属性信息。因此,关于对象的属性信息表示用于确定要显示的对象的开放(open)属性信息的范围的信息。在加权值处理单元121确定了对象的属性信息之后,合并单元129基于所确定的属性信息的级别从对象服务器接收属性信息,并且将所接收到的属性信息与对应的对象进行混合,以在显示单元140上显示两条信息。
加权值处理单元121可以通过基于对象尺寸的加权单元122确定显示对象的属性信息。基于对象尺寸的加权单元122确定所识别对象的尺寸,然后基于所识别对象的尺寸来分配属性信息。该尺寸可以取决于装置和对象之间的距离,并且这样,可以通过使用与尺寸相关的加权条件值而确定与该对象相关联的属性信息。正在显示的所识别对象的面积可以取决于对象与装置之间的距离。因此,基于对象尺寸的加权单元122确定与所显示的较小对象相关联的属性信息的范围更简要,而所显示的较大对象具有更具体的将显示的属性信息,并且可以具有包含更多信息的属性信息。因此,该装置可以提供与显示器中的对象尺寸对应的多种数量的属性信息。虽然图1示出加权值处理单元121包括元件122、123、124、125、126、127和128中的每一个,但是并不限于此,例如加权值处理单元121可以包括一个或者更多个这些元件。
图2是示出了根据本发明的示例性实施方式的装置的显示器的图。
如图2所示,如果用户指定了将由与装置相关联的相机拍照的区域,则由该相机来拍取该区域的图像。该装置从由相机获得的图像中识别与对象对应的建筑1210和建筑2230。基于对象尺寸的加权单元122可以基于正在显示的建筑1210和建筑2230的尺寸来确定建筑1210和建筑2230的属性信息。也就是说,该装置根据存储在加权信息存储单元130中的与对象的尺寸相关的加权条件值,来确定与建筑1210和建筑2230的尺寸对应的建筑1210和建筑2230的属性信息。更具体地说,因为建筑2230比建筑1210离该装置更远,所以正在显示的建筑2230的面积比建筑建筑1210的面积小。因此,该装置将建筑2230的属性信息确定为“基本级”,并且提供建筑2230的基本属性信息。例如,基本属性信息可以是建筑2230的名称。这样,在这种情况下,显示器可以与表示建筑名称的标签一同显示建筑2230。因为建筑1210比建筑2230离该装置更近,所以所显示的建筑1210的面积比建筑2230的面积大。因此,该装置将建筑1210的属性信息确定为“具体级”,并且提供具体的属性信息。具体的属性信息可以包括建筑1210的名称和具体信息。这样,在这种情况下,显示器可以与表示建筑名称和具体属性信息的标签一起显示建筑1210。不同的信息组合可以预设于对象服务器中,以基于对象的多种定位和尺寸而被显示。
根据另一个示例,加权值处理单元121可以根据基于聚焦的加权单元123确定正在显示的对象的属性信息。基于聚焦的加权单元123通过使用存储在加权信息存储单元130中的与屏幕聚焦相关的加权条件值,基于对象的显示点与显示器中心点之间的距离差确定该对象的属性信息。也就是说,如果正在显示的对象向显示器的中心点移动地更近,则基于聚焦的加权单元123确定使用该对象的具体属性信息,并且如果正在显示的对象离显示器的中心点移动地更远,则基于聚焦的加权单元123确定使用该对象的简要属性信息。以这种方式,该装置基于对象的显示点与显示器的中心点之间的距离差,提供与对象对应的简要属性信息或者具体属性信息。
图3是示出了根据本发明的示例性实施方式的装置的显示器的图。
如图3所示,如果用户利用相机拍摄了图像,并且将该图像提供给装置,则对象识别单元110可以从该图像中提取并识别与对象对应的建筑1310和建筑2330。该装置通过基于聚焦的加权单元123取得显示建筑1310和建筑2330的点。该装置取得显示建筑1310和建筑2330的点相对于显示器的中心点的距离信息。基于聚焦的加权单元123基于正显示在屏幕上的建筑1310和建筑2330的点相对于屏幕的中心点的距离,来确定与建筑1310和建筑2330相关的属性信息。这样,因为建筑1310比建筑2330离屏幕的中心点更近,所以基于聚焦的加权单元123确定建筑1310的属性信息为“具体级”,并且提供将与对应的对象一同显示的具体属性信息,并且基于聚焦的加权单元123确定建筑2330的属性信息为“简要级”,并且提供将与对应的对象一同显示的简要属性信息。由于建筑1310和建筑2330的属性信息量是通过基于聚焦的加权单元123确定的,所以该装置从对象服务器接收包含有建筑1310的名称和具体信息的属性信息,并与建筑1310一起显示所接收到的属性信息。此外,该装置从对象服务器接收包含有建筑2330的名称的简要属性信息,并与建筑2330一起显示所接收到的属性信息。
根据另一个示例,加权值处理单元121可以根据基于对象数量的加权单元124来确定正在显示的对象的属性信息。基于对象数量的加权单元124通过参照基于正在显示的对象数量而存储加权条件值的加权信息存储单元130,基于正在显示的对象数量来确定对象的属性信息。例如,如果只有一个对象正被显示,则基于对象数量的加权单元124确定该对象的属性信息为“具体级”,并且提供具体的属性信息。如果,例如至少三个对象正在被显示,则基于对象数量的加权单元124确定该对象的属性信息的级别为“简要级”,并且提供简要的属性信息。以这种方式,该装置根据基于对象数量的加权单元124所确定的级别从对象服务器接收与对象对应的简要属性信息或者具体属性信息,并且与对象一起显示所接收到的属性信息。
根据另一个示例,加权值处理单元121可以根据基于时间的加权单元125来确定正在显示的对象的属性信息。基于时间的加权单元125通过参照加权信息存储单元130检查在显示所识别的对象的特定时间点之后的预定时间内显示在屏幕上的对象的位置信息是否改变,确定对应的对象的属性信息。更具体地说,基于时间的加权单元125在特定的时间取得正在显示的对象的位置信息。之后,基于时间的加权单元125确定所取得的对象的位置信息在特定的时间内是否存在改变。
例如,如果用户在移动的时候拍照或者提供场景的图像,则可以确定已从该照片中提取并识别出的对象的位置信息随着时间改变。这样,基于时间的加权单元125可确定所识别的对象的属性信息为“简要级”,并且由此与对象一起显示简要的属性信息。如果用户静止站立或者移动得不大,则用户可拍照或者提供场景的图像,并且可以确定已从该照片中提取并识别出的对象的位置信息在少于预定时间的时间内没有改变。这样,基于时间的加权单元125确定所识别的对象的属性信息为“具体级”,并且与对象一起显示具体的属性信息。这样,在该示例中,基于时间的加权单元125基于装置设备的移动而改变作为属性信息并入的信息的数量。如上所述,该装置基于对象的位置信息的改变通过基于时间的加权单元125来设置对应的对象的属性信息的级别,由此提供与对象对应的简要属性信息或者具体属性信息。
根据另一个示例,加权值处理单元121可以根据基于变化的加权单元126来确定所显示的对象的属性信息。基于变化的加权单元126通过参照存储有取决于对象变化的加权条件值的加权信息存储单元130,而基于正在显示的所识别对象的尺寸变化或者运动变化来确定将被显示的属性信息。例如,如果对象从显示器的边界移动到显示器的中心,则确定发生了从显示器的边界到中心的运动变化,从而基于变化的加权单元126确定该对象的属性信息处于“具体级”,并且由此与对象一起显示具体的属性信息。因此,该装置根据基于变化的加权单元126所确定的级别从对象服务器接收具体的属性信息,并且与该对象一起显示所接收到的具体属性信息。
根据另一个示例,用户可利用放大模式来拍摄含有对象的照片或者提供包含有对象的图像。在这种情况下,显示比利用普通模式所拍摄的图像大的该对象的放大图像,并且确定正在显示的对象存在尺寸变化。因此,基于变化的加权单元126确定属性信息处于“具体级”,并且由此与对应的对象一起显示具体属性信息。因此,该装置从对象服务器接收与由基于变化的加权单元126所确定的级别对应的具体属性信息,并且与对应的对象一起显示所接收到的属性信息。如上所述,该装置通过基于变化的加权单元126、基于对象的运动变化或者尺寸变化来重新确定对象的属性信息的级别,并且根据重新确定的级别显示简要属性信息或者具体属性信息。
根据另一个示例,加权值处理单元121可以通过基于偏好的加权单元127来确定所显示的对象的属性信息。基于偏好的加权单元127通过参照存储有取决于用户偏好的加权条件值的加权信息存储单元130,而确定所识别的对象的属性信息。例如,加权信息存储单元130可以存储与娱乐相关的优先级信息和与购物相关的优先级信息。以这种方式,基于偏好的加权单元127检查正在显示的对象是否与用户输入的偏好信息相关。作为检查的结果,如果该对象与该偏好信息相关,则基于偏好的加权单元127将该对象的属性信息的级别确定为最高。由此,该装置接收与基于偏好的加权单元127所确定的级别对应的具体属性信息并且与对应的对象一起显示所接收到的属性信息。
根据另一个示例,加权值处理单元121可以通过复合加权单元128确定正在显示的对象的属性信息。在用户请求时,复合加权单元128通过参照存储有为基于对象尺寸的加权单元122、基于聚焦的加权单元123、基于对象数量的加权单元124、基于时间的加权单元125、基于变化的加权单元126和基于偏好的加权单元127的各个加权条件值确定优先级的加权条件值的加权信息存储单元130,而确定所识别的对象的属性信息。因此,该装置从对象服务器接收与基于各个加权单元122、123、124、125、126和127的加权条件值的优先级而确定的属性信息的级别对应的属性信息,并且与对应的对象一起显示所接收到的属性信息。
图4是示出了根据本发明的示例性实施方式的显示属性信息的装置的显示器的图。
例如,用户可以向与聚焦相关的加权条件值和与对象的变化相关的加权条件值提供最高的优先级。在这种情况下,如图4所示,当显示了与对象对应的建筑1410和建筑2430时,复合加权单元128通过利用确定各个加权单元122、123、124、125、126和127的各个加权条件值的优先级的加权条件值,来确定建筑1410和建筑2430的属性信息。也就是说,由于确定了建筑1410位于显示器的中心点,所以复合加权单元128将建筑1410的属性信息确定为处于高级别。此外,由于确定了建筑2430位于显示器的边界,所以复合加权单元128将建筑2430的属性信息确定为处于低级别。因此,该装置接收建筑1410的具体属性信息和建筑2430的简要属性信息,并且与建筑1410和建筑2430一起显示各个接收到的属性信息。如图4所示,如果建筑1410和建筑2430移动,则确定发生了建筑1410和建筑2430的运动变化,并且复合加权单元128重新确定建筑1410和建筑2430的属性信息。也就是说,由于确定了建筑1410从显示器的中心点或者更中心的点移动到边界“A”,所以复合加权单元128将建筑1410的属性信息的级别确定为低。此外,确定建筑2430从显示器的边界移动到中心点“B”,则复合加权单元128将建筑2430的属性信息的级别确定为高。因此,该装置从对象服务器接收建筑1410的简要属性信息和建筑2430的具体属性信息,并且与建筑1410和建筑2430一起显示各个接收到的属性信息。
图5是示出了根据本发明的示例性实施方式的显示属性信息的方法的示例的流程图。
装置从通过内置相机输入或者由图像文件提供的图像中提取对象,并且识别该对象(500)。也就是说,用户指定将由该装置的相机拍摄的区域。当用户指定了感兴趣的区域时,该装置从该图像中提取对象,并且识别该对象。该装置通过参照存储有用于确定所识别的对象的属性信息的加权条件值的加权信息存储单元,来确定与所识别的对象相关的属性信息(510)。
该装置将与属性信息相关的请求消息或者多个消息传送给被配置为存储并管理多个对象的图像以及各个对象的属性信息的对象服务器(520)。与属性信息相关的请求消息可以包括所确定的属性信息的级别。之后,该装置接收与将显示的对象相关的属性信息的数量所对应的属性信息,并且在显示器上显示包含有所接收到的属性信息和该对象的图像(530)。
在确定将从对象服务器提供给显示器的属性信息的数量时,本领域普通技术人员可以利用各种系数和技术。例如,本领域普通技术人员可以利用与加权值处理单元122、123、124、125、126、127和128结合使用的处理或者它们的等同处理相似的处理。
例如,装置可以基于所识别对象的尺寸(取决于该装置与该对象之间的距离),来确定正在显示的对象的属性信息。该装置从所显示的图像中提取对象,并且识别该对象。该装置获取该对象的面积。该装置通过参照存储有与该对象的尺寸相关的加权条件值的加权信息存储器,基于该对象的面积来确定该对象的属性信息。该装置正在显示的对象的面积随着该装置与该对象之间的距离改变。因此,对象在显示器上看起来越小,该对象就位于离该装置越远,从而该装置确定该对象的属性信息,并且由此将属性信息确定为简要属性信息并且/或显示该对象的简要属性信息。对象在显示器上看起来越大,该对象就位于离该装置越近,从而该装置将属性信息确定为具体属性信息并且/或在屏幕上显示该对象的具体属性信息。以这种方式,该装置可以基于正显示在屏幕上的对象的面积或者尺寸来提供与对象对应的具体属性信息或者简要属性信息。
例如,该装置可以基于在屏幕上显示的所识别对象的位置来确定正在显示的对象的属性信息。也就是说,该装置从通过装置的相机而输入的图像中提取对象,或者从另一个源接收图像文件,并且识别该对象。该装置获取显示有所识别对象的显示位置。该装置通过参照存储有与聚焦相关的加权条件值的加权信息存储单元,基于显示的所识别对象的位置与参考点(诸如显示器的中心)之间的距离差来确定对应对象的属性信息。也就是说,该终端装置以如下方式确定对象的属性信息:与显示器的中心越近的对象具有将显示在屏幕上的越具体的属性信息。该装置以如下方式确定对象的属性信息:离显示器的中心越远的对象具有将显示在显示器上的越简要的属性信息。以这种方式,该装置基于正在显示的对象的位置与显示器的中心之间的距离差提供与对象对应的具体属性信息或者简要属性信息。
例如,该装置可以基于正在显示的对象的数量确定正在显示的对象的属性信息。该装置从通过该装置的相机或者另一个图像提供源输入的图像中提取图像,并且识别这些对象。该装置确定所识别的对象的数量。之后,该装置通过参照存储有与正在显示的对象的数量相关的加权条件值的加权信息存储单元,基于这些对象的数量来确定这些对象的属性信息。如果只有一个对象被确定为将被显示,则该装置将该对象的属性信息确定为提供具体属性信息的具体级。如果,例如至少三个对象被确定为将在屏幕上显示,则该装置将该三个对象的属性信息确定为提供简要属性信息的简要级。以这种方式,该装置基于所确定的对象数量从对象服务器接收与对象对应的简要属性信息或者具体属性信息,并且与对象一起显示所接收到的属性信息。
例如,该装置可以基于在特定的时间(该时间可以预先设置)内对象位置信息的变化,来确定正在显示的所识别对象的属性信息。也就是说,该装置获取正在显示的对象的位置信息。该装置通过参照存储有取决于位置信息的变化的加权条件值的加权信息存储单元,检查对象的位置信息的变化。用户可以在移动的时候通过他/她的装置的相机拍摄照片,或者从源接收多个图像。在这种情况下,如果确定已经从照片中识别的对象的位置信息随着时间改变了,则该装置将所识别的对象的属性信息确定为“简要级”,并且提供将与所识别的对象一起显示的简要属性信息。静止站立的用户可以利用他/她的相机拍摄照片。在这种情况下,确定已经从照片中识别的对象的位置信息在特定的时间内没有改变,从而该装置将所识别的对象的属性信息确定为“具体级”,并且提供将与所识别的对象一起显示的具体属性信息。如上所述,该装置基于该对象位置信息的改变而设置对应对象的属性信息,由此提供对应对象的简要属性信息或者具体属性信息。
例如,该装置可以基于所显示的对象的尺寸变化或者移动变化,来确定被显示的所识别对象的属性信息。也就是说,该装置可以通过参照存储有取决于对象的变化的加权条件值的加权信息存储单元,基于对象的尺寸变化或者移动变化来确定所显示的对象的属性信息的级别。如果正在显示的对象从显示器的中心移动到边界,则确定发生了从显示器的中心到边界的运动变化,从而该装置将该对象的属性信息确定为显示简要属性信息的简要级。因此,该装置从对象服务器接收与该对象对应的简要属性信息,并且与该对象一起显示所接收到的简要属性信息。用户可以利用相机的缩小模式拍摄真实世界中的对象的照片。在这种情况下,比利用普通模式所拍摄的图像小的该对象的缩小图像被显示,并且确定正在显示的对象发生了尺寸变化。如上所述,如果确定正在显示的对象发生了尺寸变化,则该装置将属性信息确定为“简要级”,并且与对应的对象一起提供将要显示的简要属性信息。因此,该装置从对象服务器接收简要属性信息并且与该对象一起显示所接收到的属性信息。如上所述,该装置基于该对象的移动变化或者尺寸变化而重新确定对应对象的属性信息的级别,并且根据该重新确定来显示简要属性信息或具体属性信息。
例如,该装置可以基于用户的偏好而确定正在显示的对象的属性信息。也就是说,该装置通过参照存储有取决于用户的偏好的加权条件值的加权信息存储单元,确定所识别对象的属性信息。该装置可以在加权信息存储单元中存储,例如与娱乐相关的优先级信息和与购物相关的优先级信息。以这种方式,该装置检查所显示的对象是否与用户输入的偏好信息相关。作为检查的结果,如果该对象与偏好信息相关,则该装置将该对象的属性信息确定为最高级别。由此,该装置接收具体属性信息并且与对应的对象一起显示所接收到的属性信息。
例如,该装置可以基于针对以上确定对象的属性信息的方法的优先级,来确定正在显示的对象的属性信息。也就是说,在用户请求时,该装置通过参照确定并存储有针对与以上方法相关的各个加权条件值的优先级的加权信息存储单元,来确定所显示的对象的属性信息。用户可以向与聚焦相关的加权条件值和与对象的变化相关的加权条件值赋予较高的优先级。在这种情况下,如图4所示,由于显示了与对象对应的建筑1410和建筑2430,识别出建筑1位于显示器中心点或者中心点附近,并且该装置将建筑1410的属性信息的级别确定为高级别。此外,由于识别出建筑2430位于显示器的边界或者边界附近,该装置将建筑2430的属性信息的级别确定为低级别。因此,该装置接收建筑1410的具体属性信息和建筑2430的简要属性信息,并且与建筑1410和建筑2430一起显示所接收到的属性信息。如果建筑1410和建筑2430如图4所示移动,则确定建筑1410和建筑2430发生了移动变化,并且该装置重新确定建筑1410和建筑2430的属性信息。也就是说,由于确定了建筑1410从显示器的中心点移动到边界“A”,所以该装置将建筑1410的属性信息确定为低级别。此外,由于确定了建筑2430从屏幕的边界移动到中心点或者更中心的点“B”,所以该装置将建筑2430的属性信息确定为高级别。因此,该装置从对象服务器接收建筑1410的的简要属性信息和建筑2430的具体属性信息,并且与建筑1410和建筑2430一起在屏幕上显示所接收到的属性信息。
本领域普通技术人员将会明了,在不偏离本发明的精神或范围的情况下可以对本发明进行多种修改和变型。这样,本发明旨在覆盖落入所附权利要求及其等同物的范围中的本发明的这些修改和变型。
Claims (18)
1.一种显示从图像中提取出的对象的装置,该装置包括:
与对象服务器通信的通信单元,所述对象服务器存储对象和对应的属性信息;
识别所述对象的对象识别单元;
控制单元,其根据所识别对象来控制属性信息的显示,并且与存储在所述对象服务器中的所识别对象的加权相对应地控制所述属性信息的数量;和
显示单元,其与所识别对象一起显示所述属性信息。
2.根据权利要求1所述的装置,该装置还包括:
加权信息存储单元,其存储用于确定多个对象的所述加权的加权条件值,其中,所述控制单元包括:
加权值处理单元,其具有基于所识别对象的特性而确定所述属性信息的所述加权条件值的加权单元。
3.根据权利要求2所述的装置,其中,所述加权单元包括:
基于对象尺寸的加权单元,其中所述特性是所识别对象的尺寸。
4.根据权利要求2所述的装置,其中,所述加权单元包括:
基于聚焦的加权单元,其中所述特性是所识别对象的显示点与所述显示单元的中心点之间的距离差。
5.根据权利要求2所述的装置,其中,所述加权单元包括:
基于对象数量的加权单元,其中所述特性是正在显示的对象的数量。
6.根据权利要求2所述的装置,其中,所述加权单元包括:
基于时间的加权单元,其中所述特性是基于正在显示的所识别对象的位置在一时间点之后的一段时间内的改变。
7.根据权利要求2所述的装置,其中,所述加权单元包括:
基于变化的加权单元,其中所述特性是基于正在显示的所识别对象的尺寸变化或者移动变化。
8.根据权利要求2所述的装置,其中,所述加权单元包括:
基于偏好的加权单元,其中所述特性是基于用户的偏好。
9.根据权利要求2所述的装置,其中,所述加权单元包括:
复合加权单元,其中所述特性是基于不同类型的加权单元的组合。
10.一种在终端装置上显示从图像中提取出的对象以及关于所述对象的属性信息的方法,该方法包括:
从所述图像中识别所述对象;
基于加权信息存储单元而确定与所识别对象相关的所显示的属性信息的数量,所述加权信息存储单元存储用于确定所显示的属性信息的数量的加权条件值;
从存储有多个对象和关于所述多个对象的属性信息的对象服务器接收所确定数量的属性信息;和
在显示单元上与所识别对象一起显示所述属性信息。
11.根据权利要求10所述的方法,其中,所述确定是基于正在显示的所识别对象的尺寸,其中正在显示的所识别对象的所述尺寸随着所述装置与所述对象之间的距离而改变。
12.根据权利要求10所述的方法,其中,所述确定是基于所识别对象的显示点与所述显示单元的中心点之间的距离差。
13.根据权利要求10所述的方法,其中,所述确定是基于所显示的对象的数量。
14.根据权利要求10所述的方法,其中,所述确定是基于检查正在显示的所识别对象在一时间点后的一段时间内的位置信息是否改变。
15.根据权利要求10所述的方法,其中,所述确定是基于被显示的所识别对象的尺寸变化或者移动变化。
16.根据权利要求10所述的方法,其中,所述确定是基于用户的偏好。
17.根据权利要求10所述的方法,其中,所述确定是基于用于确定加权值的不同特性的组合。
18.根据权利要求17所述的方法,其中,所述组合是从至少一种以下特性的组合取得的:正在显示的所识别对象的尺寸、所识别对象的显示点与所述显示单元的中心点之间的距离差、所显示的对象的数量、在一段时间内被显示的所识别对象的位置信息的改变、被显示的所识别对象的变化以及用户的偏好。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100080781A KR101315399B1 (ko) | 2010-08-20 | 2010-08-20 | 객체 정보 제공 단말 장치 및 그 방법 |
KR10-2010-0080781 | 2010-08-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102436460A true CN102436460A (zh) | 2012-05-02 |
Family
ID=44860218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011102120288A Pending CN102436460A (zh) | 2010-08-20 | 2011-07-27 | 用于提供对象信息的装置和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20120047233A1 (zh) |
EP (1) | EP2420978A3 (zh) |
KR (1) | KR101315399B1 (zh) |
CN (1) | CN102436460A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103471580A (zh) * | 2012-06-06 | 2013-12-25 | 三星电子株式会社 | 用于提供导航信息的方法、移动终端和服务器 |
CN105890616A (zh) * | 2013-07-11 | 2016-08-24 | 北京奇虎科技有限公司 | 通过街景服务实现路线指引的方法和系统 |
CN106415599A (zh) * | 2014-06-03 | 2017-02-15 | 西门子公司 | 用于通过窗可见的、移动的对象的信息显示 |
CN108236785A (zh) * | 2018-02-08 | 2018-07-03 | 腾讯科技(深圳)有限公司 | 一种获取对象信息的方法及装置 |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9606992B2 (en) * | 2011-09-30 | 2017-03-28 | Microsoft Technology Licensing, Llc | Personal audio/visual apparatus providing resource management |
JP6056178B2 (ja) | 2012-04-11 | 2017-01-11 | ソニー株式会社 | 情報処理装置、表示制御方法及びプログラム |
US9779517B2 (en) | 2013-03-15 | 2017-10-03 | Upskill, Inc. | Method and system for representing and interacting with augmented reality content |
US9846965B2 (en) | 2013-03-15 | 2017-12-19 | Disney Enterprises, Inc. | Augmented reality device with predefined object data |
KR101362847B1 (ko) * | 2013-03-19 | 2014-02-17 | 엘아이지넥스원 주식회사 | 영상 데이터베이스 갱신 방법 |
KR101362851B1 (ko) * | 2013-03-19 | 2014-02-17 | 엘아이지넥스원 주식회사 | 영상 데이터베이스 갱신 장치 |
EP3920148A1 (en) * | 2013-04-04 | 2021-12-08 | Sony Group Corporation | Information processing device, information processing method, and program |
KR102098058B1 (ko) * | 2013-06-07 | 2020-04-07 | 삼성전자 주식회사 | 뷰 모드에서 정보 제공 방법 및 장치 |
US10114532B2 (en) * | 2013-12-06 | 2018-10-30 | Google Llc | Editing options for image regions |
US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
US9811159B2 (en) | 2014-01-21 | 2017-11-07 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
WO2015157298A1 (en) * | 2014-04-07 | 2015-10-15 | Cubic Corporation | Intuitive visual assessment of device operational health |
AU2015243930A1 (en) | 2014-04-07 | 2016-10-27 | Cubic Corporation | Systems and methods for queue management |
US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
KR101684098B1 (ko) * | 2015-04-15 | 2016-12-15 | (주)파슨텍 | 3차원 공간감지기와 영상분석을 융합한 감시시스템 |
EP3104241B1 (en) * | 2015-06-12 | 2020-09-16 | Accenture Global Services Limited | An augmented reality method and system for measuring and/or manufacturing |
KR102592463B1 (ko) | 2018-08-01 | 2023-10-23 | 삼성전자 주식회사 | 카메라 모듈을 통해 획득한 영상에 기반하여 정보를 저장하는 방법 및 이를 사용하는 전자 장치 |
KR102566149B1 (ko) * | 2018-08-08 | 2023-08-11 | 삼성전자주식회사 | 이미지에 포함된 상품 정보와 관련된 키워드를 제공하기위한 전자 장치 |
KR20210112938A (ko) * | 2020-03-06 | 2021-09-15 | 삼성전자주식회사 | Ar hud를 이용하여 운전자의 주행을 돕는 방법 및 장치 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6765569B2 (en) * | 2001-03-07 | 2004-07-20 | University Of Southern California | Augmented-reality tool employing scene-feature autocalibration during camera motion |
CN1248164C (zh) * | 2001-06-15 | 2006-03-29 | 索尼公司 | 图像处理设备和方法、以及图像拍摄设备 |
WO2006003692A1 (ja) * | 2004-06-30 | 2006-01-12 | Fujitsu Limited | 情報検索端末 |
US7720436B2 (en) * | 2006-01-09 | 2010-05-18 | Nokia Corporation | Displaying network objects in mobile devices based on geolocation |
US9648907B2 (en) * | 2005-05-31 | 2017-05-16 | Philip Morris Usa Inc. | Virtual reality smoking system |
WO2009033502A1 (en) | 2007-09-12 | 2009-03-19 | Taminco | Treatment of pigs for reducing the feed conversion ratio or increasing the growth rate |
JP5059545B2 (ja) * | 2007-10-23 | 2012-10-24 | 株式会社リコー | 画像処理装置及び画像処理方法 |
WO2010032079A2 (en) | 2008-09-17 | 2010-03-25 | Nokia Corp. | User interface for augmented reality |
-
2010
- 2010-08-20 KR KR1020100080781A patent/KR101315399B1/ko active IP Right Grant
-
2011
- 2011-07-20 US US13/187,182 patent/US20120047233A1/en not_active Abandoned
- 2011-07-21 EP EP11174806.7A patent/EP2420978A3/en not_active Withdrawn
- 2011-07-27 CN CN2011102120288A patent/CN102436460A/zh active Pending
Non-Patent Citations (3)
Title |
---|
FAN ZHANG EL AT.: "《Dynamic Labeling Management in Virtual and Augmented Environments》", 《NINTH INTERNATIONAL CONFERENCE ON COMPUTER AIDED DESIGN AND COMPUTER GRAPHICS》 * |
GABRIEL TAKACS EL AT.: "《Outdoors Augmented Reality on Mobile Phone using Loxel-Based Visual Feature Organization》", 《PROCEEDINGS OF THE 1ST ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA INFORMATION RETRIEVAL》 * |
SIMON JULIER EL AT.: "《Information Filtering for Mobile Augmented Reality》", 《PROCEEDINGS OF IEEE AND ACM INTERNATIONAL SYMPOSIUM ON AUGMENTED REALITY 2000》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103471580A (zh) * | 2012-06-06 | 2013-12-25 | 三星电子株式会社 | 用于提供导航信息的方法、移动终端和服务器 |
CN105890616A (zh) * | 2013-07-11 | 2016-08-24 | 北京奇虎科技有限公司 | 通过街景服务实现路线指引的方法和系统 |
CN106415599A (zh) * | 2014-06-03 | 2017-02-15 | 西门子公司 | 用于通过窗可见的、移动的对象的信息显示 |
CN108236785A (zh) * | 2018-02-08 | 2018-07-03 | 腾讯科技(深圳)有限公司 | 一种获取对象信息的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20120047233A1 (en) | 2012-02-23 |
KR20120017870A (ko) | 2012-02-29 |
KR101315399B1 (ko) | 2013-10-07 |
EP2420978A3 (en) | 2013-07-31 |
EP2420978A2 (en) | 2012-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102436460A (zh) | 用于提供对象信息的装置和方法 | |
CN102722517B (zh) | 用于观看者选择的视频对象的增强信息 | |
EP2420955A2 (en) | Terminal device and method for augmented reality | |
CN105637854B (zh) | 可重聚焦图像 | |
US10650264B2 (en) | Image recognition apparatus, processing method thereof, and program | |
US8363113B2 (en) | Terminal and blogging method thereof | |
CN102142005A (zh) | 提供增强现实的系统、终端、服务器及方法 | |
KR101363559B1 (ko) | 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법 | |
US20230160716A1 (en) | Method and apparatus for displaying surrounding information using augmented reality | |
CN102436461A (zh) | 用户终端、远程终端和用于共享增强现实服务的方法 | |
CN102763064A (zh) | 用于基于设备方位而提供对设备显示器的控制的方法和装置 | |
CN102754060A (zh) | 确定用于显示的信息的方法和装置 | |
CN106502637A (zh) | 移动终端和操作该移动终端的方法 | |
CN108986117B (zh) | 视频图像分割方法及装置 | |
CN111026992A (zh) | 多媒体资源预览方法、装置、终端、服务器及存储介质 | |
JP2011233005A (ja) | オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法 | |
CN103209349A (zh) | 用于执行至少一个功能的计算装置及其控制方法 | |
CN114302160B (zh) | 信息显示方法、装置、计算机设备及介质 | |
CN110909184A (zh) | 多媒体资源显示方法、装置、设备及介质 | |
KR102154204B1 (ko) | 전자장치 및 전자장치의 광고데이터 제공방법 | |
CN112131473B (zh) | 信息推荐方法、装置、设备及存储介质 | |
CN113613028A (zh) | 直播数据处理方法、装置、终端、服务器及存储介质 | |
US11238622B2 (en) | Method of providing augmented reality contents and electronic device therefor | |
KR101525409B1 (ko) | 이미지 인식모듈을 이용한 컨텐츠 증강방법 | |
KR101625751B1 (ko) | 바운더리 코드를 포함하는 ar 마커 장치, 이를 이용한 ar 제공 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120502 |