CN102696057A - 增强现实系统 - Google Patents

增强现实系统 Download PDF

Info

Publication number
CN102696057A
CN102696057A CN2010800595568A CN201080059556A CN102696057A CN 102696057 A CN102696057 A CN 102696057A CN 2010800595568 A CN2010800595568 A CN 2010800595568A CN 201080059556 A CN201080059556 A CN 201080059556A CN 102696057 A CN102696057 A CN 102696057A
Authority
CN
China
Prior art keywords
image
real world
light source
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800595568A
Other languages
English (en)
Inventor
洪钟哲
金宰亨
尹钟敏
郑浩钟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bizmodeline Co Ltd
Original Assignee
Bizmodeline Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bizmodeline Co Ltd filed Critical Bizmodeline Co Ltd
Publication of CN102696057A publication Critical patent/CN102696057A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Abstract

本发明提供了涉及增强现实(AR)设备的装置和技术。用于增强真实世界图像的设备包括：光源信息产生单元，针对由真实世界图像捕捉设备所捕捉的真实世界图像，基于捕捉真实世界图像的位置、时间以及日期，产生光源信息。光源信息包括与真实世界图像的真实世界光源的位置有关的信息。该设备还包括：阴影图像对准单元，接收从光源信息产生单元产生的光源信息。阴影图像对准单元基于从光源信息产生单元产生的光源信息，产生覆盖到真实世界图像上的虚拟对象的阴影图像。

Description

增强现实系统
背景技术
增强现实(AR)关注于将真实世界和计算机产生的数据相结合，特别是将计算机图形对象实时混合到真实镜头中，用于向最终用户显示。AR的范围已经扩张到包括非视觉增强以及更广泛的应用领域，比如广告、导航、军事服务以及娱乐等等。为了使其成功部署，提供将这种计算机产生的数据(图像)无缝集成到真实世界的场景中已受到越来越多的关注。
发明内容
本发明提供了涉及增强现实(AR)设备的技术。在一个实施例中，一种用于增强真实世界图像的设备包括：光源信息产生单元，针对由真实世界图像捕捉设备所捕捉的真实世界图像，基于捕捉真实世界图像的位置、时间以及日期，产生光源信息。光源信息包括与真实世界图像的真实世界光源的位置有关的信息。该设备还包括：阴影图像对准单元，接收从光源信息产生单元产生的光源信息。阴影图像对准单元基于从光源信息产生单元产生的光源信息，产生覆盖到真实世界图像上的虚拟对象的阴影图像。
前述发明内容仅是说明性的，且不意在以任何方式加以限制。除了上述说明性方面、实施例以及特征之外，通过参考附图和以下详细描述，其他方面、实施例和特征将变得显而易见。
附图说明
图1示出了增强现实(AR)系统的说明性实施例的示意框图。
图2A至2C示出了用于产生增强现实图像的说明性实施例，该增强现实图像叠加了虚拟对象的阴影图像。
图3示出了图1的图像捕捉单元的说明性实施例的示意框图。
图4示出了图1的AR产生器的说明性实施例的示意框图。
图5示出了图4的AR图像产生单元的说明性实施例的示意框图。
图6示出了用于基于无标记选择/对准技术来选择和对准虚拟对象并产生该虚拟对象的虚拟阴影图像的说明性实施例。
图7A至7C示出了AR系统的另一说明性实施例的示意图。
图8示出了用于产生AR图像的方法的说明性实施例的示例流程图。
具体实施方式
在以下详细说明中，参考了作为详细说明的一部分的附图。在附图中，除非上下文另行指明，否则类似符号通常表示类似部件。具体实施方式部分、附图和权利要求书中记载的示例性实施例并不是限制性的。在不脱离在此所呈现主题的精神或范围的情况下，可以利用其他实施例，且可以进行其他改变。应当理解，在此一般性记载以及附图中图示的本公开的各方案可以按照在此明确公开的多种不同配置来设置、替换、组合、分割和设计。
增强显示(AR)技术将真实世界图像与虚拟对象的图像混合，以向观众提供虚拟对象存在于真实世界中的幻象。本公开所述的技术采用了新颖的AR设备来产生包括虚拟对象的虚拟阴影图像在内的混合图像，该虚拟阴影图像遵循真实图像中的真实对象的真实世界阴影图像或与其一致，使得虚拟阴影图像对于观众看起来就好像其是由投射真实世界阴影图像的相同真实世界光源(例如太阳)所投射出来的。
图1示出了增强现实(AR)系统的说明性实施例的示意框图。参见图1，AR系统100可以包括：图像捕捉单元110，被配置为捕捉真实世界图像；AR产生器120，被配置为通过将捕捉到的真实世界图像与一个或多个虚拟对象的图像以及他们相应的虚拟阴影图像叠加，来产生AR图像；以及显示单元130，被配置为显示由AR产生器120产生的增强现实图像。
如本文所使用的，术语“虚拟对象”指代对象的几何形状表示，以及术语“虚拟阴影图像”指代使用本领域众所周知的阴影呈现技术所呈现的虚拟对象的阴影图像。这种阴影呈现技术的示例包括(但不限于)：阴影映射算法、阴影体积算法、以及柔和阴影算法。与虚拟对象和虚拟阴影图像有关的技术细节在本领域中是众所周知的，且本文不做进一步解释。
图像捕捉单元110可以包括用于捕捉真实世界场景的真实世界图像的一个或多个数字相机(未示出)。在一个实施例中，图像捕捉单元110可以位于远离AR产生器120的位置，且可以与AR产生器120无线连接。在另一实施例中，图像捕捉单元110可以被布置在装有AR产生器120的相同外壳内。
AR产生器120可以被配置为产生虚拟对象的虚拟阴影图像，该虚拟对象的图像要叠加到由图像捕捉单元110所捕捉的真实世界图像上。可以在AR产生器120中预先存储虚拟对象，或可以由AR产生器120从外部设备(例如服务器)接收虚拟对象。在一个实施例中，AR产生器120可以被配置为产生虚拟阴影图像，该虚拟阴影图像的大小、形状、方向和/或强度遵循真实世界图像中真实对象的真实世界阴影图像或与其一致。按这种方式产生的虚拟阴影图像对于AR图像的观众可以看起来好像其由投射真实世界阴影图像的相同真实世界光源所投射出来的。
图2A至2C示出了用于产生与虚拟图像及其虚拟阴影图像叠加的AR图像的说明性实施例。图2A示出了真实世界场景的立体图的说明性实施例，图2B示出了不具有虚拟对象的虚拟阴影图像的图2A的真实世界场景的AR图像的说明性实施例，以及图2C示出了包括虚拟对象的虚拟阴影图像在内的图2A的真实世界场景的AR图像的说明性实施例。参见图2A至2C，图2A中真实世界场景2包括：太阳20、高尔夫球洞21、其中的杆22、以及杆22的真实世界阴影23。图像捕捉单元110产生这种真实世界场景2的真实世界图像，并将其提供给AR图像产生器120。图2B和2C中的高尔夫球24及图2C中的高尔夫球24的阴影图像25是由AR图像产生器120所添加的虚拟图像。图2C中的高尔夫球24的虚拟阴影图像25与由真实世界太阳20所投射的杆22的真实世界阴影23具有相同的方向。如通过比较图2B和2C所意识到的，添加的虚拟阴影图像25为添加到AR图像上的高尔夫球24的虚拟图像带来了真实性，给出了好像其真实存在于这真实世界中的幻象。
参见图1，AR产生器120可以被配置为估计真实世界光源(例如，太阳)相对于图像捕捉单元110的位置，且被配置为基于所估计的位置来产生虚拟阴影图像。在一个实施例中，AR产生器120可以被配置为：基于图像捕捉单元110捕捉真实世界图像时的位置、时间和日期，来估计真实世界光源的位置。AR产生器120可以从相机单元110和/或外部设备(例如，服务器)至少部分地获得与位置、时间和/或日期有关的这种信息。下面将参照图3至5来详细解释与以下各项相关的技术细节：(a)估计太阳的位置；以及(b)据此产生虚拟阴影图像和AR图像。
显示单元130可以被配置为：显示由AR产生器120所提供的增强现实图像。在一个实施例中，显示单元130可以用以下各项来实现：阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、有机LED(OLED)、和/或等离子显示面板(PDP)。
图3示出了图1的图像捕捉单元的说明性实施例的示意框图。参见图3，图像捕捉单元110可以包括：相机单元310，被配置为产生真实世界图像；以及姿态检测单元320，被配置为测量相机单元310的方位和倾斜，并产生姿态信息(其包括与测量到的方位和倾斜有关的信息)。在另一实施例中，图像捕捉单元110可以可选地包括：位置信息提供单元330和/或时间/日期信息提供单元340。
相机单元310可以包括将光学真实世界图像转换为数字数据的一个或多个数字相机(未示出)。这种数字相机的示例包括(但不限于)：电荷耦合器件(CDD)数字相机以及互补金属氧化物半导体(CMOS)数字相机。
姿态检测单元320可以被配置为测量相应数字相机的方位和倾斜。在一个实施例中，姿态检测单元320可以包括：陆地磁场传感器(例如，罗盘)(未示出)，被配置为检测相机单元310的各个数字相机的方位(例如，方向北、南、东和西)；以及陀螺仪传感器(未示出)，测量相机单元310的各个数字相机的倾斜。
位置信息提供单元330可以被配置为提供与相机单元310捕捉真实世界图像时所处的位置有关的信息(即，位置信息)。在一个实施例中，位置信息提供单元330可以包括：GPS单元(未示出)，被配置为从多个GPS卫星无线接收GPS信息，以及通过使用GPS技术，基于接收到的GPS信息确定图像捕捉单元110的位置。
在另一实施例中，位置信息提供单元330可以包括：移动跟踪单元(未示出)，被配置为从外部设备(例如，服务器或无线网络实体)接收移动跟踪信息，以及通过使用移动跟踪技术，基于接收到的移动跟踪信息，确定图像捕捉单元110的位置。如本文所使用的，将移动跟踪信息定义为可以由位置信息提供单元330用来基于一个或多个移动跟踪技术来确定图像捕捉单元110的位置的信息。这种移动跟踪技术的示例包括(但不限于)：小区标识、增强小区标识、三角测量(例如，上行链路到达时间差(U-TDOA))、到达时间(TOA)、以及到达角度(AOA)技术。此外，这种移动跟踪信息的示例包括(但不限于)：指示相机单元110所处小区的小区信息、以及唯一识别图像捕捉单元110的标识(ID)信息。
在使用小区标识作为移动跟踪技术的一个示例中，位置信息提供单元330可以接收作为移动跟踪信息的小区信息(例如，小区ID)，该小区信息指示图像捕捉单元110所处的小区，然后，基于接收到的小区信息来估计图像捕捉单元110的位置(例如，将由接收到的小区信息所识别的小区的覆盖区域的中心点确定并选择为图像捕捉单元110的位置)。小区标识技术的技术细节在本领域中是众所周知的，且本文不进一步讨论。在另一示例中，位置信息提供单元330可以从基站或与其进行无线通信的其他等同设备接收图像捕捉单元110的标识(ID)信息，向外部设备(例如服务器)发送接收到的ID信息(以使得服务器能够从用于确定位置的无线网络实体获得与图像捕捉单元110有关的信息)，以及作为响应从服务器接收与图像捕捉单元110的位置有关的信息。
时间/日期信息提供单元340可以被配置为提供与相机单元310所捕捉的真实世界图像时的时间和日期有关的信息。在一个实施例中，时间/日期信息提供单元340可以装有时钟。在另一实施例中，时间/日期信息提供单元340可以从外部设备(例如，服务器或基站或无线通信网络)接收当前时间和日期信息。
可以用被配置为与外部设备(例如，服务器或基站或无线通信网络)传输信息的无线通信单元(未示出)来实现位置信息提供单元330和时间/日期信息提供单元340。例如，无线通信可以被配置为从外部设备接收GPS信息、移动跟踪信息和/或时间/日期信息，以向AR产生器120提供这些信息。
图4示出了图1的AR产生器的说明性实施例的示意框图。参见图4，AR产生器120可以包括与图像捕捉单元110通信的光源信息产生单元410，且其被配置为针对由图像捕捉单元110所捕捉的真实世界图像来产生光源信息(其包括与真实世界光源相对于图像捕捉单元110的位置有关的信息)。AR产生器120还可以包括：AR图像产生单元420，被配置为基于光源信息，产生虚拟对象的虚拟阴影图像的阴影图像，该图像要叠加到真实世界图像上或与其混合。在一个实施例中，AR图像产生单元420可以通过将真实世界图像与虚拟对象图像以及所产生的虚拟阴影图像混合，来产生AR图像。
在一个实施例中，光源信息产生单元410可以基于由图像捉单元110捕捉真实世界图像时的位置、时间和日期，来估计真实世界光源的位置(例如，太阳在天空中的位置)。光源信息产生单元410可以至少部分基于由图像捕捉单元110和/或外部设备(例如服务器)提供的位置、时间和日期信息，来确定真实世界图像的位置和/或时间和日期。
关于时间和日期确定，在一个实施例中，除真实世界图像之外，光源信息产生单元410还可以从图像捕捉单元110接收与捕捉该真实世界图像时的时间和日期有关的信息。在另一实施例中，光源信息产生单元410可以从安装在AR产生器120中的时钟(未示出)或外部设备(例如服务器)周期性地接收当前时间和日期，并将从图像捕捉单元110接收到真实世界图像时的时间和日期设置为图像捕捉单元110捕捉真实世界图像时的时间和日期。
光源信息产生单元410可以基于所确定的图像捕捉单元110捕捉真实世界图像时的位置、时间和日期来估计真实世界光源的位置(例如，太阳在天空中的位置)。可以使用本领域中众所周知的用于计算在规定时间和日期以及在规定位置处的太阳的位置的技术。例如，可以使用美国能源部的国家可再生能源实验室(NREL)所提供的太阳位置算法(SPA)。可以在Reda，I.，Andreas，A.，Solar Position Algorithm forSolar Radiation Applications，55pp.，NREL Report No.TP-560-34302，Revised January 2008中找到与SPA相关的进一步技术细节，将该文献以全文引用的方式并入本文中。在另一示例中，可以使用由美国商务部的国家海洋和大气管理局提供的太阳位置计算器。
AR图像产生单元420可以从图像捕捉单元110接收真实世界图像，并基于接收到的真实世界图像，获得要叠加到接收到的真实世界图像上的虚拟对象。在一个实施例中，AR图像产生单元420可以从虚拟对象池中选择虚拟对象，该虚拟对象池是预先存储在安装到AR产生器120中的存储单元(未示出)中的。在另一实施例中，AR图像产生单元420可以向外部设备(例如服务器)发送接收到的真实世界图像(使得服务器可以从其中存储的虚拟对象池中选择虚拟对象)，并从其接收所选的虚拟对象。下面将参照图5和6来详细解释与虚拟对象选择有关的技术细节。
AR图像产生单元420可以从图像捕捉单元110和光源信息产生单元410分别接收姿态信息(例如，图像捕捉单元110的方位和倾斜)和光源信息，并至少部分基于姿态信息和光源信息来产生所选虚拟对象的虚拟阴影图像。AR图像产生单元420可以通过将接收到的真实世界图像与所选虚拟对象的图像以及所产生的虚拟阴影图像叠加，来产生AR图像。下面将参照图5和6来详细解释与虚拟阴影图像和AR图像产生有关的技术细节。
图5示出了图4的AR图像产生单元的说明性实施例的示意框图。参见图5，AR图像产生单元420可以包括：虚拟对象(VO)对准单元510，被配置为从虚拟对象池(例如，存储在AR产生器120的存储单元中，或存储在与AR产生器120通信的外部设备的存储单元中)中选择虚拟对象，并将所选虚拟对象与图像捕捉单元110捕捉的真实世界图像对准(对准)；阴影图像对准单元520，被配置为基于光源信息产生单元410提供的光源信息，产生所选虚拟对象的阴影图像；以及VO明暗处理(shading)单元530，被配置为对VO的对准图像执行明暗处理操作。
VO对准单元510可以被配置为针对给定真实世界图像，选择恰当的虚拟对象，以及通过采用本领域众所周知的基于标记的选择/对准技术、无标记选择/对准技术、和/或混合选择/对准技术，将所选虚拟对象与给定真实世界图像对准。在采用无标记选择/对准技术之一来选择虚拟对象并将其与给定真实世界图像对准的一个实施例中，VO对准单元510可以被配置为将捕捉到的真实世界图像的至少一部分与一个或多个模板图像(例如，在AR产生器120或外部设备的存储单元中存储的模板图像)进行比较，且如果存在匹配，则选择与匹配的模板图像相对应的虚拟对象，并将其与捕捉到的真实世界图像的匹配部分对准。模板图像可以是用于在真实世界图像中发现要与一个或多个虚拟对象叠加的位置的预定图像(例如，秦朝的兵马俑士兵、标记图像等等)，和/或可以是用于选择要在所发现位置进行叠加的一个或多个恰当虚拟对象的预定图像。在一个实施例中，VO对准单元510可以被配置为发现真实世界图像中与模板图像相同或相似部分(即，发现匹配)，并将与匹配的模板图像相对应的虚拟对象叠加在真实世界图像的识别出的部分处或叠加在其附近。在发现真实世界图像中与模板图像相同或相似的部分中，可以采用各种传统的相似度或差异度量，比如基于距离的相似度度量、基于特征的相似度度量等等。根据具体实现，可以在与虚拟对象相同的存储单元中存储模板图像，或在不同的存储单元中存储。在后续描述中，详细描述了与VO对准单元510选择并对准虚拟对象和产生虚拟对象的虚拟阴影图像有关的技术细节。
图6示出了用于基于无标记选择/对准技术来选择并对准虚拟对象以及产生虚拟对象的虚拟阴影图像的说明性实施例。图6示出了场景6，其包括：真实世界太阳60、真实世界雕像61、以及由真实世界太阳60投射的真实世界雕像61的真实世界阴影62。图6还示出了图像捕捉单元110，其被设置为：捕捉包括真实世界雕像61及其真实世界阴影62在内的真实世界图像。图6所示的参照系xw、yw以及zw和参照系xc、yc和zc分别代表真实世界参照系(例如，用于代表真实世界太阳60在天空中的位置的参照系)和图像捕捉单元110的参照系(即，相机参照系)。
例如，AR产生器120中的存储单元可以存储雕像的各种模板图像(例如，包括秦朝的兵马俑士兵的模板图像)以及包括与雕像的描述有关的对应虚拟对象(例如，具有描述“秦朝/兵马俑士兵”的虚拟对象63)。VO对准单元510在接收到由图像捕捉单元110捕捉的真实世界图像时，可以确定在各种存储的模板图像中是否存在与真实世界图像中示出了真实世界雕像61的部分实质相同或相似的模板图像，并选择与匹配的模板图像相对应的虚拟对象(例如，虚拟对象63)。例如，VO对准单元510可以存储列出了多个虚拟对象和对应的模板图像的表，且一旦发现匹配，选择与匹配的模板图像相对应的虚拟对象。
在选择要叠加到真实世界图像上的虚拟对象之后，VO对准单元510可以将所选虚拟对象与真实世界图像对准。如本领域众所周知的，对准涉及确定相机参照系(例如，xc、yc和zc)相对于真实世界参照系(例如，xw、yw和zw)的位置，以及涉及确定虚拟对象相对于相机参照系的位置。在一个实施例中，VO对准单元510可以基于姿态检测单元320提供的姿态信息(即，与图像捕捉单元110相对于真实世界参照系的方位和倾斜有关的信息)，来确定相机参照系。之后，VO对准单元510可以确定所选虚拟对象(例如，虚拟对象63)相对于相机参照系的位置。例如，VO对准单元510可以将虚拟对象63置于接近真实世界雕像61的位置。用于执行上述对准操作的技术在本领域中是众所周知的，且为了清楚，将不对其进行详细讨论。应当理解，上面解释的虚拟对象选择和对准技术仅用于说明性的目的，且只要适合具体实施例，就可以采用本领域中已知的任意的选择和对准技术。
阴影图像对准单元520可以被配置为从光源信息产生单元410接收光源信息，以及基于光源信息产生所选虚拟对象的阴影图像。在一个实施例中，阴影图像对准单元520可以被配置为基于光源信息(例如，包括与真实世界太阳60在天空中的位置或相对于真实世界参照系的位置有关的信息)，确定真实世界光源(例如，真实世界太阳60)相对于相机参照系的位置，以及基于所确定的真实世界光源的位置，产生对准的虚拟对象的虚拟阴影图像(例如，虚拟阴影图像64)。
在一个实施例中，阴影图像对准单元520可以将仿真真实世界光源的虚拟光源设置在预定位置，并相对于设置的虚拟光源来呈现虚拟阴影图像。在呈现阴影图像中，阴影图像对准单元520可以包括分别执行本领域众所周知的一个或多个阴影呈现技术的单元。在一个示例中，阴影图像对准单元520可以包括以下至少一项：阴影映射单元，被配置为执行阴影映射算法，以呈现阴影图像；阴影体积单元，被配置为执行阴影体积算法，以呈现阴影图像；以及柔和阴影单元，被配置为执行柔和阴影算法，以呈现阴影图像。上述单元执行的阴影呈现操作在本领域中是众所周知的，且本文不进一步讨论。
根据上述配置，阴影图像对准单元520可以基于光源信息来产生所选虚拟对象的虚拟阴影图像，使得所产生的阴影图像的大小、形状、方向和强度与由真实世界光源投射的真实世界图像中的阴影在方向、形状和/或大小上一致。这是因为使用虚拟光源来产生虚拟阴影图像，该虚拟光源被建立在与真实世界太阳在天空中的位置或相对于真实世界参照系的位置相对应的位置上。
VO明暗处理单元530可以被配置为：基于光源信息和姿态信息，对虚拟对象的对准图像执行明暗处理操作，使得虚拟对象的表面的明暗处理(例如，颜色和亮度上的变化)与由于真实世界光源所产生的真实世界图像的明暗处理一致。在执行明暗处理操作中可以采用各种众所周知的明暗处理算法之一。这种明暗处理算法的示例包括(但不限于)：Lambert、Gouraud、Phong、Blinn、Oren-Nayar、Cook-Torrance、以及Ward各向异性算法。例如，VO明暗处理单元530可以被配置为：基于Phong反射模型来执行光照或亮度计算，以产生虚拟对象的顶点处的色彩强度。
应当意识到，根据本公开的AR产生器可以执行除了前述操作之外的操作。在一个实施例中，AR产生器可以被配置为考虑与真实世界图像相关的天气信息和/或地理信息。AR产生器(例如，AR产生器的阴影图像对准单元)可以从图像捕捉单元(例如，110)和/或外部设备(例如服务器)接收天气信息和/或地理信息，并基于天气和/或地理信息来产生阴影图像和/或呈现所选虚拟对象的图像。例如，阴影图像对准单元可以针对在晴朗天气下捕捉的真实世界图像，产生更暗且更清晰界定的阴影图像，且针对在多云天气下捕捉到的真实世界图像，产生更亮且模糊的阴影图像。此外，例如，阴影图像对准单元可以针对在郊外区域中捕捉的真实世界图像产生更暗且更清晰界定的阴影图像，且针对在市中心区域中捕捉到的真实世界图像，产生更亮且模糊的阴影图像。多云天气中的云彩和市中心区域的高层建筑物可以使得来自太阳的光线散射，从而避免投射出清晰界定的黑暗阴影。阴影图像对准单元还可以在虚拟对象的对准图像执行明暗处理操作中，考虑天气信息和/或地理信息。
此外，可以存在通过用户或某种其他手段来改变图像捕捉单元的姿态(且从而改变视点)的实例。在一个实施例中，AR产生器可跟踪图像捕捉单元(例如110)的姿态上的这种改变，并重新对准已对准的虚拟对象(例如，更新在相机参照系(例如，xc、yc和zc)以及真实世界参照系(例如，xw、yw和zw)之间的关系)。AR产生器的阴影图像对准单元(例如，520)可以基于重新对准来产生新的虚拟阴影图像。在一个实施例中，AR产生器的VO对准单元(例如510)可以通过采用本领域中众所周知的基于标记的跟踪技术、无标记跟踪技术、和/或混合跟踪技术来执行跟踪。在另一实施例中，VO对准单元可以通过从安装在图像捕捉单元中的姿态检测单元(例如320)周期性地接收姿态信息更新，来执行跟踪。
如上所述，AR产生器可以包括：存储单元(未示出)，被配置为存储一个或多个虚拟对象的数据。在一个实施例中，存储单元可以针对每个虚拟对象，存储与虚拟对象的形状和/或纹理有关的数据。在一个实施例中，存储单元可以存储能够处理(例如，对准、明暗处理或呈现)各种类型的图像的各种类型的数据和程序。存储单元可以包括任何类型的计算机可读介质，比如半导体介质、磁介质、光介质、磁带、硬盘等等。此外，如果需要和/或当需要时(例如，当变满时)，存储单元可以是允许替换的可拆卸式存储器。
可以用各种方式来实现结合图1至6所示的AR系统100。在一个实施例中，可以将图像捕捉单元110实现为无线通信终端，且可以将AR产生器120实现为与该无线通信终端通信的远程设备(例如，远离图像捕捉单元110的服务器)。在另一实施例中，可以将图1所显示的全部或一些单元实现为具有无线通信功能的单一计算设备(例如，可以将图像捕捉单元110、AR产生器120和可选的显示单元130布置在单一外壳中)。这种计算设备的示例包括(但不限于)：移动电话、移动工作站和可穿戴式个人计算机(PC)、平板PC、超移动PC(UMPC)、个人数字助理(PDA)、具有无线通信功能的平视显示器或头戴式显示器、以及智能电话。
图7A至7C示出了AR系统的另一说明性实施例的示意图。图7A是AR移动电话的框图。图7B和7C是该AR移动电话的前视图和后视图。参见图7A至7C，AR移动电话700可以包括：无线通信单元710，被配置为与一个或多个无线接入网实体(未示出)进行无线通信，以及从其接收与AR移动电话700的时间、日期和/或位置有关的信息；相机单元720，被配置为捕捉真实世界场景的图像(即，真实世界图像)；姿态检测单元730，被配置为检测相机单元720的方位和倾斜；存储单元740，被配置为存储一个或多个虚拟对象的数据；AR产生器750，被配置为通过将捕捉到的真实世界图像与虚拟对象的图像和虚拟对象阴影图像叠加来产生AR图像；以及显示单元760，被配置为显示所产生的AR图像。
相机单元720、姿态检测单元730、存储单元740、AR产生器750和显示单元760的结构配置和功能分别类似于在图1至6中描述的图像捕捉单元110的相机单元310、图像捕捉单元110的姿态检测单元320、存储单元、AR产生器120和显示单元130。为了简单起见，不进一步解释与单元720至760有关的细节。
无线通信单元710可以执行由图像捕捉单元110的位置信息提供单元330和时间/日期信息提供单元340所执行的至少一些操作。在一个实施例中，无线通信单元710可以包括天线或一个或多个无线通信模块(未示出)，其分别适于根据本领域中众所周知的任何合适的无线通信协议来进行通信。这种无线通信协议的示例包括(但不限于)：无线广域网(WWAN)协议(例如，W-CDMA、CDMA2000)、无线局域网(WLAN)协议(例如，IEEE 802.11a/b/g/n)、无线个域网(WPAN)协议、以及全球定位系统(GPS)协议。
在一个实施例中，无线通信单元710可以从一个或多个无线通信网络实体(例如，基站、服务器、或卫星)接收与AR移动电话700的位置有关的信息(即，位置信息)。在一个实施例中，该位置信息可以指示AR移动电话700所处的精确坐标(即，纬度和经度)或坐标范围。在另一实施例中，位置信息可以包括可以由AR移动电话700或其他设备(例如，基站或其他无线网络实体)用来确定AR移动电话700所处的精确坐标或坐标范围的信息。作为非限制性示例，这种位置信息可以包括：来自GPS网络的多个GPS卫星的GPS信号、来自W-CDMA网络的基站的用于识别AR移动电话700所处的具体小区的小区信息、和/或来自外部服务器的指定AR移动电话700的精确坐标的信息。
在一个实施例中，无线通信单元710可以从一个或多个无线通信网络实体(例如，基站、服务器、或卫星)接收与当前时间和日期有关的信息。在另一实施例中，取代无线通信单元710接收时间和日期信息，AR移动电话700可以内部包括单独的时钟单元(未示出)，且跟踪当前时间和日期。此外，在其他实施例中，无线通信单元710可以从一个或多个外部服务器(例如，天气信息服务器和/或地理信息系统(GIS)服务器)接收天气信息和/或地理信息。天气信息可以指示在AR移动电话700的位置处的天气。地理信息可以指示AR移动电话700是位于城区还是位于郊区。
图8示出了用于产生AR图像的说明性实施例的示例流程图。参见图8，AR系统的无线通信单元从一个或多个无线网络实体接收位置信息(步骤805)。在一个实施例中，无线通信单元可以从一个或多个GPS卫星接收作为位置信息的GPS信号。在另一实施例中，无线通信单元可以从与图像捕捉单元通信的基站接收作为位置信息的小区信息。在另一实施例中，无线通信单元可以向外部设备发送图像捕捉单元的标识信息，并作为响应，从外部设备接收作为位置信息的图像捕捉单元的位置。
此外，无线通信单元可以从其接收时间和日期信息(块810)。在块815中，AR系统中包括的设备(例如，图像捕捉单元)捕捉真实世界(RW)图像。在块820中，AR系统的光源信息产生单元基于捕捉真实世界图像时的位置、时间和日期，针对所捕捉的真实世界图像，产生光源信息(包括与真实世界图像的真实世界光源的位置有关的信息)。在一个实施例中，光源信息产生单元可以基于GPS信号来确定捕捉真实世界图像时的位置。在另一实施例中，光源信息产生单元可以基于小区信息来确定捕捉真实世界图像时的位置。在又一实施例中，光源信息产生单元可以将作为响应从外部设备接收到的图像捕捉单元的位置作为捕捉真实世界图像时的位置。
无线通信单元可以从外部设备接收天气信息和/或地理信息(块825)。此外，AR系统的姿态检测单元检测并产生指示图像捕捉单元的方位和倾斜的姿态信息(块830)。在块835中，AR系统的VO对准单元选择虚拟对象(VO)，并将其与真实世界图像对准，以及在块840中，AR系统的阴影图像对准单元基于光源信息、姿态信息、天气信息和/或地理信息中至少一项，产生所选VO的阴影图像。在块845中，AR系统的AR图像产生单元通过将捕捉到的真实世界图像与虚拟对象的图像及其阴影图像叠加，来产生AR图像。
应当意识到，结合图1至8所述的AR系统100及其单元的结构和功能配置指示了可以实现AR系统100的一些方式。在一些其他实施例中，可以在远程位置的一个或多个其他设备中实现AR系统100的一些单元或功能。例如，在联网环境下，根据所需实现方式，可以通过2个或更多设备，将AR系统100的部分或全部组件实现为分布式系统。AR系统100可以使用到一个或多个远程设备(远程计算机)的逻辑连接，在联网环境下工作。远程计算机可以是个人计算机、服务器、手持或膝上型设备、路由器、网络PC、对等设备、或其他常见网络节点，且通常可以包括本公开中关于AR系统100描述的一些或全部组件。
在一个分布式网络实施例中，可以在与AR系统100通信的单独AR设备(例如，AR服务器)上实现AR系统100的光源信息产生单元410的全部或一些功能。在上述实施例的一个示例中，AR系统100可以是具有数字相机的移动电话，且可以向AR服务器发送其标识信息(例如，其电话号码等)，使得AR服务器可以基于标识信息找到AR系统100的位置。作为非限制性示例，AR服务器可以包括：移动电话跟踪单元，其利用一个或多个已知的移动电话跟踪算法(例如，三角测量算法)发现AR系统100的位置。备选地，AR服务器可以向提供了移动电话跟踪功能的另一无线网络实体转发该标识信息。然后AR服务器可以从该无线网络实体接收移动电话的位置。取决于具体实现方式，AR服务器可以基于移动电话的位置来估计真实世界光源(例如，太阳)相对于移动电话的位置，并产生光源信息。在上述实现方式中，AR服务器可以从移动电话接收用于估计真实世界光源的位置的时间和日期信息，或备选地，AR服务器可以包括跟踪当前时间和日期的时钟单元。在上述实施例的另一示例中，AR系统100可以是具有数字相机和GPS功能的移动电话，且可以向AR服务器发送唯一识别其本身的信息(例如，其电话号码等)及其位置，使得AR服务器可以基于接收到的位置信息来估计真实世界光源相对于移动电话的位置。在另一分布式网络实施例中，可以在与AR系统100通信的单独AR设备(例如，AR服务器)中实现AR系统100的全部或一些图像处理功能(例如，VO对准单元510、阴影图像对准单元520和/或VO明暗处理单元530的功能)。在上述实施例的一个示例中，AR系统100可以是具有数字相机的移动电话，且可以向AR服务器发送由数字相机捕捉的真实图像，使得AR服务器可以从多个预先存储的虚拟对象中选择虚拟对象，产生所选虚拟对象的阴影图像，和/或产生包括所选虚拟对象及其阴影图像在内的增强现实图像。在另一分布式网络实施例中，可以在单独的AR设备中实现AR系统100的VO对准单元510、光源信息产生单元410、阴影图像对准单元520和/或VO明暗处理530的全部或一些功能。本领域技术人员将容易地把本公开中公开的主题应用于实现针对特定应用的特定实现方式。可以在各种应用中使用根据本公开准备的AR系统，比如广告、导航、军事服务以及娱乐等等。
本领域技术人员将意识到，针对本文公开的这些和其他过程和方法，可以按不同顺序来实现在过程和方法中执行的功能。此外，所概述的步骤和操作仅作为示例提供，且一些步骤和操作是可选的，可以结合为较少的步骤和操作，或扩展为附加步骤和操作，而不脱离所公开实施例的本质。
应当理解，可以用包括硬件、软件、固件、特殊用途处理器或其组合在内的各种形式来实现根据本公开的说明性实施例的装置和方法。例如，可以将本公开的一个或多个示例实施例实现为具有程序或其他合适的计算机可执行指令的应用程序，其在至少一个计算机可读介质上实际体现，比如程序存储设备(例如，硬盘、磁软盘、RAM、ROM、CD-ROM等)，且可由包括计算机和计算机系统在内的具有合适配置的任何设备或机器来执行。一般而言，可以具有程序模块形式的计算机可执行指令包括：例程、程序、对象、组件、数据结构等，其执行特定任务或实现特定抽象数据类型。在各种实施例中，可以根据需要将程序模块的功能加以结合或分布。还应当理解，由于可以用软件来实现附图所示的一些构成系统组件和过程操作，在系统单元/模块之间的连接(或方法操作的逻辑流)可以根据编程本公开的各种实施例所用的方式而不同。
本公开不限于在本申请中描述的具体实施例，这些具体实施例意在说明不同方案。本领域技术人员清楚，不脱离本公开的精神和范围，可以做出许多修改和变型。本领域技术人员根据之前的描述，除了在此所列举的方法和装置之外，还可以想到本公开范围内功能上等价的其他方法和装置。这种修改和变型应落在所附权利要求的范围内。本公开应当仅由所附权利要求的术语及其等价描述的整个范围来限定。应当理解，本公开不限于具体方法、试剂、化合物组成或生物系统，这些都是可以改变的。还应理解，这里所使用的术语仅用于描述具体示例的目的，而不应被认为是限制性的。
至于本文中任何关于多数和/或单数术语的使用，本领域技术人员可以从多数形式转换为单数形式，和/或从单数形式转换为多数形式，以适合具体环境和应用。为清楚起见，在此明确声明单数形式/多数形式可互换。
本领域技术人员应当理解，一般而言，所使用的术语，特别是所附权利要求中(例如，在所附权利要求的主体部分中)使用的术语，一般地应理解为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”等)。本领域技术人员还应理解，如果意在所引入的权利要求中标明具体数目，则这种意图将在该权利要求中明确指出，而在没有这种明确标明的情况下，则不存在这种意图。例如，为帮助理解，所附权利要求可能使用了引导短语“至少一个”和“一个或多个”来引入权利要求中的特征。然而，这种短语的使用不应被解释为暗示着由不定冠词“一”或“一个”引入的权利要求特征将包含该特征的任意特定权利要求限制为仅包含一个该特征的实施例，即便是该权利要求既包括引导短语“一个或多个”或“至少一个”又包括不定冠词如“一”或“一个”(例如，“一”和/或“一个”应当被解释为意指“至少一个”或“一个或多个”)；在使用定冠词来引入权利要求中的特征时，同样如此。另外，即使明确指出了所引入权利要求特征的具体数目，本领域技术人员应认识到，这种列举应解释为意指至少是所列数目(例如，不存在其他修饰语的短语“两个特征”意指至少两个该特征，或者两个或更多该特征)。另外，在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
另外，在以马库什组描述本公开的特征或方案的情况下，本领域技术人员应认识到，本公开由此也是以该马库什组中的任意单独成员或成员子组来描述的。
本领域技术人员应当理解，出于任意和所有目的，例如为了提供书面说明，这里公开的所有范围也包含任意及全部可能的子范围及其子范围的组合。任意列出的范围可以被容易地看作充分描述且实现了将该范围至少进行二等分、三等分、四等分、五等分、十等分等。作为非限制性示例，在此所讨论的每一范围可以容易地分成下三分之一、中三分之一和上三分之一等。本领域技术人员应当理解，所有诸如“直至”、“至少”、“大于”、“小于”之类的语言包括所列数字，并且指代了随后可以如上所述被分成子范围的范围。最后，本领域技术人员应当理解，范围包括每一单独数字。因此，例如具有1～3个单元的组是指具有1、2或3个单元的组。类似地，具有1～5个单元的组是指具有1、2、3、4或5个单元的组，以此类推。
尽管已经在此公开了多个方案和实施例，但是本领域技术人员应当明白其他方案和实施例。这里所公开的多个方案和实施例是出于说明性的目的，而不是限制性的，本公开的真实范围和精神由所附权利要求表征。

Claims (20)

1.一种增强现实系统，包括：
图像捕捉单元，被配置为捕捉真实世界图像；以及
增强现实AR产生器，包括：
与所述图像捕捉单元通信的光源信息产生单元，被配置为基于捕捉所述真实世界图像时的位置、时间和日期中的至少一项，产生由所述图像捕捉单元捕捉的所述真实世界图像的光源信息，所述光源信息包括与真实世界光源相对于所述图像捕捉单元的位置有关的信息；以及
AR图像产生单元，被配置为基于所产生的光源信息来产生虚拟对象的阴影图像，以及将所述虚拟对象和所述阴影图像叠加到所述真实世界图像上。
2.根据权利要求1所述的系统，其中，所述图像捕捉单元还包括：姿态检测单元，被配置为测量所述图像捕捉单元的方位和倾斜。
3.根据权利要求2所述的系统，其中，所述AR图像产生单元包括：
虚拟对象对准单元，被配置为基于所测量的所述图像捕捉单元的方位和倾斜来确定所述图像捕捉单元的参照系，以及确定所述虚拟对象相对于所述参照系的位置。
4.根据权利要求3所述的系统，其中，所述虚拟对象对准单元还被配置为：执行基于标记的选择/对准技术、无标记选择/对准技术、或混合选择/对准技术，以确定所述虚拟对象相对于所述参照系的位置。
5.根据权利要求3所述的系统，其中，所述AR图像产生单元还包括：
阴影图像对准单元，被配置为基于所述光源信息确定所述真实世界光源相对于所述参照系的位置，以及基于所确定的所述真实世界光源的位置产生所述虚拟对象的阴影图像。
6.根据权利要求5所述的系统，其中，所述阴影图像对准单元还被配置为：在所述真实世界光源的位置处设置仿真所述真实世界光源的虚拟光源，以及相对于所设置的虚拟光源呈现所述阴影图像。
7.根据权利要求6所述的系统，其中，所述阴影图像对准单元至少包括：
阴影映射单元，被配置为执行阴影映射算法，以呈现所述阴影图像，
阴影体积单元，被配置为执行阴影体积算法，以呈现所述阴影图像，或
柔和阴影单元，被配置为执行柔和阴影算法，以呈现所述阴影图像。
8.根据权利要求6所述的系统，其中，
所述姿态检测单元被配置为：提供与所述图像捕捉单元的方位和倾斜有关的更新；以及
所述阴影图像对准单元被配置为：基于所述更新，产生新的阴影图像。
9.根据权利要求6所述的系统，其中，所述阴影图像对准单元还被配置为：从与所述AR系统通信的服务器接收针对所述真实世界图像的天气信息和地理信息中的至少一项，以及至少基于针对所述真实世界图像的所述天气信息或所述地理信息来设置所述虚拟光源。
10.根据权利要求9所述的系统，其中，所述阴影图像对准单元还被配置为：基于针对所述真实世界图像的所述天气信息和所述地理信息中的至少一项，确定所述虚拟光源的强度。
11.根据权利要求1所述的系统，其中，所述图像捕捉单元还包括：无线通信单元，被配置为与基站通信以及从基站接收小区信息，以及，所述光源信息产生单元还被配置为：基于所接收的小区信息，确定所述图像捕捉单元的位置。
12.根据权利要求1所述的系统，其中，所述光源信息产生单元还被配置为：向与所述AR系统通信的服务器发送所述图像捕捉单元的标识ID信息，以及作为响应从所述服务器接收所述图像捕捉单元的位置。
13.一种用于提供增强现实的方法，所述方法包括：
捕捉真实世界图像；
确定捕捉所述真实世界图像时的位置、时间和日期中的至少一项；
基于捕捉所述真实世界图像时的位置、时间和日期中的至少一项，产生所捕捉的真实世界图像的光源信息，所述光源信息包括与所述真实世界图像的真实世界光源的位置有关的信息；以及
基于光源信息，产生叠加到所述真实世界图像上的虚拟对象的阴影图像。
14.根据权利要求13所述的方法，其中，确定捕捉所述真实单词图像时的位置包括：
通过从与捕捉所述真实单词图像的设备进行无线通信的一个或多个GPS卫星接收GPS信号，确定所述设备的位置：以及
基于所述GPS信号，确定捕捉所述真实世界图像时的位置。
15.根据权利要求13所述的方法，其中，确定捕捉所述真实单词图像时的位置包括：
通过从与捕捉所述真实单词图像的设备进行无线通信的基站接收小区信息，确定所述设备的位置：以及
基于所接收的小区信息，确定捕捉所述真实世界图像时的位置。
16.根据权利要求13所述的方法，其中，确定捕捉所述真实单词图像时的位置包括：
通过向与捕捉所述真实世界图像的设备进行无线通信的服务器发送识别所述设备的标识ID信息，确定所述设备的位置：
从所述服务器接收所述设备的位置；以及
基于所述设备的位置，确定捕捉所述真实世界图像时的位置。
17.根据权利要求13所述的方法，其中，产生光源信息包括：测量捕捉所述真实世界图像的设备的方位和倾斜。
18.根据权利要求17所述的方法，其中，产生阴影图像包括：
基于所测量的捕捉所述真实世界图像的所述设备的方位和倾斜，确定捕捉所述真实世界图像的所述设备的参照系；
确定所述虚拟对象相对于所述参照系的位置；
基于所述光源信息，确定所述真实世界光源相对于所述参照系的位置；以及
基于所确定的所述真实世界光源的位置，产生所述虚拟对象的阴影图像。
19.根据权利要求18所述的方法，其中，基于所确定的所述真实世界光源的位置产生所述虚拟对象的阴影图像包括：
在所述真实世界光源的位置处，设置仿真所述真实世界光源的虚拟光源；以及
相对于所设置的虚拟光源，呈现所述阴影图像。
20.根据权利要求13所述的方法，其中，产生光源信息包括：
从与捕捉所述真实世界图像的设备进行无线通信的服务器接收针对所述真实世界图像的天气信息和地理信息中至少一项；以及
至少基于所述天气信息或所述地理信息，产生所述阴影图像。
CN2010800595568A 2010-03-25 2010-12-21 增强现实系统 Pending CN102696057A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/731,307 US20110234631A1 (en) 2010-03-25 2010-03-25 Augmented reality systems
US12/731,307 2010-03-25
PCT/KR2010/009135 WO2011118903A1 (en) 2010-03-25 2010-12-21 Augmented reality systems

Publications (1)

Publication Number Publication Date
CN102696057A true CN102696057A (zh) 2012-09-26

Family

ID=44655876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800595568A Pending CN102696057A (zh) 2010-03-25 2010-12-21 增强现实系统

Country Status (5)

Country Link
US (1) US20110234631A1 (zh)
JP (1) JP2013517579A (zh)
KR (1) KR20120093991A (zh)
CN (1) CN102696057A (zh)
WO (1) WO2011118903A1 (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123743A (zh) * 2014-06-23 2014-10-29 联想(北京)有限公司 图像阴影添加方法及装置
TWI503785B (zh) * 2013-12-02 2015-10-11 Chunghwa Telecom Co Ltd 擴增實境系統、其應用方法以及包含擴增實境應用程式之非暫時性電腦可讀取媒體
CN105264571A (zh) * 2013-05-30 2016-01-20 查尔斯·安东尼·史密斯 Hud对象设计和方法
CN106558103A (zh) * 2015-09-24 2017-04-05 鸿富锦精密工业（深圳）有限公司 扩增实境图像处理系统及扩增实境图像处理方法
CN106575450A (zh) * 2014-05-13 2017-04-19 河谷控股Ip有限责任公司 通过反照率模型、系统和方法的增强现实内容渲染
CN106604015A (zh) * 2016-12-20 2017-04-26 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及装置
CN106662926A (zh) * 2014-05-27 2017-05-10 厉动公司 普适计算环境中的姿势交互的系统和方法
CN106652013A (zh) * 2016-12-06 2017-05-10 广州视源电子科技股份有限公司 图像处理方法及系统
CN107492144A (zh) * 2017-07-12 2017-12-19 联想(北京)有限公司 光影处理方法及电子设备
WO2018045759A1 (zh) * 2016-09-07 2018-03-15 中兴通讯股份有限公司 一种增强现实中进行光照渲染的方法、装置及移动终端
CN107924584A (zh) * 2015-08-20 2018-04-17 微软技术许可有限责任公司 增强现实
CN107993278A (zh) * 2016-10-26 2018-05-04 三星电子株式会社 显示装置和显示内容的方法
CN108010120A (zh) * 2017-11-30 2018-05-08 网易（杭州）网络有限公司 静态阴影的显示方法、装置、存储介质、处理器及终端
CN108520552A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108932051A (zh) * 2017-05-24 2018-12-04 腾讯科技（北京）有限公司 增强现实图像处理方法、装置及存储介质
CN109313768A (zh) * 2016-06-23 2019-02-05 电子湾有限公司 用于在线门票市场的天气增强的图形预览
CN110692089A (zh) * 2017-10-04 2020-01-14 谷歌有限责任公司 用于插入的图像内容的阴影生成
CN110794962A (zh) * 2019-10-18 2020-02-14 北京字节跳动网络技术有限公司 一种信息融合方法、装置、终端及存储介质
CN111462295A (zh) * 2020-03-27 2020-07-28 咪咕文化科技有限公司 增强现实合拍中的阴影处理方法、设备及存储介质
WO2020211573A1 (zh) * 2019-04-16 2020-10-22 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN111986328A (zh) * 2013-12-17 2020-11-24 索尼公司 信息处理设备和方法以及非易失性计算机可读存储介质
US10939735B2 (en) 2016-09-21 2021-03-09 Carrier Corporation Cooling unit for generating cooled area
WO2021109885A1 (en) * 2019-12-06 2021-06-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Light source detection for extended reality technologies
US11620859B2 (en) 2014-03-13 2023-04-04 Ultrahaptics IP Two Limited Biometric aware object detection and tracking
US11778159B2 (en) 2014-08-08 2023-10-03 Ultrahaptics IP Two Limited Augmented reality with motion sensing

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
DE102009049073A1 (de) * 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
WO2012048252A1 (en) 2010-10-07 2012-04-12 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
US9286721B2 (en) 2010-11-08 2016-03-15 Sony Corporation Augmented reality system for product identification and promotion
US9017163B2 (en) 2010-11-24 2015-04-28 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user
KR20120057799A (ko) * 2010-11-29 2012-06-07 삼성전자주식회사 휴대단말에서 사전 기능 제공 방법 및 장치
JP5195885B2 (ja) * 2010-12-07 2013-05-15 カシオ計算機株式会社 情報表示システム、情報表示装置、および、プログラム
JP5170223B2 (ja) 2010-12-07 2013-03-27 カシオ計算機株式会社 情報表示システム、情報表示装置、情報提供装置、および、プログラム
US8953022B2 (en) 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
US10972680B2 (en) * 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US9600933B2 (en) * 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
JP5279875B2 (ja) * 2011-07-14 2013-09-04 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US9311751B2 (en) 2011-12-12 2016-04-12 Microsoft Technology Licensing, Llc Display of shadows via see-through display
FR2984057B1 (fr) * 2011-12-13 2014-01-03 Solidanim Systeme de tournage de film video
GB2511663A (en) * 2011-12-20 2014-09-10 Intel Corp Local sensor augmentation of stored content and AR communication
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP2828762A4 (en) * 2012-03-22 2015-11-18 Hewlett Packard Development Co CLOUD DATA PROCESSING
US9429912B2 (en) * 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
JP6202757B2 (ja) * 2012-09-26 2017-09-27 株式会社日立製作所 超音波診断装置及び超音波二次元断層画像生成方法
US9268136B1 (en) 2012-09-28 2016-02-23 Google Inc. Use of comparative sensor data to determine orientation of head relative to body
US9626799B2 (en) 2012-10-02 2017-04-18 Aria Glassworks, Inc. System and method for dynamically displaying multiple virtual and augmented reality scenes on a single display
US9524585B2 (en) 2012-11-05 2016-12-20 Microsoft Technology Licensing, Llc Constructing augmented reality environment with pre-computed lighting
US9424472B2 (en) 2012-11-26 2016-08-23 Ebay Inc. Augmented reality information system
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US10769852B2 (en) * 2013-03-14 2020-09-08 Aria Glassworks, Inc. Method for simulating natural perception in virtual and augmented reality scenes
RU2015145510A (ru) 2013-03-26 2017-05-03 Сейко Эпсон Корпорейшн Наголовное устройство отображения, способ управления наголовным устройством отображения и система отображения
JP6369005B2 (ja) * 2013-10-25 2018-08-08 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR101399633B1 (ko) * 2013-03-29 2014-05-27 동국대학교 산학협력단 영상 합성 방법 및 장치
EP2983138A4 (en) * 2013-04-04 2017-02-22 Sony Corporation Display control device, display control method and program
JP6255706B2 (ja) 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
JP6602303B2 (ja) 2013-09-13 2019-11-06 シグニファイ ホールディング ビー ヴィ 拡張現実を支援するためのシステム及び方法
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9652892B2 (en) * 2013-10-29 2017-05-16 Microsoft Technology Licensing, Llc Mixed reality spotlight
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
JP6244954B2 (ja) 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
JP6217437B2 (ja) * 2014-02-14 2017-10-25 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
US10977864B2 (en) 2014-02-21 2021-04-13 Dropbox, Inc. Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
EP2911040A1 (en) * 2014-02-25 2015-08-26 Thomson Licensing Method and device for controlling a scene comprising real and virtual objects
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
JP6314672B2 (ja) * 2014-06-10 2018-04-25 株式会社リコー 表示処理装置、表示処理方法、及びプログラム
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US9921105B2 (en) * 2015-02-05 2018-03-20 International Business Machines Corporation Mobile cellular spectroscopy
KR101616672B1 (ko) * 2015-02-10 2016-04-28 그림소프트 주식회사 멀티미디어 콘텐츠 정합 방법
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
JP6625801B2 (ja) * 2015-02-27 2019-12-25 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
KR102502449B1 (ko) * 2015-10-05 2023-02-22 삼성전자주식회사 조명을 디스플레이하는 방법 및 장치
JP2018006818A (ja) * 2016-06-27 2018-01-11 キヤノン株式会社 画像読取方法及び画像読取装置
CN106204744B (zh) * 2016-07-01 2019-01-25 西安电子科技大学 利用编码光源为标志物的增强现实三维注册方法
US10430638B2 (en) * 2016-11-10 2019-10-01 Synaptics Incorporated Systems and methods for spoof detection relative to a template instead of on an absolute scale
JP6833575B2 (ja) 2017-03-15 2021-02-24 本田技研工業株式会社 歩行支援装置、歩行支援方法、及びプログラム
JP6730537B1 (ja) * 2017-06-01 2020-07-29 シグニファイ ホールディング ビー ヴィＳｉｇｎｉｆｙ Ｈｏｌｄｉｎｇ Ｂ．Ｖ． 仮想オブジェクトをレンダリングするためのシステム及び方法
US11250264B2 (en) 2017-08-04 2022-02-15 Civic Resource Group International Incorporated Geographic address query with associated time of inquiry
WO2019031259A1 (ja) * 2017-08-08 2019-02-14 ソニー株式会社 画像処理装置および方法
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
EP3540697A1 (en) * 2018-03-13 2019-09-18 Thomson Licensing Method and apparatus for processing a 3d scene
CN110536125A (zh) * 2018-05-25 2019-12-03 光宝电子(广州)有限公司 影像处理系统及影像处理方法
DE102018122435A1 (de) * 2018-09-13 2020-03-19 Hendrik Fehlis Virtuelle dreidimensionale Objekte in einem Livevideo
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
EP3719751A1 (en) * 2019-04-02 2020-10-07 InterDigital CE Patent Holdings A method for processing a 3d scene, and corresponding device, system and computer program
WO2021186581A1 (ja) * 2020-03-17 2021-09-23 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
EP4172954A1 (en) * 2020-06-30 2023-05-03 InterDigital CE Patent Holdings, SAS Shadow-based estimation of 3d lighting parameters from reference object and reference virtual viewpoint
US11880945B2 (en) * 2020-07-25 2024-01-23 Silver Spoon Animation Inc. System and method for populating a virtual crowd in real time using augmented and virtual reality
JP7125963B2 (ja) * 2020-08-07 2022-08-25 株式会社スクウェア・エニックス 情報処理プログラム、情報処理装置及び情報処理方法
KR102322847B1 (ko) * 2021-04-21 2021-11-05 (주)올포랜드 가상현실 내에서의 광고 제공방법, 가상현실 서버 및 이를 위한 컴퓨터 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080211813A1 (en) * 2004-10-13 2008-09-04 Siemens Aktiengesellschaft Device and Method for Light and Shade Simulation in an Augmented-Reality System
CN101510913A (zh) * 2009-03-17 2009-08-19 山东师范大学 基于三维电子罗盘的智能手机增强现实系统及实现方法
US20090216446A1 (en) * 2008-01-22 2009-08-27 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
US20100066750A1 (en) * 2008-09-16 2010-03-18 Motorola, Inc. Mobile virtual and augmented reality system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US20060166656A1 (en) * 2005-01-24 2006-07-27 Michael Klicpera Cell or mobile phone, and wireless PDA traffic advisory method
CA2601161A1 (en) * 2005-03-18 2006-09-21 Seeker Wireless Pty Limited Enhanced mobile location
JP2008016918A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理システムおよび画像処理方法
JP2008041107A (ja) * 2007-09-10 2008-02-21 Sanyo Electric Co Ltd 撮像装置及び画像合成装置
US8180396B2 (en) * 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
JP5025496B2 (ja) * 2008-01-09 2012-09-12 キヤノン株式会社 画像処理装置及び画像処理方法
US9082213B2 (en) * 2007-11-07 2015-07-14 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
US8898034B2 (en) * 2009-06-03 2014-11-25 Apple Inc. Automatically identifying geographic direction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080211813A1 (en) * 2004-10-13 2008-09-04 Siemens Aktiengesellschaft Device and Method for Light and Shade Simulation in an Augmented-Reality System
US20090216446A1 (en) * 2008-01-22 2009-08-27 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
US20100066750A1 (en) * 2008-09-16 2010-03-18 Motorola, Inc. Mobile virtual and augmented reality system
CN101510913A (zh) * 2009-03-17 2009-08-19 山东师范大学 基于三维电子罗盘的智能手机增强现实系统及实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙磊: "基于视觉的增强现实系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105264571A (zh) * 2013-05-30 2016-01-20 查尔斯·安东尼·史密斯 Hud对象设计和方法
CN105264571B (zh) * 2013-05-30 2019-11-08 查尔斯·安东尼·史密斯 Hud对象设计和方法
TWI503785B (zh) * 2013-12-02 2015-10-11 Chunghwa Telecom Co Ltd 擴增實境系統、其應用方法以及包含擴增實境應用程式之非暫時性電腦可讀取媒體
CN111986328A (zh) * 2013-12-17 2020-11-24 索尼公司 信息处理设备和方法以及非易失性计算机可读存储介质
US11620859B2 (en) 2014-03-13 2023-04-04 Ultrahaptics IP Two Limited Biometric aware object detection and tracking
CN106575450B (zh) * 2014-05-13 2019-07-26 河谷控股Ip有限责任公司 通过反照率模型、系统和方法的增强现实内容渲染
CN106575450A (zh) * 2014-05-13 2017-04-19 河谷控股Ip有限责任公司 通过反照率模型、系统和方法的增强现实内容渲染
US11710282B2 (en) 2014-05-13 2023-07-25 Nant Holdings Ip, Llc Augmented reality content rendering via Albedo models, systems and methods
US10192365B2 (en) 2014-05-13 2019-01-29 Nant Holdings Ip, Llc Augmented reality content rendering via albedo models, systems and methods
US11176754B2 (en) 2014-05-13 2021-11-16 Nant Holdings Ip, Llc Augmented reality content rendering via albedo models, systems and methods
US10685498B2 (en) 2014-05-13 2020-06-16 Nant Holdings Ip, Llc Augmented reality content rendering via albedo models, systems and methods
US11561519B2 (en) 2014-05-27 2023-01-24 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
US10782657B2 (en) 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
CN106662926A (zh) * 2014-05-27 2017-05-10 厉动公司 普适计算环境中的姿势交互的系统和方法
CN104123743A (zh) * 2014-06-23 2014-10-29 联想(北京)有限公司 图像阴影添加方法及装置
US11778159B2 (en) 2014-08-08 2023-10-03 Ultrahaptics IP Two Limited Augmented reality with motion sensing
CN107924584B (zh) * 2015-08-20 2021-06-08 微软技术许可有限责任公司 增强现实
CN107924584A (zh) * 2015-08-20 2018-04-17 微软技术许可有限责任公司 增强现实
CN106558103A (zh) * 2015-09-24 2017-04-05 鸿富锦精密工业（深圳）有限公司 扩增实境图像处理系统及扩增实境图像处理方法
CN109313768A (zh) * 2016-06-23 2019-02-05 电子湾有限公司 用于在线门票市场的天气增强的图形预览
CN107808409B (zh) * 2016-09-07 2022-04-12 中兴通讯股份有限公司 一种增强现实中进行光照渲染的方法、装置及移动终端
WO2018045759A1 (zh) * 2016-09-07 2018-03-15 中兴通讯股份有限公司 一种增强现实中进行光照渲染的方法、装置及移动终端
CN107808409A (zh) * 2016-09-07 2018-03-16 中兴通讯股份有限公司 一种增强现实中进行光照渲染的方法、装置及移动终端
US10939735B2 (en) 2016-09-21 2021-03-09 Carrier Corporation Cooling unit for generating cooled area
CN107993278A (zh) * 2016-10-26 2018-05-04 三星电子株式会社 显示装置和显示内容的方法
CN107993278B (zh) * 2016-10-26 2023-08-08 三星电子株式会社 显示装置和显示内容的方法
CN106652013A (zh) * 2016-12-06 2017-05-10 广州视源电子科技股份有限公司 图像处理方法及系统
CN106604015B (zh) * 2016-12-20 2018-09-14 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及装置
CN106604015A (zh) * 2016-12-20 2017-04-26 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及装置
CN108932051A (zh) * 2017-05-24 2018-12-04 腾讯科技（北京）有限公司 增强现实图像处理方法、装置及存储介质
CN107492144A (zh) * 2017-07-12 2017-12-19 联想(北京)有限公司 光影处理方法及电子设备
CN107492144B (zh) * 2017-07-12 2020-07-24 联想(北京)有限公司 光影处理方法及电子设备
CN110692089B (zh) * 2017-10-04 2023-06-06 谷歌有限责任公司 用于生成插入的内容的阴影的方法和系统
CN110692089A (zh) * 2017-10-04 2020-01-14 谷歌有限责任公司 用于插入的图像内容的阴影生成
CN108010120A (zh) * 2017-11-30 2018-05-08 网易（杭州）网络有限公司 静态阴影的显示方法、装置、存储介质、处理器及终端
CN108520552A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2020211573A1 (zh) * 2019-04-16 2020-10-22 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN110794962A (zh) * 2019-10-18 2020-02-14 北京字节跳动网络技术有限公司 一种信息融合方法、装置、终端及存储介质
WO2021109885A1 (en) * 2019-12-06 2021-06-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Light source detection for extended reality technologies
US11928771B2 (en) 2019-12-06 2024-03-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Light source detection for extended reality technologies
CN111462295B (zh) * 2020-03-27 2023-09-05 咪咕文化科技有限公司 增强现实合拍中的阴影处理方法、设备及存储介质
CN111462295A (zh) * 2020-03-27 2020-07-28 咪咕文化科技有限公司 增强现实合拍中的阴影处理方法、设备及存储介质

Also Published As

Publication number Publication date
JP2013517579A (ja) 2013-05-16
US20110234631A1 (en) 2011-09-29
WO2011118903A1 (en) 2011-09-29
KR20120093991A (ko) 2012-08-23

Similar Documents

Publication Publication Date Title
CN102696057A (zh) 增强现实系统
US9129429B2 (en) Augmented reality on wireless mobile devices
EP2844009B1 (en) Method and system for determining location and position of image matching-based smartphone
ES2558255T3 (es) Anotación automatizada de una vista
CN108540542B (zh) 一种移动增强现实系统及显示的方法
KR101126449B1 (ko) 증강 현실 서비스 시스템 및 방법
EP2733675B1 (en) Object display device, object display method, and object display program
US11321929B2 (en) System and method for spatially registering multiple augmented reality devices
CN108332748B (zh) 一种室内可见光定位方法及装置
CN101510913A (zh) 基于三维电子罗盘的智能手机增强现实系统及实现方法
CN104322052A (zh) 用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统
CN104936283A (zh) 室内定位方法、服务器和系统
JP2009532784A (ja) シーンの三次元モデルを使って、シーン内の問題とするポイントのグローバルまたはローカル位置を決定するためのシステムおよび方法
CN110569006B (zh) 显示方法、装置、终端设备及存储介质
JP5274192B2 (ja) 位置推定システム、位置推定サーバおよび位置推定方法
CN108804675B (zh) 基于多源空间数据的无人机移动空间信息管理系统和方法
WO2021011836A1 (en) Universal pointing and interacting device
WO2016197816A2 (zh) 终端定位方法、装置和电子设备
CN114092646A (zh) 模型生成方法、装置、计算机设备及存储介质
CN106203279B (zh) 一种增强现实中目标对象的识别方法、装置及移动终端
CN206627122U (zh) 非可见激光定标室内定位导航系统
CN108512888A (zh) 一种信息标注方法、云端服务器、系统、电子设备及计算机程序产品
CN201374736Y (zh) 基于三维电子罗盘的智能手机增强现实系统
US11238658B2 (en) AR space image projecting system, AR space image projecting method, and user terminal
Jian et al. Hybrid cloud computing for user location-aware augmented reality construction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120926