CN105378625A - 指示视野外的增强现实图像 - Google Patents

指示视野外的增强现实图像 Download PDF

Info

Publication number
CN105378625A
CN105378625A CN201480036467.XA CN201480036467A CN105378625A CN 105378625 A CN105378625 A CN 105378625A CN 201480036467 A CN201480036467 A CN 201480036467A CN 105378625 A CN105378625 A CN 105378625A
Authority
CN
China
Prior art keywords
user
visual field
virtual objects
instruction
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480036467.XA
Other languages
English (en)
Inventor
T·G·萨尔特
B·苏格登
D·德普福德
R·小克罗可
B·基恩
L·梅赛
A·基普曼
P·T·金内布鲁
N·卡姆达
Z·夸理斯
M·斯卡维泽
R·哈斯廷斯
C·布朗
T·安布鲁斯
J·斯科特
J·比维斯
J·B·克申鲍姆
N·G·法杰特
M·克卢切尔
R·马尔克维奇
S·拉塔
D·麦克洛克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105378625A publication Critical patent/CN105378625A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

公开了涉及操作包括透视显示系统的增强现实计算设备上的用户界面的实施例。例如，一个公开的实施例包括标识位于用户的视野之外的一个或多个对象，以及对于一个或多个对象中的每一个对象，向用户提供与该对象相关联的位置信息的指示。

Description

指示视野外的增强现实图像
背景
诸如头戴式显示系统和手持式移动设备(例如，智能电话、平板电脑，等等)之类的增强现实计算设备可以被配置成向用户显示关于在用户的视野中和/或设备的摄像机的视野中的虚拟或真实对象的信息。例如，头戴式显示器可以被配置成通过透视显示系统显示与现实世界对象在空间上配准的与该现实世界对象有关的虚拟信息。类似地，移动设备可以通过摄像机取景窗口显示这样的信息。
概述
公开了涉及操作增强现实计算设备上的用户界面的实施例。例如，公开的一个实施例包括标识位于用户的视野之外的一个或多个对象，对于此一个或多个对象中的每一个对象，向用户提供与该对象相关联的位置信息的指示。
提供本概述是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中提及的任何或所有缺点的实现。
附图简述
图1A和1B示出了增强现实计算系统的示例使用环境的示意描绘。
图2示意地示出了增强现实显示设备的示例实施例。
图3是图2的显示设备的框图。
图4-8示出了增强现实显示设备上在用户的视野之外的对象的示例指示。
图9示出了根据本公开的用于操作增强现实计算设备上的用户界面的示例方法。
图10示意地示出了示例计算系统。
详细描述
如上文所提及的，增强现实显示设备可以被配置成显示与使用环境中的现实对象和/或虚拟对象相关联的虚拟信息(例如，计算机呈现的文本和/或图像)。然而，由于增强现实显示设备可能具有其中可以显示增强现实图像的有限的视野，因此用户可能不会察觉到位于此视野之外(诸如在用户后面)的包括相关联的增强现实信息的对象。如此，用户可能错过查看那些对象的增强现实信息和/或与其进行交互的机会。
相应地，此处公开了涉及通过增强现实显示设备来提供对位于环境中的在可用于呈现这样的数据的视野之外的位置处的增强现实数据的指示的实施例。这些指示可以包括任何合适类型的指示，包括，但不仅限于，音频指示和/或可视指示。
图1A和1B示出了增强现实显示设备104的一个实施例的使用环境100的示例实施例。所描绘的增强的现实显示设备104采取由用户106佩带的头戴式显示设备的形式，并包括其中可显示增强现实图像的视野102。使用环境100采取包括多个交叉街道和各种建筑物的街道环境的形式，各种建筑物包括建筑物120、122、124、126以及128。应该理解，环境100是作为示例的目的而呈现的，并且使用环境可以采取任何其他合适的形式。
图1A示出了用户106查看环境100的角度，图1B示出了环境100的俯视图。如上文所提及的，图1A和1B所示出的视野102包括可通过显示设备104查看的可以利用虚拟图像增强的环境的一部分。在某些实施例中，视野102可以基本上与用户的实际视场同延(coextensive)，而在其他实施例中，视野102可以占据用户的实际视场的较少的部分。视野102包括周边103，在该周边103的外面，增强现实图像不能由增强现实显示设备104显示。
增强现实环境100可包括各种现实世界对象以及可用现实世界表面和对象显示的各种虚拟对象或视觉特征。例如，建筑物120、122、124、128以及126可包括餐厅。如此，如果用户106请求有关环境100中的附近的餐厅的信息，则增强现实显示设备可以显示指示与对应的建筑物在空间上配准的附近的餐厅的虚拟对象。作为这样的指示的非限制性示例，可以在建筑物120上重叠指示该建筑物120包括餐厅的图标153(例如，大头针或其他标记)。另外，还可以显示任何其他合适的信息，诸如公司名称、徽标、电话号码、菜单、评论等等，或者可通过指示访问它们。
然而，虽然建筑物122、124、126以及128还包含餐厅，但是由于餐厅位于视野102之外，用户106可能不知道这些选项。例如，包括与用户106非常近的餐厅的建筑物122刚好在视野102之外。如此，可能不会使用户106知道此餐厅，除非用户移动以将建筑物122置于视野102内。
如此，可以向用户106呈现各种指示(例如，音频或视觉特征)以向用户警告环境中位于增强现实视野之外的信息。指示可以通过持久或非持久(例如，在请求用户时显示)的用户界面来提供，可以在扩展的周围空间中提供有关可用的增强现实信息的信息。此界面可以是视觉的(例如，由屏幕上标记或地图代表)、可听的(例如，一组声音向用户指出数据的存在性以及接近度)和/或可以采取任何其他合适的形式(例如，触觉的())。如此，甚至在嵌入在用户的物理环境中的数字信息在用户的视线之外时，可以向用户警告该信息。
根据本公开的增强现实显示设备可采取任何合适的形式，包括，但不仅限于，近眼设备，诸如图1A和1B的头戴式显示设备104及其他移动设备。图2示出了增强现实显示系统300的示例实施例，而图3示出了显示系统300的框图。
显示系统300包括形成透视显示子系统304的一部分的一个或多个透镜302，以便图像可以通过透镜302(例如，通过投影到透镜302上、并入透镜302中的波导系统和/或以任何其他合适的方式)来显示。显示系统300进一步包括被配置成获取正在被用户查看的背景场景和/或物理空间的图像的一个或多个面向外的图像传感器306，并可包括被配置成检测声音(诸如来自用户的语音命令)的一个或多个话筒308。面向外的图像传感器306可包括一个或多个深度传感器和/或一个或多个二维图像传感器。在其他实施例中，代替透视显示子系统，增强现实显示系统可以通过面向外的图像传感器的取景器模式来显示增强现实图像。
显示系统300还可以进一步包括被配置成检测用户的每一眼睛的注视方向或焦点的方向或位置的注视检测子系统310，如上文所描述的。注视检测子系统310可以被配置成以任何合适的方式确定用户的每一个眼睛的注视方向。例如，在所描绘的实施例中，注视检测子系统310包括被配置成导致光的闪烁从用户的每一眼球反射的一个或多个闪光源312(诸如红外光源)，以及被配置成捕捉用户的每一眼球的图像的一个或多个图像传感器314(诸如面向内的传感器)。可以使用如从经由(诸)图像传感器314收集的图像数据确定的用户的眼球的闪烁和/或用户的瞳孔的位置的变化来确定注视方向。进一步，可以使用从用户的眼睛投射的注视线与外部显示器相交的位置来确定用户正在注视哪个对象(例如，显示的虚拟对象和/或现实的背景对象)。注视检测子系统310可以具有任何合适数量和布置的光源以及图像传感器。在其他实施例中，可以省略注视检测子系统310。
显示系统300可以进一步包括附加的传感器。例如，显示系统300可以包括全球定位(GPS)子系统316，以允许确定显示系统300的位置。这可以帮助标识位于用户的周围物理环境中的对象(诸如建筑物等等)。
显示系统300还可包括一个或多个运动传感器318，以当用户正在佩带着显示系统300时检测用户的头部的移动。运动数据可以潜在地与眼睛跟踪闪烁数据和面向外的图像数据一起被使用来用于注视检测以及用于图像稳定化，以帮助校正来自(诸)面向外图像传感器306的图像中的模糊。运动数据的使用可以允许注视位置的变化被跟踪，即使不能解析来自(诸)面向外的图像传感器306的图像数据。同样，运动传感器318，以及麦克风308和注视检测子系统310，还可以被用作用户输入设备，以便用户可以通过眼睛、颈部和/或头部的姿势，以及通过语音命令，与显示系统300进行交互。可以理解，图2和3中所示出的传感器只是出于示例的目的示出的，而不旨在以任何方式作出限制，因为可以使用任何其他合适的传感器和/或传感器的组合。
显示系统300进一步包括与传感器、注视检测子系统310、显示子系统304，和/或其他组件进行通信的具有逻辑子系统322和存储子系统324的控制器320。存储子系统324包括存储在其上的指令，这些指令可由逻辑子系统322执行，以接收和解释来自传感器的输入，标识用户的位置及移动，标识在增强现实视野中的真实对象，并因此呈现增强现实图像，检测位于用户的视野之外的对象，呈现与位于用户的视野之外的对象相关联的位置信息的指示，以及其他任务。
可以理解，所描绘的显示设备104和300是出于示例的目的描述的，并由此不旨在是限制性的。进一步理解，显示设备可包括除所示出的那些之外的额外的和/或替代的传感器、相机、话筒、输入设备、输出设备等等，而不会背离本公开的范围。另外，显示设备及其各种传感器和子组件的物理配置可以采取各种不同的形式，而不会背离本发明的范围。
图4-8示出了可用于在增强现实显示设备上显示增强现实图像的视野102之外的对象的指示的示例实施例，其中所指示的对象对应于具有相关联的增强现实信息的对象。如此处所使用的术语“视野之外”等等表示角视野之外的对象、被其他对象(现实的或虚拟)遮挡的对象、和/或由于任何其他原因不能直接可见的对象。首先，图4示出了在第一时间T1和在第二稍后的时间T2的示例视野102。在时间T1，对象402和对象404在视野102内。对象402和404可以包括现实对象或虚拟对象，其中虚拟对象可以是增强的现实图像中显示的或可显示的物理场景中不存在的任何对象，它与物理场景的图像组合以形成增强现实图像。在此示例中，多个对象位于视野102之外。如此，在视野102内显示了相应的标记406、408、410、412，以及414形式的多个可视指示，由此指示存在位于视野102之外的对象。
在所描绘的实施例中，这些标记被显示在视野102的周边103附近，但是可以具有任何其他合适的外观。进一步，标记可以被显示在表示对应的视野外对象的相对位置的位置。例如，位于视野102的右侧的标记410、412，以及414可以指示位于用户的视野之外的在用户右边的对象，如此可以指示查看对应的对象要转向的方向。作为另一个示例，位于视野102的顶部边界处的标记408可以指示用户可以向上转动或向上看以查看相应的对象。作为再一个示例，标记406被显示在视野102的右边缘处，由此引导用户向右看或向右转动以查看相应的对象。
在时间T2，用户向右切换他们的视野，以便与标记412相关联的对象416进入用户的视野102。在某些示例中，在对象416进入视野之后，标记412可以继续被显示，以便将用户的注意力引向对象416。然而，在其他示例中，当相应的对象进入视野102时，标记412可以不再被显示或可以在外观上变化，例如改变颜色、形状、大小，显示的信息的内容、朝向等等。此外，在时间T2示出的视野朝向右的这种切换导致对象402移到视野102之外。如此，与对象402相关联的标记418被显示在视野的左边缘，以指示对象402现在位于视野之外的偏左处。
在所描绘的示例中，为清楚起见，利用相同的外观描绘在视野102之内和在视野之外的对象的标记。然而，可以理解，可以为在视野之内的对象显示不同的信息或不显示信息。例如，在搜索附近的餐厅的示例中，在视野102的周边处的标记可以指示存在视野外的餐厅但是无名称信息，而视场中的餐厅的标记可以包括额外的信息，诸如餐厅名称、电话号码、到菜单的链接、评论等等。同样，在用户搜索特定业务的上下文中，指示业务的视野外位置的外围标记可能会消失，而不是被不同的标记替换，因为业务名称在现实世界环境中清楚地可见。
应该理解，图4所示出的视觉指示符是作为示例的目的呈现的，且视觉指示符可采取任何其他合适的形式。进一步，指示符可以指示除相对位置以外的信息。例如，视觉指示符的外观可以根据对象的属性(诸如从对象到用户的距离和/或从对象到用户的方向)而改变。如此，标记的外观可基于对象相对于用户的变化(诸如距用户的距离和/或相对于用户的方向的变化等等)而改变。
此外，指示符可以指示除位置信息之外的其他信息。例如，视觉指示符的外观可以表示在特定方向或位置包括增强现实信息的对象的密度，因为标记的对应的数量可以被显示在显示器的该侧上。作为另一个示例，视觉指示符的大小可以基于与该视觉指示符相关联的对象的数量，使得显示的标记的相对较大的大小可以指示相对较大的数量的对象与该标记相关联。可以理解，随着用户改变角度或改变环境中的视野102，标记的显示可以被动态地更新，以反映位于视野102之外的特征、信息和对象的的变化。
在某些示例中，可以基于视野102的中心点452来确定视觉指示符被显示所在的位置。例如，用户的垂直和水平注视的中心点452可能与将判断标记出现在沿着视场102的周边103的右边、左边、顶部还是底部的分割线相对。在这样的示例中，位于用户后面并且稍微偏右的可见的资产可以通过显示在视野102的右周边上的标记来指示。在其他实施例中，可以以任何其他合适的方式来定位视觉指示符。
图5示出了增强现实资产的虚拟地图506形式的另一示例视觉指示符。在时间T1，对象502和对象504在用户的视野102内。虚拟地图506表示环境中大于视野102的物理区域。例如，视野可以被指示为包含中心区域508的具有宽度532的矩形区域，宽度532小于虚拟地图的宽度532，其中中心区域508表示用户的视野102。在某些示例中，中心区域508可包括表示视野102的中心512的中心指示符或点510。
中心区域508可以帮助用户标识显示在视野102内的具有相关联的增强现实信息的元素或对象，以及显示在视野102之外的那些元素或对象。例如，如在时间T1所示，显示在中心区域508内的标记502a可以对应于对象502。视野102之外的对象的标记被显示在虚拟地图506内的中心区域508的外面。例如，视觉指示符或标记518、516a、524，以及526被显示在虚拟地图506上，以指示位于视野102之外的对象的存在。
可以以任何合适的方式显示虚拟地图506。例如，虚拟地图506可以被显示为示出用户周围的元素的布局的持久头部锁定的地图，其中显示在地图上的标记可以随着用户移动而改变位置。此外，在某些实施例中，显示在虚拟地图中的标记的外观可以基于它们表示的对象的类型。例如，虚拟地图506中的带有第一颜色的标记可以指示第一类型的对象(例如，餐厅)，而虚拟地图506中的带有第二颜色的标记可表示第二类型的对象(例如，零售商店)。
虚拟地图506可以被显示在显示器上的任何合适位置处，并可以具有任何合适的外观。例如，在所描绘的实施例中，虚拟地图506被显示在视野102的底部区域。此外，虚拟地图506可以是至少部分地半透明或透明，以便虚拟地图506不会侵扰用户对视野102中的各元素的查看。在所描绘的实施例中，虚拟地图可以显示在用户周围的360度区域内的对象的表示，但是可以指示任何其他合适的角形范围。
继续图5，在时间T2，用户的视野朝向右移位，使得与标记516a相关联的对象516进入用户的视野102。如在时间T2所示，标记516b现在被显示在中心区域508中，从而指示对象516现在位于视野102内。在某些示例中，与显示在虚拟地图506上的对象相关联的标记的外观可取决于对象是否位于视野102而改变。例如，当对象516位于视野102之外时，可以以第一方式显示标记522，例如，带有第一颜色、大小，和/或形状，并且当对象516进入视野102时，可以以第二不同的方式显示标记。值得注意的是，在时间T2示出的视野朝向右的这种移位导致对象502在视野102之外移动。如此，与对象502相关联的标记520b被显示在虚拟地图506上中间区域508的外面偏中间区域508左侧的地方，以指示对象502现在位于视场之外偏左。
图6示出了视觉指示符的另一示例实施例。在此示例中，在视野102中示出了房间环境602。在时间T1，视觉指示符604被显示在视野102的右下周边，以指示在视野102的右下部的外面的方向存在位于视野102之外的对象。视觉指示符604可以包括路线、路径、箭头，或用户可以跟随以便被引向它表示的对象的其他方向性指示。在所描绘的实施例中，视觉指示符604可以被表示为从对象606延伸的卷须(例如，藤状的特征或线的其他表示)，该卷须可以表示通知块或其他的虚拟对象。如此，用户可以通过向右转以将对象606带入视野中来在视觉上跟随指示符604朝着对象606。
可以在任何合适的上下文中使用卷须来将用户的注视引向位于当前的增强现实视野之外的对象。卷须充当从视野内指向视野之外的对象的线。如此，用户可以在视觉上跟随卷须，以发现卷须指向的对象。这样的卷须可以永久地为视野外对象显示，或可以在合适的触发发生之际显示。例如，在接收到选择或查看对象的用户输入(声音、注视、手势等等)之际，视野外对象的卷须可以出现。在其他示例中，可以响应于世界识别事件(例如，识别对象、事件，或感兴趣的其他现实世界项)而显示卷须。
作为另一个示例，当对应的视野外对象具有要查看的新活动时，可以触发对卷须的显示。例如，在接收到新电子邮件消息时，可以显示卷须，以将查看者的注视引导到视野外电子邮件收件箱。另外，还可以使用卷须来指示当前具有用户焦点的视野外对象。例如，如果用户当前正在向文本输入框输入文本，然后注视不同的方向，以便文本框不再可见，则可以触发对引导回文本框的卷须的显示。卷须还可以将用户引导到被其他对象遮挡的对象。例如，卷须可以围绕角落或墙壁引导到视野外对象。在这些示例中的任一者中，当视野外对象进入视界内时，卷须可以存留或消失。
卷须可以具有任何合适的外观。例如，在某些实施例中，卷须可以具有藤状外观。在其他实施例中，卷须可以具有导向视野外对象的路径的任何其他合适的表示的外观。卷须可源自邻近显示器的周边的位置，或可以源自更靠近用户的视野的中心之处。进一步，如上文参考其他实施例所描述的，卷须的颜色、形状、大小、不透明度，和/或其他合适的属性可以基于诸如对象类型、位置、和/或虚拟或现实世界布置之类的对象属性而改变。
在某些实施例中，可以使用音频提示来向用户警告卷须的创建。例如，使用上文的电子邮件示例，可以在视野外电子邮件收件箱中接收到新电子邮件消息之际，输出音频输出(诸如哼声、音调，或其他合适的声音)以指示卷须的创建。进一步，可以改变声音的特征，以提供有关对象的额外的信息。例如，可以使用高音调的哼声来指示对象在远处，而低音调哼声可以指示在附近的对象。可以理解，这些实施例是出于示例的目的而被描述的，而并不旨在以任何方式进行限制。
在某些示例中，视觉指示符可以表示从可用于增强现实图像的显示的视野内移出的对象。例如，参考图7，环境702中的用户可以最初与诸如照片、用户界面控件、应用界面/窗口之类的对象704或任何其他合适的对象进行交互，如在时间T1所示。
当用户完成了与对象704的交互时，对象可以被移动到视野102之外的位置(自动地或通过用户动作)。如此，如在时间T2所示，可以在视野102内显示动画706，从而指示对象704朝向视野外位置的移动。动画706的外观可以基于对象704的移动的各种属性和/或对象704被发送到的位置。例如，动画706的速度可以指示屏幕外对象704还有多远进入屏幕，其中相对较高的速度可以指示视野之外的相对较大的距离。动画706可以采取任何其他合适的形式，包括，但不仅限于，沿着表示对象704正在向其移动的位置的路线或卷须延伸的脉冲。接下来参考时间T3，在对象704移到视野102之外后，标记708可以显示在视野102的周边103，以指示对象704被定位在视野102之外的位置。
进一步，在某些实施例中，动画可以被显示在视野102内以指示对位于视场之外的对象执行的动作。例如，基于用户与卷须引导到的对象的交互的卷须的外观的变化可以被动画化，以指示用户对对象的活动。作为更具体的示例，如果用户正在看显示在视野内的一个对象(例如，文本输入框)，并通过位于视野之外的现实世界输入设备(例如，键盘)提供输入，那么动画或其他合适的指示符可以显示为在现实世界输入设备处产生并在视野内的文本输入框处结束，以指示该用户对视野外对象(键盘)的活动。这样的动画可以具有任何合适的外观。作为一个非限制性示例，当用户向现实世界输入设备提供输入时，例如当用户按压位于视野之外的键盘上的键时，可以显示使卷须从输入设备到文本输入框向上行进的动画脉冲。
图8示出了使用卷须来指示与增强现实环境802中的视野外对象相关联的位置信息的另一示例。更具体而言，图8示出了位于增强现实显示设备的视野806之外的多个虚拟对象818、820、822和824。虚拟对象818、820、822和824可以是应用用户界面或显示设备的用户可以与其进行交互的任何其他合适的对象。图8还示出了与对象818、820、822和824相关联的诸如图标之类的指示符810、812、814和816的群组，其中这些指示符当前被显示在当前在视野806内的位置。例如，指示符810可以对应于对象824，指示符812可以对应于对象834，指示符814可以对应于对象820，而指示符816可以对应于对象818。图8还描绘了键盘808形式的真实对象。
虚拟对象818、820、822和824可以是“锁定世界的”，因为这些虚拟对象可能不会随着用户的视角在环境802中变化而相对于现实世界背景移动。如此，虚拟对象有时可能在视野806之外。如此，用户可以通过查看指示符群组并选择对应于所希望的虚拟对象的指示符(例如，通过选择对应于所希望的应用的图标)来定位对象。选择可以通过声音、注视、身体姿势(例如，如由运动传感器检测到的头部姿势，如由图像传感器检测到的臂姿势，等等)和/或任何其他合适的机制来作出。此选择可以导致卷须826在视野806中的显示，以将用户的注视引导到相关联的对象。在图8中，当前在用户的视野中的卷须826的部分以实线示出，当前在视野之外的部分以虚线示出。通过在视觉上使其长度跟随卷须，用户可以定位所希望的虚拟对象。
图9示出了描绘了用于操作增强现实计算设备上的用户界面以提供位于用户的视野之外的现实对象和/或虚拟对象的指示的方法900的示例的流程图。如下面所描述的，这些指示可包括视觉指示和/或音频指示。
在902，方法900包括标识用户的视场之外的对象，包括标识相关联的增强现实信息。标识视野之外的对象包括以任何方式获得有关对象的信息，例如本地地生成或检测到的信息和/或从其他设备中获取的信息。对象可以包括任何合适的现实对象和/或虚拟对象。方法900进一步包括指示与在用户的视野之外的对象相关联的位置信息。指示可以包括涉及对象的位置相对于用户的位置的信息，以向用户传达查看对象的方向和/或涉及对象的任何其他合适的信息。
可以响应于任何合适的触发器来提供指示。在某些示例中，可以响应于用户输入，例如姿势(注视姿势、身体姿势，等等)、语音输入，或其他合适的输入，向用户提供指示。在其他示例中，可以基于可以取决于用户的环境的编程触发自动地向用户提供指示。
如上文所提及的并在906处示出的，呈现指示符可以包括通过显示设备来显示视觉指示符。显示的视觉指示符可以具有任何合适的外观。例如，如在908所示，视觉指示符可以采取标记的形式。进一步，标记的外观可以指示诸如查看对象要转向的方向、对象距可用于显示增强现实图像的视野的距离等等之类的信息。标记可以显示在视野的周边，或显示在任何其他合适的位置。
作为另一个示例，视觉指示符还可以采取诸如卷须之类的用户可以在视觉上跟随以发现相关联的对象的路径的形式，如在910所示出的。例如，标记可以包括从用户的视野内的位置朝向对象延伸或延伸到对象的在视觉上显示的路径。作为再一个示例，可以通过虚拟地图显示视觉指示符，如在912所示出的。这样的地图可以采取映射大于可用于显示增强现实图像的视野的物理区域的覆盖图的形式，并可以具有任何合适的外观，上文描述了其非限制性示例。
随着用户响应于视觉指示符的显示而转向或移动，视觉指示符的显示可以改变，如在914所示出的。例如，标记的外观可以基于对象的属性、从对象到用户的距离和/或对象相对于用户的朝向中的一项或多项而改变。改变标记的显示可以包括改变对象的颜色、改变对象的不透明度、改变对象的大小、改变对象的形状，以及改变对象的移动中的一项或多项。在基于对象的属性来改变标记的外观的情况下，属性可以包括全局属性或因上下文而异的(例如，因应用而异的)属性。例如，在增强现实视频游戏中，可以使用标记的颜色来指示游戏对象的相对值/重要性(例如，最高值或最困难的敌人)。
进一步，对用户的视野之外的对象的指示还可以包括音频指示，代替视觉指示符或作为其补充。如此，在916，方法900可包括从扬声器发出一个或多个声音，从而指示一个或多个对象的存在。音频指示可以采取任何合适的形式。例如，指示可以采取钟声/铃声、蜂鸣声、其他音调的形式，以及更复杂的输出，诸如计算机化的语音输出。
至于视觉指示符，音频指示的呈现可以随着用户相对于视野外对象的位置变化或基于其他状态变化而改变，如在918所示出的。声音可以基于任何合适的因素，诸如对象的属性、从对象到用户的距离和/或对象相对于用户的朝向中的一项或多项，而改变。进一步，声音可以以任何合适的方式变化。例如，可以通过改变一个或多个声音的音量、改变一个或多个声音的一个或多个频率、改变声音的音色、改变一个或多个声音的视在位置(例如，通过基于对象和用户的相对位置应用头部相关的传递函数(HRTF))以及改变触觉/触感响应来改变声音。作为更具体的示例，用户可以通过语音或文本输入来请求“附近有咖啡馆吗？”作为响应，咖啡馆的相对位置可以通过按顺序呈现的输出音调(每一个咖啡馆一个输出音调)来表示，其中基于根据用户和相关联的咖啡馆的相对位置确定的HRTF来修改每一个音调的应用于两个或更多扬声器(例如，头戴式显示设备上的耳机)中的每一个的信号。
在其他示例中，到对象和/或对象的相对位置的距离也可以通过声音模式、通过节拍、通过音高，或者通过声音的长度来指示。这样的声音质量还可以进一步用于指示可用的信息的密度和/或任何其他合适的信息。例如，在显示器的每一侧的对象密度的可以通过用于表示密度的声音的音高的相对差来表示。
在某些实施例中，上文所描述的方法和过程可以与一个或多个计算设备的计算系统关联。具体而言，这样的方法和过程可以实现为计算机应用程序或服务、应用程序编程接口(API)、库和/或其他计算机程序产品。
图10示意性地示出计算系统1000的非限制性实施例，该计算系统可以进行上述方法和过程中的一个或多个。显示设备104可以是计算系统1000的一个非限制性实例。计算系统1000以简化形式示出。应该理解，可以使用实际上任何计算机架构，而不偏离本发明的范围。在不同的实施例中，计算系统1000可以采取显示设备、可穿戴计算设备、大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如智能电话)等等的形式。
计算系统1000包括逻辑子系统1002和存储子系统1004。计算系统1000可任选地包括显示子系统1006、输入子系统1008、通信子系统1010和/或在图10中未示出的其他组件。
逻辑子系统1002包括被配置为执行指令的一个或多个物理设备。例如，逻辑子系统1002可被配置成执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。可以实现这样的指令为执行任务、实现数据类型、变换一个或多个组件的状态或以其它方式达到所需的结果。
逻辑子系统1002可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统1002可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统1002的处理器可以是单核或多核的，而其上执行的程序可以被配置为进行串行、并行或分布式处理。逻辑子系统1002可以任选地包括分布在两个或更多设备之间的独立组件，这些独立组件可以位于远程和/或被配置用于进行协调处理。逻辑子系统1002的各方面可以由云计算配置中配置的可远程访问的联网计算设备来虚拟化和执行。
存储子系统1004包括一个或多个物理设备，该一个或多个物理设备被配置成保持逻辑子系统1002可执行来实现本文中所述的方法和过程的数据和/或指令。在实现此类方法和过程时，存储子系统1004的状态可以被变换——例如，以保持不同的数据。
存储子系统1004可以包括可移动介质和/或内置设备。存储子系统1004可包括光学存储设备(例如，CD、DVD、HD－DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统904可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
将理解，存储子系统1004包括一个或多个物理设备，并排除传播信号自身。然而，在一些实施例中，本文描述的指令的各方面可经由通信介质通过纯信号(例如，电磁信号、光学信号等)来传播，而不是被存储在存储设备上。此外，与本公开有关的数据和/或其他形式的信息可以通过纯信号来传播。
在一些实施例中，逻辑子系统1002和存储子系统1004的各方面可以被一起集成到一个或多个硬件-逻辑组件中，通过所述组件来执行在此所述的功能性。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
在被包括时，显示子系统1006可用于呈现由存储子系统1004保存的数据的视觉表示。该视觉表示可以采用图形用户界面(GUI)的形式。由于此处所描述的方法和过程改变了由存储子系统保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统1006的状态以视觉地表示底层数据的改变。显示子系统1006可以包括使用实质上任何类型的技术的一个或多个显示设备。可以将此类显示设备与逻辑子系统1002和/或存储子系统1004一起组合在共享封装中，或者此类显示设备可以是外围触摸显示设备。
当被包括时，输入子系统1008可包括诸如键盘、鼠标、触摸屏或游戏控制器等一个或多个用户输入设备或者与这些用户输入设备对接。在一些实施例中，输入子系统可以包括或相接于所选择的自然用户输入(NUI)部件。这种元件部分可以是集成的或外围的，输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
当包括通信子系统1010时，通信子系统1010可以被配置成将计算系统1000与一个或多个其他计算设备可通信地耦合。通信子系统1010可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线电话网络、或者有线或无线局域网或广域网来通信。在一些实施例中，通信子系统可允许计算系统1000经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (10)

1.在包括显示系统的增强现实计算设备上，一种用于操作用户界面的方法，所述方法包括：
标识位于可用于显示增强现实信息的视野之外的一个或多个虚拟对象；以及
对于所述一个或多个虚拟对象中的每一个对象，向所述用户提供与所述虚拟对象相关联的位置信息的指示。
2.如权利要求1所述的方法，其特征在于，与所述虚拟对象相关联的位置信息的所述指示包括所述虚拟对象的位置相对于所述用户的位置的指示。
3.如权利要求2所述的方法，其特征在于，与所述虚拟对象相关联的位置信息的所述指示被显示在透视显示系统上用户的所述视野内的在所述视野的周边附近处。
4.如权利要求2所述的方法，其特征在于，与所述虚拟对象相关联的位置信息的所述指示作为指示所述虚拟对象的存在以及查看所述虚拟对象要转向的方向的标记被显示在透视显示系统上用户的所述视野内。
5.如权利要求4所述的方法，其特征在于，所述标记包括从所述视野内的一个位置延伸到所述虚拟对象的卷须。
6.如权利要求4所述的方法，其特征在于，进一步包括基于所述虚拟对象的属性、从所述虚拟对象到所述用户的距离，以及所述虚拟对象相对于所述用户的朝向中的一项或多项改变所述标记的显示。
7.如权利要求1所述的方法，其特征在于，与所述虚拟对象相关联的位置信息的所述指示包括从扬声器发出的指示所述虚拟对象的存在的一个或多个声音。
8.如权利要求7所述的方法，其特征在于，进一步包括基于所述虚拟对象的属性、对象的密度、从所述虚拟对象到所述用户的距离，以及所述虚拟对象相对于所述用户的朝向中的一项或多项改变从扬声器发出的所述一个或多个声音。
9.如权利要求1所述的方法，其特征在于，所述显示系统包括透视显示系统，并且其中与所述虚拟对象相关联的位置信息的所述指示作为虚拟地图被显示在所述透视显示系统上。
10.一种可穿戴增强现实计算设备，包括：
透视显示设备；
通过所述透视显示设备显示的图形用户界面；
包括一个或多个传感器的传感器系统；
逻辑子系统；以及
存储子系统，包括存储在其上的可由所述逻辑子系统执行以执行下列操作的指令：
检测位于可用于显示增强现实图像的所述透视显示设备的视野之外的一个或多个对象；以及
对于所述一个或多个对象中的每一个对象，向所述用户提供位于所述视野之外的所述对象的存在以及方向的指示；以及
基于所述对象相对于所述透视显示设备的位置的变化、所述对象距所述透视显示设备的距离以及所述对象的属性中的一项或多项改变向所述用户提供的所述指示。
CN201480036467.XA 2013-06-25 2014-06-20 指示视野外的增强现实图像 Pending CN105378625A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/927,056 US9129430B2 (en) 2013-06-25 2013-06-25 Indicating out-of-view augmented reality images
US13/927,056 2013-06-25
PCT/US2014/043304 WO2014209770A1 (en) 2013-06-25 2014-06-20 Indicating out-of-view augmented reality images

Publications (1)

Publication Number Publication Date
CN105378625A true CN105378625A (zh) 2016-03-02

Family

ID=51210774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480036467.XA Pending CN105378625A (zh) 2013-06-25 2014-06-20 指示视野外的增强现实图像

Country Status (5)

Country Link
US (3) US9129430B2 (zh)
EP (1) EP3014409A1 (zh)
KR (3) KR102475873B1 (zh)
CN (1) CN105378625A (zh)
WO (1) WO2014209770A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107589919A (zh) * 2016-07-06 2018-01-16 富士施乐株式会社 信息处理装置、图像形成系统以及信息处理方法
CN108319274A (zh) * 2017-01-16 2018-07-24 吕佩剑 一种无人飞行器位置的图形显示方法
CN108355354A (zh) * 2018-02-11 2018-08-03 网易（杭州）网络有限公司 信息处理方法、装置、终端和存储介质
CN108700942A (zh) * 2016-05-17 2018-10-23 谷歌有限责任公司 在虚拟/增强现实系统中改变对象位置的技术
CN108885802A (zh) * 2016-03-29 2018-11-23 索尼公司 信息处理装置、信息处理方法和程序
CN108919960A (zh) * 2018-07-27 2018-11-30 上海理工大学 一种显示缺失图像的系统
CN108965644A (zh) * 2018-07-27 2018-12-07 上海理工大学 一种显示缺失图像的系统及布置方法
CN109109745A (zh) * 2018-07-27 2019-01-01 上海理工大学 一种显示缺失图像的系统
CN109109744A (zh) * 2018-07-27 2019-01-01 上海理工大学 一种显示缺失图像的系统及布置方法
CN109313509A (zh) * 2016-04-21 2019-02-05 奇跃公司 视野周围的视觉光环
CN109416596A (zh) * 2016-07-06 2019-03-01 微软技术许可有限责任公司 用于虚拟现实环境的滚动转向及轻击转向
CN109688347A (zh) * 2017-10-19 2019-04-26 阿里巴巴集团控股有限公司 多屏互动方法、装置及电子设备
CN109756727A (zh) * 2017-08-25 2019-05-14 华为技术有限公司 信息显示方法及相关设备
CN110196633A (zh) * 2018-02-26 2019-09-03 联想（新加坡）私人有限公司 使用增强现实系统提供实体位置的方法及设备
CN110383819A (zh) * 2017-03-07 2019-10-25 林克物流有限公司 生成全方位图像的方向信息的方法及执行该方法的装置
CN110869900A (zh) * 2017-07-13 2020-03-06 索尼公司 信息处理装置、信息处理方法及程序
CN110892727A (zh) * 2017-07-13 2020-03-17 三星电子株式会社 用于在网络系统中传送数据的方法和装置
CN111164540A (zh) * 2017-09-28 2020-05-15 苹果公司 用于在模拟现实会话期间呈现物理环境交互的方法和设备
CN111831110A (zh) * 2019-04-15 2020-10-27 苹果公司 头戴式设备的键盘操作
CN112423190A (zh) * 2019-08-20 2021-02-26 苹果公司 用于头戴式设备的基于音频的反馈
CN112684885A (zh) * 2020-12-25 2021-04-20 联想(北京)有限公司 一种显示控制方法及装置
TWI731509B (zh) * 2018-12-21 2021-06-21 美商雷亞有限公司 具有視像末端指示器的多視像顯示系統、多視像顯示器以及方法
CN114138120A (zh) * 2021-12-09 2022-03-04 张森淼 一种运用于虚拟现实中的虚拟视角追踪方法及系统

Families Citing this family (223)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582937B2 (en) * 2008-01-02 2017-02-28 Nokia Technologies Oy Method, apparatus and computer program product for displaying an indication of an object within a current field of view
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
KR102165444B1 (ko) * 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
JP6201615B2 (ja) * 2013-10-15 2017-09-27 富士通株式会社 音響装置、音響システム、音響処理方法及び音響処理プログラム
WO2015066332A1 (en) * 2013-10-30 2015-05-07 Technology Against Als Communication and control system and method
JP6610258B2 (ja) * 2013-11-05 2019-11-27 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US20150145887A1 (en) * 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display
CN111986328A (zh) * 2013-12-17 2020-11-24 索尼公司 信息处理设备和方法以及非易失性计算机可读存储介质
SG2014000889A (en) * 2014-01-03 2015-08-28 Creative Tech Ltd A system suitable for one or both of audio processing and graphics processing and a method of processing in association therewith
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9532715B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
JP6299234B2 (ja) 2014-01-23 2018-03-28 富士通株式会社 表示制御方法、情報処理装置、および表示制御プログラム
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20160018654A1 (en) * 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
JP6264972B2 (ja) * 2014-03-18 2018-01-24 富士通株式会社 表示装置、表示制御プログラム、および表示制御方法
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10932657B2 (en) * 2014-04-02 2021-03-02 Transenterix Europe S.A.R.L. Endoscope with wide angle lens and adjustable view
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US10930038B2 (en) 2014-06-10 2021-02-23 Lab Of Misfits Ar, Inc. Dynamic location based digital element
US10026226B1 (en) * 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
US10320437B2 (en) * 2014-10-24 2019-06-11 Usens, Inc. System and method for immersive and interactive multimedia generation
US9898868B2 (en) * 2014-11-06 2018-02-20 Seiko Epson Corporation Display device, method of controlling the same, and program
KR102309281B1 (ko) * 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
JP6447636B2 (ja) * 2014-11-12 2019-01-09 富士通株式会社 ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
KR20160096422A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 화면 표시 방법 및 전자 장치
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
CA2979560C (en) 2015-03-05 2023-11-07 Magic Leap, Inc. Systems and methods for augmented reality
EP3098690B1 (en) * 2015-05-28 2020-01-08 Nokia Technologies Oy Rendering of a notification on a head mounted display
US10547709B2 (en) 2015-06-18 2020-01-28 Qualtrics, Llc Recomposing survey questions for distribution via multiple distribution channels
US10325568B2 (en) 2015-08-03 2019-06-18 Qualtrics, Llc Providing a display based electronic survey
EP3130276B8 (en) * 2015-08-12 2020-02-26 TransEnterix Europe Sàrl Endoscope with wide angle lens and adjustable view
JP6757404B2 (ja) 2015-08-28 2020-09-16 インターデジタル シーイー パテント ホールディングス シースルー・グラス用の補助アイテム選択
WO2017036953A1 (en) * 2015-09-02 2017-03-09 Thomson Licensing Method, apparatus and system for facilitating navigation in an extended scene
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
US10338677B2 (en) * 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US9928648B2 (en) 2015-11-09 2018-03-27 Microsoft Technology Licensing, Llc Object path identification for navigating objects in scene-aware device environments
KR20170059760A (ko) * 2015-11-23 2017-05-31 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2017091019A1 (en) 2015-11-27 2017-06-01 Samsung Electronics Co., Ltd. Electronic device and method for displaying and generating panoramic image
KR102632270B1 (ko) * 2015-11-27 2024-02-02 삼성전자주식회사 전자 장치 및 파노라마 영상 표시와 생성 방법
AU2016365422A1 (en) 2015-12-04 2018-06-28 Magic Leap, Inc. Relocalization systems and methods
WO2017098822A1 (ja) * 2015-12-10 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN105657370A (zh) * 2016-01-08 2016-06-08 李昂 一种封闭性的可穿戴全景摄像与处理系统及其操作方法
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US10176641B2 (en) 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10133345B2 (en) * 2016-03-22 2018-11-20 Microsoft Technology Licensing, Llc Virtual-reality navigation
EP3435036A4 (en) * 2016-03-23 2019-04-03 Nec Corporation BRILLIANT WEARABLE INFORMATION SENDING DEVICE AND CONTROL PROCESS AND CONTROL PROGRAM THEREFOR
CN109196447B (zh) 2016-03-31 2022-06-17 奇跃公司 使用姿势和多dof控制器与3d虚拟对象的交互
CN109416842B (zh) * 2016-05-02 2023-08-29 华纳兄弟娱乐公司 在虚拟现实和增强现实中的几何匹配
EP3242228A1 (en) * 2016-05-02 2017-11-08 Artag SARL Managing the display of assets in augmented reality mode
KR20170126295A (ko) * 2016-05-09 2017-11-17 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
US10339933B2 (en) 2016-05-11 2019-07-02 International Business Machines Corporation Visualization of audio announcements using augmented reality
GB201608886D0 (en) * 2016-05-20 2016-07-06 Nokia Technologies Oy Virtual reality display
JP6711137B2 (ja) * 2016-05-25 2020-06-17 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
CN109313506B (zh) * 2016-06-22 2022-03-08 索尼公司 信息处理装置、信息处理方法和程序
EP3264222B1 (en) 2016-06-27 2019-04-10 Nokia Technologies Oy An apparatus and associated methods
US11032471B2 (en) * 2016-06-30 2021-06-08 Nokia Technologies Oy Method and apparatus for providing a visual indication of a point of interest outside of a user's view
KR102626821B1 (ko) 2016-08-02 2024-01-18 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
US10176640B2 (en) 2016-08-02 2019-01-08 Qualtrics, Llc Conducting digital surveys utilizing virtual reality and augmented reality devices
EP3287868B1 (en) * 2016-08-26 2020-10-14 Nokia Technologies Oy Content discovery
US10028016B2 (en) 2016-08-30 2018-07-17 The Directv Group, Inc. Methods and systems for providing multiple video content streams
US11301877B2 (en) 2016-09-01 2022-04-12 Qualtrics, Llc Providing analysis of perception data over time for events
US10565916B2 (en) * 2016-09-09 2020-02-18 Kt Corporation Providing streaming of virtual reality contents
JP2018049267A (ja) * 2016-09-16 2018-03-29 株式会社半導体エネルギー研究所 表示システム、電子機器および表示方法
KR102632795B1 (ko) * 2016-09-21 2024-02-02 삼성전자주식회사 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치
CN111899003A (zh) 2016-12-13 2020-11-06 创新先进技术有限公司 基于增强现实的虚拟对象分配方法及装置
WO2018112820A1 (en) 2016-12-22 2018-06-28 Motorola Solutions, Inc. Method and system for tracking an object of interest in a talkgroup
KR101949261B1 (ko) * 2017-01-23 2019-02-18 고범준 Ｖｒ 영상 생성 방법, ｖｒ 영상 처리 방법 및 ｖｒ 영상 처리 시스템
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
KR20230149347A (ko) 2017-03-17 2023-10-26 매직 립, 인코포레이티드 컬러 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
JP7055815B2 (ja) 2017-03-17 2022-04-18 マジック リープ， インコーポレイテッド 仮想コンテンツをワーピングすることを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
EP3596702A4 (en) 2017-03-17 2020-07-22 Magic Leap, Inc. MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS
EP3379379A1 (en) * 2017-03-24 2018-09-26 Nokia Technologies Oy Virtual reality system and method
US10379606B2 (en) * 2017-03-30 2019-08-13 Microsoft Technology Licensing, Llc Hologram anchor prioritization
KR20180113109A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 전자 장치 및 전자 장치의 화면 표시 방법
US9754397B1 (en) * 2017-04-07 2017-09-05 Mirage Worlds, Inc. Systems and methods for contextual augmented reality sharing and performance
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
JP7149289B2 (ja) 2017-04-19 2022-10-06 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのマルチモード実行およびテキスト編集
IL301087A (en) 2017-05-01 2023-05-01 Magic Leap Inc Adapting content to a three-dimensional spatial environment
CN110663011B (zh) * 2017-05-23 2024-04-12 交互数字Vc控股公司 基于用户视图中的真实生活对象的持久性而对ar信息进行优先化排序的系统及方法
EP3413167A1 (en) 2017-06-06 2018-12-12 Thomson Licensing Method and apparatus for inciting a viewer to rotate toward a reference direction when consuming an immersive content item
US20180373325A1 (en) * 2017-06-22 2018-12-27 Immersion Corporation Haptic dimensions in a variable gaze orientation virtual environment
US10405060B2 (en) 2017-06-28 2019-09-03 At&T Intellectual Property I, L.P. Method and apparatus for augmented reality presentation associated with a media program
EP3422149B1 (en) 2017-06-30 2023-03-01 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
US10423834B2 (en) 2017-08-31 2019-09-24 Uber Technologies, Inc. Augmented reality assisted pickup
US10447394B2 (en) * 2017-09-15 2019-10-15 Qualcomm Incorporated Connection with remote internet of things (IoT) device based on field of view of camera
US11080931B2 (en) * 2017-09-27 2021-08-03 Fisher-Rosemount Systems, Inc. Virtual x-ray vision in a process control environment
KR101980297B1 (ko) * 2017-11-14 2019-05-20 고범준 3차원 vr 영상 처리 장치, 방법 및 프로그램
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
KR101997770B1 (ko) * 2017-12-06 2019-07-08 한국광기술원 증강현실 이미지 생성장치 및 방법
US10565761B2 (en) 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
US11166080B2 (en) 2017-12-21 2021-11-02 Facebook, Inc. Systems and methods for presenting content
JP7196179B2 (ja) 2017-12-22 2022-12-26 マジック リープ， インコーポレイテッド 複合現実システムにおいて仮想コンテンツを管理および表示する方法およびシステム
CA3089646A1 (en) * 2018-02-22 2019-08-20 Magic Leap, Inc. Browser for mixed reality systems
CA3091026A1 (en) 2018-02-22 2019-08-29 Magic Leap, Inc. Object creation with physical manipulation
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
KR102450948B1 (ko) 2018-02-23 2022-10-05 삼성전자주식회사 전자 장치 및 그의 증강 현실 객체 제공 방법
US10489982B2 (en) 2018-03-28 2019-11-26 Motorola Solutions, Inc. Device, system and method for controlling a display screen using a knowledge graph
US10504288B2 (en) 2018-04-17 2019-12-10 Patrick Piemonte & Ryan Staake Systems and methods for shared creation of augmented reality
US10916066B2 (en) * 2018-04-20 2021-02-09 Edx Technologies, Inc. Methods of virtual model modification
US10928900B2 (en) 2018-04-27 2021-02-23 Technology Against Als Communication systems and methods
US10768426B2 (en) 2018-05-21 2020-09-08 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
WO2019236568A1 (en) 2018-06-05 2019-12-12 Magic Leap, Inc. Matching content to a spatial 3d environment
US11195336B2 (en) * 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
DE112019003579T5 (de) * 2018-07-13 2021-07-15 Sony Corporation Informationsverarbeitungseinrichtung, programm undinformationsverarbeitungsverfahren
US11379948B2 (en) 2018-07-23 2022-07-05 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
US10776954B2 (en) 2018-10-08 2020-09-15 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
US10740987B2 (en) * 2018-10-12 2020-08-11 The Boeing Company Augmented reality system for visualizing nonconformance data for an object
GB201817061D0 (en) 2018-10-19 2018-12-05 Sintef Tto As Manufacturing assistance system
US10721579B2 (en) 2018-11-06 2020-07-21 Motorola Solutions, Inc. Correlated cross-feed of audio and video
EP3667459A1 (en) * 2018-12-12 2020-06-17 Nokia Technologies Oy First-person perspective-mediated reality
US10783714B2 (en) * 2019-01-29 2020-09-22 Verizon Patent And Licensing Inc. Methods and systems for automatically tailoring a form of an extended reality overlay object
EP3690627A1 (en) * 2019-01-30 2020-08-05 Schneider Electric Industries SAS Graphical user interface for indicating off-screen points of interest
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US10602302B1 (en) * 2019-02-06 2020-03-24 Philip Scott Lyren Displaying a location of binaural sound outside a field of view
EP3921808A4 (en) * 2019-02-20 2022-03-30 Samsung Electronics Co., Ltd. APPARATUS AND METHOD FOR DISPLAYING CONTENT ON AN AUGMENTED REALITY DEVICE
BR102019005162A2 (pt) 2019-03-15 2020-09-29 Samsung Eletrônica da Amazônia Ltda. Método para atualizar o campo de visão de interface gráfica de usuário em realidade aumentada
EP3712747A1 (en) * 2019-03-19 2020-09-23 Nokia Technologies Oy Indicator modes
US11562714B1 (en) * 2019-03-28 2023-01-24 Amazon Technologies, Inc. Remote generation of augmented reality overlays
JP7440532B2 (ja) 2019-04-03 2024-02-28 マジック リープ， インコーポレイテッド 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること
US10896584B2 (en) 2019-04-30 2021-01-19 Walmart Apollo, Llc Systems and methods for projecting action indicators
EP3734418A1 (en) * 2019-05-03 2020-11-04 XRSpace CO., LTD. Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
US11030822B2 (en) * 2019-05-15 2021-06-08 Microsoft Technology Licensing, Llc Content indicators in a 3D environment authoring application
US11164395B2 (en) 2019-05-15 2021-11-02 Microsoft Technology Licensing, Llc Structure switching in a three-dimensional environment
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
US11039061B2 (en) 2019-05-15 2021-06-15 Microsoft Technology Licensing, Llc Content assistance in a three-dimensional environment
US11151967B2 (en) 2019-06-06 2021-10-19 Honeywell International Inc. Method and system for spawning attention pointers (ATP) for drawing attention of an user in a virtual screen display with augmented and virtual reality
US11800231B2 (en) * 2019-09-19 2023-10-24 Apple Inc. Head-mounted display
US20210097284A1 (en) * 2019-09-30 2021-04-01 Lenovo (Singapore) Pte. Ltd. Techniques for presentation of electronic content related to printed material
US11568640B2 (en) * 2019-09-30 2023-01-31 Lenovo (Singapore) Pte. Ltd. Techniques for providing vibrations at headset
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
WO2021150623A1 (en) * 2020-01-24 2021-07-29 Magic Leap, Inc. Content movement and interaction using a single controller
EP3862804A1 (en) * 2020-02-05 2021-08-11 Leica Instruments (Singapore) Pte. Ltd. Apparatuses, methods and computer programs for a microscope system
KR102334091B1 (ko) * 2020-03-20 2021-12-02 주식회사 코클리어닷에이아이 오디오 인식을 수행하는 증강현실 디바이스 및 그의 제어방법
US11302077B2 (en) * 2020-05-29 2022-04-12 Snap Inc. Augmented reality guidance that generates guidance markers
KR20220003254A (ko) * 2020-07-01 2022-01-10 삼성전자주식회사 증강 현실을 제공하는 전자 장치 및 그 방법
US11816887B2 (en) 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11270672B1 (en) * 2020-11-02 2022-03-08 Microsoft Technology Licensing, Llc Display of virtual assistant in augmented reality
KR20220060103A (ko) * 2020-11-04 2022-05-11 삼성전자주식회사 전자 장치, ar 장치 및 그들의 데이터 전송 주기 제어 방법
US11893698B2 (en) * 2020-11-04 2024-02-06 Samsung Electronics Co., Ltd. Electronic device, AR device and method for controlling data transfer interval thereof
US11113893B1 (en) * 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
US20220198603A1 (en) * 2020-12-22 2022-06-23 Snap Inc. Recentering ar/vr content on an eyewear device
KR20220121990A (ko) * 2021-02-26 2022-09-02 삼성전자주식회사 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치
US20220276824A1 (en) * 2021-02-26 2022-09-01 Samsung Electronics Co., Ltd. Augmented reality device and electronic device interacting with augmented reality device
US11927756B2 (en) * 2021-04-01 2024-03-12 Samsung Electronics Co., Ltd. Method for providing augmented reality image and head mounted display device supporting the same
TWI799000B (zh) * 2021-04-16 2023-04-11 財團法人工業技術研究院 資訊顯示方法及其處理裝置與顯示系統
US11892624B2 (en) 2021-04-27 2024-02-06 Microsoft Technology Licensing, Llc Indicating an off-screen target
US11729573B2 (en) * 2021-05-18 2023-08-15 Snap Inc. Audio enhanced augmented reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
KR20240034246A (ko) * 2021-08-20 2024-03-13 애플 인크. 디지털 어시스턴트 객체 배치
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
EP4177172A1 (en) 2021-11-03 2023-05-10 Sony Group Corporation Illumination-based assistance during extravehicular activity
US20230342100A1 (en) * 2022-04-20 2023-10-26 Snap Inc. Location-based shared augmented reality experience system
US20230360323A1 (en) * 2022-05-09 2023-11-09 SB22, Inc. Systems and methods for the generating content overlays for virtual reality systems
EP4276586A1 (en) * 2022-05-12 2023-11-15 Koninklijke Philips N.V. Providing information about an area of interest
US20240071006A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Mixing and matching volumetric contents for new augmented reality experiences
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023275A (en) * 1996-04-30 2000-02-08 Microsoft Corporation System and method for resizing an input position indicator for a user interface of a computer system
JP2000149167A (ja) * 1998-11-10 2000-05-30 Nissan Motor Co Ltd 警報装置
JP2006285833A (ja) * 2005-04-04 2006-10-19 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
CN102221886A (zh) * 2010-06-11 2011-10-19 微软公司 通过化身与用户界面交互

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7639208B1 (en) * 2004-05-21 2009-12-29 University Of Central Florida Research Foundation, Inc. Compact optical see-through head-mounted display with occlusion support
US7812815B2 (en) * 2005-01-25 2010-10-12 The Broad of Trustees of the University of Illinois Compact haptic and augmented virtual reality system
US8140197B2 (en) 2005-02-17 2012-03-20 Lumus Ltd. Personal navigation system
US20080218331A1 (en) 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US20100103103A1 (en) * 2008-08-22 2010-04-29 Palanker Daniel V Method And Device for Input Of Information Using Visible Touch Sensors
US20100238161A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US20100253700A1 (en) 2009-04-02 2010-10-07 Philippe Bergeron Real-Time 3-D Interactions Between Real And Virtual Environments
US8427508B2 (en) * 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
KR101667585B1 (ko) * 2010-06-25 2016-10-19 엘지전자 주식회사 이동 단말기 및 이것의 객체 정보 디스플레이 방법
KR101303948B1 (ko) * 2010-08-13 2013-09-05 주식회사 팬택 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
KR101685983B1 (ko) * 2010-09-07 2016-12-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20120050140A1 (en) 2010-08-25 2012-03-01 Border John N Head-mounted display control
US8860760B2 (en) 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US20120182206A1 (en) 2011-01-17 2012-07-19 Ronald Steven Cok Head-mounted display control with sensory stimulation
US8686851B2 (en) * 2011-06-08 2014-04-01 General Electric Company System and method for rapid location of an alarm condition
US8217856B1 (en) 2011-07-27 2012-07-10 Google Inc. Head-mounted display that displays a visual representation of physical interaction with an input interface located outside of the field of view
JP5757567B2 (ja) * 2011-08-25 2015-07-29 国立研究開発法人情報通信研究機構 コンテンツ提示装置、コンテンツ提示プログラムおよびコンテンツ提示方法
US9423827B2 (en) * 2011-12-01 2016-08-23 Seebright Inc. Head mounted display for viewing three dimensional images
US9041741B2 (en) 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023275A (en) * 1996-04-30 2000-02-08 Microsoft Corporation System and method for resizing an input position indicator for a user interface of a computer system
JP2000149167A (ja) * 1998-11-10 2000-05-30 Nissan Motor Co Ltd 警報装置
JP2006285833A (ja) * 2005-04-04 2006-10-19 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
CN102221886A (zh) * 2010-06-11 2011-10-19 微软公司 通过化身与用户界面交互

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SEAN G. GUSTAFSON 等: "Comparing Visualizations for Tracking off-screen moving targets", 《CHI 2007·WORK-IN-PROGRESS》 *
TORBEN SCHINKE: "Visualization of Off-Screen Objects", 《PROCEEDINGS OF THE 12TH INTERNATIONAL CONFERENCE》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885802A (zh) * 2016-03-29 2018-11-23 索尼公司 信息处理装置、信息处理方法和程序
CN108885802B (zh) * 2016-03-29 2023-07-04 索尼公司 信息处理装置、信息处理方法和存储介质
US10853681B2 (en) 2016-03-29 2020-12-01 Sony Corporation Information processing device, information processing method, and program
CN109313509A (zh) * 2016-04-21 2019-02-05 奇跃公司 视野周围的视觉光环
US11340694B2 (en) 2016-04-21 2022-05-24 Magic Leap, Inc. Visual aura around field of view
CN109313509B (zh) * 2016-04-21 2022-01-07 奇跃公司 视野周围的视觉光环
CN108700942A (zh) * 2016-05-17 2018-10-23 谷歌有限责任公司 在虚拟/增强现实系统中改变对象位置的技术
CN108700942B (zh) * 2016-05-17 2021-07-16 谷歌有限责任公司 在虚拟/增强现实系统中改变对象位置的技术
CN107589919A (zh) * 2016-07-06 2018-01-16 富士施乐株式会社 信息处理装置、图像形成系统以及信息处理方法
CN109416596A (zh) * 2016-07-06 2019-03-01 微软技术许可有限责任公司 用于虚拟现实环境的滚动转向及轻击转向
CN109416596B (zh) * 2016-07-06 2022-03-29 微软技术许可有限责任公司 用于虚拟现实环境的滚动转向及轻击转向的计算设备和方法
CN108319274A (zh) * 2017-01-16 2018-07-24 吕佩剑 一种无人飞行器位置的图形显示方法
CN110383819A (zh) * 2017-03-07 2019-10-25 林克物流有限公司 生成全方位图像的方向信息的方法及执行该方法的装置
US11861773B2 (en) 2017-07-13 2024-01-02 Sony Corporation Information processing apparatus and information processing method
CN110892727B (zh) * 2017-07-13 2022-03-04 三星电子株式会社 用于在网络系统中传送数据的方法和装置
CN110869900A (zh) * 2017-07-13 2020-03-06 索尼公司 信息处理装置、信息处理方法及程序
CN110892727A (zh) * 2017-07-13 2020-03-17 三星电子株式会社 用于在网络系统中传送数据的方法和装置
CN110869900B (zh) * 2017-07-13 2024-01-19 索尼公司 信息处理装置、信息处理方法及程序
CN109756727A (zh) * 2017-08-25 2019-05-14 华为技术有限公司 信息显示方法及相关设备
CN109756727B (zh) * 2017-08-25 2021-07-20 华为技术有限公司 信息显示方法及相关设备
CN111164540B (zh) * 2017-09-28 2022-04-15 苹果公司 用于在模拟现实会话期间呈现物理环境交互的方法和设备
CN111164540A (zh) * 2017-09-28 2020-05-15 苹果公司 用于在模拟现实会话期间呈现物理环境交互的方法和设备
US11836282B2 (en) 2017-09-28 2023-12-05 Apple Inc. Method and device for surfacing physical environment interactions during simulated reality sessions
CN109688347A (zh) * 2017-10-19 2019-04-26 阿里巴巴集团控股有限公司 多屏互动方法、装置及电子设备
CN108355354B (zh) * 2018-02-11 2021-08-10 网易（杭州）网络有限公司 信息处理方法、装置、终端和存储介质
CN108355354A (zh) * 2018-02-11 2018-08-03 网易（杭州）网络有限公司 信息处理方法、装置、终端和存储介质
CN110196633A (zh) * 2018-02-26 2019-09-03 联想（新加坡）私人有限公司 使用增强现实系统提供实体位置的方法及设备
CN109109745A (zh) * 2018-07-27 2019-01-01 上海理工大学 一种显示缺失图像的系统
CN109109744A (zh) * 2018-07-27 2019-01-01 上海理工大学 一种显示缺失图像的系统及布置方法
CN108965644A (zh) * 2018-07-27 2018-12-07 上海理工大学 一种显示缺失图像的系统及布置方法
CN108919960A (zh) * 2018-07-27 2018-11-30 上海理工大学 一种显示缺失图像的系统
TWI731509B (zh) * 2018-12-21 2021-06-21 美商雷亞有限公司 具有視像末端指示器的多視像顯示系統、多視像顯示器以及方法
CN111831110A (zh) * 2019-04-15 2020-10-27 苹果公司 头戴式设备的键盘操作
CN112423190A (zh) * 2019-08-20 2021-02-26 苹果公司 用于头戴式设备的基于音频的反馈
US11740316B2 (en) 2019-08-20 2023-08-29 Apple Inc. Head-mountable device with indicators
CN112684885A (zh) * 2020-12-25 2021-04-20 联想(北京)有限公司 一种显示控制方法及装置
CN112684885B (zh) * 2020-12-25 2023-05-02 联想(北京)有限公司 一种显示控制方法及装置
US11721074B2 (en) 2020-12-25 2023-08-08 Lenovo (Beijing) Limited Display control method and device
CN114138120A (zh) * 2021-12-09 2022-03-04 张森淼 一种运用于虚拟现实中的虚拟视角追踪方法及系统
CN114138120B (zh) * 2021-12-09 2023-02-14 北京冰镇山竹科技有限公司 一种运用于虚拟现实中的虚拟视角追踪方法及系统

Also Published As

Publication number Publication date
US20150325054A1 (en) 2015-11-12
EP3014409A1 (en) 2016-05-04
KR102475873B1 (ko) 2022-12-07
US20170069143A1 (en) 2017-03-09
US9129430B2 (en) 2015-09-08
US20140375683A1 (en) 2014-12-25
KR20160023888A (ko) 2016-03-03
KR102562577B1 (ko) 2023-08-01
US9501873B2 (en) 2016-11-22
US9761057B2 (en) 2017-09-12
KR20220028131A (ko) 2022-03-08
KR102362268B1 (ko) 2022-02-11
WO2014209770A1 (en) 2014-12-31
KR20220165840A (ko) 2022-12-15

Similar Documents

Publication Publication Date Title
CN105378625A (zh) 指示视野外的增强现实图像
CN108027649B (zh) 定位增强现实环境中的设备
CN107810465B (zh) 用于产生绘制表面的系统和方法
CN105900041B (zh) 利用视线跟踪进行的目标定位
EP3172644B1 (en) Multi-user gaze projection using head mounted display devices
CN106255943B (zh) 身体锁定增强现实与世界锁定增强现实之间的转换
US10152851B2 (en) Notification artifact display
WO2012124250A1 (ja) オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路
CN108369449A (zh) 第三方全息门户
CN105009031A (zh) 上下文知晓增强现实对象命令
CN106575209A (zh) 具有现实世界对象的虚拟现实环境
CN105339868A (zh) 基于眼睛跟踪的视觉增强
JP2017146651A (ja) 画像処理方法及び画像処理プログラム
JP2017120481A (ja) 情報処理方法及び情報処理プログラム
US11543242B2 (en) Localization and visualization of sound
CN111448542A (zh) 在模拟现实环境中显示应用程序
US20230345196A1 (en) Augmented reality interaction method and electronic device
US20220365344A1 (en) Augmented reality gaming using virtual eyewear beams
US11422622B2 (en) Electronic device and operating method thereof
US20230326154A1 (en) XR Preferred Movement Along Planes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160302