CN103975268A - 具有附近物体响应的可穿戴计算机 - Google Patents

具有附近物体响应的可穿戴计算机 Download PDF

Info

Publication number
CN103975268A
CN103975268A CN201280060384.5A CN201280060384A CN103975268A CN 103975268 A CN103975268 A CN 103975268A CN 201280060384 A CN201280060384 A CN 201280060384A CN 103975268 A CN103975268 A CN 103975268A
Authority
CN
China
Prior art keywords
collision
hmd
viewing areas
action
physical objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280060384.5A
Other languages
English (en)
Other versions
CN103975268B (zh
Inventor
A.王
缪潇宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN201711337198.2A priority Critical patent/CN107831908B/zh
Publication of CN103975268A publication Critical patent/CN103975268A/zh
Application granted granted Critical
Publication of CN103975268B publication Critical patent/CN103975268B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/015—Head-up displays characterised by mechanical features involving arrangement aiming to get less bulky devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

示范性方法和系统涉及检测靠近基本上透明的头戴式显示器(HMD)系统的物理物体并激活碰撞避免动作来提醒用户检测到的物体。检测技术可包括从距离和/或相对运动传感器接收数据并且利用此数据作为确定适当的碰撞避免动作的基础。示范性碰撞避免动作可包括弱化在HMD上显示的虚拟对象以提供透过基本上透明的显示器对物理物体的不那么杂乱的观看和/或呈现新的虚拟对象。

Description

具有附近物体响应的可穿戴计算机
相关申请的交叉引用
本申请要求2011年10月7日递交的标题为“Wearable Computer withNearby Object Response(具有附近物体响应的可穿戴计算机)”的美国专利申请13/267,963号的优先权，这里通过引用将该美国专利申请的内容完全并入以用于所有目的。
背景技术
除非本文另外指示，否则本部分中描述的材料并不是本申请中的权利要求的现有技术，并且并不因为被包括在本部分中就被承认为是现有技术。
诸如个人计算机、膝上型计算机、平板计算机、蜂窝电话和无数类型的具备联网能力的设备之类的计算设备在现代生活的许多方面中正越来越普遍。随着时间的流逝，这些设备向用户提供信息的方式正变得更智能、更高效、更直观和/或不那么突兀。
计算硬件、外设以及传感器、检测器及图像和音频处理器以及其它一些技术的微型化趋势已帮助打开了一个有时被称为“可穿戴计算”(wearablecomputing)的领域。尤其，在图像和视觉处理及制作的领域中，已经可能考虑可穿戴显示器，这些可穿戴显示器将非常小的图像显示元件放置得足够靠近穿戴者的(或用户的)一眼或两眼，使得显示的图像填满或几乎填满视野，并且显现为普通大小的图像，比如可能显示在传统的图像显示设备上的那种。相关技术可被称为“近眼显示器”(near-eye display)。
近眼显示器是可穿戴显示器的基本组件，可穿戴显示器有时也被称为“头戴式显示器”(head-mounted display，HMD)。头戴式显示器将一个或多个图形显示器放置得靠近穿戴者的一眼或两眼。为了在显示器上生成图像，可使用计算机处理系统。这种显示器可占据穿戴者的整个视野，或者只占据穿戴者的视野的一部分。另外，头戴式显示器可以像一副眼镜那么小或者像头盔那么大。
可穿戴显示器的新兴的和预期的用途包括用户与增强现实或虚拟现实实时交互的应用。这种应用可以是任务关键的或安全关键的，例如在公共安全或航空背景中。这些应用也可以是娱乐性的，例如交互式游戏。
发明内容
在一个方面中，一种示范性方法涉及检测靠近头戴式显示器(HMD)系统的物理物体并且激活碰撞避免动作，包括修改HMD上显示的内容。为了执行这些动作，一种示范性方法可涉及向HMD提供用户接口，该用户接口包括显示的观看区域和最初可不显示的内容区域。HMD随后可在基本上透明的显示器上显示提供的用户接口，从而使得当检测到物体时，观看区域中显示的内容可被弱化以吸引注意力来提供对检测到的物体的不受妨碍的观看。
在另一方面中，一种示范性装置可以是包括处理器和可由处理器执行的指令的可穿戴计算机。这些指令可允许处理器响应于确定物理物体表示与可穿戴计算机的穿戴者的潜在碰撞风险而激活碰撞避免动作。风险确定过程可包括接收并处理来自一个或多个传感器的数据。额外地，可穿戴计算机可向HMD提供用户接口并且碰撞避免动作可包括修改提供的用户接口以将检测到的物体告知可穿戴计算机的穿戴者。
在另一方面中，一种示范性非暂态计算机可读介质可包含指令来响应于确定物理物体表示与HMD系统的潜在碰撞风险而激活碰撞避免动作。风险确定过程可包括接收并处理来自一个或多个传感器的数据。此外，介质可包括指令来向HMD提供用户接口并且碰撞避免动作可包括修改提供的用户接口。
附图说明
图1A图示了示例头戴式显示系统；
图1B图示了图1A中所图示的系统的替换视图；
图2A图示了用于接收、发送和显示数据的示例系统。
图2B图示了用于接收、发送和显示数据的示例系统。
图3示出了示例计算机网络基础设施的简化框图。
图4示出了描绘示例计算系统的示例组件的简化框图。
图5A示出了示例用户接口的各方面。
图5B示出了在接收与向上运动相对应的运动数据之后的示例用户接口的各方面。
图5C示出了在选择被选内容对象之后的示例用户接口的各方面。
图5D示出了在接收与用户输入相对应的输入数据之后的示例用户接口的各方面。
图6是图示出根据示范性实施例的方法的简化流程图。
图7A图示了在激活碰撞避免动作之前的示范性用户接口和超出显示器之外的物理视野的一部分。
图7B图示了在激活示范性碰撞避免动作之后的示范性用户接口和超出显示器之外的物理视野的一部分。
图7C图示了在激活示范性碰撞避免动作之后的示范性用户接口和超出显示器之外的物理视野的一部分。
图7D图示了在激活示范性碰撞避免动作之后的示范性用户接口和超出显示器之外的物理视野的一部分。
图7E图示了在激活示范性碰撞避免动作之后的示范性用户接口和超出显示器之外的物理视野的一部分。
图7F图示了在激活示范性碰撞避免动作之后的示范性用户接口和超出显示器之外的物理视野的一部分。
图7G图示了在激活示范性碰撞避免动作之后的示范性用户接口和超出显示器之外的物理视野的一部分。
图7H图示了在激活示范性碰撞避免动作之后的示范性用户接口和超出显示器之外的物理视野的一部分。
具体实施方式
在以下详细描述中，参考了形成描述的一部分的附图。在附图中，相似的符号一般标识相似的组件，除非上下文另有规定。详细描述、附图和权利要求中描述的说明性实施例并不意味着进行限定。在不脱离本文呈现的主题的精神或范围的情况下，可利用其它实施例，并且可作出其它改变。将容易理解，本文概括描述和附图中图示的本公开的各方面可按许多种不同的配置来布置、替换、组合、分离和设计，所有这些在本文都已被设想到。
本文描述了示范性方法和系统。应当理解，“示范性”一词在本文中用于意指“用作示例、实例或例示”。本文描述为“示范性”的任何实施例或特征不一定要被解释为比其它实施例或特征更优选或有利。本文描述的示范性实施例并不意味着进行限定。将容易理解，公开的系统和方法的某些方面可按许多种不同的配置来布置和组合，所以这些在本文都已被设想到。
1.概述
可穿戴计算机可包括在基本上透明的显示器幕上呈现虚拟对象(例如，诸如文本、图像、应用窗口或视频之类的图形媒体内容)的头戴式显示器(HMD)。因此，HMD的穿戴者可维持物理世界的视图，同时还观看在其物理视野之上显示的虚拟对象并与之交互。然而，虚拟对象在HMD上的这个覆盖可妨碍穿戴者对真实世界物体的观看，从而阻止了避免潜在危害的本能响应。
为了帮助避免此危险，可穿戴计算机可被配置为检测正在接近的和/或附近的物体并且提醒穿戴者潜在的风险。例如，可利用数种不同的传感器，包括相机、声学传感器和/或基于激光的检测系统等等，来检测真实世界物体。示范性提醒技术可类似地采取许多形式，包括弱化(de-emphasize)虚拟对象、呈现音频提醒和/或显示新的虚拟对象以突出物理物体等等。
物体检测过程可作为后台过程在可穿戴计算机上连续运行或者其可仅在被穿戴者激活时运行。可替换地，自动化过程可响应于所确定的需要而发起检测过程。例如，可穿戴计算机可使用加速度计来检测穿戴者何时在运动中并且自动地开始物体检测方法，在穿戴者再次停止运动时撤除该过程。作为另一示例，计算机可监视显示的虚拟对象的数量和大小并且在显示器充分杂乱而妨碍穿戴者的观看时自动激活物体检测方法。
2.示例系统和设备体系结构
图1A图示了用于接收、发送和显示数据的示例系统100。系统100是以可穿戴计算设备的形式示出的。虽然图1A图示了头戴式设备102作为可穿戴计算设备的示例，但可以额外地或可替换地使用其它类型的可穿戴计算设备。如图1A中所图示的，头戴式设备102具有包括透镜框架104、106和中央框架支撑108的框架元件、透镜元件110、112以及延伸侧臂114、116。中央框架支撑108和延伸侧臂114、116被配置为分别经由用户的鼻子和耳朵将头戴式设备102固定到用户的脸部。
框架元件104、106和108以及延伸侧臂114、116中的每一个可由塑料和/或金属的实心结构形成，或者可由类似材料的中空结构形成，以允许配线和组件互连在内部按一定路线经过头戴式设备102。其它材料也可以是可能的。
透镜元件110、112中的每一个中的一个或多个可由能够适当地显示投影的图像或图形的任何材料形成。透镜元件110、112中的每一个也可充分地透明以允许用户看穿透镜元件。结合透镜元件的这两个特征可促进增强现实或抬头显示，其中投影的图像或图形被叠加在用户透过透镜元件110、112感知到的真实世界视图上。
延伸侧臂114、116可各自是分别从透镜框架104、106延伸开的突起物，并且可被定位在用户的耳后以将头戴式设备102固定到用户。延伸侧臂114、116还可通过绕着用户的头的后部延伸来将头戴式设备102固定到用户。额外地或可替换地，例如，系统100可连接到头戴式头盔结构或附于头戴式头盔结构内。其它可能性也是存在的。
系统100还可包括机载计算系统118、视频相机120、传感器122以及手指可操作触摸板124。机载计算系统118被示为定位在头戴式设备102的延伸侧臂114上；然而，机载计算系统118可设在头戴式设备102的其它部分上或者可被定位成远离头戴式设备102(例如，机载计算系统118可有线地或无线地连接到头戴式设备102)。机载计算系统118例如可包括处理器和存储器。机载计算系统118可被配置为接收和分析来自视频相机120、传感器122和手指可操作触摸板124(以及可能来自其它传感设备、用户接口或者这两者)的数据并且生成用于由透镜元件110和112输出的图像。机载计算系统118可额外地包括扬声器或麦克风用于用户输入(未示出)。示例计算系统在下文联系图4来进一步描述。
视频相机120被示为定位在头戴式设备102的延伸侧臂114上；然而，视频相机120可设在头戴式设备102的其它部分上。视频相机120可被配置为以各种分辨率或者以不同的帧速率捕捉图像。具有小形状要素的视频相机——例如蜂窝电话或网络摄像头中使用的那些——可被包含到系统100的示例实施例中。
另外，虽然图1图示了一个视频相机120，但可以使用更多视频相机，并且每一个可被配置为捕捉相同的视图，或者捕捉不同的视图。例如，视频相机120可向着前方以捕捉用户感知到的真实世界视图的至少一部分。由视频相机120捕捉到的这个前向图像随后可用于生成增强现实，其中计算机生成的图像看起来与用户感知到的真实世界视图交互。
传感器122被示为在头戴式设备102的延伸侧臂116上；然而，传感器122可定位在头戴式设备102的其它部分上。传感器122例如可包括陀螺仪或加速度计中的一个或多个。传感器122内可包括其它感测设备，或者除了传感器122还可以包括其它感测设备，或者传感器122可执行其它感测功能。
手指可操作触摸板124被示为在头戴式设备102的延伸侧臂114上。然而，手指可操作触摸板124可定位在头戴式设备102的其它部分上。另外，在头戴式设备102上可存在多于一个手指可操作触摸板。手指可操作触摸板124可被用户用来输入命令。手指可操作触摸板124可经由电容感测、电阻感测或表面声波过程等等来感测手指的位置和移动中的至少一者。手指可操作触摸板124可能够感测在与板表面平行或在同一平面内的方向上、在与板表面垂直的方向上或者在这两个方向上的手指移动，并且还可能够感测施加到板表面的压力的水平。手指可操作触摸板124可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。手指可操作触摸板124的边缘可形成为具有凸起的、凹陷的或粗糙的表面，以在用户的手指到达手指可操作触摸板124的边缘或其它区域时向用户提供触觉反馈。如果存在多于一个手指可操作触摸板，则每个手指可操作触摸板可被独立操作，并且可提供不同的功能。
图1B图示了图1A中所图示的系统100的替换视图。如图1B中所示，透镜元件110、112可充当显示元件。头戴式设备102可包括第一投影仪128，该第一投影仪128耦合到延伸侧臂116的内表面并且被配置为将显示130投影到透镜元件112的内表面上。额外地或可替换地，第二投影仪132可耦合到延伸侧臂114的内表面并被配置为将显示134投影到透镜元件110的内表面上。
透镜元件110、112可充当光投影系统中的组合器并且可包括涂层，该涂层反射从投影仪128、132投影到其上的光。在一些实施例中，可省略反射涂层(例如，当投影仪128、132是扫描激光设备时)。
在替换实施例中，也可使用其它类型的显示元件。例如，透镜元件110、112本身可包括：诸如电致发光显示器或液晶显示器之类的透明或半透明的矩阵显示器，用于将图像输送到用户的眼睛的一个或多个波导，或者能够将焦点对准的近眼图像输送到用户的其它光学元件。相应的显示驱动器可被部署在框架元件104、106内以用于驱动这种矩阵显示器。可替换地或额外地，可以用激光或发光二极管(light emitting diode，LED)源和扫描系统来将光栅显示直接摄取到用户的一只或两只眼睛的视网膜上。其它可能性也是存在的。
图2A图示了用于接收、发送和显示数据的示例系统200。系统200是以可穿戴计算设备202的形式示出的。可穿戴计算设备202可包括框架元件和侧臂，例如关于图1A和1B描述的那些。可穿戴计算设备202可额外地包括机载计算系统204和视频相机206，例如关于图1A和1B描述的那些。视频相机206被示为安装在可穿戴计算设备202的框架上；然而，视频相机206也可安装在其它位置。
如图2A中所示，可穿戴计算设备202可包括单个显示器208，该显示器208可耦合到该设备。显示器208可形成在可穿戴计算设备202的透镜元件之一上，例如关于图1A和1B描述的透镜元件，并且显示器208可被配置为将计算机生成的图形覆盖在用户对物理世界的观看中。显示器208被示为设在可穿戴计算设备202的透镜的中心；然而，显示器208可设在其它位置。可经由通过光学波导210耦合到显示器208的计算系统204来控制显示器208。
图2B图示了用于接收、发送和显示数据的示例系统220。系统220是以可穿戴计算设备222的形式示出的。可穿戴计算设备222可包括侧臂223、中央框架支撑224和具有鼻托的鼻架部225。在图2B中所示的示例中，中央框架支撑224连接侧臂223。可穿戴计算设备222不包括包含透镜元件的透镜框架。可穿戴计算设备222可额外地包括机载计算系统226和视频相机208，例如关于图1A和1B描述的那些。
可穿戴计算设备222可包括单个透镜元件230，该透镜元件230可耦合到侧臂223之一或者中央框架支撑224。透镜元件230可包括显示器，例如参考图1A和1B描述的显示器，并且可被配置为将计算机生成的图形覆盖在用户对物理世界的观看上。在一个示例中，单个透镜元件230可耦合到延伸侧臂223的一侧。当可穿戴计算设备222被用户穿戴时，单个透镜元件230可定位在用户眼睛的前方或附近。例如，单个透镜元件230可定位在中央框架支撑224下方，如图2B中所示。
图3示出了示例计算机网络基础设施的简化框图。在系统300中，设备310利用通信链路320(例如，有线或无线连接)与远程设备330通信。设备310可以是任何类型的能够接收数据并显示与该数据相对应或相关联的信息的设备。例如，设备310可以是抬头显示系统，例如参考图1A-2B描述的头戴式设备102、200或220。
从而，设备310可包括显示系统312，该显示系统312包括处理器314和显示器316。显示器316例如可以是光学透视显示器、光学环视显示器或视频透视显示器。处理器314可从远程设备330接收数据，并且将该数据配置用于显示在显示器316上。处理器314可以是任何类型的处理器，例如微处理器或数字信号处理器。
设备310还可包括机载数据存储装置，例如耦合到处理器314的存储器318。存储器318例如可存储可被处理器314访问和执行的软件。
远程设备330可以是被配置为向设备310发送数据的任何类型的计算设备或发送器，包括膝上型计算机、移动电话或者平板计算设备等等。远程设备330和设备310可包含用于使能通信链路320的硬件，例如处理器、发送器、接收器，天线等等。
在图3中，通信链路320被图示为无线连接；然而，也可使用有线连接。例如，通信链路320可以是诸如通用串行总线之类的有线串行总线或者并行总线以及其它连接。通信链路320也可以是使用例如蓝牙无线电技术、IEEE802.11(包括任何IEEE802.11修订版)中描述的通信协议、蜂窝技术(例如GSM、CDMA、UMTS、EV-DO、WiMAX或LTE)或紫蜂技术等等的无线连接。这种有线和/或无线连接中的任一者也可以是专有连接。远程设备330可经由因特网来访问并且可包括与特定的web服务(例如，社交网络、照片共享、地址簿等等)相关联的计算集群。
如上文联系图1A-2B所述，示例可穿戴计算设备可包括或者可以其它方式通信地耦合到计算系统，例如计算系统118或计算系统204。图4示出了描绘示例计算系统400的示例组件的简化框图。设备310和远程设备330中的一者或两者可采取计算系统400的形式。
计算系统400可包括至少一个处理器402和系统存储器404。在示例实施例中，计算系统400可包括通信地连接到处理器402和系统存储器404以及计算系统400的其它组件的系统总线406。取决于期望的配置，处理器402可以是任何类型的处理器，包括但不限于微处理器(microprocessor，μP)、微控制器(microcontroller，μC)、数字信号处理器(digital signal processor，DSP)或者其任何组合。另外，系统存储器404可以是现在已知或以后开发的任何类型的存储器，包括但不限于易失性存储器(例如RAM)、非易失性存储器(例如ROM、闪存，等等)或者其任何组合。
示例计算系统400也可包括各种其它组件。例如，计算系统400包括用于(经由A/V端口414)控制图形显示器410和扬声器412的A/V处理单元408、用于连接到其它计算设备418的一个或多个通信接口416、以及电源420。图形显示器410可被布置为提供对于由用户接口模块422提供的各种输入区域的视觉描绘。例如，用户接口模块422可被配置为提供用户接口，例如下文联系图5A-D描述的示例用户接口，并且图形显示器410可被配置为提供对于该用户接口的视觉描绘。用户接口模块422还可被配置为从一个或多个用户接口设备428接收数据并向其发送数据(或者以其它方式与之兼容)。
此外，计算系统400还可包括一个或多个数据存储设备424，这些数据存储设备424可以是可移除存储设备、不可移除存储设备或者其组合。可移除存储设备和不可移除存储设备的示例包括诸如软盘驱动器和硬盘驱动器(hard-disk drive，HDD)之类的磁盘设备、诸如致密盘(compact disk，CD)驱动器或数字多功能盘(digital versatile disk，DVD)驱动器之类的光盘驱动器、固态驱动器(solid state drive，SSD)和/或现在已知或以后开发的任何其它存储设备。计算机存储介质可包括以任何方法或技术实现的易失性和非易失性的、可移除和不可移除的介质，以用于存储信息，例如计算机可读指令、数据结构、程序模块或其它数据。例如，计算机存储介质可采取以下形式：RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)、或者其它光存储装置、盒式磁带、磁带、磁盘存储装置或其它磁存储设备、或者现在已知或以后开发的可用于存储期望的信息并且可被计算系统400访问的任何其它介质。
根据示例实施例，计算系统400可包括程序指令426，该程序指令426被存储在系统存储器404中(和/或可能存储在另外的数据存储介质中)并且可被处理器402执行以促进本文描述的各种功能，所述各种功能包括但不限于关于方法附图描述的那些功能。虽然计算系统400的各种组件被示为分布式组件，但应当理解，任何这种组件可根据计算系统的期望配置被物理上集成和/或分布。
3.示例用户接口
图5A-D示出了示例用户接口500的各方面。用户接口500可由例如上文对于图1A-2B描述的可穿戴计算设备来显示。
用户接口500的示例状态在图5A中示出。图5A中所示的示例状态可对应于可穿戴计算设备的第一位置。也就是说，当可穿戴计算设备处于第一位置时，用户接口500可被显示为如图5A中所示。在一些实施例中，可穿戴计算设备的第一位置可对应于当可穿戴计算设备的穿戴者在向与地面大体平行的方向看时可穿戴计算设备的位置(例如，不对应于穿戴者向上或向下看的位置)。其它示例也是可能的。
如图所示，用户接口500包括观看区域502。观看区域502的示例边界由虚线框示出。虽然观看区域502被示为具有景观形状(landscape shape)(其中观看区域502的宽度大于高度)，但在其它实施例中，观看区域502可具有肖像形状(portrait shape)或方形形状，或者可具有非矩形形状，例如圆形或椭圆形状。观看区域502也可具有其它形状。
观看区域502可以例如是可穿戴计算设备上的显示器的上、下、左、右边界之间(或包含这些边界)的可观看区域，或者换言之，可基本上填满HMD中的显示器。如图所示，当可穿戴计算设备处于第一位置时，观看区域502是基本上没有(例如，完全没有)用户接口元素的，从而使得用户对其真实世界环境的观看是大体上不杂乱的，并且用户的环境中的物体未被遮蔽。
在一些实施例中，观看区域502可对应于可穿戴计算设备的穿戴者的视野，并且观看区域502之外的区域可对应于穿戴者的视野之外的区域。在其它实施例中，观看区域502可对应于可穿戴计算设备的穿戴者的视野的非周边部分，并且观看区域502之外的区域可对应于穿戴者的视野的周边部分。在另一些其它实施例中，用户接口500可大于可穿戴计算设备的穿戴者的视野或者与可穿戴计算设备的穿戴者的视野基本相同，并且穿戴者的视野可大于观看区域502或者与观看区域502大小基本相同。观看区域502也可采取其它形式。
从而，用户接口500的在观看区域502之外的部分可在可穿戴计算设备的穿戴者的视野之外或者在可穿戴计算设备的穿戴者的视野的周边部分中。例如，如图所示，菜单504可在用户接口500中的用户的视野之外或者在用户的视野的周边部分中。虽然菜单504被示为在观看区域502中不可见，但在一些实施例中，菜单504可在观看区域502中部分可见。
在一些实施例中，可穿戴计算设备可被配置为接收与例如可穿戴计算设备向上运动到第一位置上方的位置相对应的运动数据。在这些实施例中，可穿戴计算设备可响应于接收到与向上运动相对应的运动数据而使得观看区域502和菜单504中的一者或两者移动，从而使得菜单504变得在观看区域502中更可见。例如，可穿戴计算设备可使得观看区域502向上移动并且可使得菜单504向下移动。观看区域502和菜单504可移动相同的量，或者可移动不同的量。在一个实施例中，菜单504可比观看区域502移动得更远。作为另一示例，可穿戴计算设备可以仅使得菜单504移动。其它示例也是可能的。
虽然使用了术语“向上”，但要理解向上运动可包含具有移动、倾斜、旋转、移位、滑动或导致大体上向上的运动的其它运动的任何组合的任何运动。另外，在一些实施例中，“向上”可以指在可穿戴计算设备的穿戴者的参考系中的向上运动。其它参考系也是可能的。在可穿戴计算设备是头戴式设备的实施例中，可穿戴计算设备的向上运动也可以是穿戴者的头部的向上运动，诸如例如用户向上看。
与向上运动相对应的运动数据可采取若干形式。例如，运动数据可以是(或者可以得自)从被配置为检测向上运动的一个或多个运动传感器、加速度计和/或陀螺仪——例如上文联系图1A描述的传感器122——接收的数据。在一些实施例中，运动数据可包括与向上运动相对应的二元指示。在其它实施例中，运动数据可包括与向上运动相对应的指示以及向上运动的程度。运动数据也可采取其它形式。
图5B示出了在接收与向上运动相对应的运动数据之后的示例用户接口的各方面。如图所示，用户接口500包括观看区域502和菜单504。
如上所表明的，响应于接收到与可穿戴计算设备的向上运动相对应的运动数据，可穿戴计算设备可移动观看区域502和菜单504中的一者或两者，以使得菜单504变得在观看区域502中更可见。
如图所示，菜单504在观看区域502中完全可见。然而，在其它实施例中，菜单504可以只有一部分在观看区域502中可见。在一些实施例中，菜单504在观看区域502中可见的程度可至少部分基于向上运动的程度。
从而，可响应于接收到与向上运动相对应的数据而移动观看区域502。在一些实施例中，可在向上滚动或平移(panning)运动中移动观看区域502。例如，观看区域502在可穿戴计算设备的穿戴者看来可以好像被映射到以可穿戴计算设备为中心的静态球的内部那样，并且观看区域502的运动可映射到真实世界环境相对于可穿戴计算设备的运动。向上滚动的速度、加速度和/或量值可至少部分基于向上运动的速度、加速度和/或量值。在其它实施例中，观看区域502可通过例如在视野之间跳跃而被移动。在另一些其它实施例中，观看区域502可仅在向上运动超过阈值速度、加速度和/或量值时才被移动。响应于接收到与超过这样的一个或多个阈值的向上运动相对应的数据，观看区域502可平移、滚动、滑动或者跳跃到新的视野。也可以以其它方式移动观看区域502。
虽然以上描述集中于向上运动，但要理解可穿戴计算设备也可被配置为接收与其它方向性运动(例如，向下、向左、向右等等)相对应的数据，并且观看区域502可响应于接收到这种数据以与上文联系向上运动所述类似的方式被移动。
如图所示，菜单504包括多个内容对象506。在一些实施例中，内容对象506可在可穿戴计算设备的穿戴者的头部周围上方的环(或部分环)中布置。这个意义上的环或部分环不应当被认为一定是圆形的，而可以由任何类型的弧、椭圆或弧的组合来表示。在其它实施例中，内容对象506可布置成穿戴者的头部上方的圆顶形状。环或圆顶可以以可穿戴计算设备和/或穿戴者的头部上方为中心。在其它实施例中，也可以以其它方式布置内容对象506。
菜单504中的内容对象506的数目可以是固定的或者可以是可变的。在数目可变的实施例中，内容对象506的大小可根据菜单504中的内容对象506的数目而变化。在内容对象506围绕穿戴者的头部以圆形状延伸——就像环(或部分环)那样——的实施例中，在特定的时刻内容对象506可以只有一些是可见的。为了观看其它内容对象504，可穿戴计算设备的穿戴者可与可穿戴计算设备交互以例如沿着围绕穿戴者的头部的路径(例如，顺时针或逆时针)旋转内容对象506。为此，可穿戴计算设备可被配置为通过例如触摸板——例如手指可操作触摸板124——接收指示这种交互的数据。可替换地或额外地，可穿戴计算设备也可被配置为通过其它输入设备来接收这种数据。
取决于可穿戴计算设备的应用，内容对象506可采取若干种形式。例如，内容对象506可包括以下各项中的一个或多个：人、联系人、人和/或联系人的群组、日历项、列表、通知、告警、提示、状态更新、传入的消息、记录的媒体、音频记录、视频记录、照片、数字拼贴、先前保存的状态、网页、和应用，以及工具，例如静止相机、视频相机和音频记录器。内容对象506也可采取其它形式。
在内容对象506包括工具的实施例中，工具可位于菜单504的特定区域中，例如位于中央。在一些实施例中，工具可保持在菜单504的中央，即使其它内容对象506旋转，如上所述。工具内容对象也可位于菜单504的其它区域中。
菜单504中包括的特定内容对象506可以是固定的或可变的。例如，内容对象506可由可穿戴计算设备的穿戴者预选择。在另一实施例中，用于每个内容区域的内容对象506可由可穿戴计算设备从一个或多个物理或数字情境自动组装，这些物理或数字情境例如包括：人、地点和/或可穿戴计算设备周围的物体、地址簿、日历、社交网络web服务或应用、照片共享web服务或应用、搜索历史和/或其它情境。另外，一些内容对象506可以是固定的，而内容对象506可以是可变的。也可以以其它方式来选择内容对象506。
类似地，显示内容对象506的顺序或配置可以是固定的或可变的。在一个实施例中，内容对象506可由可穿戴计算设备的穿戴者预排序。在另一实施例中，内容对象506可基于例如以下标准被自动排序：每个内容对象506被使用的频率(仅在可穿戴计算设备上或者也在其它情境中)、每个内容对象506是最近多久被使用的(仅在可穿戴计算设备上或者也在其它情境中)、内容对象506的显式或隐式重要性或优先级排名和/或其它标准。
在一些实施例中，可穿戴计算设备还可被配置为从穿戴者接收从菜单504中对内容对象506的选择。为此，用户接口500可包括光标508，其在图5B中被示为十字线，可用于导航到并从菜单504中选择内容对象506。在一些实施例中，光标508可由可穿戴计算设备的穿戴者通过一个或多个预定的运动来控制。从而，可穿戴计算设备还可被配置为接收与该一个或多个预定运动相对应的选择数据。
选择数据可采取若干形式。例如，选择数据可以是(或者可以得自)从被配置为检测一个或多个预定运动的一个或多个运动传感器、加速度计、陀螺仪和/或检测器接收的数据。该一个或多个运动传感器可被包括在可穿戴计算设备中，像传感器122那样，或者可被包括在通信地耦合到可穿戴计算设备的外围设备中。作为另一示例，选择数据可以是(或者可以得自)从触摸板接收的数据，例如上文联系图1A描述的手指可操作触摸板124，或者从包括在可穿戴计算设备中或耦合到可穿戴计算设备并被配置为检测一个或多个预定运动的其它输入设备接收的数据。在一些实施例中，选择数据可采取与预定运动相对应的二元指示的形式。在其它实施例中，选择数据可指示与预定运动相关联的程度、方向、速度和/或加速度。选择数据也可采取其它形式。
预定运动可采取若干种形式。在一些实施例中，预定运动可以是可穿戴计算设备或外围设备的特定运动或运动序列。在一些实施例中，预定运动可包括被定义为没有或基本上没有运动的一个或多个预定运动，例如在预定的时间段内没有或基本上没有运动。在可穿戴计算设备是头戴式设备的实施例中，一个或多个预定运动可涉及穿戴者的头部的预定运动(假定其以相应的方式移动可穿戴计算设备)。可替换地或额外地，预定运动可涉及通信地耦合到可穿戴计算设备的外围设备的预定运动。外围设备可类似地可由可穿戴计算设备的穿戴者穿戴，使得外围设备的运动可追随穿戴者的运动，诸如例如穿戴者的手部的运动。此外，可替换地或额外地，一个或多个预定运动可以例如是手指可操作触摸板或其它输入设备上的运动。其它预定运动也是可能的。
如图所示，可穿戴计算设备的穿戴者已利用一个或多个预定运动将光标508导航到内容对象506。为了选择内容对象506，穿戴者可执行额外的预定运动，例如将光标508保持在内容对象506上方达预定时间段。穿戴者也可以以其它方式来选择内容对象506。
一旦选择了内容对象506，可穿戴计算设备就可使得内容对象506作为被选内容对象显示在观看区域502中。图5C示出了根据实施例的在选择被选内容对象之后的示例用户接口的各方面。
如虚线箭头所指示，内容对象506作为被选内容对象510显示在观看区域502中。如图所示，被选内容对象510在观看区域502中被显示得比菜单504更大且更详细。然而，在其它实施例中，被选内容对象510可在观看区域502中被显示得比菜单504更小或与其大小相同并且更不详细或者同样详细。在一些实施例中，在观看区域502中与被选内容对象510相邻处或附近可示出额外的内容(例如，要应用到被选内容对象510的动作、要以被选内容对象510应用的动作或者要基于被选内容对象510应用的动作、与被选内容对象510有关的信息和/或对于被选内容对象510的可修改的选项、偏好或参数等等)。
一旦在观看区域502中显示了被选内容对象510，可穿戴计算设备的穿戴者就可与被选内容对象510交互。例如，当被选内容对象510被示为电子邮件收件箱之时，穿戴者可能希望阅读电子邮件收件箱中的电子邮件之一。取决于被选内容对象，穿戴者也可以以其它方式与被选内容对象交互(例如，穿戴者可定位与被选内容对象510有关的额外信息，修改、增强和/或删除被选内容对象510等等)。为此，可穿戴计算设备还可被配置为接收与指示与用户接口500的交互的一个或多个预定运动相对应的输入数据。输入数据可采取上文联系选择数据描述的任何形式。
图5D示出了根据实施例的在接收与用户输入相对应的输入数据之后的示例用户接口的各方面。如图所示，可穿戴计算设备的穿戴者已将光标508导航到电子邮件收件箱中的特定主题行并选择了该主题行。结果，电子邮件512被显示在观看区域中，从而穿戴者可阅读电子邮件512。取决于例如被选内容对象，穿戴者也可以以其它方式与用户接口500交互。
4.用于碰撞避免的示范性方法和系统
图6是图示出根据示范性实施例的方法的简化流程图。具体地，具有HMD的可穿戴计算机可实现方法600以便响应于附近物体而发起碰撞避免动作。
更具体而言，方法600涉及可穿戴计算机在HMD的基本上透明的显示器上显示用户接口，该用户接口包括观看区域和位于观看区域之外的至少一个内容区域，如块602所示。最初，用户接口的状态是使得观看区域基本上填满HMD的视野，并且至少一个内容区域在视野中不是完全可见的。在此初始状态中，可穿戴计算机在观看区域中显示一个或多个虚拟对象，如块604所示。可穿戴计算机随后使用来自一个或多个第一传感器的数据作为确定HMD与物理物体之间的距离的基础，如块606所示。在确定HMD与物理物体之间的距离之后，可穿戴计算机可使用所确定的距离作为发起碰撞避免动作的基础，该碰撞避免动作包括弱化所显示的虚拟对象中的至少一个从而提供透过HMD的透明显示器对物理物体的不那么受妨碍的观看，如块608所示。
示范性可穿戴计算机可使用附近物理物体的接近度和/或相对运动数据来确定何时有可能发生碰撞并且作为响应整理可穿戴计算机的HMD。例如，示范性可穿戴计算机可使用接近度数据，该接近度数据可指示出从可穿戴计算机(或者从与可穿戴计算机相关联的传感器)到各附近物体的距离。该接近度数据随后可用于确定物体何时太靠近，并且作为响应整理HMD(例如，通过将虚拟对象从穿戴者的视野中基本上去除)。
除了接近度数据以外，一些实施例可分析相对运动数据，该相对运动数据可指示出真实世界物体相对于可穿戴计算机(或者相对于与可穿戴计算机相关联的传感器)的运动的速度和/或方向。术语“相对运动”在此情况下可以指物体相对于测量这种数据的可穿戴计算机(例如，相对于测量这种数据的可穿戴计算机的传感器)的速度和/或加速度。这样，物体的相对运动也可被认为是物体相对于这种可穿戴计算机的穿戴者的运动。从而，物体的相对运动可不仅取决于其自己的运动，而且也取决于可穿戴计算机(或者可穿戴计算机的传感器)的运动。
如所表明的，在一些实施例中，可穿戴计算机可使用接近度数据和相对运动数据的组合来确定与附近物体碰撞的风险是否使得HMD应当被整理。例如，可穿戴计算机对于碰撞避免可实现可变阈值距离，其取决于物体朝着可穿戴计算机的相对速度。具体地，可穿戴计算机可根据附近物体的相对运动和/或方向来调整阈值距离。例如，可穿戴计算机可大体上在(a)附近物体朝着可穿戴计算机的相对速度增大时和/或(b)附近物体的轨迹指示碰撞更有可能时减小发起碰撞避免时的阈值距离，反之亦然。可替换实现方式可利用运动和距离数据来确定到碰撞为止的时间，然后使用这个到碰撞为止的时间作为发起碰撞避免动作的基础。
作为具体示例，从十米远处以两米每秒的相对速度接近的第一物体可被指派以一确定距离，该确定距离是指派给从十米远处以一米每秒的相对速度接近的第二物体的确定距离的一半。因为此示例中的第一物体可造成更立即的碰撞风险，所以示范性方法可有利地发起更紧急的碰撞避免动作。另外，一些示范性系统可被配置为只响应于正在接近显示器的物体而激活碰撞避免动作，而不考虑所确定的距离。其它示例也是可能的。
一些示范性方法可涉及检测在视野之外的物理危害，并且响应于这种危害而发起碰撞避免动作。例如，HMD可能在接近在地面上太低处以至于不能通过显示窗口看到的物体(例如，路缘、树桩、台阶)。虽然HMD上的虚拟对象可能并没有正遮蔽对此物体的观看，但该物体可对HMD的穿戴者呈现绊倒的危害。
a.确定距离
可穿戴计算机可使用各种传感器或传感器的组合来获取用于发起碰撞避免动作的数据。例如，一些实施例可利用来自视频相机的数据。作为具体示例，HMD可包括前置相机，其可被配置为捕捉延伸到观看区域中提供的视野之外的图像。然后，一体的或远程附接的计算设备可采用图像处理技术来确定捕捉的图像的一部分表示物理物体并且进一步估计相机与该物体之间的距离。在此情况下，相机和可穿戴计算机可将此估计的距离数据发送到执行物体检测过程的计算系统。因此，物体检测过程可使用已经确定的距离作为激活碰撞避免动作的基础。
作为另一示例，一些实施例在评估是否发起碰撞避免动作时可利用来自一个或多个声学或光学传感器的数据。例如，示范性实施例可包含主动声学感测过程来确定真实世界物体的接近度。这种过程可涉及发射明确定义的声脉冲，然后检测返回到系统的反射声波(即，回声)。额外地或可替换地，一些实施例可包含主动光学感测过程，该过程涉及发射明确定义的光波，该光波通常在可见光谱之外，并且检测反射的光波。在任一情况下，示范性系统可使用这种技术来检测附近物体的存在并确定附近物体的接近度。另外，这种技术可用于跟踪这些物理物体随着时间的运动(例如，通过周期性地重复这种技术来确定运动)。
可以采用许多示范性传感器中的任何一种来进行数据收集。在一些情况下，传感器可处理原始数据以确定物体的距离，然后才将此确定送出给负责碰撞避免动作的处理器。在其它情况下，处理器可接收原始数据并对其进行处理以确定物体的距离。
在一些实施例中，从一个或多个距离传感器接收的数据还可用于确定HMD周围的物理物体的位置。例如，传感器可被配置为检测物理物体和HMD之间的线与地面以及与HMD正面对的方向形成的角度。这样，可在三个维度上确定物理物体的位置(即，利用两个角度和相对距离作为球坐标)。然后，该位置确定可用于跟踪HMD的覆盖物理物体的部分。例如，如果HMD与物理物体之间的向量的方向在表示HMD的正前方的向量的方向的略左下方，则该物体可大部分被HMD的左下部的虚拟对象所遮蔽。对覆盖部分的确定可帮助使得HMD能够确定作为响应要应用的最适当的碰撞避免动作。在中心左下方的物体的示例中，一些示范性方法可以仅影响屏幕的左下部分内的虚拟对象。
b.确定相对运动
如所表明的，在一些实施例中，物体的相对运动可用作调整将用于发起碰撞避免动作的所确定的物体的距离的基础。从而，可以单独地或组合地采用各种类型的传感器以便确定附近物体的相对运动。
在一些实施例中，第二组传感器可用于收集和报告相对运动数据。在实践中，这个第二组传感器可以部分地或完全地包括第一组传感器。例如，主动光学检测系统可发射短单色脉冲并且测量返回波的频率、相位偏移和时间延迟。时间延迟和相位偏移可用于确定反射物体的距离。额外地，频率和相位变化可用于确定物体的相对速度。在此示例中，第一和第二传感器可实际上是相同传感器。然而，也可能用于确定相对运动数据的传感器可与那些用于确定接近度数据的传感器分离。
c.发起碰撞避免动作
可响应于多种因素而激活碰撞避免动作。例如，对于物理物体在给定距离阈值内的确定可用作激活碰撞避免动作的基础。另外，对于物理物体正以高于给定速度阈值的相对速度充分地朝着HMD移动的确定可用作激活碰撞避免动作的基础。作为另一示例，可确定物理物体正在HMD的方向上加速。对于可穿戴计算机在运动中或者用户接口的观看区域充分杂乱的确定也可用作激活碰撞避免动作的基础。另外，这些因素中的任何因素或所有因素可被组合以形成用于激活碰撞避免动作的基础。例如，示范性实施例可响应于从加速度计接收到指示出可穿戴计算机在以一定速度阈值以上的速度的运动中的数据而激活碰撞避免动作，其中该一定速度阈值是从指示出观看区域被占据的百分比的数据来确定的。
在一些实施例中，物理物体的所确定的距离可用作激活碰撞避免动作的基础。例如，一种方法可为所有物体设定距离阈值。然后，可响应于确定物理物体在此距离阈值内而激活碰撞避免动作。在一些示范性系统和方法中，多个距离阈值可与多个碰撞避免动作相关联。
在一些实施例中，距离确定或者使用距离作为激活基础的碰撞避免动作可仅适用于被HMD充分覆盖的物理物体。例如，系统可确定物理物体靠近HMD，但对物体的观看未被HMD所覆盖。在此示例中，弱化显示到HMD的虚拟对象的碰撞避免动作不会提供对物理物体的不那么受妨碍的观看。因此，示范性系统可确定不使用此物理物体的接近度作为激活碰撞避免动作的基础。可替换地，一些示范性实施例可确定所有检测到的物理物体的接近度作为激活碰撞避免动作的基础。
一些实施例可使用对物体的相对运动的确定作为激活碰撞避免动作的基础。例如，一些示范性实施例可被配置为仅响应于物体正在充分接近显示器而激活碰撞避免动作。在这种情况下，所确定的距离仍可用作激活碰撞避免动作的第二基础，但只在所确定的相对运动的条件得到满足之后。一些实施例可包括设定相对速度阈值，其中被确定为以高于阈值速度的速度充分地朝着HMD移动的物理物体可以是激活碰撞避免动作的基础。类似地，如果确定物体正以大于阈值加速率朝着HMD加速，则示范性可穿戴计算机可作为响应发起碰撞避免动作。也可使用其它示范性运动模式。
如上所表明的，在一些实施例中，物体的相对运动可用作调整在其发起碰撞避免动作的物理物体的阈值距离的基础。例如，再次考虑以两米每秒的相对速度朝着传感器移动的第一物体和以一米每秒的相对速度朝着传感器移动的第二物体可各自与HMD具有所确定的十米的距离。然而，示范性实施例可基于第一物体的相对运动为第一物体指派十二米的阈值距离。第二物体可基于其相对运动被指派以八米的阈值距离。然后，可响应于检测到在十米处的第一物体而激活碰撞避免动作，但不响应于检测到在相同距离处的第二物体而激活碰撞避免动作。注意，本文中这个和其它示例中的具体距离和调整是出于例示目的而提供的，而不应当被认为是限制性的。设想到了碰撞附近物体的距离和/或运动用于触发碰撞避免动作的方式可取决于具体实现方式而有所不同。
在一些实施例中，所确定的到碰撞为止的时间值可用作发起碰撞避免动作的基础。利用来自以上部分的示例，第一物体的最初的到碰撞为止的时间值将是五秒，并且第二物体的最初的到碰撞为止的时间值将是十秒。如果检测这些物体的系统的到碰撞为止的时间的阈值是八秒，则只有第一物体最初将超过该阈值并激活碰撞避免动作。还可基于更高阶的运动数据(例如，加速度、猛拉(jerk)等等)来确定或改变到碰撞为止的时间。例如，如果上述示例中的最初以一米每秒接近的第二物体还在以一米每秒每秒(1m/s^2)的加速率朝着HMD加速，则第二物体可能实际上会在四秒内到达HMD。因此，HMD可使用相对运动数据来预期这个更快的接近并且为此物体指派更短的到碰撞为止的时间。
在一些实施例中，对HMD在运动中的确定可用作激活碰撞避免动作的基础。例如，系统可被配置为仅在HMD以阈值速度以上的速度移动时激活碰撞避免动作。这种实施例还可使用其它激活基础，但仅在HMD超过运动阈值之后。一些实施例可被配置为仅在确定HMD在运动中之后才开始检测物理物体。
一些实施例可使用杂乱的水平作为激活碰撞避免动作的又一个基础。例如，对杂乱的水平的确定可包括接收对用户接口的观看区域中的未被占据区域的量的指示。作为另一示例，观看区域中显示的虚拟对象的数目和大小可用作杂乱水平的基础。一实施例随后可仅在超过阈值杂乱水平时才激活碰撞避免动作。
预定义的用户偏好也可指示对碰撞避免动作的限制(例如，时间限制、允许的碰撞避免动作、指定的速度和加速度阈值等等)。作为示范性用户偏好，系统可被配置为仅在用户接口的观看区域充分杂乱时才激活碰撞避免动作。例如，如果只有一个小的虚拟对象被显示在观看区域的边缘附近，则系统可确定不需要响应于检测到的物理物体采取碰撞避免动作。
d.弱化虚拟对象
示范性碰撞避免动作可包括弱化用户接口的观看区域中显示的一个或多个虚拟对象。弱化虚拟对象可包括例如去除被确定为覆盖物理物体的虚拟对象、从观看区域中去除所有虚拟对象、在观看区域内移动虚拟对象、将虚拟对象移动到部分在观看区域内并且部分在观看区域外的区域、减小虚拟对象的大小、以及使得虚拟对象至少部分透明。额外地，示范性的弱化动作可包括以许多方式描绘对虚拟对象的改变。
5.示范性碰撞避免用户接口
一旦检测到附近的物理物体，则可应用许多潜在的碰撞避免动作。例如，可以采用多种方法来弱化一个或多个虚拟对象。额外地，可以使用新的虚拟对象、音频告警和/或物理指示来更好地将注意力吸引到所检测到的物理物体。另外，可以组合示范性碰撞避免动作以最大化效果。
图7A是根据示范性实施例的用户接口的简化图示。具体地，图7A图示了在其中可应用碰撞避免动作的用户接口700的状态。如图所示，用户接口700在观看区域702中提供虚拟对象706和708。用户接口700还在内容区域704中提供内容标记712A、712B和712C，内容区域704可在用户接口700的所显示部分之外。额外地，图7A中示出了超出显示器以外的一些物理视野，其中包括靠近显示器的物理物体710。如图7A中所示，对物理物体的观看基本上被虚拟对象706和虚拟对象708所遮蔽。
图7B至7H是处于与图7A中所示不同的状态中的图7A中所示的用户接口的简化图示。具体地，图7B至7H中的每一幅图示了在执行示范性碰撞避免动作之后的用户接口700。
更具体而言，图7B图示了从用户接口700的观看区域702中去除虚拟对象706的示范性碰撞避免动作的结果。额外地，在内容区域704中提供了与虚拟对象706相对应的新内容对象714。图7B图示了物理物体710不再基本上被遮蔽，因为虚拟对象708只遮盖对物理物体710的观看的相对较小的部分。在碰撞避免动作激活之后，用户可从内容区域中选择内容对象714，并且系统可作为响应将虚拟对象706返回到观看区域702。在一些情况下，在虚拟对象706被显示在观看区域702中的同时，表示虚拟对象706的内容的内容对象可能已经占据内容区域。在这种情况中，此示范性碰撞避免动作将只是从观看区域702中去除虚拟对象706，而不创建新的内容对象714。
图7C图示了从用户接口700的观看区域702中去除虚拟对象706和虚拟对象708两者的示范性碰撞避免动作。如上述技术中那样，如果在内容区域704中没有提供与虚拟对象706相对应的内容对象，则可创建并在内容区域704中提供这种内容对象714。在此过程中，还可向内容区域704提供与虚拟对象708相对应的内容对象716。除了允许对物理物体710的更不受妨碍的观看以外，此技术与只从显示器中去除单个虚拟对象的技术相比还可更充分地吸引用户的注意力。有利地，这个碰撞避免动作可不需要物体检测过程来确定超出观看区域以外的物理物体的位置，而为了应用图5B中所描绘的技术则可能需要该过程。
除了图7B和图7C中所表示的实施例以外，对于从观看区域702中去除的每个虚拟对象，可以在或不在内容区域704中放置表示每个虚拟对象的内容对象。例如，除了内容区域以外，示范性用户接口还可包括历史区域，其中有表示最近关闭的内容的内容对象。在此情况下，在历史区域中可创建表示被去除的虚拟对象的内容对象，作为将该内容对象放置在内容区域704中的附加或取代。另外，虚拟对象的去除可以不伴随着任何新内容对象。
图7D图示了在观看区域702内移动而不是从观看区域中去除虚拟对象706和虚拟对象708的示范性碰撞避免动作的结果。如图7D中所示，作为简单地将虚拟对象706和708移开到观看区域702的侧边处的结果，物理物体710就可大部分可见。在一些情况下，运动可遵循预定义的路线。例如，显示器可被配置为始终将对象朝着屏幕的最近横向边缘横向移动(图7D的示例就可能是这种情况)。可替换地，可穿戴计算机可被配置为基于显示器的当前正遮盖着对物理物体的观看的特定部分来指定适当的运动模式。
图7E图示了在观看区域702内移动虚拟对象706和708的另一示范性碰撞避免动作的结果。与图7D所图示的过程不同，图7E所图示的过程可将虚拟对象706和708移动到至少部分在观看区域702之外的位置。在示范性系统中，可穿戴计算机可被配置为存储用户接口700中默认观看区域之外的虚拟对象的位置。如上所述，可穿戴计算机还可被配置为改变用户接口700的被提供给显示器的部分。这样，系统可提供实际上大于所显示的观看区域的可访问用户接口。因此，如果虚拟对象被部分移动到观看区域之外，则用户接口可提供供用户继续检视该虚拟对象的过程。例如，HMD可被配置成使得如果一对象被从显示器的中心移动到左侧，并且HMD随后被向左转，则该对象将根据HMD的运动而作为响应被带回观看区域的中心。
如图7E中所示，在虚拟对象被部分移动到观看区域之外的同时，虚拟对象的内容可保持完好，如虚拟对象706所图示的。可替换地，虚拟对象的内容可被更改，如被更改的虚拟对象708所图示的。在此示例中，在观看区域中保留虚拟对象708的内容的标题和简要预览，以允许用户更容易识别出此对象。对于这种情形可应用许多其它内容更改。
图7F图示了一种示范性碰撞避免动作的结果，其中虚拟对象706和虚拟对象708仍被显示在观看区域702中大致其原始位置处，但其大小被减小了。通过减小虚拟对象706和708的大小，可以看到物理物体710，并且虚拟对象706和708可保持在其原始位置。当然，如果将此过程与另一弱化技术相组合，则除了缩小过程以外，可将虚拟对象从其原始位置移开或者以其它方式影响虚拟对象。与图7E中所图示的弱化技术一样，响应于虚拟对象的大小的减小，可以以若干种方式来更改每个虚拟对象的内容。例如，图7F中的虚拟对象706的内容被统一地进行了大小减小，就像单个图片的缩小那样。作为另一示例，虚拟对象708的内容被浓缩成标题和来自内容的简要摘录。示范性技术可包括接收选择被最小化的虚拟对象的用户输入并作为响应将该虚拟对象恢复到其原始大小的过程。这样，虚拟对象708的行为方式可类似于在观看区域中示出的内容对象。可以采用许多其它内容减小过程。例如，可以基于特定虚拟对象的内容、预期的缩小量和/或用户偏好来选择内容更改过程。
图7G图示了一种示范性碰撞避免动作的结果，其中使虚拟对象706和708至少部分透明，从而使得物理物体710通过HMD的透明显示器可更容易可见。示范性实施例可以仅对被确定为充分遮蔽物理物体的对象或者对观看区域内的所有虚拟对象应用透明(如图7G中所描绘的)。此外，一些实施例可被配置为只使得每个虚拟对象的一部分透明。例如，如果单个虚拟对象遮盖整个屏幕，则示范性技术可使得该虚拟对象的窗口在检测到的物理物体的正前方变得透明，而同时保持该虚拟对象的其余部分基本上不透明。
除了移动和/或弱化虚拟对象以外，示范性碰撞避免动作可涉及添加一个或多个虚拟对象来突出检测到的物理物体。图7H图示了一个这种碰撞避免动作的结果。更具体而言，除了移动虚拟对象706和虚拟对象708以外，用户接口还呈现了新的虚拟对象718来将注意力吸引到正在接近的物理物体710。这个示例新虚拟对象718被示为小心符号和检测到的物体周围的边界。然而，突出对象可采取许多形式。额外地，如果物理物体已经部分可见，则此技术不需要与其它过程组合。另外，如果在超出显示器的视野之外检测到物理物体，则新的虚拟对象可包括方向性符号或者对于潜在障碍物相对于显示器在何处的某种其它指示。
示范性碰撞避免动作还可基于检测到的物理物体的特性来指定要呈现的特定的新虚拟对象。例如，来自图7H的新虚拟对象718包括检测到的物体周围的边界。如果检测到了不同的物理物体，则需要改变此边界的形状以包围这个不同的物体。如果检测到的物理物体在被显示窗口遮盖的视野之外，则作为碰撞避免动作的一部分可呈现指示检测到的物体的方向的新虚拟对象。另外，如果通过HMD的穿戴者以特定方式运动(例如，向左移动、急忙弯腰、加快速度)可最容易避免一个或多个检测到的物理物体，则可呈现新的虚拟对象，例如指向运动方向的箭头和/或向穿戴者指示运动方式的文本。
示范性碰撞避免动作还可包括非视觉告警来提醒穿戴者。例如，可穿戴显示器可包括扬声器，其可呈现音频告警来补充视觉线索。有利地，这种告警可提醒用户，而无需改变视觉显示。与呈现新虚拟对象一样，非视觉告警可以是依情形而定的。例如，如果确定通过穿戴者向左移动可最好地避开物体，则音频提醒可包括说出“向左移动”的语音。额外地，非视觉线索可包括物理线索，例如系统的振动或者显示窗口的物理移动。
示范性实施例还可被配置为组合任何或所有碰撞避免动作以最有效地应对碰撞避免动作。例如，可以既移动虚拟对象又使其部分透明，以使得与只是移动对象相比，物理物体可以完全可见并且使得周围视野更可见。作为另一示例，如果初始的尝试没有产生期望的影响(例如，尽管有初始的碰撞避免动作，但穿戴者仍继续以可能危险的方式接近检测到的物体)，则碰撞避免动作可以按相继的步骤来弱化虚拟对象。例如，示范性过程可包括接收对于一物体在第一阈值距离内的指示并且作为响应移动一个虚拟对象以提供对该物体的观看。该过程还可包括接收随后的对于检测到的物体在第二个更近的距离阈值内的指示并且作为响应移动所有虚拟对象以提供对正在接近的物体的不那么受妨碍的观看。在接收到对于物体继续造成碰撞风险的额外指示之时，示范性过程可包括向虚拟对象中的一个或全部应用透明、减小虚拟对象的大小、将虚拟对象从观看区域中完全去除以及最终呈现新虚拟对象以突出物理物体。以许多其它有利方式组合碰撞避免动作对于本领域技术人员将是显而易见的。
示范性显示器可被配置为以各种方式来描绘虚拟对象的移动或去除。例如，在观看区域内被从一个位置移动到另一位置的虚拟对象可在中间位置处被相继示出，以描绘与物理物体的移动类似的模式。在从观看区域中去除对象并在内容区域中创建相应的内容对象时也可应用这种过程。在此情况下，该对象可以图形方式示出朝着内容区域的相继进度，直到虚拟对象被从观看区域中完全去除为止。描绘虚拟对象的去除的另一示范性过程可包括逐渐地使得该对象更透明，直到其从显示中消失为止。作为另一示例，虚拟对象在被从观看区域中去除之前可被描绘为大小减小。另外，虚拟对象在被从观看区域中去除之前可被描绘为大小增大以给出虚拟对象正通过显示器移动到穿戴者后方的一点的印象。
另一示范性描绘技术可通过以指示迅速接近的障碍物的方式移动虚拟对象来帮助允许穿戴者利用其自己的本能碰撞避免机动。例如，如果虚拟对象朝着屏幕的边缘迅速扫动并且大小增大，则与虚拟对象就只是消失相比，穿戴者可感知到其周围的物理物体更加靠近或者正更加迅速地接近。因此，这种运动模式可描绘对穿戴者的逼近的危险，从而允许穿戴者进行更立即的调整来避免物理物体。在此示例中，计算机可基于物理物体的相对位置来选择虚拟对象移动到的屏幕边缘。例如，如果在HMD的前方、但在视野中心的略左侧处检测到物理物体，则虚拟对象可被放大并移开到屏幕的左侧。作为另一示例，如果物理物体的相对运动是朝向仅在HMD的略左侧的点，则对象可类似地朝着屏幕的左边缘扫动。在一些实施例中，虚拟对象可在变得越来越透明的同时大小放大，直到被完全从屏幕中去除为止。此情况下的虚拟对象将不需要朝着屏幕边缘移动，而可以就只是原地放大，从而给出虚拟对象正穿过HMD到穿戴者后方的一点的印象。
一些示范性过程可包括响应于接收到对于物理物体不再是危害的指示或者作为用户输入的结果而撤除碰撞避免动作的步骤。示范性碰撞避免动作因此可包括把在碰撞避免动作的激活之前占据了观看区域的虚拟对象移回到其在观看区域中的原始位置的过程。另外，这种过程还可包括重新确立虚拟对象的大小和不透明性。例如，示范性撤除过程可包括在激活碰撞避免动作之前存储虚拟对象在观看区域中的原始位置和内容。然后，响应于碰撞避免动作被撤除，该过程可将虚拟对象的原始内容移回到其在观看区域中的原始位置。
在发起碰撞避免动作之后，示范性实施例还可包括响应于从传感器接收到第二数据而撤除碰撞避免动作的技术。例如，响应于确定静止的物理物体具有直指HMD的穿戴者的相对运动，因为穿戴者正在朝着该静止物体行走，系统可激活碰撞避免动作。被碰撞避免动作提醒的穿戴者可调整路线以避开该静止物体。然后，系统可确定该物体不再具有指向HMD的相对运动并且作为响应撤除碰撞避免动作。作为另一示例，当一骑自行车者突然在HMD的阈值距离内拐弯时，HMD的穿戴者可能正静止不动。示范性系统可检测到附近的骑自行车者并且激活碰撞避免动作以提醒穿戴者。随后，骑自行车者可能移动到距HMD在阈值距离以外，并且作为响应，系统可撤除碰撞避免动作。可利用许多其它示范性撤除过程。
撤除过程也可起因于除了从传感器接收的距离和相对运动数据以外的输入。例如，可从一个或多个输入设备接收指示出应当撤除碰撞避免动作的用户输入。作为具体示例，碰撞避免动作可包括将虚拟对象移开到观看区域的左侧或者甚至移动到用户接口的超出观看区域的左边界的部分中。显示器的穿戴者可能希望无视碰撞避免动作并且恢复对被移动的虚拟对象的原始观看。示范性系统可被配置为从运动传感器接收对于穿戴者已迅速将显示器向左转的指示并且作为响应使虚拟对象返回到其原始位置。可以采用许多其它用户输入技术，例如语音命令、视线跟踪眼睛运动、开关的促动或者与触摸板的交互，来指示需要撤除碰撞避免动作。
虽然本文已公开了各种方面和实施例，但本领域技术人员将清楚其它方面和实施例。本文公开的各种方面和实施例是为了例示，而并不打算进行限定，真实的范围和精神由权利要求指示。

Claims (26)

1.一种由计算机实现的方法，包括：
在头戴式显示器(HMD)的基本上透明的显示器上显示用户接口，其中所述用户接口包括观看区域和位于所述观看区域之外的至少一个内容区域；
最初在所述观看区域中显示一个或多个虚拟对象，其中所述观看区域基本上填满所述HMD的视野，并且其中所述至少一个内容区域在所述视野中不是完全可见的；
利用来自一个或多个第一传感器的数据作为确定所述HMD与物理物体之间的距离的基础；以及
利用所确定的所述HMD与所述物理物体之间的距离作为发起碰撞避免动作的基础，其中所述碰撞避免动作包括弱化所显示的虚拟对象中的至少一个从而提供透过所述HMD的透明显示器对所述物理物体的不那么受妨碍的观看。
2.如权利要求1所述的方法，其中，所述用户接口最初被配置成使得所述至少一个内容区域基本上沿着所述观看区域上方的一至少部分环布置，并且其中，所述至少部分环基本上以所述HMD上方为中心。
3.如权利要求1所述的方法，其中，利用所确定的距离作为发起碰撞避免动作的基础包括：
确定所述物理物体与所述HMD相距小于阈值距离；并且作为响应发起所述碰撞避免动作。
4.如权利要求1所述的方法，还包括：
利用来自一个或多个第二传感器的数据来确定所述物理物体相对于所述HMD的相对运动；以及
利用所述相对运动作为发起所述碰撞避免动作的另一个基础。
5.如权利要求4所述的方法，其中，利用所述相对运动作为发起所述碰撞避免动作的另一个基础包括：
利用所述相对运动作为确定所述物理物体与所述HMD之间的阈值距离的基础；以及
确定所述物理物体与所述HMD相距小于阈值距离，并且作为响应发起所述碰撞避免动作。
6.如权利要求4所述的方法，其中，利用所述相对运动作为发起所述碰撞避免动作的另一个基础包括：
利用(a)所述物理物体与所述HMD之间的距离和(b)所述相对运动，来确定直到碰撞为止的时间段；以及
确定所述直到碰撞为止的时间段小于阈值时间段并且作为响应发起所述碰撞避免动作。
7.如权利要求4所述的方法，还包括，在发起所述碰撞避免动作之后：
利用来自所述一个或多个第二传感器的数据作为确定所述物理物体随后相对于所述HMD的相对运动的基础；
确定所述物理物体随后的相对运动的方向是充分远离所述HMD的方向，从而使得与所述物理物体的碰撞不太可能；以及
响应于确定所述物理物体随后的相对运动是在充分远离所述HMD的方向上的，在所述观看区域中重新显示在所述碰撞避免动作中弱化的至少一个虚拟对象。
8.如权利要求1所述的方法，还包括：
利用来自一个或多个第三传感器的数据来确定所述HMD在运动中；以及
利用对于所述HMD在运动中的确定作为发起碰撞避免动作的另一个基础。
9.如权利要求1所述的方法，还包括：
确定所述观看区域充分杂乱；以及
利用对于所述观看区域充分杂乱的确定作为发起所述碰撞避免动作的另一个基础。
10.如权利要求1所述的方法，其中，弱化所述虚拟对象中的至少一个包括从所述观看区域中去除所述虚拟对象中的至少一个。
11.如权利要求10所述的方法，其中，被去除的至少一个对象被移动到：(a)在所述视野中不完全可见的所述内容区域之一，或者(b)位于所述观看区域之外的历史区域。
12.如权利要求10所述的方法，其中，所述一个或多个对象全都被从所述观看区域中去除。
13.如权利要求1所述的方法，其中，移动所述虚拟对象中的至少一个包括通过将所述虚拟对象中的至少一个迅速地从所述观看区域的中心点朝着所述观看区域的外边缘移动来高效地描绘潜在的危害。
14.如权利要求13所述的方法，还包括：
确定所述观看区域的覆盖所述物理物体的部分；
其中，所述虚拟对象中的至少一个被迅速地从所述观看区域的覆盖所述物理物体的部分移开。
15.如权利要求1所述的方法，其中，所述物理物体在用户视野之外，并且其中，所述碰撞避免动作还包括显示对所述物理物体的方向的视觉指示。
16.如权利要求1所述的方法，其中，所述碰撞避免动作还包括呈现音频提醒。
17.如权利要求1所述的方法，其中，所述碰撞避免动作还包括显示突出所述物理物体的视觉指示。
18.如权利要求1所述的方法，还包括：
接收指示重新显示在所述碰撞避免动作中弱化的至少一个虚拟对象的用户输入数据；以及
响应于至少接收所述用户输入数据，在所述观看区域中重新显示在所述碰撞避免动作中弱化的至少一个虚拟对象。
19.如权利要求18所述的方法，其中，所述用户输入数据包括与预定的运动模式相对应的头部运动数据。
20.一种可穿戴计算机，包括：
至少一个处理器；以及
数据存储装置，包括逻辑，该逻辑可由所述至少一个处理器执行来：
在头戴式显示器(HMD)的基本上透明的显示器上显示用户接口，其中所述用户接口包括观看区域和位于所述观看区域之外的至少一个内容区域；
最初在所述观看区域中显示一个或多个虚拟对象，其中所述观看区域基本上填满所述HMD的视野，并且其中所述至少一个内容区域在所述视野中不是完全可见的；
利用来自一个或多个第一传感器的数据作为确定所述HMD与物理物体之间的距离的基础；以及
利用所确定的所述HMD与所述物理物体之间的距离作为发起碰撞避免动作的基础，其中所述碰撞避免动作包括弱化所显示的虚拟对象中的至少一个从而提供透过所述HMD的透明显示器对所述物理物体的不那么受妨碍的观看。
21.如权利要求20所述的可穿戴计算机，其中，所述逻辑还可被所述至少一个处理器执行来：
接收指示重新显示在所述碰撞避免动作中弱化的至少一个虚拟对象的用户输入数据；以及
响应于至少接收所述用户输入数据，在所述观看区域中重新显示在所述碰撞避免动作中弱化的至少一个虚拟对象。
22.如权利要求21所述的可穿戴计算机，其中，所述用户输入包括通过传感器对于所述头戴式显示器以指定的运动模式移动的检测。
23.一种非暂态计算机可读介质，其中存储有指令，所述指令可由计算设备执行以使得该计算设备执行功能，所述功能包括：
在头戴式显示器(HMD)的基本上透明的显示器上显示用户接口，其中所述用户接口包括观看区域和位于所述观看区域之外的至少一个内容区域；
最初在所述观看区域中显示一个或多个虚拟对象，其中所述观看区域基本上填满所述HMD的视野，并且其中所述至少一个内容区域在所述视野中不是完全可见的；
利用来自一个或多个第一传感器的数据作为确定所述HMD与物理物体之间的距离的基础；以及
利用所确定的所述HMD与所述物理物体之间的距离作为发起碰撞避免动作的基础，其中所述碰撞避免动作包括弱化所显示的虚拟对象中的至少一个从而提供透过所述HMD的透明显示器对所述物理物体的不那么受妨碍的观看。
24.如权利要求23所述的非暂态计算机可读介质，其中，所述功能还包括：
利用来自一个或多个第二传感器的数据来确定所述物理物体相对于所述HMD的相对运动；以及
利用所述相对运动作为发起所述碰撞避免动作的另一个基础。
25.如权利要求24所述的非暂态计算机可读介质，其中，所述功能还包括在发起所述碰撞避免动作之后：
利用来自一个或多个第二传感器的数据作为确定所述物理物体随后相对于所述HMD的相对运动的基础；
确定所述物理物体随后的相对运动的方向是充分远离所述HMD的方向，从而使得与所述物理物体的碰撞不太可能；以及
响应于确定所述物理物体随后的相对运动是在充分远离所述HMD的方向上的，在所述观看区域中重新显示在所述碰撞避免动作中弱化的至少一个虚拟对象。
26.如权利要求23所述的非暂态计算机可读介质，其中，移动所述虚拟对象中的至少一个包括通过将所述虚拟对象中的至少一个迅速地从所述观看区域的中心点朝着所述观看区域的外边缘移动来高效地描绘潜在的危害。
CN201280060384.5A 2011-10-07 2012-10-05 具有附近物体响应的可穿戴计算机 Expired - Fee Related CN103975268B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711337198.2A CN107831908B (zh) 2011-10-07 2012-10-05 一种由计算机实现的方法和计算系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/267,963 2011-10-07
US13/267,963 US9081177B2 (en) 2011-10-07 2011-10-07 Wearable computer with nearby object response
PCT/US2012/059036 WO2013052855A2 (en) 2011-10-07 2012-10-05 Wearable computer with nearby object response

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201711337198.2A Division CN107831908B (zh) 2011-10-07 2012-10-05 一种由计算机实现的方法和计算系统

Publications (2)

Publication Number Publication Date
CN103975268A true CN103975268A (zh) 2014-08-06
CN103975268B CN103975268B (zh) 2018-01-16

Family

ID=48044418

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201711337198.2A Active CN107831908B (zh) 2011-10-07 2012-10-05 一种由计算机实现的方法和计算系统
CN201280060384.5A Expired - Fee Related CN103975268B (zh) 2011-10-07 2012-10-05 具有附近物体响应的可穿戴计算机

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201711337198.2A Active CN107831908B (zh) 2011-10-07 2012-10-05 一种由计算机实现的方法和计算系统

Country Status (3)

Country Link
US (3) US9081177B2 (zh)
CN (2) CN107831908B (zh)
WO (1) WO2013052855A2 (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216520A (zh) * 2014-09-09 2014-12-17 联想(北京)有限公司 一种信息处理方法及电子设备
CN105139349A (zh) * 2015-08-03 2015-12-09 京东方科技集团股份有限公司 虚拟现实显示方法及系统
CN105635713A (zh) * 2015-12-31 2016-06-01 联想(北京)有限公司 一种显示方法及电子设备
CN105700139A (zh) * 2016-01-12 2016-06-22 深圳多哚新技术有限责任公司 一种虚拟现实设备及其后盖装置
CN106125927A (zh) * 2016-06-23 2016-11-16 捷开通讯(深圳)有限公司 图像处理系统及方法
CN106249883A (zh) * 2016-07-26 2016-12-21 努比亚技术有限公司 一种数据处理方法及电子设备
CN106484085A (zh) * 2015-08-31 2017-03-08 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
US20170123747A1 (en) 2015-10-29 2017-05-04 Samsung Electronics Co., Ltd. System and Method for Alerting VR Headset User to Real-World Objects
CN106774833A (zh) * 2016-11-17 2017-05-31 网易（杭州）网络有限公司 虚拟现实交互方法及装置
CN106796417A (zh) * 2014-09-29 2017-05-31 微软技术许可有限责任公司 经由可穿戴计算系统的环境控制
WO2017120775A1 (zh) * 2016-01-12 2017-07-20 深圳多哚新技术有限责任公司 一种虚拟现实设备及其后盖装置
WO2017120917A1 (zh) * 2016-01-15 2017-07-20 邓娟 进行头戴虚拟游戏时周边动态的提醒方法和头戴虚拟设备
CN107172414A (zh) * 2017-04-20 2017-09-15 北京安云世纪科技有限公司 一种虚拟现实头戴显示器设备及其处理信息的方法
CN107430278A (zh) * 2015-03-09 2017-12-01 微软技术许可有限责任公司 基于用户的上下文敏感全息图反应
CN107436491A (zh) * 2016-05-26 2017-12-05 华冠通讯(江苏)有限公司 虚拟现实显示设备的威胁警示系统及其威胁警示方法
CN107678535A (zh) * 2016-08-01 2018-02-09 三星电子株式会社 用于图像显示的方法和支持该方法的电子设备
CN107850953A (zh) * 2014-11-05 2018-03-27 威尔乌集团 用于在虚拟现实环境中引导用户的感官反馈系统和方法
CN108509043A (zh) * 2018-03-29 2018-09-07 联想(北京)有限公司 一种交互控制方法及系统
CN108633307A (zh) * 2016-05-17 2018-10-09 谷歌有限责任公司 在虚拟现实环境中投射与真实对象的接触的方法和装置
CN108874117A (zh) * 2017-05-15 2018-11-23 环达电脑(上海)有限公司 实景提醒装置及方法
CN110831676A (zh) * 2017-08-24 2020-02-21 惠普发展公司，有限责任合伙企业 可穿戴设备的碰撞避免
CN110998491A (zh) * 2017-08-02 2020-04-10 微软技术许可有限责任公司 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物
CN111108746A (zh) * 2017-09-22 2020-05-05 惠普发展公司，有限责任合伙企业 对象的检测
CN111164540A (zh) * 2017-09-28 2020-05-15 苹果公司 用于在模拟现实会话期间呈现物理环境交互的方法和设备
CN111443805A (zh) * 2020-03-26 2020-07-24 维沃移动通信有限公司 一种显示方法及可穿戴电子设备
US11327312B2 (en) 2016-07-25 2022-05-10 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear

Families Citing this family (324)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
JP5652097B2 (ja) * 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US8571781B2 (en) 2011-01-05 2013-10-29 Orbotix, Inc. Self-propelled device with actively engaged drive system
CN103493106B (zh) 2011-03-29 2017-11-07 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上的方法和装置
US8990682B1 (en) 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9547406B1 (en) 2011-10-31 2017-01-17 Google Inc. Velocity-based triggering
KR101574099B1 (ko) * 2011-12-20 2015-12-03 인텔 코포레이션 다수의 장치에 걸친 증강 현실 표현
US9230501B1 (en) 2012-01-06 2016-01-05 Google Inc. Device control utilizing optical flow
US8952869B1 (en) * 2012-01-06 2015-02-10 Google Inc. Determining correlated movements associated with movements caused by driving a vehicle
US9093012B2 (en) * 2012-02-29 2015-07-28 Lenovo (Beijing) Co., Ltd. Operation mode switching method and electronic device
US8907867B2 (en) 2012-03-21 2014-12-09 Google Inc. Don and doff sensing using capacitive sensors
US10469916B1 (en) 2012-03-23 2019-11-05 Google Llc Providing media content to a wearable device
US8957916B1 (en) * 2012-03-23 2015-02-17 Google Inc. Display method
JP6066037B2 (ja) * 2012-03-27 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置
GB2501767A (en) 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Noise cancelling headset
GB2501768A (en) * 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Head mounted display
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US9292758B2 (en) * 2012-05-14 2016-03-22 Sphero, Inc. Augmentation of elements in data content
EP2850512A4 (en) 2012-05-14 2016-11-16 Sphero Inc OPERATION OF A CALCULATION DEVICE BY DETECTING ROUNDED OBJECTS IN A PICTURE
US9934614B2 (en) 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
JP5953963B2 (ja) * 2012-06-13 2016-07-20 ソニー株式会社 頭部装着型映像表示装置
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9417692B2 (en) * 2012-06-29 2016-08-16 Microsoft Technology Licensing, Llc Deep augmented reality tags for mixed reality
US9568735B2 (en) * 2012-08-07 2017-02-14 Industry-University Cooperation Foundation Hanyang University Wearable display device having a detection function
US9429912B2 (en) * 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
JP6089705B2 (ja) * 2013-01-07 2017-03-08 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
JP2014153645A (ja) * 2013-02-13 2014-08-25 Seiko Epson Corp 画像表示装置および画像表示装置の表示制御方法
JP6333801B2 (ja) * 2013-02-19 2018-05-30 ミラマ サービス インク 表示制御装置、表示制御プログラム、および表示制御方法
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US20140282113A1 (en) 2013-03-15 2014-09-18 John Cronin Personal digital assistance and virtual reality
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
EP2983140A4 (en) * 2013-04-04 2016-11-09 Sony Corp DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD, AND PROGRAM
EP2983138A4 (en) * 2013-04-04 2017-02-22 Sony Corporation Display control device, display control method and program
US9878235B2 (en) * 2013-06-07 2018-01-30 Sony Interactive Entertainment Inc. Transitioning gameplay on a head-mounted display
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
CN103353677B (zh) * 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
US9563331B2 (en) * 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
US20150024368A1 (en) * 2013-07-18 2015-01-22 Intelligent Decisions, Inc. Systems and methods for virtual environment conflict nullification
JP6232804B2 (ja) * 2013-07-25 2017-11-22 株式会社デンソー 車両用ユーザインタフェースシステム
JP2015031703A (ja) * 2013-07-31 2015-02-16 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
JP6149584B2 (ja) * 2013-08-01 2017-06-21 セイコーエプソン株式会社 表示装置、表示システムおよび表示装置の制御方法
JP6225546B2 (ja) 2013-08-02 2017-11-08 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
KR20150026336A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
KR102108066B1 (ko) * 2013-09-02 2020-05-08 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
US9292764B2 (en) * 2013-09-17 2016-03-22 Qualcomm Incorporated Method and apparatus for selectively providing information on objects in a captured image
US10451874B2 (en) * 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
US9729864B2 (en) * 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9565416B1 (en) 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
WO2015048905A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for incorporating a physical image stream in a head mounted display
CN103558909B (zh) 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
US10318100B2 (en) * 2013-10-16 2019-06-11 Atheer, Inc. Method and apparatus for addressing obstruction in an interface
JP6079566B2 (ja) * 2013-11-01 2017-02-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015089059A (ja) 2013-11-01 2015-05-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20150149092A1 (en) * 2013-11-25 2015-05-28 National Oilwell Varco, L.P. Wearable interface for drilling information system
US9407823B2 (en) * 2013-12-09 2016-08-02 Microsoft Technology Licensing, Llc Handling video frames compromised by camera motion
JP6079614B2 (ja) * 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
WO2015102464A1 (ko) * 2014-01-06 2015-07-09 삼성전자 주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
KR102355118B1 (ko) 2014-01-06 2022-01-26 삼성전자주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
US9335545B2 (en) 2014-01-14 2016-05-10 Caterpillar Inc. Head mountable display system
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US20150277118A1 (en) * 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9532715B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9588343B2 (en) * 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US10007329B1 (en) 2014-02-11 2018-06-26 Leap Motion, Inc. Drift cancelation for portable object detection and tracking
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9274340B2 (en) * 2014-02-18 2016-03-01 Merge Labs, Inc. Soft head mounted display goggles for use with mobile computing devices
KR20150101612A (ko) * 2014-02-27 2015-09-04 엘지전자 주식회사 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법
KR20150110283A (ko) * 2014-03-21 2015-10-02 삼성전자주식회사 객체들 사이의 충돌을 방지하는 방법 및 장치.
EP2943860B1 (en) 2014-03-21 2022-03-02 Samsung Electronics Co., Ltd. Method and apparatus for preventing a collision between subjects
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10529359B2 (en) 2014-04-17 2020-01-07 Microsoft Technology Licensing, Llc Conversation detection
US9754167B1 (en) * 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
US9922667B2 (en) 2014-04-17 2018-03-20 Microsoft Technology Licensing, Llc Conversation, presence and context detection for hologram suppression
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US20170046879A1 (en) * 2014-04-30 2017-02-16 Robert Paul Severn Augmented reality without a physical trigger
US9501871B2 (en) 2014-04-30 2016-11-22 At&T Mobility Ii Llc Explorable augmented reality displays
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US20150331240A1 (en) * 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US20150339855A1 (en) * 2014-05-20 2015-11-26 International Business Machines Corporation Laser pointer selection for augmented reality devices
JP6409337B2 (ja) * 2014-05-23 2018-10-24 日本精機株式会社 表示装置
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
JP6326996B2 (ja) * 2014-06-13 2018-05-23 富士通株式会社 端末装置、情報処理システム、及び表示制御プログラム
US9717006B2 (en) 2014-06-23 2017-07-25 Microsoft Technology Licensing, Llc Device quarantine in a wireless network
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
DE102014009701A1 (de) * 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
US9092898B1 (en) 2014-07-03 2015-07-28 Federico Fraccaroli Method, system and apparatus for the augmentation of radio emissions
KR20160009879A (ko) * 2014-07-17 2016-01-27 엘지전자 주식회사 웨어러블 디스플레이 디바이스 및 그 제어 방법
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9904055B2 (en) * 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
WO2016017956A1 (en) 2014-07-30 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
KR102397397B1 (ko) * 2014-07-30 2022-05-13 삼성전자주식회사 웨어러블 디바이스 및 웨어러블 디바이스의 동작 방법
KR20160015972A (ko) * 2014-08-01 2016-02-15 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
US10389992B2 (en) * 2014-08-05 2019-08-20 Utherverse Digital Inc. Immersive display and method of operating immersive display for real-world object alert
EP3179292B1 (en) * 2014-08-05 2021-03-03 LG Electronics Inc. Head-mounted display device and control method therefor
US9526896B2 (en) * 2014-08-12 2016-12-27 Second Sight Medical Products, Inc. Pattern detection and location indication for a visual prosthesis
KR20160024168A (ko) 2014-08-25 2016-03-04 삼성전자주식회사 전자 장치의 디스플레이 제어 방법 및 전자 장치
WO2016031447A1 (ja) 2014-08-27 2016-03-03 ソニー株式会社 投射型表示装置
US9501810B2 (en) * 2014-09-12 2016-11-22 General Electric Company Creating a virtual environment for touchless interaction
US10943395B1 (en) 2014-10-03 2021-03-09 Virtex Apps, Llc Dynamic integration of a virtual environment with a physical environment
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
US10256859B2 (en) 2014-10-24 2019-04-09 Usens, Inc. System and method for immersive and interactive multimedia generation
KR101930657B1 (ko) 2014-10-24 2018-12-18 유센스, 인코퍼레이티드 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
JP2016090772A (ja) 2014-11-04 2016-05-23 株式会社ソニー・コンピュータエンタテインメント ヘッドマウントディスプレイおよび情報処理方法
KR102309281B1 (ko) * 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US20160163220A1 (en) * 2014-12-05 2016-06-09 Tobias Kohlenberg Awareness Enhancement Mechanism
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
KR20160096422A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 화면 표시 방법 및 전자 장치
WO2016130533A1 (en) * 2015-02-10 2016-08-18 Brian Mullins Dynamic lighting for head mounted device
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US9881477B2 (en) * 2015-02-27 2018-01-30 Elwha Llc Device having a sensor for sensing an object and a communicator for coupling the sensor to a determiner for determining whether a subject may collide with the object
WO2016141208A1 (en) * 2015-03-04 2016-09-09 Usens, Inc. System and method for immersive and interactive multimedia generation
US9505413B2 (en) * 2015-03-20 2016-11-29 Harman International Industries, Incorporated Systems and methods for prioritized driver alerts
US9965029B2 (en) * 2015-03-30 2018-05-08 Sony Corporation Information processing apparatus, information processing method, and program
EP3284078B1 (en) 2015-04-17 2024-03-27 Tulip Interfaces Inc. Augmented interface authoring
JP6426525B2 (ja) * 2015-04-20 2018-11-21 ファナック株式会社 表示システム
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
KR20160128119A (ko) 2015-04-28 2016-11-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법
WO2016187352A1 (en) * 2015-05-18 2016-11-24 Daqri, Llc Threat identification system
EP3333616A4 (en) 2015-08-04 2019-04-03 Sony Interactive Entertainment Inc. VISIOCASQUE, DISPLAY CONTROL METHOD, AND PROGRAM
US10002429B2 (en) * 2015-08-17 2018-06-19 Samsung Electronics Co., Ltd. Apparatus and method for notifying a virtual reality user of real world objects
JP6367166B2 (ja) * 2015-09-01 2018-08-01 株式会社東芝 電子機器及び方法
DE102015011592A1 (de) * 2015-09-04 2017-03-09 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
US10881713B2 (en) * 2015-10-28 2021-01-05 Atheer, Inc. Method and apparatus for interface control with prompt and feedback
EP3163407B1 (en) * 2015-10-29 2020-08-26 Samsung Electronics Co., Ltd. Method and apparatus for alerting to head mounted display user
WO2017096097A1 (en) * 2015-12-01 2017-06-08 Quantum Interface, Llc. Motion based systems, apparatuses and methods for implementing 3d controls using 2d constructs, using real or virtual controllers, using preview framing, and blob data controllers
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
DE102016000627B4 (de) * 2016-01-22 2024-03-28 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US9939635B2 (en) 2016-02-29 2018-04-10 Brillio LLC Method for providing notification in virtual reality device
JP6742760B2 (ja) * 2016-02-29 2020-08-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
JP6693223B2 (ja) * 2016-03-29 2020-05-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20170287217A1 (en) * 2016-03-30 2017-10-05 Kahyun Kim Preceding traffic alert system and method
WO2017197334A1 (en) * 2016-05-12 2017-11-16 Cirque Corporation Controller premonition using capacitive sensing
GB201608886D0 (en) 2016-05-20 2016-07-06 Nokia Technologies Oy Virtual reality display
KR20170135267A (ko) 2016-05-31 2017-12-08 엘지전자 주식회사 글래스 타입의 이동 단말기
US20170372499A1 (en) * 2016-06-27 2017-12-28 Google Inc. Generating visual cues related to virtual objects in an augmented and/or virtual reality environment
EP3264801B1 (en) 2016-06-30 2019-10-02 Nokia Technologies Oy Providing audio signals in a virtual environment
WO2018017856A1 (en) * 2016-07-20 2018-01-25 Google Llc Displaying and interacting with scanned environment geometry in virtual reality
CN106139587B (zh) * 2016-08-05 2020-06-09 惠州Tcl移动通信有限公司 一种基于vr游戏用来规避现实环境障碍物的方法及系统
JP6122537B1 (ja) * 2016-09-08 2017-04-26 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN106547353A (zh) * 2016-10-21 2017-03-29 北京小米移动软件有限公司 提醒方法及装置
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US10436593B2 (en) * 2016-11-08 2019-10-08 Reem Jafar ALATAAS Augmented reality assistance system for the visually impaired
FR3058534B1 (fr) * 2016-11-09 2019-02-01 Stereolabs Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles
US10692401B2 (en) 2016-11-15 2020-06-23 The Board Of Regents Of The University Of Texas System Devices and methods for interactive augmented reality
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US10152851B2 (en) 2016-11-29 2018-12-11 Microsoft Technology Licensing, Llc Notification artifact display
US10373385B2 (en) 2016-12-14 2019-08-06 Microsoft Technology Licensing, Llc Subtractive rendering for augmented and virtual reality systems
AU2017387781B2 (en) * 2016-12-29 2022-04-28 Magic Leap, Inc. Automatic control of wearable display device based on external conditions
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
US10880716B2 (en) 2017-02-04 2020-12-29 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities, and services in connection with the reception of an electromagnetic signal
US10477602B2 (en) 2017-02-04 2019-11-12 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities and services in connection with the reception of an electromagnetic signal
US10691220B2 (en) * 2017-02-14 2020-06-23 Samsung Electronics Co., Ltd. Method for display of information from real world environment on a virtual reality (VR) device and VR device thereof
EP3367210A1 (en) 2017-02-24 2018-08-29 Thomson Licensing Method for operating a device and corresponding device, system, computer readable program product and computer readable storage medium
US10169973B2 (en) 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
US10429926B2 (en) * 2017-03-15 2019-10-01 International Business Machines Corporation Physical object addition and removal based on affordance and view
US11391944B2 (en) * 2017-03-21 2022-07-19 Sony Corporation Information processing device, information processing method, and program
US10379606B2 (en) * 2017-03-30 2019-08-13 Microsoft Technology Licensing, Llc Hologram anchor prioritization
US10222860B2 (en) 2017-04-14 2019-03-05 International Business Machines Corporation Enhanced virtual scenarios for safety concerns
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
CN110692086A (zh) 2017-04-21 2020-01-14 惠普发展公司，有限责任合伙企业 用于虚拟现实的对象检测
US10634912B2 (en) 2017-06-01 2020-04-28 NewSight Reality, Inc. See-through near eye optical module
US10634921B2 (en) 2017-06-01 2020-04-28 NewSight Reality, Inc. See-through near eye optical display
US10466487B2 (en) 2017-06-01 2019-11-05 PogoTec, Inc. Releasably attachable augmented reality system for eyewear
US10884246B2 (en) 2017-06-01 2021-01-05 NewSight Reality, Inc. Releasably attachable augmented reality system for eyewear
US11119353B2 (en) 2017-06-01 2021-09-14 E-Vision Smart Optics, Inc. Switchable micro-lens array for augmented reality and mixed reality
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
EP3642693A4 (en) * 2017-06-21 2021-01-13 Hewlett-Packard Development Company, L.P. SENSORY FEEDBACK
US10817128B2 (en) * 2017-07-11 2020-10-27 Logitech Europe S.A. Input device for VR/AR applications
US10691945B2 (en) 2017-07-14 2020-06-23 International Business Machines Corporation Altering virtual content based on the presence of hazardous physical obstructions
US10748340B1 (en) 2017-07-31 2020-08-18 Apple Inc. Electronic device with coordinated camera and display operation
US20190094955A1 (en) * 2017-09-27 2019-03-28 Apple Inc. Range finding and accessory tracking for head-mounted display systems
US10489951B2 (en) 2017-09-29 2019-11-26 Qualcomm Incorporated Display of a live scene and auxiliary object
WO2019067470A1 (en) * 2017-09-29 2019-04-04 Zermatt Technologies Llc PHYSICAL LIMIT DETECTOR
DE102017218215A1 (de) * 2017-10-12 2019-04-18 Audi Ag Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
US10410432B2 (en) * 2017-10-27 2019-09-10 International Business Machines Corporation Incorporating external sounds in a virtual reality environment
FR3074307B1 (fr) 2017-11-30 2019-12-20 Safran Electronics & Defense Dispositif de vision pour pilote d aeronef
US11019389B2 (en) * 2017-12-04 2021-05-25 Comcast Cable Communications, Llc Determination of enhanced viewing experiences based on viewer engagement
US11164380B2 (en) 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
EP3540566B1 (en) * 2018-03-12 2022-06-08 Nokia Technologies Oy Rendering a virtual scene
EP3540570A1 (en) 2018-03-13 2019-09-18 Thomson Licensing Method for generating an augmented representation of a real environment, corresponding device, computer program product, and computer-readable carrier medium
WO2019178409A1 (en) * 2018-03-14 2019-09-19 Magic Leap, Inc. Display systems and methods for clipping content to increase viewing comfort
JP2019164420A (ja) * 2018-03-19 2019-09-26 セイコーエプソン株式会社 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム
US11182964B2 (en) 2018-04-30 2021-11-23 Apple Inc. Tangibility visualization of virtual objects within a computer-generated reality environment
US10504289B2 (en) 2018-05-01 2019-12-10 Dell Products, Lp Method and apparatus for securely displaying private information using an augmented reality headset
US11624909B2 (en) 2018-06-18 2023-04-11 Magic Leap, Inc. Head-mounted display systems with power saving functionality
JP2021165864A (ja) * 2018-06-18 2021-10-14 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
EP3807710B1 (en) * 2018-06-18 2024-01-17 Magic Leap, Inc. Augmented reality display with frame modulation functionality
US11450070B2 (en) 2018-06-20 2022-09-20 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
CN112005282A (zh) 2018-06-20 2020-11-27 惠普发展公司，有限责任合伙企业 混合现实设备的警报
CN112368668B (zh) * 2018-07-03 2024-03-22 瑞典爱立信有限公司 用于混合现实头戴式耳机的便携式电子设备
US20200019782A1 (en) * 2018-07-13 2020-01-16 International Business Machines Corporation Accommodating object occlusion in point-of-view displays
US10891922B1 (en) 2018-07-17 2021-01-12 Apple Inc. Attention diversion control
CN109143248A (zh) * 2018-07-19 2019-01-04 中山大学深圳研究院 一种基于超声波测距的vr交互现实防碰撞方法
US10665206B2 (en) 2018-07-30 2020-05-26 Honeywell International Inc. Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
US11417051B2 (en) * 2018-09-28 2022-08-16 Sony Corporation Information processing apparatus and information processing method to ensure visibility of shielded virtual objects
US10901081B2 (en) 2018-10-02 2021-01-26 International Business Machines Corporation Virtual reality safety
EP3667459A1 (en) * 2018-12-12 2020-06-17 Nokia Technologies Oy First-person perspective-mediated reality
US11397463B2 (en) * 2019-01-12 2022-07-26 Microsoft Technology Licensing, Llc Discrete and continuous gestures for enabling hand rays
US10994201B2 (en) 2019-03-21 2021-05-04 Wormhole Labs, Inc. Methods of applying virtual world elements into augmented reality
US11846783B2 (en) * 2019-05-17 2023-12-19 Sony Group Corporation Information processing apparatus, information processing method, and program
CN110191316A (zh) * 2019-05-20 2019-08-30 联想（上海）信息技术有限公司 一种信息处理方法及装置、设备、存储介质
US11151967B2 (en) 2019-06-06 2021-10-19 Honeywell International Inc. Method and system for spawning attention pointers (ATP) for drawing attention of an user in a virtual screen display with augmented and virtual reality
US10937218B2 (en) * 2019-07-01 2021-03-02 Microsoft Technology Licensing, Llc Live cube preview animation
US11132052B2 (en) * 2019-07-19 2021-09-28 Disney Enterprises, Inc. System for generating cues in an augmented reality environment
CN112241199B (zh) * 2019-07-19 2023-03-24 华为技术有限公司 虚拟现实场景中的交互方法及装置
KR102614496B1 (ko) * 2019-08-09 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
JP6710845B1 (ja) 2019-10-07 2020-06-17 株式会社ｍｅｄｉＶＲ リハビリテーション支援装置、その方法およびプログラム
US11170575B1 (en) * 2020-01-28 2021-11-09 Facebook Technologies, Llc. Comfortable navigation in large-scale virtual worlds when constrained by small-scale physical environment
US11599717B2 (en) * 2020-03-20 2023-03-07 Capital One Services, Llc Separately collecting and storing form contents
US11423621B1 (en) * 2020-05-21 2022-08-23 Facebook Technologies, Llc. Adaptive rendering in artificial reality environments
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11175791B1 (en) * 2020-09-29 2021-11-16 International Business Machines Corporation Augmented reality system for control boundary modification
US11113893B1 (en) * 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11232644B1 (en) * 2020-12-31 2022-01-25 Facebook Technologies, Llc Systems and methods for providing spatial awareness in virtual reality
US11366328B1 (en) * 2021-01-28 2022-06-21 Zebra Technologies Corporation Controlling a level of magnification of content on a display device based on user movement
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
JP2024509722A (ja) 2021-02-08 2024-03-05 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるユーザ相互作用
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
US20220253136A1 (en) * 2021-02-11 2022-08-11 Apple Inc. Methods for presenting and sharing content in an environment
US11836871B2 (en) 2021-03-22 2023-12-05 Apple Inc. Indicating a position of an occluded physical object
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11794765B2 (en) * 2021-08-25 2023-10-24 Ford Global Technologies, Llc Systems and methods to compute a vehicle dynamic pose for augmented reality tracking
US11776166B2 (en) * 2021-10-08 2023-10-03 Sony Interactive Entertainment LLC Discrimination between virtual objects and real objects in a mixed reality scene
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US20230194864A1 (en) * 2021-12-20 2023-06-22 International Business Machines Corporation Device management in a smart environment
CN114743433B (zh) * 2021-12-23 2023-03-24 中国科学院软件研究所 模拟飞行训练环境下威胁的多通道告警呈现方法及装置
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US20230264706A1 (en) * 2022-02-22 2023-08-24 Toyota Research Institute, Inc. Varying extended reality content based on risk level of a driving environment
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5900849A (en) * 1995-05-25 1999-05-04 U.S. Philips Corporation Display headset
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US20040093141A1 (en) * 2002-11-13 2004-05-13 Rao Manoharprasad K. Vehicle radar-based side impact assessment method
US20050154505A1 (en) * 2003-12-17 2005-07-14 Koji Nakamura Vehicle information display system

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1326122B1 (en) 1993-08-12 2006-09-06 Seiko Epson Corporation Head-mounted image display device and data processing apparatus including the same
US6061064A (en) 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
JPH08202281A (ja) 1995-01-30 1996-08-09 Olympus Optical Co Ltd 頭部装着型映像表示装置システム
US7724278B2 (en) * 1995-05-30 2010-05-25 Maguire Francis J Jr Apparatus with moveable headrest for viewing images from a changing direction-of-view
US5880733A (en) 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
US5850211A (en) 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
US6064749A (en) 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
US6310733B1 (en) 1996-08-16 2001-10-30 Eugene Dolgoff Optical elements and methods for their manufacture
US20060053371A1 (en) 1997-04-14 2006-03-09 Anderson Thomas G Navigation and viewing in a multidimensional space
TW362207B (en) 1997-05-08 1999-06-21 Shimadzu Corp Display system
JPH11213179A (ja) 1998-01-23 1999-08-06 Sony Corp 共有仮想空間提供装置および方法、並びに提供媒体
EP1116211A4 (en) * 1998-09-22 2001-11-21 Vega Vista Inc INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN
US6935747B2 (en) 1999-04-27 2005-08-30 Optical Products Development Image enhancement and aberration corrections in a small real image projection system
JP2000350865A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
EP1083076A3 (en) * 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
JP2001189902A (ja) 1999-12-28 2001-07-10 Nec Corp ヘッドマウンテッドディスプレイ制御方法及びヘッドマウンテッドディスプレイ装置
US6771294B1 (en) 1999-12-29 2004-08-03 Petri Pulli User interface
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US6603491B2 (en) 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
AU2001275308A1 (en) 2000-06-06 2001-12-17 Frauenhofer Institut Fuer Graphische Datenverarbeitung The extended virtual table: an optical extension for table-like projection systems
DE10063089C1 (de) 2000-12-18 2002-07-25 Siemens Ag Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems
US6882869B1 (en) 2000-12-19 2005-04-19 Cisco Technology, Inc. Device, methods, and user interface for providing optimized entry of alphanumeric text
GB2377147A (en) 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US20020158827A1 (en) 2001-09-06 2002-10-31 Zimmerman Dennis A. Method for utilization of a gyroscopic or inertial device as a user interface mechanism for headmounted displays and body worn computers
US7487462B2 (en) 2002-02-21 2009-02-03 Xerox Corporation Methods and systems for indicating invisible contents of workspace
JP3735086B2 (ja) 2002-06-20 2006-01-11 ウエストユニティス株式会社 作業誘導システム
US7693702B1 (en) 2002-11-01 2010-04-06 Lockheed Martin Corporation Visualizing space systems modeling using augmented reality
JP2004318828A (ja) * 2003-03-31 2004-11-11 Seiko Epson Corp データバックアップシステム及びデータバックアップ方法、装着可能なコンピュータ、メール送信システム、画像情報送信システム並びにデータバックアッププログラム
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2005043218A1 (ja) * 2003-10-30 2005-05-12 Brother Kogyo Kabushiki Kaisha 画像表示装置
JP4307222B2 (ja) 2003-11-17 2009-08-05 キヤノン株式会社 複合現実感提示方法、複合現実感提示装置
JP2005315802A (ja) * 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
JP5008556B2 (ja) * 2004-06-03 2012-08-22 メイキング バーチャル ソリッド，エル．エル．シー． ヘッドアップ表示を使用する途上ナビゲーション表示方法および装置
EP1667423B1 (de) 2004-12-02 2009-03-11 Swisscom Mobile AG Verfahren und System zur Wiedergabe des Bildes einer Person
DE102005009437A1 (de) 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
US7548168B2 (en) * 2005-05-24 2009-06-16 Searete Llc Wearable/portable protection for a body
US20070035563A1 (en) 2005-08-12 2007-02-15 The Board Of Trustees Of Michigan State University Augmented reality spatial interaction and navigational system
WO2007020591A2 (en) 2005-08-15 2007-02-22 Koninklijke Philips Electronics N.V. System, apparatus, and method for augmented reality glasses for end-user programming
EP2764899A3 (en) 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
JP5036177B2 (ja) 2005-12-12 2012-09-26 オリンパス株式会社 情報表示装置
US7737867B2 (en) * 2006-04-13 2010-06-15 The United States Of America As Represented By The United States National Aeronautics And Space Administration Multi-modal cockpit interface for improved airport surface operations
KR100782103B1 (ko) * 2006-04-27 2007-12-04 (주)디오컴 안경형 모니터
SE0601216L (sv) 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
EP1881338B1 (en) 2006-07-20 2011-09-07 Semiconductor Energy Laboratory Co., Ltd. Position information detection system and position information detection method
JP5228305B2 (ja) 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
US7978177B2 (en) 2006-09-29 2011-07-12 Varia Holdings Llc Scrolling behavior-influenced algorithm selection to facilitate adaptive scrolling
JP4901539B2 (ja) 2007-03-07 2012-03-21 株式会社東芝 立体映像表示システム
DE102007039442A1 (de) * 2007-08-21 2009-02-26 Volkswagen Ag Verfahren zum Anzeigen von Informationen in einem Fahrzeug und Anzeigeeinrichtung für ein Fahrzeug
US20100159434A1 (en) 2007-10-11 2010-06-24 Samsun Lampotang Mixed Simulator and Uses Thereof
US8102334B2 (en) 2007-11-15 2012-01-24 International Businesss Machines Corporation Augmenting reality for a user
JP4480755B2 (ja) * 2007-12-04 2010-06-16 カルソニックカンセイ株式会社 車両用ヘッドアップディスプレイ装置
JP4470123B2 (ja) * 2007-12-26 2010-06-02 ソニー株式会社 表示制御装置、表示制御方法、及びプログラム
US8615383B2 (en) 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US8217995B2 (en) 2008-01-18 2012-07-10 Lockheed Martin Corporation Providing a collaborative immersive environment using a spherical camera and motion capture
US8126221B2 (en) 2008-02-14 2012-02-28 Ecole Polytechnique Federale De Lausanne (Epfl) Interactive device and method for transmitting commands from a user
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8184218B2 (en) 2008-06-21 2012-05-22 Lensvector Inc. Optically hidden electromagnetic source for generation of spatially non uniform magnetic field and tunable devices made thereof
JP5346941B2 (ja) 2008-09-16 2013-11-20 パナソニック株式会社 データ表示装置、集積回路、データ表示方法、データ表示プログラム及び記録媒体
US8266536B2 (en) 2008-11-20 2012-09-11 Palo Alto Research Center Incorporated Physical-virtual environment interface
EP2211224A1 (en) 2009-01-27 2010-07-28 Thomson Licensing SA Head-mounted display and operating method thereof
US10175848B2 (en) * 2009-02-09 2019-01-08 Nokia Technologies Oy Displaying a display portion including an icon enabling an item to be added to a list
US20100253700A1 (en) 2009-04-02 2010-10-07 Philippe Bergeron Real-Time 3-D Interactions Between Real And Virtual Environments
US8977489B2 (en) * 2009-05-18 2015-03-10 GM Global Technology Operations LLC Turn by turn graphical navigation on full windshield head-up display
JP4679661B1 (ja) 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
KR101302138B1 (ko) * 2009-12-18 2013-08-30 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
US20110161875A1 (en) * 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8405680B1 (en) 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
WO2012054231A2 (en) 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US9330499B2 (en) 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
US20120306850A1 (en) 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9041622B2 (en) 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5900849A (en) * 1995-05-25 1999-05-04 U.S. Philips Corporation Display headset
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US20040093141A1 (en) * 2002-11-13 2004-05-13 Rao Manoharprasad K. Vehicle radar-based side impact assessment method
US20050154505A1 (en) * 2003-12-17 2005-07-14 Koji Nakamura Vehicle information display system

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216520A (zh) * 2014-09-09 2014-12-17 联想(北京)有限公司 一种信息处理方法及电子设备
CN104216520B (zh) * 2014-09-09 2018-07-06 联想(北京)有限公司 一种信息处理方法及电子设备
US10345768B2 (en) 2014-09-29 2019-07-09 Microsoft Technology Licensing, Llc Environmental control via wearable computing system
CN106796417A (zh) * 2014-09-29 2017-05-31 微软技术许可有限责任公司 经由可穿戴计算系统的环境控制
US11334145B2 (en) 2014-11-05 2022-05-17 Valve Corporation Sensory feedback systems and methods for guiding users in virtual reality environments
CN107850953B (zh) * 2014-11-05 2021-08-31 威尔乌集团 用于在虚拟现实环境中引导用户的感官反馈系统和方法
CN107850953A (zh) * 2014-11-05 2018-03-27 威尔乌集团 用于在虚拟现实环境中引导用户的感官反馈系统和方法
CN107430278A (zh) * 2015-03-09 2017-12-01 微软技术许可有限责任公司 基于用户的上下文敏感全息图反应
US10788673B2 (en) 2015-03-09 2020-09-29 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US9881424B2 (en) 2015-08-03 2018-01-30 Boe Technology Group Co., Ltd. Virtual reality display method and system
CN105139349A (zh) * 2015-08-03 2015-12-09 京东方科技集团股份有限公司 虚拟现实显示方法及系统
CN106484085B (zh) * 2015-08-31 2019-07-23 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
CN110275619A (zh) * 2015-08-31 2019-09-24 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
CN106484085A (zh) * 2015-08-31 2017-03-08 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
US10474411B2 (en) 2015-10-29 2019-11-12 Samsung Electronics Co., Ltd. System and method for alerting VR headset user to real-world objects
CN107015638B (zh) * 2015-10-29 2020-06-12 三星电子株式会社 用于向头戴式显示器用户报警的方法和装置
CN107015638A (zh) * 2015-10-29 2017-08-04 三星电子株式会社 用于向头戴式显示器用户报警的方法和装置
US20170123747A1 (en) 2015-10-29 2017-05-04 Samsung Electronics Co., Ltd. System and Method for Alerting VR Headset User to Real-World Objects
CN105635713B (zh) * 2015-12-31 2019-07-26 联想(北京)有限公司 一种显示方法及电子设备
CN105635713A (zh) * 2015-12-31 2016-06-01 联想(北京)有限公司 一种显示方法及电子设备
WO2017120775A1 (zh) * 2016-01-12 2017-07-20 深圳多哚新技术有限责任公司 一种虚拟现实设备及其后盖装置
CN105700139A (zh) * 2016-01-12 2016-06-22 深圳多哚新技术有限责任公司 一种虚拟现实设备及其后盖装置
WO2017120917A1 (zh) * 2016-01-15 2017-07-20 邓娟 进行头戴虚拟游戏时周边动态的提醒方法和头戴虚拟设备
CN108633307A (zh) * 2016-05-17 2018-10-09 谷歌有限责任公司 在虚拟现实环境中投射与真实对象的接触的方法和装置
CN108633307B (zh) * 2016-05-17 2021-08-31 谷歌有限责任公司 在虚拟现实环境中投射与真实对象的接触的方法和装置
CN107436491A (zh) * 2016-05-26 2017-12-05 华冠通讯(江苏)有限公司 虚拟现实显示设备的威胁警示系统及其威胁警示方法
CN106125927B (zh) * 2016-06-23 2019-11-29 捷开通讯(深圳)有限公司 图像处理系统及方法
CN106125927A (zh) * 2016-06-23 2016-11-16 捷开通讯(深圳)有限公司 图像处理系统及方法
WO2017219622A1 (zh) * 2016-06-23 2017-12-28 捷开通讯(深圳)有限公司 图像处理系统及方法
US11808943B2 (en) 2016-07-25 2023-11-07 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
US11327312B2 (en) 2016-07-25 2022-05-10 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
CN106249883A (zh) * 2016-07-26 2016-12-21 努比亚技术有限公司 一种数据处理方法及电子设备
CN106249883B (zh) * 2016-07-26 2019-07-30 努比亚技术有限公司 一种数据处理方法及电子设备
CN107678535A (zh) * 2016-08-01 2018-02-09 三星电子株式会社 用于图像显示的方法和支持该方法的电子设备
CN106774833A (zh) * 2016-11-17 2017-05-31 网易（杭州）网络有限公司 虚拟现实交互方法及装置
CN107172414A (zh) * 2017-04-20 2017-09-15 北京安云世纪科技有限公司 一种虚拟现实头戴显示器设备及其处理信息的方法
CN108874117A (zh) * 2017-05-15 2018-11-23 环达电脑(上海)有限公司 实景提醒装置及方法
CN110998491A (zh) * 2017-08-02 2020-04-10 微软技术许可有限责任公司 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物
CN110831676A (zh) * 2017-08-24 2020-02-21 惠普发展公司，有限责任合伙企业 可穿戴设备的碰撞避免
CN111108746A (zh) * 2017-09-22 2020-05-05 惠普发展公司，有限责任合伙企业 对象的检测
US11335177B2 (en) 2017-09-22 2022-05-17 Hewlett-Packard Development Company, L.P. Detection of objects based on change in wireless signal
CN111164540B (zh) * 2017-09-28 2022-04-15 苹果公司 用于在模拟现实会话期间呈现物理环境交互的方法和设备
CN111164540A (zh) * 2017-09-28 2020-05-15 苹果公司 用于在模拟现实会话期间呈现物理环境交互的方法和设备
CN108509043A (zh) * 2018-03-29 2018-09-07 联想(北京)有限公司 一种交互控制方法及系统
CN108509043B (zh) * 2018-03-29 2021-01-15 联想(北京)有限公司 一种交互控制方法及系统
CN111443805A (zh) * 2020-03-26 2020-07-24 维沃移动通信有限公司 一种显示方法及可穿戴电子设备

Also Published As

Publication number Publication date
WO2013052855A2 (en) 2013-04-11
US20160232717A1 (en) 2016-08-11
US9081177B2 (en) 2015-07-14
WO2013052855A3 (en) 2013-05-30
US20130335301A1 (en) 2013-12-19
CN107831908A (zh) 2018-03-23
US9552676B2 (en) 2017-01-24
CN103975268B (zh) 2018-01-16
US9341849B2 (en) 2016-05-17
CN107831908B (zh) 2020-11-17
US20150277119A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
CN103975268A (zh) 具有附近物体响应的可穿戴计算机
US10379346B2 (en) Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US10417496B2 (en) Visibility enhancement devices, systems, and methods
US10275023B2 (en) Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
US20170372499A1 (en) Generating visual cues related to virtual objects in an augmented and/or virtual reality environment
KR102058891B1 (ko) 헤드 장착식 디스플레이를 위한 반응성 사용자 인터페이스
US20200097093A1 (en) Touch free interface for augmented reality systems
JP6280134B2 (ja) ヘルメットベースのナビゲーション通知方法、装置およびコンピュータプログラム
US8953841B1 (en) User transportable device with hazard monitoring
US9058054B2 (en) Image capture apparatus
US20170228931A1 (en) Limited field of view in virtual reality
CN103959135A (zh) 基于头部角度触发的动作
WO2017171943A1 (en) Pass-through camera user interface elements for virtual reality
US20130246967A1 (en) Head-Tracked User Interaction with Graphical Interface
US20130117707A1 (en) Velocity-Based Triggering
CN104115100A (zh) 头戴式显示器、用于控制头戴式显示器的程序及控制头戴式显示器的方法
WO2018008210A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20150185971A1 (en) Ring-Based User-Interface
JP2018088118A (ja) 表示制御装置、制御方法、プログラム及び記憶媒体
CN114648623A (zh) 信息处理装置、信息处理方法以及计算机可读介质
KR20210129575A (ko) 위젯을 이용한 차량용 인포테인먼트 장치와 그의 동작 방법
JP2021057059A (ja) 表示制御装置、制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Google Inc.

Address before: California, USA

Patentee before: Google Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180116

Termination date: 20211005