CN104641318A - 在头戴式显示器上提供用户界面的装置和方法及其头戴式显示器 - Google Patents

在头戴式显示器上提供用户界面的装置和方法及其头戴式显示器 Download PDF

Info

Publication number
CN104641318A
CN104641318A CN201380047804.0A CN201380047804A CN104641318A CN 104641318 A CN104641318 A CN 104641318A CN 201380047804 A CN201380047804 A CN 201380047804A CN 104641318 A CN104641318 A CN 104641318A
Authority
CN
China
Prior art keywords
target
hmd
pattern
detected
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380047804.0A
Other languages
English (en)
Other versions
CN104641318B (zh
Inventor
金志桓
李度泳
千西内
赵殷亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104641318A publication Critical patent/CN104641318A/zh
Application granted granted Critical
Publication of CN104641318B publication Critical patent/CN104641318B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming

Abstract

公开了一种在头戴式显示器上提供用户界面(UI)的装置和方法及其头戴式显示器(HMD)。该装置包括：传感器单元，其被配置成检测目标是否存在于HMD的附近，并且如果检测到目标，则感测在目标和HMD之间的距离，和处理器，其被配置成，如果检测到的目标是在离HMD预先确定的距离之内，则应用实体用户界面(UI)模式，其中实体UI模式提供用于虚拟目标的显示，处理器被进一步配置成：当虚拟目标是3维(3D)目标，并且3D目标包括触摸识别表面时，调整虚拟目标的显示距离，以便触摸识别表面与目标的表面重合，和基于调整的显示距离，显示虚拟目标。

Description

在头戴式显示器上提供用户界面的装置和方法及其头戴式显示器
技术领域
本发明的示例的实施例涉及提供用户界面(UI)和/或用户体验(UX)(在此处，以后称为“UI”)的装置和方法，更具体涉及确定最佳的UI，和在头戴式显示器上提供UI的装置和方法及其头戴式显示器。
背景技术
UI技术是一种帮助用户方便地利用各种的数字设备的界面方法。更详细地，UI技术是用户相对交互作用以便用户和数字设备提供和获得信息的程序的一部分。例如，其被称作命令行界面，其中用户输入运行程序的命令，由菜单选择的命令操作的菜单驱动的界面，和图形用户界面(GUI)，其中图形显示程序通过使用位置定位设备，诸如光笔、鼠标、控制球和操纵杆操作。此外，近来，由用户的动作命令操作的手势UI，和无需他的或者她的动作由用户的语音操作的语音识别UI已经被开发去应用于数字设备。
此外，作为朝着最小化数字设备的重量和尺寸方向的趋势，已经开发了各种的可佩带的数字设备。作为可佩带的数字设备的一种，已经开发了可以在面部上佩戴的头戴式显示器(HMD)，就像眼镜。除简单显示器使用以外，HMD可以与诸如增加实体技术，和N个屏幕技术的技术协作，提供用户许多各种的便利。
发明内容
技术问题
因此，前面提到的各种的UI技术可以应用于HMD。但是，因为HMD可以由用户佩戴，并且自由地移动，所以其很难确定用于HMD的最佳的UI。因此，考虑到HMD的特征和在HMD附近的周围环境条件，需要提供非常有效和便利的UI的技术。
技术方案
因此，本发明示例的实施例提出一种提供用户界面的装置和方法，其大体上消除由于现有技术的限制和缺点而造成的一个或多个问题。
有益效果
本发明示例的实施例提供一种考虑到HMD的特征和在HMD附近的周围环境条件，提供非常有效和便利的UI的技术。
附图说明
该伴随的附图被包括以提供对本发明进一步的理解，并且被结合进和构成本申请书的一部分，其图示本发明的示例的实施例，并且与该说明书一起可以起解释示例的实施例原理的作用。在附图中：
图1a和1b示出根据本发明示例的实施例解释HMD的图；
图2示出根据本发明示例的实施例用于HMD内部配置的框图；
图3和4示出作为本发明的第一示例的实施例根据目标位置的UI模式确定过程的流程图；
图5a、5b和5c是示出UI模式确定过程如何应用于本发明的第一示例的实施例的图；
图6a和6b示出根据本发明示例的实施例的实体UI模式(例如，键盘、绘图)的示例；
图7a和7b示出根据本发明示例的实施例的非实体UI模式(例如，语音、手势)的示例；
图8和9示出作为本发明第二示例的实施例考虑到HMD视角的UI模式确定的流程图；
图10a和10b是示出UI模式确定过程如何应用于本发明的第二示例的实施例的图；
图11和12示出作为本发明的第三示例的实施例考虑到目标类型的UI模式确定的流程图；
图13a和13b是示出UI模式确定过程如何应用于本发明的第三示例的实施例的图；
图14和15示出作为本发明的第四示例的实施例利用在视角内的数字设备的UI模式确定过程的流程图；
图16是示出UI模式确定过程如何应用于本发明的第四示例的实施例的图；
图17和18示出作为本发明的第五示例的实施例利用数字设备的UI模式确定过程的流程图；
图19a和19b图示显示包括一个触摸识别表面的虚拟的3D目标的HMD；
图20a和20b图示显示包括多个触摸识别表面的虚拟的3D目标的HMD；
图21a、21b、21c和21d图示基于用户的手势显示包括多个触摸识别表面的虚拟的3D目标的HMD；
图22是根据本公开的实施例在HMD中提供用户界面的流程图；和
图23是根据本公开的另一个实施例在HMD中提供用户界面的流程图。
具体实施方式
示例的实施例的一个目的是提供头戴式显示器用户界面(HMDUI)，提供考虑到在HMD附近的周围环境条件而最佳的HMDUI。特别地，示例的实施例的另一个目的是基于是否用于HMD UI的可使用的目标存在于HMD的附近，不同地应用HMD UI。
示例的实施例的另一个目的是基于在目前使用的HMD附近的周围环境条件，改变和提供最佳的HMD UI。
在下面的描述中将在某种程度上阐述示例的实施例的额外的优点、目的和特点，在参阅以下内容时或者可以从示例的实施例的实践中获悉，在某种程度上对于那些本领域普通的技术人员将变得显而易见。通过尤其在著述的说明书和此处的权利要求以及所附的附图中指出的结构，可以实现和获得示例的实施例的目的和其它的优点。
为了实现这些目的和其它的优点，和按照示例的实施例的目的，如在此处实施和广泛地描述的，一种提供用户界面(UI)的方法，包括：检测是否目标存在于HMD的附近；感测在检测到的目标和HMD之间的距离；如果目标是在离HMD预先确定的距离范围之内，应用实体用户界面(UI)模式，其中实体UI模式提供用于虚拟目标的显示；当虚拟目标是3维(3D)目标，并且3D目标包括触摸识别表面时，调整虚拟目标的显示距离，以便触摸识别表面与目标的表面重合；和基于调整的显示距离，显示虚拟目标。
在示例的实施例的另一个方面中，一种包括用于头戴式显示器(HMD)的用户界面(UI)装置的UI装置，包括：传感器单元，配置成检测是否目标存在于HMD的附近，并且如果检测到目标，则感测在目标和HMD之间的距离；和处理器，其被配置成，如果检测到的目标是在离HMD预先确定的距离范围之内，则应用实体用户界面(UI)模式，其中实体UI模式提供用于虚拟目标的显示，处理器被进一步配置成：当虚拟目标是3维(3D)目标，并且3D目标包括触摸识别表面时，调整虚拟目标的显示距离，以便触摸识别表面与目标的表面重合，和基于调整的显示距离，显示虚拟目标。
应该明白，实施例的上文的概述和后面的详细说明两者是示例性和说明性的，并且作为权利要求意欲对示例的实施例提供进一步解释。
现在将详细地介绍本发明的示例的实施例，其示例在伴随的附图中图示。只要可能，贯穿本附图将使用相同的附图标记以涉及相同的或者类似的部分。
图1a和1b示出根据本发明示例的实施例作为例子解释HMD的图。更详细地，图1a表示HMD 100的外部配置的示例，并且图1b表示在用户10上佩戴的HMD 100的示例。因此，本发明不局限于HMD100的外部配置，并且明显地可以使用HMD的任何外部配置以实现示例的实施例。
特别地，UI被应用于的HMD 100包括显示屏幕101和至少一个传感器102。不仅所有内容和图像由HMD经由显示屏幕101提供给用户10，而且提供有关示例的实施例的UI的信息。此外，HMD 100包括至少一个传感器102，检测在HMD 100附近的周围环境条件，并且被使用作为确定运行这样的传感器功能的HMD UI的重要的元素。此外，HMD 100能够包括以便用户10在头部佩戴HMD 100的支撑部件103和在耳朵中可佩带的音频输出单元104。
图1b示出在用户10上佩带的HMD 100，以便解释目前使用的HMD 100的状态的图。按照提及的实施例，HMD 100包括视角区200的预先确定的距离。视角区200是对应于佩带HMD 100的用户10的预先确定的区域，并且可以包括在HMD 100的正向中具有某个角度的区域。此外，按照该实施例，HMD 100和外部数字设备(在图中未示出)可以由网络300连接去通信。例如，可使用的无线网络是近场通信(NFC)、Zigbee、红外通信、蓝牙和WIFI。也就是说，在示例的实施例中，在HMD 100和数字设备之间的通信可以由以上列举的网络300或者它们的组合的一个实现。但是，示例的实施例不局限于如上所述的那些。
图2示出用于HMD内部配置的框图。
按照图2，示例的实施例的HMD 100包括处理器110、传感器单元120、存储单元130、通信单元140、用户输入单元150、显示控制器160、UI控制单元170。
传感器单元120可以内部地或者外部地配备在HMD 100中，并且通知处理器110该HMD 100识别的周围环境条件。因而，传感器单元120可以包括多个感测方法。例如，传感器单元120不仅检测在HMD100附近，称作“目标”的目标或者事物，而且确保检测到的目标的类型，并且可以包括感测在检测到的目标和HMD之间距离的目标传感器121。此外，传感器单元120可以包括感测HMD 100视角的视角传感器122。目标传感器121和视角传感器122的更加详细的功能和操作将在下面图示。因此，传感器单元，例如，可以类似在图1a中的102内部地或者外部地配备在HMD中。
此外，可以配置有多个感测方法的传感器单元120例如包括重力传感器、磁性传感器、运动传感器、陀螺传感器、加速度传感器、红外传感器、倾斜传感器、亮度传感器、仰角传感器、嗅觉传感器、温度传感器、深度传感器、压力传感器、弯曲传感器、音频传感器、视频传感器、全球定位系统(GPS)传感器和触摸传感器。但是，示例的实施例不局限于该列举的。也就是说，传感器单元120感测HMD用户和在他或者她附近的周围环境条件，并且发送感测的结果，以便处理器110据此操作是足够的，并且传感器单元120的详细感测方法不局限于列举的感测方法。
此外，存储单元130可以存储各种的数字数据，诸如视频、音频、图片、电影片断和应用。存储单元130表示各种的数字数据存储空间，诸如闪存、随机存取存储器(RAM)和固态硬盘(SSD)。
此外，通信单元140通过与外部数字设备执行通信发送和接收数据和各种的协议。示例的实施例的HMD 100通过使用通信单元140与在HMD 100附近的数字设备执行配对和连接通信。另一方面，通信单元140可以包括多个天线。HMD 100通过使用多个天线检测正在与HMD通信的数字设备的位置。也就是说，HMD 100通过使用在经由多个天线发送或者接收的信号之间的时间和高度差，检测正在与HMD通信的数字设备的位置。
此外，用户输入单元是接收控制HMD 100的使用的用户控制命令的设备。用户控制命令可以包括用户配置命令。例如，按照示例的实施例的实施例，用户10可以设置对应于在HMD UI附近的周围环境条件的操作，并且无需周围环境条件，通过使用来自用户输入单元150的用户控制信息预先确定某个UI模式。因此，基于由用户预先确定的设置，当HMD UI被设置对应于周围环境条件操作时，UI模式可以按照示例的实施例的实施例自动地变化。同时，基于由用户预先确定的设置，当不考虑周围环境条件，特定UI模式是固定时，如果固定的UI模式处于可操作状态下，则固定的UI模式将在“开”状态上操作，并且如果不是，则UI模式将在“关”状态上操作。
此外，显示控制单元160在HMD显示屏幕101上输出电影或者图像。此外，按照实施例，显示控制单元160对HMD外部目标提供以成像的UI屏幕，或者执行用于对外部数字设备提供UI屏幕的控制功能。此外，按照实施例，显示控制单元160提供信息去按照确定的UI确定用于HMD显示屏幕101的UI或者图像。详细描述将进一步图示。
此外，UI控制单元170对HMD用户提供UI，并且控制提供的UI。UI控制单元170包括实体UI控制单元171和非实体UI控制单元172。
作为实体UI控制单元171表示可以具有与用户实际接触的UI，例如，其可以是作为实施例的虚拟键盘UI和绘图UI。虚拟键盘UI表示在HMD附近的检测到的目标的表面上显示虚拟键盘，接收通过用户的键盘触摸的命令，并且据此操作的UI方法。此外，绘图UI表示在HMD附近的检测到的目标的表面上提供虚拟的绘图板，并且在绘图板上，由用户使用绘图工具，诸如电子笔或者手指输入命令的UI方法。此外，由于非实体UI控制单元172表示不具有与用户实际接触的UI，例如，其可以作为实施例是手势UI和语音识别UI。因此，UI方法的详细描述将进一步图示。
因此，在示例的实施例中图示的实体和非实体UI是某些UI方法，并且不局限于仅仅前面提到的虚拟键盘、绘图、手势和语音识别UI。也就是说，实体UI表示可以具有与目标实际接触的所有UI，并且非实体UI表示不需要与目标实际接触的所有UI。
由于处理器110是主HMD控制器，其不仅控制HMD 100的每个块，而且控制在每个块之间的信息和数据传输和接收。在下文中，示例的实施例的详细过程可以主要地由处理器110的控制操作来操作。因此，在图2中示出的HMD 100的内部配置框图作为仅仅用于解释目的的实施例图示。因此，在图2中示出的每个块可以整个地组合，或者某些必要的块可以整个地分解和组合。例如，处理器110可以与UI控制单元合成为组合的控制器。
图3和4作为示例的实施例的实施例示出按照目标位置的HMDUI模式确定过程的流程图。此外，图5a、5b、5c、6a、6b、7a和7b是解释本发明示例的实施例的图。
在示例的实施例中，目标是存在于在HMD上佩带的用户附近的物体或者实体，并且其包括例如墙、桌子和球。示例的实施例的第一个实施例基于在HMD 100附近的目标的检测应用UI模式。进一步描述如下。
应用HMD的UI模式确定过程由用户的请求或者自动化系统设置操作S110。例如，S110可以基于由用户确定的设置操作。更详细地，例如，用户10可以按照在HMD UI附近的周围环境条件预先确定设置，并且在那种情况下，处理器110可以控制HMD，使得HMD UI按照周围环境条件自动地变化。在下文中，在HMD UI被预置以按照周围环境条件操作的情形下，本发明示例的实施例将描述最佳的HMD UI确定过程。
按照示例的实施例的第一个实施例，HMD UI模式过程包括目标位置确定S120和HMD UI模式确定S130的步骤。当HMD UI模式过程开始时，HMD处理器110检测在HMD附近的目标，并且经由目标传感器S121确定目标的位置。基于S121确定的结果，处理器110将在HMD和目标之间的关系分为三个状态。
例如，在图5a，当检测到目标时，并且检测到的目标保持在其中实体反馈是可能的距离之内时，其被称作F1状态，如在S122示出的。此外，在图5b，当检测到目标时，并且检测到的目标没有保持在其中实体反馈是可能的距离之内时，其被称作F2状态，如S123示出的。最后，在图5c，当目标不存在于HMD附近时，其被称作F3状态，如S124示出的。
在图5a、5b和5c中F1、F2和F3状态的进一步说明如下。HMD100处理器110确定目标400是否存在，并且经由目标传感器121定位其位于哪里。例如，图5a和5b说明在HMD附近检测到目标400时，并且图5c说明目标不存在时。此外，图5a示出在检测到的目标400和HMD之间的距离(称作D1)小于预先确定的距离(称作Th)时，S122。另一方面，图5b示出在检测到的目标400和HMD之间的距离(称作D2)大于预先确定的距离(称作Th)时。因此，该预先确定的距离Th可以被设置为其中用户可以具有与目标400实际接触并且触摸目标400的距离。因此，图5a的F1状态表示其中用户可以触摸目标的状态，并且图5b的F2状态表示其中即使目标存在，但用户无法触摸目标400的状态。此外，图5c的F3状态是其中目标400不存于HMD附近的状态。
当在HMD附近目标的状态经由S121的步骤被确定为F1(S122)、F2(S123)，或者F3(S124)时，HMD处理器110选择HMD UI，并且由UI控制单元170对其操作。例如，在F1(S122)的情况下，应用前面提到的实体UI模式S131，并且在F2状态(S123)或者F3状态(S124)的情况下，应用前面提到的非实体UI模式S132。这些实体和非实体UI模式也可以分别地称为目标和非目标模式。
此外，虽然某个HMD UI当前正在经由S131、S132或者S133应用，但是处理器110连续地检测目标，并且确定目标S121的位置，并且当状态，例如，从F1变到F3，或者从F2变到F1时，HMD UI模式可以自动地变化。因此，在实施例中，当UI模式自动地变化时，有可能通知用户10该变化。
因此，作为F1状态应用于表示用户10可以直接接触或者触摸UI的UI模式，其例如可以是在图6a中示出的虚拟键盘UI方法，或者在图6b中示出的绘图UI方法。但是，这些仅是示例的实施例的实施例，并且可以实际触摸的其它各种的UI方法可以明显地存在。
例如，图6a的虚拟键盘UI方法在检测到的目标400的表面上显示虚拟键盘410，并且通过触摸虚拟键盘410产生用户直接输入的命令。然后，相应的目标400对用户10提供触摸感觉，使得用户10可以有效地使用虚拟键盘410。此外，图6b的绘图UI方法是例如其中可以绘制的虚拟窗口420显示在检测到的目标400的表面上，并且通过使用笔430，用户10产生期望的命令的方法。然后，相应的目标400对用户10提供触摸感觉，使得用户10可以有效地使用笔430。
因此，当实体UI模式在S131中被选择为HMD UI时，多个实体模式UI的一个可以通过用户的设置或者系统的设置选择。例如，由于用户10可以通过使用用户输入单元150预先确定该设置，所以在实体UI模式确定的情况下，有可能或者在图6a中示出的虚拟键盘的一个，或者在图6b中示出的绘图UI方法可以被提前地设置为默认。或者，当用户的设置不存在时，UI控制单元170可以确定是否诸如笔430的绘图输入设备存在。如果绘图输入设备存在，则在图6b中示出的绘图UI方法可以提前地选择，并且如果绘图设备不存在，则在图6a中示出的虚拟键盘可以被提前地选择。此外，虽然UI方法已经提前地选择，但是如果存在任何变化，则可以使用不同的UI方法。例如，当用户10正在使用在图6a中示出的虚拟键盘UI方法时，在用手抓住绘图输入设备的情况下，在图6b中示出的绘图UI方法可以自动地使用。此外，关于原始确定的UI模式，当用户希望改变为特定UI模式时，用户可以随时地改变UI模式。
此外，当虚拟键盘UI方法作为实体UI如图6a所示应用时，在目标的表面上的虚拟键盘410的位置可以以各种方式控制。进一步说明如下。
例如，虚拟键盘410可以在用户手10位于的点处生成。也就是说，处理器110确定是否用户手10正在接近，或者触摸目标400的表面，并且控制以在相应的用户手10位于的点处产生虚拟键盘410。因此，由于用户希望的目标被生成，并且虚拟键盘被在目标的表面的某个点处生成，用户可以方便地利用虚拟键盘。
此外，取决于是否用户正在仅仅使用一只手或者双手，有可能生成不同类型和大小的虚拟键盘。例如，UI控制单元170配备有类似小型的键盘的一只手虚拟键盘，或者类似大型的键盘的双手虚拟键盘，并且处理器110通过确定接近或者触摸该目标手指的数目，控制以产生或者一只手或者双手键盘中的一个。
此外，虚拟键盘410的位置可以基于用户的视角确定。例如，处理器110可以控制以确定是否用户正在使用第一视角，右眼的视角，或者第二视角，左眼的视角，或者两者。处理器110然后控制虚拟键盘410，使得虚拟键盘410位于对应于视角的适宜的点处。例如，当仅仅使用一个视角时，对应于视角的适宜的点可以是相应的视角的中心点，或者当使用两个视角时，可以是相应的视角的重叠点。
此外，所有前面提到的实施例可以被组合和使用。也就是说，例如，处理器110可以通过确定是否用户10正在仅仅使用一只手或者双手确定虚拟键盘的类型，并且在用户手10正在接近或者触摸的目标的表面上产生确定的虚拟键盘。此外，处理器110可以首先通过确定是否用户10正在使用一只手或者双手确定虚拟键盘的类型，并且在用户使用的视角的适宜的点处产生确定的虚拟键盘。此外，处理器110可以首先通过确定是否用户10正在使用一只手或者双手确定虚拟键盘的类型，并且在用户使用的视角的适宜的点处产生确定的虚拟键盘，并且移动在用户手10接近或者触摸的目标的表面上产生的虚拟键盘。
此外，处理器110可以首先通过确定是否用户10正在使用一只手或者双手确定虚拟键盘的类型，并且通过将视角的适宜的点与用户10接近或者触摸的目标表面的位置比较，在最适宜的位置处产生确定的虚拟键盘。例如，在用户手10不在视角内的情况下，虚拟键盘可以在视角的边缘处生成。这是因为其确定用户手10对虚拟键盘毫无动作。另一方面，在用户手10在视角内的情况下，虚拟键盘可以在首先用户手10的位置处生成。这是因为其确定用户手10为虚拟键盘的使用作准备。
因此，有关前面提到的虚拟键盘410的类型和位置的各种示例可以同样地应用于在图6b中示出的绘图UI的窗口420的类型和窗口420的位置的确定。
此外，由于F2和F3状态应用于的非实体UI模式是其中用户10没有实际利用目标400的UI模式，例如，其可以是在图7a中示出的语音识别UI方法、在图7b中示出的手势UI方法，或者使用眼球运动的UI。但是，这仅仅是本发明的实施例，并且如提及的，具有与目标400非实际接触的其它各种的UI方法明显地存在。
例如，图7a的语音识别UI方法显示图标440，该图标440显示语音识别UI正在HMD显示器的屏幕上执行，并且一旦输入用户的10语音，语音命令在非实体UI模式控制单元172中经由语音识别过程被识别和转换。然后，语音识别UI方法经由处理器110执行相应的命令。此外，图7b的手势UI方法显示图标450，该图标450显示语音识别UI正在HMD显示器的屏幕上执行，并且用户10的手势，诸如用户的手指移动451和头部移动(未示出)用于输入命令。一旦输入用户的手势，手势命令在非实体UI模式控制单元172中经由手势识别过程被识别和转换，并且相应的命令由处理器110执行。
因此，当非实体UI模式在S132和S133的步骤中被确定为作为HMD UI应用时，多个前面提到的非实体模式UI的任何一个可以由用户的设置或者系统设置选择。例如，由于用户10可以通过使用用户输入单元150预先确定该设置，所以当非实体UI模式正在确定时，或者语音识别UI方法或者手势UI方法的一个可以提前地选择为默认。此外，当用户的设置不存在时，UI控制单元170分析围绕用户10的噪声，并且如果该噪声低于某个水平，则在图7a中的示出的语音识别UI方法被选择，并且如果该噪声高于某个水平，则在图7b中示出的手势UI方法被提前地选择。此外，虽然UI方法被最初确定，但是如果存在任何变化，则可以使用不同的UI方法。例如，当围绕用户10的噪声从低于到高于某个水平变化时，在图7a中示出的语音识别UI方法可以自动地变为在图7b中示出的手势UI方法。此外，关于原始确定的UI模式，用户可以在用户期望的任何时间改变UI方法。另外，就非实体UI模式而论，例如，在图7a中示出的语音识别模式和在图7b中示出的手势UI方法可以被设置同时操作，并且在那种情况下，用户10可以利用语音识别UI或者手势UI或者两者去发送命令。
图8和9示出作为示例的实施例的第二个实施例考虑到HMD视角的UI模式方法的流程图。此外，图10a和10b是示出UI模式确定过程如何应用于第二个实施例的图。因此，当UI模式正在确定时，示例的实施例的第二个实施例考虑大于第一个实施例的视角。进一步说明如下。
按照示例的实施例的第二个实施例，HMD UI模式确定过程包括目标位置确定S220、视角确定S230，和HMD UI模式确定S240的步骤。一旦HMD UI模式确定过程开始S210，处理器110检测在HMD附近的目标，并且确定检测到的目标S221的位置。在S221的步骤之后，处理器110确定是否在HMD和目标之间的关系是前面提到的F1、F2或者F3状态的一个。例如，当检测到目标时并且检测到的目标保持在其中实体反馈是可能的距离之内时(S122)，其被称作F1状态。此外，当检测到目标时并且检测到的目标没有保持在其中实体反馈是可能的距离之内时(S123)，其被称作F2状态。最后，当目标不存在于HMD附近时(S124)，其被称作F3状态。
然后，在确定F1状态S222之后，HMD 100处理器110进一步经由视角传感器120确定是否检测到的目标是在HMD视角的范围之内。例如，按照S231，视角可以具有二个状态。进一步描述根据图10a和10b如下。
图10a示出用于目标400在HMD视角内的流程图，并且该情形称作S1状态。此外，图10b示出用于不在HMD视角内目标400的流程图，并且该情形称作S2状态。也就是说，S1状态表示在HMD附近的目标400不仅在预先确定的距离内，而且在用户10的视角内存在。另一方面，S1状态表示在HMD附近的目标400是在预先确定的距离范围之内，但是不在用户10的视角内。
如果HMD处理器110经由S231的步骤确认S1状态S232，则HMDUI模式可以确定为实体UI模式，并且经由前面提到的实体UI模式控制单元171作为虚拟键盘UI或者绘图UI操作(S241)。在第一个实施例中示出的实体UI类型和操作方法可以同样地应用于第二个实施例。
此外，如果HMD处理器110经由S231的步骤确认S2状态S233，则目标400的位置在预先确定的时间段，例如，5秒(5s)或者10秒(10s)内被连续地确认(S234)。在S234的步骤中，如果目标400在预先确定的时间段内在视角内被重新检测到，也就是说，如果S2状态被转变为S1状态，则实体UI模式将保持(S242)。此外，如果当前正在应用非实体UI模式，则其将转变为实体UI模式(S242)。因此，在预先确定的时间段内用户10的状态从S2状态改变为S1状态的事实表示用户10暂时地从目标400转移目光，并且不意欲永久地从其转移目光。也就是说，在那种情况下，由于用户的临时眼球运动(假定短期的意图)，实体UI模式将保持，并且如果当时存在的UI模式是非实体UI模式，则UI模式可以转变为实体UI模式是合适的。
另一方面，在S234的步骤中，如果在预先确定的时间段(例如，5或者10秒)内在视角内没有检测到目标400，也就是说，如果S2状态保持，或者转变为F2或者F3状态，则UI模式将转变为非实体UI模式(S243)。或者，如果当前正在应用实体UI模式，则其将转变为非实体UI模式(S243)。
因此，在S234的步骤中，如果用户10的S2状态保持预先确定的时间段，则其被认为用户10意欲长期从目标400转移目光。也就是说，在那种情况下，由于用户意图长期的转移目光，如果当时存在的UI模式是实体UI模式，则保持非实体UI模式或者转变为非实体UI模式是合适的。此外，经由S234的步骤，如果用户10状态在预先确定的时间段内转变为F2或者F3状态，则其被认为用户10正在移动远离目标400。也就是说，在那种情况下，由于目标400无法利用实体UI模式，所以非实体UI模式可以保持，并且如果当时存在的UI模式是实体模式，则其可以被转变为非实体UI模式。
此外，在实体UI模式就像在S241和S242的步骤中示出的那样应用的情况下，处理器110连续地确定是否用于实体UI的目标400没有保持HMD视角内(S241/S242)？(S231)。另一方面，在非实体UI模式就像在S243和S244的步骤中示出的那样应用的情况下，处理器110连续地确定是否在预先确定的距离内检测到目标400(S221)。
图11和12作为示例的实施例的第三个实施例示出关于目标类型的UI模式确定过程的流程图。此外，图13a和13b示出UI模式确定如何应用于第三个实施例的图。因此，第三个实施例考虑大于第二个实施例的目标类型。进一步说明如下。
按照示例的实施例的第三个实施例，HMD UI模式确定过程包括目标位置确定S320、视角确定S330、目标类型确定S340，和HMD UI模式确定S350的步骤。一旦HMD UI模式确定过程开始S310，HMD处理器110通过目标传感器121检测在HMD附近的目标，并且确定检测到的目标的位置S321。在确定S321的步骤之后，处理器110确定在HMD和目标之间的关系作为前面提到的F1、F2和F3状态的一个。例如，当检测到目标时，并且检测到的目标保持在其中实体反馈是可能的距离之内时，其被称作F1状态，如在S322中示出的。此外，当检测到目标时，并且检测到的目标没有保持在其中实体反馈是可能的距离之内时，其被称作F2状态，如在S323中示出的。最后，在S324中示出，当目标不存在于HMD附近时，其被称作F3状态。
然后，在已经确定F1状态(S322)的情况下，HMD 100处理器110进一步确定是否检测到的目标是在HMD视角的范围之内(S331)。例如，按照S331的步骤，其可以确定或者S1或者S2状态。
经由S331的步骤，如果HMD处理器110确认在当前的HMD和目标之间的关系是S2状态(S333)，则目标400的位置将在预先确定的时间段(例如，5、10秒)内被连续地确认。在S334的步骤中，如果目标在预先确定的时间段内在视角内被检测到，也就是说，如果该状态被转变为S1状态，则实体UI模式将被保持，或者该模式将被转变为实体UI模式(S352)。也就是说，经由S334的步骤，用户10的状态在预先确定的时间段内从S2改变为S1的事实表示用户10暂时地从目标400转移目光，并且不意欲从目标400转移目光。也就是说，在那种情况下，由于用户意图短期的转移目光，所以实体UI模式可以保持，或者如果当时存在的UI模式是非实体UI模式，则当时存在的UI模式可以转变为实体UI模式是合适的。
另一方面，在S334的步骤中，如果在预先确定的时间段内没有在视角内检测到目标，也就是说，如果S2状态保持，或者如果其被转变为F2或者F3状态，则非实体UI模式可以保持，或者UI模式可以被转变为非实体UI模式(S353)。也就是说，经由S334的步骤，如果用户10的状态在预先确定的时间段内被保持为S2状态，则其被认为用户10从目标转移目光，并且意欲转移目光。因此，在那种情况下，由于用户意图长期的转移目光，所以非实体UI模式可以保持，或者如果当时存在的UI模式是实体UI模式，则UI模式可以转变为非实体UI模式。此外，经由S334的步骤，如果用户10状态在预先确定的时间段内转变为F2或者F3状态，则其被认为用户10正在移动远离目标400。也就是说，在那种情况下，由于目标400无法利用UI，所以非实体UI模式可以保持，或者如果UI模式是实体UI模式，则UI模式可以被转变为非实体UI模式。
另一方面，如果经由视角确定S331的步骤，在当前的HMD和目标之间的关系被确认为是S1状态S332，则HMD处理器110进一步确定目标类型(S341)。因此，目标类型是目标的外部形状，并且可以基于是否目标是用户可对接的分类。例如，在图13a中示出的墙461或者桌子462是用户可以容易地与其接触或者用户可对接的类型1。相比之下，例如，在图13b中示出的篮球463是用户无法容易地与其接触或者不是用户可对接的类型2。
当HMD处理器110经由目标类型确定S341的步骤确定相应的目标是类型1时，其确定实体UI模式为HMD UI模式(S351)。然后，经由前面提到的实体UI模式控制单元171，UI方法，诸如可以接触或者触摸类型1目标，诸如墙461和桌子462的虚拟键盘UI和绘图UI将操作。
此外，当HMD处理器110经由目标类型确定的步骤S341确定相应的目标是类型2时，其选择非实体UI模式为HMD UI模式(S353)。然后，经由前面提到的非实体UI模式控制单元172，不考虑在预先确定的距离和视角内存在的类型2目标463，可应用的非实体UI方法，诸如语音识别UI和手势UI将操作。因此，在第一个实施例中示出的实体和非实体UI的类型和操作方法将在第三个实施例中同样应用。
此外，在实体UI模式就像在S351和S352中示出的那样应用的情况下，处理器110连续地确定是否用于实体UI的目标400没有保持在HMD视角内(S351/S352)？(S331)。另一方面，在非实体UI模式就像在S343和S344的步骤中示出的那样应用的情况下，处理器110连续地确定是否在预先确定的距离内检测到目标400(S343/S344)？(S321)。
图14和15作为第四个实施例示出考虑检测新的数字设备的UI模式确定的流程图。此外，图16示出UI模式确定如何应用于第四个实施例的图。因此，示例的实施例的第四修改考虑检测大于第二个实施例的新的数字设备。进一步描述如下。
按照示例的实施例的第四个实施例，HMD UI模式确定过程包括目标位置确定S420、视角确定S430、数字设备检测和位置确定S440和HMD UI模式确定S450的步骤。一旦HMD UI模式确定过程开始S410，HMD处理器110通过目标传感器121检测在HMD附近的目标，并且确定目标的位置S421。在确定S421的步骤之后，处理器110确定在HMD和目标之间的关系作为前面提到的F1、F2和F3状态的一个。例如，当检测到目标时，并且检测到的目标保持在其中实体反馈是可能的距离之内时，其被称作F1状态，如在S422中示出的。此外，当检测到目标时，并且检测到的目标没有保持在其中实体反馈是可能的距离之内时，其被称作F2状态，如在S423中示出的。最后，在S424中示出，当目标不存在于HMD附近时，其被称作F3状态。
然后，在已经确定F1状态(S422)的情况下，HMD 100处理器110进一步通过视角传感器120确定是否检测到的目标是在HMD视角的范围之内(S431)。例如，按照S431的步骤，其可以确定或者S1或者S2状态。
经由S431的步骤，如果HMD处理器110确定检测到的目标不在视角(S2状态，S433)内，则其确定是否在预先确定的距离内存在新的数字设备(S441)。例如，按照图16，HMD用户10可以从初始检测到的目标400转移目光到附近数字设备500。因此，在那种情况下，如果经由S441的步骤在预先确定的距离内检测到新的设备500，则HMD处理器110通过使用通信单元140试图执行与相应的数字设备500的连接通信。一旦在HMD 100和设备500之间连接通信，HMD处理器110通过使用UI控制单元170利用在数字设备500中的显示方法510作为实体模式(S452)。
此外，在S441的步骤中，如果其被认为新的数字设备在视角内不存在，则HMD处理器110解释用户意欲长期的转移目光，并且保持非实体UI模式。如果初始UI模式是实体UI模式，则其可以被转变为非实体UI模式。
另一方面，经由视角确定S431的步骤，如果HMD处理器110确定检测到的目标是在预先确定的距离范围之内(S1状态，S432)，则HMD处理器110将实体UI模式作为HMD UI模式操作(S451)。在第一修改中示出的实体和非实体UI的类型和操作方法将在第四修改中同样应用。
此外，虽然在图中没有示出，按照S451的步骤，如果在预先确定的距离内检测到新的数字设备，同时在预先确定的距离内的目标正在作为实体UI应用，则相应的新的数字设备的显示功能可以作为实体UI模式使用。例如，在目标表面上的实体UI可以被删除，但是，删除的实体UI可以被除去，并且应用于数字设备的显示。此外，实体UI可以停留在目标的表面上，并且数字设备的显示功能可以用作不同于目标的表面的实体UI的另一个实体UI。例如，目标表面的实体UI可以用作虚拟键盘UI，并且数字设备的显示功能可以用作绘图UI。此外，例如，目标表面的实体UI可以用作虚拟键盘的数字键区，并且数字设备的显示功能可以用作虚拟键盘的字母键区。
此外，在实体UI模式就像在S451和S452中示出的那样应用的情况下，处理器110连续地确定是否用于实体UI的目标400或者数字设备500没有保持在HMD视角内(S451/S452->S431)。另一方面，在非实体UI模式就像在S453和S454中示出的那样应用的情况下，处理器110连续地确定是否在预先确定的距离内检测到目标(S453/S454->S321)。
图17和18作为示例的实施例的第五个实施例示出考虑数字设备检测的UI模式确定的流程图。进一步说明如下。
按照第五个实施例，HMD UI模式包括数字设备检测和位置确定S520和HMD UI模式确定S530的步骤。当HMD UI模式确定过程开始时S510，HMD处理器110使用目标传感器121和通信单元140检测在HMD附近的数字设备，并且确定检测的数字设备的位置(S521)。在确定S521的步骤之后，处理器110确定在HMD和数字设备之间的关系作为前面提到的F1、F2和F3状态的一个。例如，当检测到设备时，并且检测的设备保持在其中实体反馈是可能的距离之内时，其被称作F1状态，如在S522中示出的。此外，当检测到设备时，并且检测的设备没有保持在其中实体反馈是可能的距离之内时，其被称作F2状态，如在S523中示出的。最后，在S524中示出，当设备在HMD附近不存在时，其被称作F3状态。
如果HMD处理器110确定其是F1状态S522，则HMD处理器110经由通信140执行连接通信(S531)。如果通信连接完成，则HMD处理器110经由前面提到的UI控制单元170通过使用在设备中的显示器操作实体UI模式(S531)。也就是说，配备在相应的设备中的显示器可以作为HMD虚拟键盘使用。另一方面，如果HMD处理器110确定其是F2状态(S523)或者F3状态(S524)，则HMD处理器110经由前面提到的UI控制单元170操作非实体UI模式(S533)。
在下文中，将解释用于应用实体UI模式的HMD的额外的实施例。
如上所述，实体UI模式通常公知使用其中用户可以实际接触的各种的方法描述在HMD中UI的方法，并且包括要在下面解释的虚拟的3D目标UI方法。当检测到的目标是在离HMD预先确定的距离范围之内时，如在第一个实施例中与图3至图7一起解释的实体UI模式是可应用的。
在这里，虚拟的3D目标UI方法指的是提供用于包括至少一个触摸识别界面的虚拟的3D目标显示的UI方法。更详细地，虚拟的3D目标UI方法显示虚拟目标，以便虚拟目标的触摸识别表面与经由传感器单元检测的真实目标的表面重合，并且基于有关触摸识别表面的用户触摸输入，通过接收用户命令操作。经由这个过程，由于虚拟目标的触摸识别表面和真实目标的表面重合，所以与真实目标的触摸输入相同的实体反馈可以提供给虚拟目标的触摸输入。在本公开中表面的重合不仅指的是它们是精确地一致，而且包括大体上重合，以及包括在预先确定的范围内重合。
在这里，虚拟的3D目标指的是包括至少一个触摸识别表面的虚拟的3D目标。例如，虚拟的3D目标可以是虚拟的3D开关，虚拟的3D开关包括用作控制在HMD附近的数字设备的电源开/关的输入按钮的触摸识别表面。在另一个示例中，虚拟的3D目标可以是包括用作键盘输入的多个触摸识别表面的虚拟的3D键盘。在下文中，虚拟的3D目标UI方法可以称为虚拟目标UI方法，并且虚拟的3D目标可以称为虚拟目标。
在这里，触摸识别表面指的是经由HMD产生的虚拟的触摸表面。例如，触摸识别表面可以经由安装在HMD中的3D运动传感器产生，但是，不仅仅受限于3D运动传感器。在实施例中，触摸识别表面可以在虚拟目标的前侧上产生，但是，不仅仅受限于前侧。更详细地，HMD可以使用3D运动传感器在虚拟目标的前侧中产生触摸识别表面，通过感测触摸输入目标的向上/向下和向右/向左运动，控制指针的运动，并且通过感测触摸输入目标的深度，确定触摸识别表面的触摸识别。
此外，虚拟目标UI方法可以基于用户输入或者预先存储的系统设置被设置为自动模式或者半自动模式的一个。自动模式自动地调整虚拟目标的显示距离，以便与检测到的真实目标的表面和虚拟目标的触摸识别表面重合。以自动模式应用虚拟目标UI方法的HMD的实施例在图19和图20中图示。此外，在半自动模式中，视觉目标首先由预置的距离显示，并且基于用户输入，诸如显示的视觉目标的用户的手势，通过自动地调整显示距离以与虚拟目标的触摸识别表面和检测到的真实目标的表面重合来显示虚拟目标。图21是图示以半自动模式应用视觉目标UI方法的HMD的实施例。
在这里，显示距离指的是对于显示，以便在HMD中具有虚拟目标的空间感觉说来必需的距离。例如，显示距离可以是用于显示虚拟的3D目标的深度信息。在一个实施例中，显示距离可以被设置为在HMD和在HMD中显示的虚拟目标的触摸识别表面之间的距离。在另一个实施例中，显示距离可以被设置为在HMD和在HMD中显示的虚拟目标的后侧之间的距离。
参考该图，将解释应用循环出现处理器操作的虚拟目标UI方法的HMD。
图19至图21图示显示在HMD中应用虚拟的3D目标UI方法的实体UI模式的虚拟的3D目标的各种的实施例。
特别地，图19图示显示包括一个触摸识别表面的虚拟的3D目标的HMD，图20图示显示包括多个触摸识别表面的虚拟的3D目标的HMD，和图21图示基于用户的手势显示包括多个触摸识别表面的虚拟的3D目标的HMD。
图19a和19b图示按照该实施例显示包括一个触摸识别表面的虚拟的3D目标的HMD的透视图和侧视图。
在图19b中的Dvs表示在HMD 100和在HMD中显示的虚拟目标的触摸识别表面610之间的距离。另外，Drs是在HMD 100和由HMD检测到的目标的表面400之间的距离。此外，Dv指的是在虚拟目标的前侧610和后侧620之间的距离。虚拟目标的前侧可以包括至少一个触摸识别表面。Dth指的是确定是否HMD将应用实体UI模式的预先确定的距离。因此，Dth可以被设置为是用户可以实体地触摸检测到的目标的距离。在这样的情况下，Dth可以与在图5中解释的Th相同。
参考图19a和19b，经由传感器单元检测到目标的表面400，并且如果检测到的目标的表面400是在其中实体反馈是可能的(Drs<Dth)预先确定的距离范围之内，则处理器可以通过HMD的UI方法应用实体UI模式。此时，如果在HMD中显示的虚拟目标是3D目标并且3D目标包括触摸识别表面，则处理器可以选择虚拟目标UI方法的实体UI模式。处理器可以由系统或者由用户设置去选择这样的过程。
此外，当实体UI模式通过虚拟目标UI方法应用时，当虚拟目标600仅仅包括一个触摸识别表面610时，处理器可以调整虚拟目标600的显示距离，以便触摸识别表面600与检测到的目标的表面400重合。例如，如果在HMD和在HMD中显示的虚拟目标的触摸识别表面之间的显示距离被设置为Dvs，则处理器可以调整显示距离，使得Dvs值与Drs值相同。
此外，处理器可以基于调整的显示距离(Dvs＝Drs)显示虚拟目标600。经由这个过程，虚拟目标的触摸识别表面610与检测到的目标的表面500重合，与真实目标的触摸输入相同的实体反馈可以提供给虚拟目标600的触摸输入。
图20a和20b图示按照每个实施例基于选择的信息显示包括多个触摸识别表面的虚拟的3D目标的HMD的透视图和侧视图。
在图20b中，Drs和Dth的定义与在以上的图19b中描述的定义相同。Dvs-1是在HMD 100和第一触摸识别表面610-1之间的距离，并且Dvs-2是在HMD 100和第二触摸识别表面610-2之间的距离。此外，Dv-1表示在第一触摸识别表面610-1和虚拟目标的后侧610之间的距离，并且Dv-2表示在第二触摸识别表面610-1和虚拟目标的后侧620之间的距离。
参考图20a和20b，当应用虚拟目标UI方法的实体UI模式，并且虚拟目标600包括多个触摸识别表面610-1、610-2时，基于该选择信息，处理器可以通过预先确定的方法选择至少一个触摸识别表面。
在这里，选择信息可以包括有关触摸识别表面的显示区的信息、有关使用频率的信息，和有关在虚拟目标的前侧和后侧之间距离的信息的至少一个。
在一个实施例中，当有关在虚拟目标的前侧和后侧之间的距离的信息(以下简称为“距离信息”)被包括作为选择信息时，处理器可以使用预先确定的方法，使用该距离信息从多个触摸识别表面中选择至少一个触摸识别表面。例如，基于该距离信息该过程可以选择在多个触摸识别表面之中具有最长距离值的至少一个触摸识别表面。因此，如在图20b中图示的，基于该距离信息处理器可以从多个触摸识别表面中选择具有最长的距离Dv-2的触摸识别表面610-2。
在另一个实施例中，当有关触摸识别表面的显示区的信息(以下简称为“区域信息”)被包括作为选择信息时，基于该区域信息处理器可以使用预先确定的方法，选择在多个触摸识别表面之中的触摸识别表面的至少一个。例如，基于该区域信息处理器可以选择在多个触摸识别表面之中具有最大或者最小显示区的至少一个触摸识别表面。
在另一个实施例中，当触摸识别表面的使用频率(以下简称为“使用频率信息”)被包括作为选择信息时，基于该使用频率信息处理器可以使用预先确定的方法，选择在多个触摸识别表面之中的触摸识别表面的至少一个。例如，基于使用频率信息处理器可以选择在多个触摸识别表面之中具有最高使用频率的触摸识别表面。在这里，基于用户的触摸输入，处理器计算触摸识别表面每个的使用频率，在存储器中存储，和必要时，从存储器中检索频率信息。
此外，处理器可以调整虚拟目标的显示距离，使得选择的触摸识别表面与检测到的目标的表面重合。例如，如图20b所示，如果显示距离被设置为在HMD 100和选择的第二触摸识别表面610-2之间的距离Dvs-2，则处理器可以调整显示距离Dvs-2值以与Drs值重合。
基于调整的显示距离Dvs-2＝Drs处理器也可以显示虚拟目标。在这样的情况下，与图19a和19b一起使用以上解释的方法显示虚拟目标。
现在，在包括多个触摸识别表面的HMD中显示虚拟的3D目标的详细解释将参考图21基于用户手势解释。在图21b和21f中的Drs、Dth、Dvs-1、Dvs-02、Dv-1和Dv-2的定义与参考图20b以上定义的那些相同。
图21a和21b表示基于每个实施例按照预先确定的显示距离显示虚拟的3D目标的HMD的透视图和侧视图。
参考图21a和21b，当应用虚拟目标UI方法的实体UI模式，并且虚拟目标600包括多个触摸识别表面610-1和610-2时，处理器可以首先以预先确定的显示距离显示虚拟目标。这个显示距离称为第一显示。例如，如在图21a中图示的，处理器可以在具有预先确定的显示距离的自由空间中显示虚拟目标。在另一个示例中，处理器可以以显示距离显示虚拟目标，使得虚拟目标的后侧与检测到的目标的表面重合。
图21c和21d每个表示其中检测到按照每个实施例显示的触摸识别表面的用户手势的图像的透视图和侧视图。
参考图21c和21d，当经由传感器单元检测到用户手势时，处理器可以获得在经由手势检测的输入目标700和多个触摸识别表面610-1、610-2之间的距离，并且确定是否获得的距离等于或者小于预先确定的距离。在这里，输入目标700指的是为在触摸识别表面上触摸输入提供的目标。例如，输入目标可以是输入装置，诸如用户的手指或者触摸笔。
在实施例中，处理器可以获得在手势识别的输入目标和多个触摸识别表面之间的水平距离d1和垂直距离d2，并且确定是否获得的距离(d1,d2)等于或者小于预先确定的距离。在这里，假设输入目标的中心点和触摸识别表面的中心点存在于相同的X-Y平面上，水平距离d1可以通过测量在中心点之间的距离获得。假设输入目标的中心点和触摸识别表面的中心点存在于相同的Z轴上，垂直距离d2可以通过测量在中心点之间的距离获得。另外，输入目标的中心点和触摸识别表面的中心点可以以各种方法设置。
在另一个实施例中，处理器可以选择一种方法，其中处理器首先获得如上所述的水平距离d1，并且确定是否获得的距离等于或者小于预先确定的距离，然后只有当触摸识别表面的水平距离d1小于或等于预先确定的距离时，确定是否以上解释的垂直距离d2小于或者等于预先确定的距离。经由这个过程，有可能减少在确定用户希望调整的显示距离的触摸识别表面时的计算量。
图21e和21f图示按照每个实施例显示虚拟的3D目标的调整的显示距离的HMD的透视图和侧视图。
参考图21e和21f，在调整虚拟目标的显示距离以与触摸识别表面(其被确定小于预先确定的距离)重合之后，基于调整的显示距离处理器可以重新显示虚拟目标。这称为第二显示。在这种情况下，处理器可以与图20a和20b一起使用如上所述的方法，通过调整显示距离显示虚拟目标。
图22是根据本公开的实施例在HMD中提供用户界面的流程图。
参考图22，当实体UI模式应用于显示虚拟目标时，并且当虚拟目标是包括触摸识别表面的至少一个的3D目标时，HMD可以调整虚拟目标的显示距离，以便触摸识别表面与目标的表面重合S2210。在这里，表面重合的含义不仅指的是如上所述大体上匹配表面，而且指的是表面的实际匹配，并且在预先确定的距离内匹配。在这样的情况下，HMD可以与图19a和19b一起按照如上所述的方法调整显示距离。
更详细地，HMD通过传感器单元检测在HMD附近的目标，并且感测在检测到的目标和HMD之间的距离。然后，HMD确定是否检测到的目标存在于离HMD预先确定的距离内。如果HMD确定检测到的目标存在于离HMD预先确定的距离内，应用实体UI模式。此时，实体UI模式可以提供虚拟目标的显示，并且其可以是以上解释的3D UI方法。在这样的情况下，HMD可以与图3至图4一起使用以上解释的方法，确定目标的位置，并且确定HMD的模式。然后，HMD可以调整虚拟目标的显示距离，以便触摸识别表面去与目标的表面重合。
接下来，基于调整的显示距离，HMD显示虚拟目标S2220。在这里，HMD可以与图19a和19b一起使用如上所述的方法显示虚拟目标。
另外，当通过应用实体UI模式显示虚拟目标，并且虚拟目标是包括多个触摸识别表面的3D目标时，在步骤S2210之前，HMD可以进一步包括基于该选择信息使用预先确定的方法，选择在多个触摸识别表面之中的至少一个触摸识别表面的步骤。并且，HMD可以在调整显示距离之后，基于调整的显示距离显示虚拟目标，以便选择的触摸识别表面与检测到的目标的表面重合。在这种情况下，HMD可以与图20a和20b一起使用如上所述的方法，调整显示距离和显示虚拟目标。
图23是根据本公开的另一个实施例在HMD中提供用户界面的流程图。
参考图23，当实体UI模式应用于显示虚拟目标时，并且当虚拟目标是包括触摸识别表面的至少一个的3D目标时，HMD按照预先确定的显示距离显示虚拟目标S2310。这个显示称为第一显示。例如，HMD可以如以上与图21a一起解释的在具有预先确定的显示距离的自由空间中显示虚拟目标。
更详细地，HMD通过传感器单元检测在HMD附近的目标，并且感测在检测到的目标和HMD之间的距离。然后，HMD确定是否检测到的目标存在于离HMD预先确定的距离内。如果HMD确定检测到的目标存在于离HMD预先确定的距离内，则应用实体UI模式。此时，实体UI模式可以提供虚拟目标的显示，并且其可以是以上解释的3DUI方法。在这样的情况下，HMD可以与图3至图4一起使用以上解释的方法，确定目标的位置，并且确定HMD的模式。然后，按照预先确定的显示距离，HMD显示虚拟目标。
然后，HMD确定是否检测到用户手势S2320。如果检测到用户手势，则应用步骤S2330，并且如果没有检测到用户手势，则应用步骤S2310。
当检测到用户手势时，HMD获得在由手势检测的输入目标和多个触摸识别表面之间的距离S2330。在这里，输入目标指的是在触摸识别表面上提供触摸输入的目标。在这种情况下，HMD可以与图21c和图21d一起使用如上所述的方法获得在输入目标和多个触摸识别表面之间的距离。
HMD然后确定是否获得的距离小于或等于预先确定的距离S2340。在这里，如果获得的距离小于或等于预先确定的距离，然后，应用步骤S2350，并且如果获得的距离大于预先确定的距离，则应用步骤S2320。
HMD可以调整虚拟目标的显示距离，以便确定为小于或者等于预先确定的距离的触摸识别表面去与目标的表面重合S2350。
基于调整的显示距离，HMD可以显示虚拟目标。这称为第二显示。在这种情况下，HMD可以与图20a和20b一起使用如上所述的方法，调整显示距离和显示虚拟目标。
如上与图3至图7一起在第一个实施例中所述，用于以上的图19至图23的解释来解释其中当检测到的目标存在于HMD的设置距离内时，并且当检测到的目标的实体反馈可以被提供时，实体UI模式是可应用的各种的实施例。
但是，实体UI模式还可以应用于与图8至图10一起描述的第二个实施例(例如，如果检测到的目标是在预先确定的距离范围之内，并且检测到的目标是在视角范围之内，则可以应用实体UI模式)，以及与图11至图13一起描述的第三个实施例，与图14至图16一起描述的第四个实施例，和与图17至图18一起描述的第五个实施例。在这样的情况下，在本公开中描述的第二个至第五个实施例中实体UI的解释可用于支持在与图19至图23一起如上所述的第一个实施例中的实体UI的解释。因此，详细描述被省略。
此外，图19至图23描述将实体UI模式应用于HMD的各种的实施例。但是，也存在将非实体UI模式应用于HMD的实施例。在这样的情况下，在本公开中描述的第一个至第五个实施例中的非实体UI的解释可用于支持非实体UI的概念。因此，详细描述被省略。
发明模式
以用于执行本发明的最好的模式已经描述了各种的实施例。
对于本领域技术人员来说显而易见的是，不脱离本发明的精神或者范围的情况下可以在本发明中进行各种的改进和变化。因此，想要的是本发明覆盖落在所附的权利要求及其等同物的范围内提供的本发明的改进和变化。
工业实用性
如上所述，本发明完全地或者部分地可应用于电子设备。

Claims (39)

1.一种用于头戴式显示器(HMD)的用户界面(UI)装置，包括：
传感器单元，所述传感器单元被配置成检测目标是否存在于所述HMD的附近，并且如果检测到所述目标，则感测在所述目标和所述HMD之间的距离；以及
处理器，所述处理器被配置成，如果检测到的目标在离所述HMD预先确定的距离之内，则应用实体用户界面(UI)模式，
其中，所述实体UI模式提供用于虚拟目标的显示，
所述处理器被进一步配置成：
当所述虚拟目标是3维(3D)目标，并且所述3D目标包括触摸识别表面时，调整所述虚拟目标的显示距离，以便所述触摸识别表面与所述目标的表面重合，以及
基于调整的显示距离，显示所述虚拟目标。
2.根据权利要求1所述的装置，其中，所述处理器调整所述虚拟目标的显示距离，以便当所述3D目标包括多个触摸识别表面时，基于选择信息通过预先确定的方法选择的至少一个触摸识别表面与所述目标的表面重合，以及基于所述调整的显示距离，显示所述虚拟目标。
3.根据权利要求2所述的装置，其中，所述选择信息包括有关显示区的信息、有关使用频率的信息，和有关在所述虚拟目标的前侧和后侧之间距离的信息的至少一个。
4.根据权利要求1所述的装置，其中，所述传感器单元被进一步配置成检测有关所述虚拟目标的用户手势，并且其中，所述处理器被进一步配置成：
当所述3D目标包括多个触摸识别表面时，根据预先确定的显示距离显示所述虚拟目标，
当检测到所述用户手势时，获得在通过所述手势检测到的输入目标和所述多个触摸识别表面之间的距离，
确定是否所获得的距离小于或等于预先确定的距离，
调整所述虚拟目标的显示距离，以便被确定为小于或者等于所述预先确定的距离的所述触摸识别表面与所述目标的表面重合，以及
基于所调整的显示距离，显示所述虚拟目标。
5.根据权利要求1所述的装置，其中，当所述虚拟目标是3D目标，并且所述3D目标包括触摸识别表面时，所述处理器根据预先确定的距离显示所述虚拟目标。
6.根据权利要求1所述的装置，其中，所述处理器被配置成，如果所述目标没有被检测到或者不在离所述HMD预先确定的距离内，则应用非实体用户界面(UI)模式，
其中，所述处理器接收通过实际接触所述目标以所述实体UI模式和通过非实际接触所述目标以所述非实体UI模式输入到所述HMD的UI的用户命令。
7.根据权利要求6所述的装置，其中，所述非实体UI模式在其中所述非实体UI不具有与所述目标的实际接触的状态下操作。
8.根据权利要求7所述的装置，其中，所述非实体UI模式包括语音识别用户界面(UI)或者手势用户界面(UI)的至少一个。
9.根据权利要求6所述的装置，其中，如果所述检测到的目标在所述预先确定的距离内并且所述检测到的目标在视角内，则所述处理器选择所述实体UI模式。
10.根据权利要求9所述的装置，其中，如果所述检测到的目标在所述视角之内但不是用户可对接的，则所述处理器变为所述非实体UI模式。
11.根据权利要求6所述的装置，其中，如果所述检测到的目标在离所述HMD预先确定的距离内但不在所述视角内，则所述处理器选择所述非实体UI模式。
12.根据权利要求11所述的装置，其中，如果所述检测到的目标不在所述视角内，但在预先确定的时间段内返回所述视角内，则所述处理器变为所述实体UI模式。
13.根据权利要求11所述的装置，其中，如果所述检测到的目标不在所述视角内并且在所述预先确定的时间段内不返回所述视角内，则所述处理器保持所述非实体UI模式。
14.根据权利要求6所述的装置，其中，如果所述检测到的目标在离所述HMD预先确定的距离内但不在所述视角内，并且在所述预先确定的时间段内所述检测到的目标不返回所述视角内，则所述处理器选择所述非实体UI模式。
15.根据权利要求6所述的装置，其中，如果所述检测到的目标在离所述HMD预先确定的距离之内但不在所述视角内，并且在特定时间段内在所述预先确定的距离内检测到新的数字设备，则所述处理器将所述新的数字设备的显示功能应用为所述实体UI模式。
16.根据权利要求6所述的装置，其中，如果所述目标没有被检测到或者不在离所述HMD预先确定的距离内，并且在特定时间段内在所述预先确定的距离内检测到新的数字设备，则所述处理器将所述新的数字设备的显示器应用为所述实体UI模式。
17.根据权利要求6所述的装置，其中，如果所述目标没有被检测到或者不在离所述HMD预先确定的距离内，并且在特定时间段内在所述预先确定的距离内检测到新的数字设备，则所述处理器将所述新的数字设备的显示器应用为所述实体UI模式。
18.一种提供用于头戴式显示器(HMD)的用户界面(UI)的方法，所述方法包括：
检测目标是否存在于所述HMD的附近；
感测在检测到的目标和所述HMD之间的距离；
如果所述目标在离所述HMD预先确定的距离内，则应用实体用户界面(UI)模式，其中，所述实体UI模式提供用于虚拟目标的显示；
当所述虚拟目标是3维(3D)目标并且所述3D目标包括触摸识别表面时，调整所述虚拟目标的显示距离，以便所述触摸识别表面与所述目标的表面重合；以及
基于所调整的显示距离，显示所述虚拟目标。
19.根据权利要求18所述的方法，其中，所述3D目标包括多个触摸识别表面，并且其中，所述调整显示距离的步骤包括调整所述虚拟目标的显示距离，以便基于选择信息使用预先确定的方法选择的触摸识别表面的至少一个与所述目标的表面重合。
20.一种用于头戴式显示器(HMD)的用户界面(UI)装置，包括：
传感器单元，所述传感器单元检测目标是否存在于所述HMD的附近，并且如果检测到所述目标，则感测在所述目标和所述HMD之间的距离；以及
处理器，所述处理器基于所述传感器单元的结果控制所述HMD的用户界面(UI)，使得如果所述检测到的目标在离所述HMD预先确定的距离内，则应用实体用户界面(UI)模式，并且如果所述目标没有被检测到或者不在离所述HMD预先确定的距离内，则应用非实体用户界面(UI)模式。
21.根据权利要求20所述的装置，其中，所述实体UI模式在所述检测到的目标的表面上显示假想的用户界面(UI)功能。
22.根据权利要求21所述的装置，其中，所述实体UI模式包括虚拟键盘用户界面(UI)或者绘图用户界面(UI)的至少一个。
23.根据权利要求20所述的装置，其中，所述非实体UI模式在其中所述非实体UI不具有与所述目标的实际接触的状态下操作。
24.根据权利要求23所述的装置，其中，所述非实体UI模式包括语音识别用户界面(UI)或者手势用户界面(UI)的至少一个。
25.根据权利要求20所述的装置，其中，如果所述检测到的目标在所述预先确定的距离内并且所述检测到的目标在视角范围内，则所述处理器选择所述实体UI模式。
26.根据权利要求25所述的装置，其中，如果所述检测到的目标在所述视角内但不是用户可接口的，则所述处理器变为所述非实体UI模式。
27.根据权利要求20所述的装置，其中，如果所述检测到的目标在离所述HMD预先确定的距离内但不在所述视角内，则所述处理器选择所述非实体UI模式。
28.根据权利要求27所述的装置，其中，如果所述检测到的目标不在所述视角内，但在预先确定的时间段内返回所述视角内，则所述处理器变为所述实体UI模式。
29.根据权利要求27所述的装置，其中，如果所述检测到的目标不在所述视角内，并且在预先确定的时间段内不返回所述视角内，则所述处理器保持所述非实体UI模式。
30.根据权利要求20所述的装置，其中，如果所述检测到的目标在离所述HMD预先确定的距离内但不在所述视角内，并且在预先确定的时间段内所述检测到的目标不返回所述视角内，则所述处理器选择所述非实体UI模式。
31.根据权利要求20所述的装置，其中，如果所述检测到的目标在离所述HMD预先确定的距离内但不在所述视角内，并且在特定时间段内在所述预先确定的距离内检测到新的数字设备，则所述处理器将所述新的数字设备的显示功能应用为所述实体UI模式。
32.根据权利要求20所述的装置，其中，如果所述目标没有被检测到或者不在离所述HMD预先确定的距离内，并且在特定时间段内在所述预先确定的距离内检测到新的数字设备，则所述处理器将所述新的数字设备的显示器应用为所述实体UI模式。
33.一种用于头戴式显示器(HMD)的用户界面(UI)装置，包括：
通信单元，所述通信单元与在所述HMD附近的数字设备执行通信；
传感器单元，所述传感器单元检测所述数字设备是否存在于所述HMD的附近，并且如果检测到所述数字设备，则感测在所述数字设备和所述HMD之间的距离；以及
处理器，所述处理器基于所述传感器单元的结果，控制所述HMD的用户界面(UI)，其中，如果所述检测到的数字设备在离所述HMD预先确定的距离内，则所述数字设备的显示功能被应用为实体用户界面(UI)模式，并且如果所述数字设备没有被检测到或者不在离所述HMD预先确定的距离内，则应用非实体用户界面(UI)模式。
34.一种提供用于头戴式显示器(HMD)的用户界面(UI)的方法，所述方法包括：
检测目标是否存在于所述HMD的附近；
如果检测到所述目标，则确定在所述检测到的目标和所述HMD之间的距离；以及
如果所述目标在离所述HMD预先确定的距离内，则应用实体用户界面(UI)模式，并且如果所述目标没有被检测到或者不在离所述HMD预先确定的距离内，则应用非实体UI模式。
35.根据权利要求34所述的方法，包括如果所述检测到的目标在离所述HMD预先确定的距离内并且在所述视角内，则选择所述实体UI模式。
36.根据权利要求35所述的方法，包括如果所述检测到的目标在所述视角内但不是用户可接口的，则变为所述非实体UI模式。
37.根据权利要求34所述的方法，包括如果所述检测到的目标在离所述HMD预先确定的距离内但不在所述视角内，则选择所述非实体UI模式。
38.根据权利要求37所述的方法，包括如果所述检测到的目标不在所述视角内，但在预先确定的时间段内返回所述视角内，则变为所述实体UI模式。
39.根据权利要求37所述的方法，包括如果所述检测到的目标不在所述视角内，并且在预先确定的时间段内不返回所述视角内，则连续地保持所述非实体UI模式。
CN201380047804.0A 2012-09-14 2013-09-13 在头戴式显示器上提供用户界面的装置和方法及其头戴式显示器 Expired - Fee Related CN104641318B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2012-0102277 2012-09-14
KR1020120102277 2012-09-14
US13/708,561 US8482527B1 (en) 2012-09-14 2012-12-07 Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US13/708,561 2012-12-07
PCT/KR2013/008300 WO2014042458A1 (en) 2012-09-14 2013-09-13 Apparatus and method of providing user interface on head mounted display and head mounted display thereof

Publications (2)

Publication Number Publication Date
CN104641318A true CN104641318A (zh) 2015-05-20
CN104641318B CN104641318B (zh) 2018-02-02

Family

ID=48701422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380047804.0A Expired - Fee Related CN104641318B (zh) 2012-09-14 2013-09-13 在头戴式显示器上提供用户界面的装置和方法及其头戴式显示器

Country Status (5)

Country Link
US (2) US8482527B1 (zh)
EP (2) EP2896205B1 (zh)
KR (1) KR102138533B1 (zh)
CN (1) CN104641318B (zh)
WO (2) WO2014042320A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105425397A (zh) * 2016-01-01 2016-03-23 赵山山 一种头戴式显示器的自动调节方法、系统和装置
CN106123916A (zh) * 2016-06-13 2016-11-16 上海创米科技有限公司 一种用于校准vr设备中惯性测量单元的方法与设备
CN106157930A (zh) * 2016-06-30 2016-11-23 腾讯科技（深圳）有限公司 基于头戴式可视设备的亮度调节方法及装置
CN106502323A (zh) * 2016-10-20 2017-03-15 精元电脑股份有限公司 能叠加虚拟键盘的显示装置
CN107577335A (zh) * 2016-07-05 2018-01-12 三星电子株式会社 电子装置及其屏幕显示方法
CN108073432A (zh) * 2016-11-07 2018-05-25 亮风台（上海）信息科技有限公司 一种头戴式显示设备的用户界面显示方法
CN108352867A (zh) * 2015-11-19 2018-07-31 索尼互动娱乐股份有限公司 天线控制装置、头戴式显示器、天线控制方法以及程序
TWI665603B (zh) * 2017-03-23 2019-07-11 宏達國際電子股份有限公司 電子裝置、顯示方法以及非暫態電腦可讀取儲存媒體
CN110362192A (zh) * 2018-03-26 2019-10-22 联想（新加坡）私人有限公司 基于肢体位置的消息位置
US11360551B2 (en) 2016-06-28 2022-06-14 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9378592B2 (en) 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US8482527B1 (en) * 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9671874B2 (en) * 2012-11-08 2017-06-06 Cuesta Technology Holdings, Llc Systems and methods for extensions to alternative control of touch-based devices
US10359841B2 (en) * 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
US20140267049A1 (en) * 2013-03-15 2014-09-18 Lenitra M. Durham Layered and split keyboard for full 3d interaction on mobile devices
GB201310358D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems
US10451874B2 (en) 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
JP6206099B2 (ja) * 2013-11-05 2017-10-04 セイコーエプソン株式会社 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置
JP2015090547A (ja) * 2013-11-05 2015-05-11 ソニー株式会社 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
US9529194B2 (en) 2013-11-21 2016-12-27 Samsung Electronics Co., Ltd. Head-mounted display apparatus
US9448621B2 (en) 2013-12-20 2016-09-20 Nokia Technologies Oy Causation of display of information on a see through display
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US10254856B2 (en) * 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
EP4239456A1 (en) 2014-03-21 2023-09-06 Samsung Electronics Co., Ltd. Method and glasses type wearable device for providing a virtual input interface
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
JP6362391B2 (ja) * 2014-04-10 2018-07-25 キヤノン株式会社 情報処理端末、情報処理方法及びコンピュータプログラム
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
KR102262086B1 (ko) * 2014-05-28 2021-06-09 삼성전자 주식회사 이미지 처리 방법 및 장치
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9092898B1 (en) 2014-07-03 2015-07-28 Federico Fraccaroli Method, system and apparatus for the augmentation of radio emissions
KR20160033376A (ko) 2014-09-18 2016-03-28 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
KR102345911B1 (ko) * 2015-01-16 2022-01-03 삼성전자주식회사 가상 입력 장치 및 이를 이용한 사용자 입력 수신 방법
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
JP5981591B1 (ja) * 2015-03-17 2016-08-31 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
KR102313485B1 (ko) 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
CN104820492A (zh) * 2015-04-23 2015-08-05 济南大学 一种三维触觉系统
US20170017323A1 (en) * 2015-07-17 2017-01-19 Osterhout Group, Inc. External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
US10416776B2 (en) * 2015-09-24 2019-09-17 International Business Machines Corporation Input device interaction
CN105657407B (zh) * 2015-12-31 2018-11-23 深圳纳德光学有限公司 头戴显示器及其双目3d视频显示方法和装置
KR102610120B1 (ko) 2016-01-20 2023-12-06 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
CN106227345A (zh) * 2016-07-21 2016-12-14 深圳市金立通信设备有限公司 一种虚拟现实眼镜及其控制方法
CN106802761A (zh) * 2017-01-03 2017-06-06 北京掌阔移动传媒科技有限公司 一种基于重力感应的广告投放方法和系统
JP2020520487A (ja) * 2017-03-29 2020-07-09 ベステル エレクトロニク サナイー ベ ティカレト エー．エス． Ｖｒインタラクションの改良された方法およびシステム
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
KR102431712B1 (ko) * 2017-09-04 2022-08-12 삼성전자 주식회사 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
WO2019059044A1 (ja) * 2017-09-20 2019-03-28 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US11861136B1 (en) * 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
KR102306790B1 (ko) 2017-11-08 2021-09-30 삼성전자주식회사 컨텐츠 시각화 장치 및 방법
US11164380B2 (en) 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
US10854169B2 (en) 2018-12-14 2020-12-01 Samsung Electronics Co., Ltd. Systems and methods for virtual displays in virtual, mixed, and augmented reality
US10902250B2 (en) 2018-12-21 2021-01-26 Microsoft Technology Licensing, Llc Mode-changeable augmented reality interface
US11023036B1 (en) * 2019-07-09 2021-06-01 Facebook Technologies, Llc Virtual drawing surface interaction using a peripheral device in artificial reality environments
US11023035B1 (en) 2019-07-09 2021-06-01 Facebook Technologies, Llc Virtual pinboard interaction using a peripheral device in artificial reality environments
US10976804B1 (en) 2019-07-09 2021-04-13 Facebook Technologies, Llc Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
KR20220012073A (ko) * 2020-07-22 2022-02-03 삼성전자주식회사 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치
JP2022122479A (ja) * 2021-02-10 2022-08-23 キヤノン株式会社 撮像システム、表示装置、撮像装置、および撮像システムの制御方法
KR20230046008A (ko) * 2021-09-29 2023-04-05 삼성전자주식회사 증강 현실(Augmented Reality) 장치가 콘텐트를 디스플레이하는 방법 및 콘텐트를 디스플레이하는 증강 현실 장치
KR20230088100A (ko) * 2021-12-10 2023-06-19 삼성전자주식회사 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법
KR20240028874A (ko) * 2022-08-25 2024-03-05 삼성전자주식회사 외부 디바이스에 의해 제어되는 증강 현실 디바이스 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110316679A1 (en) * 2010-06-24 2011-12-29 Nokia Corporation Apparatus and method for proximity based input
CN102473032A (zh) * 2009-07-27 2012-05-23 三星电子株式会社 使用用户交互来控制电子装置的方法和设备
CN102508546A (zh) * 2011-10-31 2012-06-20 冠捷显示科技（厦门）有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US6771294B1 (en) 1999-12-29 2004-08-03 Petri Pulli User interface
JP2002318652A (ja) 2001-04-20 2002-10-31 Foundation For Nara Institute Of Science & Technology 仮想入力装置およびプログラム
GB2376397A (en) * 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
US7774075B2 (en) 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
KR100800859B1 (ko) 2004-08-27 2008-02-04 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 키를 입력하는 장치 및 방법
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US8397181B2 (en) * 2008-11-17 2013-03-12 Honeywell International Inc. Method and apparatus for marking a position of a real world object in a see-through display
US20100238161A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
JP4679661B1 (ja) 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
KR101123115B1 (ko) 2010-02-09 2012-03-20 유태영 거치형 ｈｍｄ의자가 설치된 무선네트워크전용 3ｄ ｐｃ방 시설장치
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8199974B1 (en) * 2011-07-18 2012-06-12 Google Inc. Identifying a target object using optical occlusion
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US8482527B1 (en) * 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473032A (zh) * 2009-07-27 2012-05-23 三星电子株式会社 使用用户交互来控制电子装置的方法和设备
US20110316679A1 (en) * 2010-06-24 2011-12-29 Nokia Corporation Apparatus and method for proximity based input
CN102508546A (zh) * 2011-10-31 2012-06-20 冠捷显示科技（厦门）有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108352867A (zh) * 2015-11-19 2018-07-31 索尼互动娱乐股份有限公司 天线控制装置、头戴式显示器、天线控制方法以及程序
US10998626B2 (en) 2015-11-19 2021-05-04 Sony Interactive Entertainment Inc. Antenna control device, head-mounted display, antenna control method, and program
CN105425397A (zh) * 2016-01-01 2016-03-23 赵山山 一种头戴式显示器的自动调节方法、系统和装置
CN106123916B (zh) * 2016-06-13 2019-11-15 上海临奇智能科技有限公司 一种用于校准vr设备中惯性测量单元的方法与设备
CN106123916A (zh) * 2016-06-13 2016-11-16 上海创米科技有限公司 一种用于校准vr设备中惯性测量单元的方法与设备
US11360551B2 (en) 2016-06-28 2022-06-14 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
CN106157930A (zh) * 2016-06-30 2016-11-23 腾讯科技（深圳）有限公司 基于头戴式可视设备的亮度调节方法及装置
CN107577335A (zh) * 2016-07-05 2018-01-12 三星电子株式会社 电子装置及其屏幕显示方法
CN107577335B (zh) * 2016-07-05 2022-03-25 三星电子株式会社 电子装置及其屏幕显示方法
CN106502323A (zh) * 2016-10-20 2017-03-15 精元电脑股份有限公司 能叠加虚拟键盘的显示装置
CN108073432B (zh) * 2016-11-07 2020-12-22 亮风台（上海）信息科技有限公司 一种头戴式显示设备的用户界面显示方法
CN108073432A (zh) * 2016-11-07 2018-05-25 亮风台（上海）信息科技有限公司 一种头戴式显示设备的用户界面显示方法
US10366540B2 (en) 2017-03-23 2019-07-30 Htc Corporation Electronic apparatus and method for virtual reality or augmented reality system
TWI665603B (zh) * 2017-03-23 2019-07-11 宏達國際電子股份有限公司 電子裝置、顯示方法以及非暫態電腦可讀取儲存媒體
CN110362192A (zh) * 2018-03-26 2019-10-22 联想（新加坡）私人有限公司 基于肢体位置的消息位置

Also Published As

Publication number Publication date
US20140078043A1 (en) 2014-03-20
EP2895911A4 (en) 2016-07-27
EP2896205A1 (en) 2015-07-22
KR20150054825A (ko) 2015-05-20
CN104641318B (zh) 2018-02-02
EP2896205B1 (en) 2019-01-02
US8482527B1 (en) 2013-07-09
EP2896205A4 (en) 2016-07-27
WO2014042458A1 (en) 2014-03-20
EP2895911B1 (en) 2018-12-19
KR102138533B1 (ko) 2020-08-11
EP2895911A1 (en) 2015-07-22
WO2014042320A1 (en) 2014-03-20
US9448624B2 (en) 2016-09-20

Similar Documents

Publication Publication Date Title
CN104641318A (zh) 在头戴式显示器上提供用户界面的装置和方法及其头戴式显示器
CN110832441B (zh) 用于虚拟、增强和混合现实显示系统的键盘
US9378592B2 (en) Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US10776618B2 (en) Mobile terminal and control method therefor
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
US9104239B2 (en) Display device and method for controlling gesture functions using different depth ranges
KR20170126295A (ko) 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
US20180136465A1 (en) Mobile terminal and controlling method thereof
US11054894B2 (en) Integrated mixed-input system
US10203781B2 (en) Integrated free space and surface input device
CN103339591A (zh) 用于用户输入以控制显示信息的装置和方法
KR101878144B1 (ko) 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
US10809910B2 (en) Remote touch detection enabled by peripheral device
US20230273674A1 (en) Displaying physical input devices as virtual objects
CN111344663B (zh) 渲染装置及渲染方法
JPWO2013121807A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
KR20170099088A (ko) 전자 기기 및 그 제어방법
US10506290B2 (en) Image information projection device and projection device control method
KR20140090074A (ko) 영상표시장치 및 그것의 제어방법
KR20080017194A (ko) 무선 마우스 및 그의 구동 방법
US20230162450A1 (en) Connecting Spatially Distinct Settings
KR102328637B1 (ko) 디스플레이 장치
WO2023028570A1 (en) Displaying and manipulating user interface elements
KR20200091550A (ko) 이동 단말 및 그 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180202

Termination date: 20200913