CN103347437B - 3d映射环境中的凝视检测 - Google Patents

3d映射环境中的凝视检测 Download PDF

Info

Publication number
CN103347437B
CN103347437B CN201280007484.1A CN201280007484A CN103347437B CN 103347437 B CN103347437 B CN 103347437B CN 201280007484 A CN201280007484 A CN 201280007484A CN 103347437 B CN103347437 B CN 103347437B
Authority
CN
China
Prior art keywords
user
computer
point
project
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280007484.1A
Other languages
English (en)
Other versions
CN103347437A (zh
Inventor
伊亚尔·贝奇科夫
奥伦·布兰泽纳
米莎·加洛尔
奥菲尔·欧尔
乔纳森·波克拉斯
埃米尔·奥夫南
塔米尔·贝利纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Priority to CN201610451134.4A priority Critical patent/CN106125921B/zh
Publication of CN103347437A publication Critical patent/CN103347437A/zh
Application granted granted Critical
Publication of CN103347437B publication Critical patent/CN103347437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

一种方法包括：接收计算机系统的用户（22）的至少一个身体部位的三维（3D）图；以及接收用户的二维（2D）图像，该图像包括用户的眼睛（34）。用户头部（32）的3D坐标从3D图和2D图像中提取出来，并且基于头部的3D坐标和眼睛的图像识别出由用户执行的凝视的方向。

Description

3D映射环境中的凝视检测
相关申请
本申请要求2011年2月9日提交的美国临时专利申请61/440877，2011年8月24日提交的美国临时专利申请61/526692，以及2011年9月25日提交的美国临时专利申请61/538867的优先权，在此通过引用将它们并入本文。
发明领域
本发明一般涉及人-机界面，并且具体地涉及组合多个用户交互形式的界面。
发明背景
目前可以利用许多不同类型的用户界面设备和方法。常用的触觉界面设备包括计算机键盘、鼠标和操纵杆。触摸屏检测显示区域中通过手指或其他物体而进行的触摸的存在和位置。红外远程控件得以广泛地使用，并且也已经开发了“可佩戴的”硬件设备，用于远程控制的目的。
基于用户的身体部位的三维（3D）感应的计算机界面也已经被提出。例如，PCT国际公开WO03/071410，其公开内容通过引用并入本文，描述了一种使用深度-感知传感器的手势识别系统。通常设置在房间中的接近用户的3D传感器提供位置信息，该位置信息用于识别目标身体部位所产生的手势。基于身体部位的形状和它的位置以及在一段间隔的朝向来识别该手势。将该手势进行分类以用于确定到相关的电子设备的输入。
通过引用而并入本专利申请中的文献，将被认为是本申请的一个完整部分，除非在这些并入的文献中定义的任何术语和本说明书中明确地或隐含地做出的定义相冲突，（此时）应仅考虑本说明书中的定义。
作为另一个例子，美国专利7,348,963，其公开内容通过引用并入本文，该专利描述了一种交互式视频显示系统，在该系统中显示屏显示可视图像，并且摄像头捕获关于位于显示屏前面的交互式区域中的对象的3D信息。计算机系统响应于对象的改变来指示显示屏改变可视图像。
三维人机界面系统不仅可以识别用户的手，而且还可以识别身体的其它部位，包括头部、躯干和肢体。例如，美国专利申请2010/0034457，其公开内容通过引用并入本文，其描述了一种用于根据深度图模拟人形的方法。对该深度图进行分割以便发现身体的轮廓。对该轮廓进行处理以便识别该对象的躯干以及一个或多个肢体。通过分析深度图中的至少一个所识别出的肢体的布置来产生输入以控制在计算机上运行的应用程序。
一些用户界面系统跟踪用户的凝视方向。例如，美国专利7,762,665，其公开内容通过引用并入本文，其描述了一种用于调节设备操作的方法，该方法包括：提供用于获得关于用户的注意状态的信息的注意用户界面；并且基于所获得的信息调节设备的操作，其中，被调节的操作由该设备来启动。优选地，关于用户的注意状态的信息是用户与由该注意用户界面感测到的设备进行的眼神交流。
发明内容
根据本发明的实施例，提供了一种方法，该方法包括：接收计算机系统的用户的至少一个身体部位的三维（3D）图；接收该用户的二维（2D）的图像，该图像包括该用户的眼睛，从3D图和2D图像中提取出该用户的头部的3D坐标；基于该头部的3D坐标和眼睛的图像识别由用户执行的凝视的方向。
根据本发明的实施例，还提供了一种方法，该方法包括：接收包括计算机系统的用户的眼睛的图像；基于该眼睛的图像识别由该用户执行的凝视的方向；基于凝视方向识别耦合到计算机系统的显示器上的区域，以及对呈现在该区域中的内容执行操作。
根据本发明的实施例，另外又提供了一种方法，该方法包括：通过计算机系统在耦合到计算机的显示器上呈现多个交互项目；从耦合到该计算机的传感设备上接收表示用户的凝视方向的输入；基于凝视方向识别在该显示器上的目标点；使该目标点与出现在该显示器上的第一交互项目相关联；并响应于该目标点，打开该显示器上的一个或多个第二交互项目。
根据本发明的实施例，还提供了一种方法，该方法包括：接收和分割计算机系统的用户的至少一个身体部位随时间的三维（3D）图的第一序列，以便提取该用户的第一点和第二点的3D坐标，该3D图指示了第二点相对于耦合到该计算机系统的显示器的运动；计算与第一点和第二点相交的线段；识别该线段与该显示器相交处的目标点，并且接合在显示器上呈现的接近该目标点的交互项目。
根据本发明的实施例，还提供了一种装置，该装置包括传感设备，该传感设备被配置为接收用户的至少一个身体部位的三维（3D）图和该用户的眼睛图像，并接收该用户的二维（2D）图像，该2D图像包括用户的眼睛；及计算机，该计算机耦合到该传感设备并被配置为从3D图和2D图像中提取该用户的头部的3D坐标，基于该头部的3D坐标和眼睛图像识别由该用户执行的凝视的方向。
根据本发明的实施例，另外还提供了一种装置，该装置包括传感设备，该传感设备被配置为接收包括用户眼睛的图像；及计算机，该计算机被配置为基于该眼睛图像识别由该用户执行的凝视的方向，基于凝视方向识别耦合到该计算机系统的显示器上的区域，以及对呈现在该区域中的内容执行操作。
根据本发明的实施例，还提供了一种装置，该装置包括显示器和计算机，该计算机耦合到该显示器并被配置为在该显示器上呈现多个交互项目；从耦合到该计算机的传感设备接收表示用户的凝视方向的输入；基于该凝视方向识别在该显示器上的目标点；使该目标点与出现在该显示器上的第一交互项目相关联；并响应于该目标点，打开该显示器上的一个或多个第二交互项目。
根据本发明的实施例，还提供了一种装置，该装置包括显示器和计算机，该计算机耦合到该显示器并被配置为接收和分割计算机系统的用户的至少一个身体部位随时间的三维（3D）图的第一序列，以便提取该用户的第一点和第二点的3D坐标，该3D图指示了第二点相对于耦合到该计算机系统的显示器的运动；计算与第一点和第二点相交的线段；识别该线段与该显示器相交处的目标点；以及接合在显示器上呈现的接近该目标点的交互项目。
根据本发明的实施例，另外还提供了一种计算机软件产品，该计算机软件产品包括其中存储有程序指令的非暂时的计算机可读介质，当该指令由计算机读出时，使该计算机接收该计算机的用户的至少一个身体部位的三维（3D）图；接收该用户的二维（2D）图像，该图像包括该用户的眼睛；从3D图和2D图像中提取该用户头部的3D坐标；并且基于该头部的3D坐标和该眼睛图像识别由该用户执行的凝视的方向。
根据本发明的实施例，还提供了一种计算机软件产品，该计算机软件产品包括其中存储有程序指令的非暂时的计算机可读介质，当该指令由计算机读出时，使该计算机接收包括该计算机系统的用户的眼睛的图像；基于该眼睛图像识别由该用户执行的凝视的方向；基于该凝视方向识别耦合到该计算机系统的显示器上的区域，以及对呈现在该区域中的内容执行操作。
根据本发明的实施例，还提供了一种计算机软件产品，该计算机软件产品包括其中存储有程序指令的非暂时的计算机可读介质，当该指令由计算机读出时，使得该计算机在耦合到该计算机的显示器上呈现多个交互项目；从耦合到该计算机的传感设备接收表示用户的凝视方向的输入；基于该凝视方向识别该显示器上的目标点；使该目标点与出现在该显示器上的第一交互项目相关联；并响应于该目标点，打开该显示器上的一个或多个第二交互项目。
根据本发明的实施例，另外还提供了一种计算机软件产品，该计算机软件产品包括其中存储有程序指令的非暂时的计算机可读介质，当该指令由计算机读出时，使该计算机接收和分割该计算机的用户的至少一个身体部位随时间的三维（3D）图的第一序列，以便提取该用户的第一点和第二点的3D坐标，该3D图指示了第二点相对于耦合到该计算机的显示器的运动；计算与第一点和第二点相交的线段；识别该线段与该显示器相交处的目标点；以及接合在显示器上呈现的接近该目标点的交互项目。
附图说明
在此参照附图仅以举例的方式对本公开进行描述。
图1是根据本发明的实施例的实现混合形式的用户界面的计算机系统的示意性图示说明；
图2是示意性地示出根据本发明的实施例的实现该混合形式的用户界面的计算机系统的功能组件的方框图；
图3是示意性地示出根据本发明的实施例的检测用户的凝视方向的方法的流程图；
图4是根据本发明的实施例的被配置为用于输入密码的数字键盘的示意图；
图5是示意性地示出根据本发明的实施例的与凝视操作的用户界面交互的方法的流程图；
图6A至6C是示出了根据本发明的实施例的使用凝视操作的用户界面执行的一系列操作的示意图；
图7是示意性地示出根据本发明的实施例的检测与凝视有关的指示手势的方法的流程图；
图8是根据本发明的实施例的用户执行指向-选择手势以选择第一给定的交互项目的示意性图示说明；
图9是根据本发明的实施例的用户执行指向-触摸手势以操作第二给定的交互项目的示意性图示说明；
图10是示出了根据本发明的实施例的可选的指向-选择手势（在此也称为触发手势）的示意性图示说明；
图11是根据本发明的实施例的用户使手指向显示器上呈现的给定的图标以便校准计算机系统的示意性图示说明；以及
图12A和12B是根据本发明的实施例的通过呈现较小或较大尺寸的图标来帮助用户选择给定的图标的计算机系统的示意性图示说明。
实施方式的详细描述
概述
当使用物理触觉输入设备，诸如按钮、滚轮或触摸屏时，用户通常通过触摸和/或操作该物理设备来参与和脱离对用户界面的控制。本发明的实施例描述了用于与在耦合到运行混合形式的用户界面的计算机的显示器上呈现的交互项目进行互动的指点设备，该混合形式的用户界面包括通过3D传感器对用户的一个或多个身体部位的位置变化或运动进行的三维（3D）感测，该身体部位通常是手或手指。此处所述的指示手势包括在下文中详细解释的指向-选择、指向-触摸和指向-保持手势。
指向-选择手势使用户能够选择在显示器上呈现的交互项目。例如，使用指向-选择手势，用户可以通过朝向与电影相关联的图标（在显示器上）执行指向-选择手势来开始观看电影。指向-触摸手势使用户能够操作在显示器上呈现的交互项目。例如，用户通过指向-触摸手势操作水平滚动框可以水平地滚动在显示器上呈现的交互项目（例如，电影）的列表。指向-保持手势使用户能够看到在显示器上呈现的交互项目的上下文信息。例如，响应于用户在表示电影的图标上执行指向-保持手势，计算机会呈现弹出窗口，该窗口包括诸如剧情简介、影评和剧组成员的信息。在一些实施例中，当用户执行上述指示手势时，该混合形式的用户界面也可传递视觉反馈。
当与传统的二维（2D）用户界面交互时，上述的物理设备通常向用户传递触觉反馈。然而，当与如本文所描述的混合形式的用户界面的3D用户界面交互时，该用户在不接合任何物理设备的情况下可以执行手势，从而不接收任何触觉反馈。本发明的实施例提供了用于与在显示器上呈现的项目进行交互并且接收非触觉反馈从而补偿了触觉反馈的缺乏的方法和系统。
系统描述
图1是根据本发明的实施例的由计算机26的用户22操作的混合形式的用户界面20的示意性图示说明。（虽然为了简明起见，只有单个用户和用户界面示于图中，但是实际上界面20可以同时与多个用户交互。本发明的可选实施例可以使用不同的用户界面和/或支持跨越不同设备的多个用户界面）。通过示例的方式，在图示的实施例中的用户界面20基于3D传感设备24，该传感设备捕获3D场景信息，该3D场景信息包括身体或至少身体的部位，例如手指30、手31、头部32、或眼睛34。设备24或单独的摄像头（图中未示出）也可以捕获场景的彩色视频图像。设备24捕获的信息由计算机26进行处理，该计算机相应地驱动显示屏28来呈现和操作屏幕上的交互项目36（在此也称为交互项目）。可选地，该用户界面可与任何类型的计算机设备结合起来使用，例如笔记本电脑、平板计算机、电视机等等。
尽管图1示出了塔结构的计算机26，但是其它结构的计算机也被认为在本发明的精神和范围之内。例如，计算机26可以被构造成台式计算机、便携式计算机（例如，笔记本电脑）或单体计算机。
计算机26处理由设备24产生的数据，以便重建用户22的3D图。术语“3D图”（或相应的“深度图”）是指表示给定对象的表面的一组3D坐标，在这种情况下，给定对象指的是用户的身体。在一个实施例中，设备24将斑点图案投影到对象上并捕获所投影的图案的图像。然后，基于成像图案中的斑点的横向位移，计算机26通过三角测量计算用户的身体表面上的点的3D坐标。通过示例的方式，基于设备24，参照基本水平的X轴40、基本垂直的Y轴42和深度Z轴44，对3D坐标进行测量。例如，用于这种使用投影图案的基于三角测量的3D映射的方法和设备描述于PCT国际公开WO2007/043036、WO2007/105205和WO2008/120217中，其所公开内容通过引用并入本文。可选地，如本领域中公知的，系统20可以使用3D映射的其它方法，使用单个或多个摄像头或其它类型的传感器。
在一些实施例中，设备24通常通过处理和分析包括从一只或两只眼睛34反射的光（通常为红外光和/或由红色-绿色-蓝色相加色模型产生的颜色）的图像来检测用户22的眼睛34的位置和方向，以便于找到该用户的凝视方向。在可选的实施例中，计算机26（通过其自身或与设备24进行组合）检测用户的眼睛34的位置和方向。所反射的光可以源自设备24的光投影源，或任何其它天然光源（例如，日光）或人造光源（例如，灯）。使用本领域已知的技术，例如检测瞳孔中心和角膜反射（PCCR），设备24可以处理并分析包括从眼睛34的组成部分（例如瞳孔38、虹膜39或角膜41）反射的光的图像，以便找到用户的凝视方向。另外，设备24可以将从角膜反射的光作为闪烁效果传递（给计算机26）。
由计算机26从3D图中提取的用户头部（例如，眼睛的边缘、鼻子或鼻孔）的位置和特征可以用于找到用户眼睛的粗略位置，从而简化了眼睛位置和凝视方向的精确测定，并且使得该凝视测量更可靠和稳健。此外，计算机26可以容易地将由3D图提供的头部32的部分（例如，眼睛34）的3D位置与经由眼睛部分的图像分析获得的凝视角信息结合起来以便识别用户在任何给定的时间都在观看的给定的屏幕上的对象36。如在本领域已知的一些眼部跟踪系统中，3D映射和凝视跟踪共同使用允许用户22自由地移动头部32，同时通过使用头上的传感器或发射器减轻主动地跟踪头部的需要。
通过跟踪眼睛34，本发明的实施例在用户移动头部32后，可以减少重新校准用户22的需要。在一些实施例中，计算机26可以使用头部32、眼睛34和瞳孔38的深度信息，以便跟踪头部的移动，从而能够基于用户22的单次校准实现可靠的凝视角计算。使用本领域中已知的技术，例如PCCR、瞳孔跟踪以及瞳孔形状，计算机26根据头部32的固定点可以计算眼睛34的凝视角，并且使用该头部的位置信息以便重新计算该凝视角并增强前述技术的准确性。除了减少重新校准，跟踪头部的其它优点包括：减少了光投影源的数量并减少了用于跟踪眼睛34的摄像头的数量。
计算机26通常包括通用计算机处理器，其在软件中被编程以实现以下描述的功能。例如，该软件可以通过网络以电子形式下载到处理器上，或者它也可以提供在例如光学、磁或电子存储介质的非暂时的有形的计算机可读介质上。另外或可选择地，计算机处理器的部分或全部功能可以在例如定制或半定制的集成电路或可编程的数字信号处理器（DSP）的专用硬件中实现。尽管在图1中通过示例的方式将计算机26示出为与传感设备24分离的单元，计算机的部分或全部处理功能可以通过该传感设备壳体内的或与该传感设备相关联的合适的专用电路来执行。
作为另一种替代方案，这些处理功能可以通过与显示器28（例如，在电视机中的）集成在一起的，或与任何其它合适类型的计算机设备诸如游戏控制台或媒体播放器集成在一起的合适的处理器来实施。设备24的感测功能同样可以结合到计算机或由传感器的输出控制的其它计算机装置中。
可以使用各种技术以重建用户22的身体的3D图。在一个实施例中，计算机26从由设备24产生的深度数据中提取对应于身体部位的3D连接分量。例如，在2010年8月11日提交的美国专利申请12/854187中描述了用于此目的的技术，其公开内容通过引用并入本文。计算机分析这些所提取的分量，以便重构用户的身体的“骨架”，如以上提及的美国专利申请公开2010/0034457，或于2010年8月11日提交的美国专利申请12/854188中描述的，其公开内容也通过引用并入本文。在可选的实施例中，也可以使用其它技术来识别用户身体的某些部位，并且不需要设备24全部或甚至部分地看到整个身体或待重构的骨架。
即使由于例如最小对象尺寸以及在距离设备24较大的距离处分辨率降低这些问题，使得身体部位（例如，指尖）可能不被深度图检测到，但是通过使用重构的骨架，计算机26可以假定身体部位例如手指30的尖端的位置。在一些实施例中，根据身体部位的早期检测或根据沿着几个（先前）接收到的深度图跟踪身体部位，计算机26可以基于人体部位的所预期的形状自动地完成身体部位。
在一些实施例中，作为这种骨架重构的结果，由计算机26生成的信息包括用户的头部，以及臂、躯干还可能有两腿、手和其他特征的位置和方向。在不同的帧（即，深度图）中的这些特征的变化或用户姿势的变化能够提供用户做出的手势和其它动作的指示。用户姿势、手势和其它动作可以提供用于用户与界面20交互的控制输入。这些身体动作可以与由设备24感测到的其它交互形式结合起来，这些身体动作包括如上所述的用户眼球运动和语音指令以及其他声音。因此，界面20使用户22能够执行各种远程控制功能并且能够与出现在显示器28上的应用程序、界面、视频程序、图像、游戏和其它多媒体内容进行交互。
图2是示意性地示出了根据本发明的实施例的用户界面20的功能组件的方框图。传感设备24包括照明子组件50，其将图案投影到目标场景上。如适当配置的视频摄像头的深度成像子组件52捕获场景中的图案的图像。通常，照明子组件50与成像子组件52在红外范围内操作，尽管也可使用其它光谱范围。可选择地，设备24中的彩色视频摄像头（未示出）捕获场景中的2D彩色图像，并且麦克风54也可捕获声音。
处理器56从子组件52接收图像并将每个图像中的图案与存储在存储器58中的参考图案进行对比。通过将图案投影在距设备24已知距离处的参考平面上，参考图案通常预先被捕获。处理器56计算部分图案在3D图的区域上的局部偏移，并且将这些偏移转化为深度坐标。例如，该过程的细节在PCT国际公开WO2010/004542中进行了描述，其公开内容通过引用并入本文。可选地，如前所述，通过本领域已知的其他方式，例如立体成像、类似声纳的设备（基于声音的/声学的）、可佩带工具、激光器或传播时间测量，设备24可被配置成生成3D图。
处理器56一般包含嵌入式微处理器，其被用软件（或固件）编程以实施下面所述的处理功能。例如，该软件可以通过网络以电子形式提供给处理器；可选地或另外，该软件可以被存储于非暂时的有形计算机可读介质中，例如存储于光的、磁的或电子存储介质中。处理器56也包括合适的输入和输出接口，并且该处理器可以包括用于实现其某些或所有功能的专用的和/或可编程的硬件逻辑电路。一些处理功能以及可以用于实施这些处理功能的电路的详细描述示于上述公开WO2010/004542中。
在一些实施例中，凝视传感器60通过捕获和处理用户22的二维图像来检测用户22的眼睛34的凝视方向。在其它的实施例中，计算机26通过处理设备24传送的一序列3D图来检测凝视方向。传感器60可以使用本领域中已知的眼睛跟踪的任何适当的方法，例如，在上述美国专利7,762,665或在美国专利7,809,160中所描述的方法，它们的公开内容通过引用并入本文，或是在这些专利中引用的参考文献中所描述的可选的方法。例如，传感器60可以捕获从用户的眼睛的眼底或角膜反射的光（通常是红外光）的图像。这种光通过照射子组件50或通过与传感器60相关的另一个投影元件（未示出）可以朝向眼睛投影。传感器60在用户界面20的整个目标区域可捕获其高清晰度图像并且随后在目标区域内可以定位来自眼睛的反射。可选地，除了捕获用于3D映射的图案图像，成像子组件52可以捕获来自用户眼睛的反射（环境光、来自监视器的反射）。
作为另一种替代方案，处理器56可驱动扫描控件62以引导凝视传感器60的视场朝着用户的面部或眼睛34的位置。如上所述，基于深度图或基于根据3D图重构的骨架，或使用本领域已知的基于图像的面部识别方法，可通过处理器60或通过计算机26来确定该位置。例如，扫描控件62可以包括机电框架、或扫描光学或光电元件或任何其它合适类型的本领域已知的扫描器，例如被配置成将场景反射到凝视传感器60的基于微机电系统（MEMS）的反射镜。
在一些实施例中，扫描控件62还可以包括光学或者电子变焦，其根据由3D图所提供的设备24到用户头部的距离调节传感器60的放大率。由扫描控件62所实施的上述技术使得仅具有中等分辨率的凝视传感器60能够以高精度捕获用户眼睛的图像，从而给出精确的凝视方向的信息。
在其它实施例中，计算机26可以使用扫描控件的角度（即，相对于Z轴44）来计算凝视角。在另外的实施例中，计算机26可以比较凝视传感器60捕获的景物和3D深度图中所识别的景物。在另一实施例中，计算机26可以将凝视传感器60捕获的景物与2D摄像头捕获的景物相比较，该2D摄像头具有包括整个目标场景的宽视场。此外或另外，扫描控件62可以包括被配置为核对眼睛移动角度的传感器（通常光学的或电的）。
处理器56处理由凝视传感器60捕获的图像以提取用户的凝视角度。通过将传感器60所做的角度测量与深度成像子组件52所提供的用户头部的3D位置结合起来，处理器能够准确地获取3D空间中用户的真实视线。3D映射和凝视方向感测的结合减少或免除了精确校正和比较多个反射信号以便提取真实的凝视方向的需要。由处理器56提取的视线信息使计算机26能够可靠地识别用户正注视的交互项目。
由于不需要检测闪烁点（例如，在PCCR方法中所使用的），两种形式的结合可以允许无需使用有源投影设备（即，照射子组件50）进行凝视检测。使用该组合可以解决本领域已知的其它凝视方法中已知的玻璃反射问题。使用从自然光反射、2D图像（即，检测瞳孔位置）、以及3D深度图（即，通过检测头部的特征识别头部的位置）获取的信息，计算机26可以计算凝视角和识别用户正注视的给定的交互项目。
如上所述，凝视传感器60和处理器56可以跟踪用户的一只或两只眼睛。如果能够以足够的精度跟踪两只眼睛34，处理器也可为每只眼睛提供单独的凝视角度测量。当双眼注视远处的对象时，双眼的凝视角度将是平行的，但是对于近处的物体，该凝视角度通常汇聚在接近目标对象的一点上。在提取用户在任何给定的时间其凝视角固定的点的3D坐标时，该点可以与深度信息一起使用。
如上所述，设备24可以产生同时在该设备视场中的多个用户的3D图。通过提供整个视场的单个高分辨率图像，或通过使扫描控件62对每个用户的头部位置进行扫描，凝视传感器60可以同样地找到这些用户中每个人的凝视方向。
处理器56经由例如通用串行总线（USB）连接的通信链路64，将3D图和凝视信息输出到计算机26的合适的界面66上。该计算机包括带有存储器70的中央处理单元（CPU）68以及用户界面72，其驱动显示器28并且也可以包括其它组件。如上所述，设备24可以选择性地仅输出原始图像，并且如上所述的3D图和凝视计算可以通过CPU68用软件执行。用于从3D图和凝视信息中提取较高级的信息的中间件可以在处理器56、CPU68或在这两者上运行。CPU68运行一个或多个应用程序，这些应用程序通常经由应用程序接口（API），基于由中间件提供的信息，驱动用户界面72。例如，这些应用可包括游戏、娱乐、网上冲浪和/或办公室应用。
尽管处理器56和CPU68由于它们之间的处理任务具有特定的划分而作为独立的功能单元被示于图2中，处理器和CPU的功能可以可选地由单个的处理单元来实施，或者这些功能可以被分成由三个或更多的处理单元实施。此外，尽管设备24被示出为包含特定布置中的元件的某种组合，其它设备配置可被用于本文中所述的目的，且被视为在本发明范围之内。
凝视检测
图3是示意性地示出根据本发明的实施例的检测用户22的凝视方向的方法的流程图。在初始步骤80中，计算机26从深度成像子组件52接收包括用户22的至少一个身体部位的3D图，并且在提取步骤82中，计算机将所接收的3D图分割以便提取出头部32的3D坐标。在接收步骤84中，计算机26从凝视传感器60接收用户的包括眼睛34的二维图像。如上所述，照射子组件50可以朝向用户22投射光，并且所接收的图像可以包括从眼底和/或从眼睛34的角膜上反射出的光。在识别步骤86中，计算机26分析所接收到的深度图和图像以便于识别用户22的凝视方向，并且该方法结束。
在一些实施例中，计算机26通过沿着X轴40、Y轴42和Z轴44从3D图中识别出头部的位置来提取头部32的3D坐标。在其它实施例中，计算机26通过沿着X轴40和Y轴42从2D图像中识别出头部的第一位置，并且通过沿着Z轴44从3D图中识别出头部的第二位置来提取头部32的3D坐标。
本发明的实施例可使用凝视检测以响应于凝视的方向来控制计算机系统例如计算机26的功能。在一些实施例中，计算机26可以识别在凝视方向的位置上的在显示器28上呈现的给定的交互项目，并且响应于凝视方向来改变给定的交互项目的状态。
在第一实施例中，改变给定的交互项目36的状态可以包括执行与该给定的交互项目相关联的操作。例如，交互项目36可以包括用户22可以选择在显示器28上呈现的特定内容（例如，电影或电视节目）的菜单选项。在第二实施例中，计算机26通过将从用户接收的输入引导到给定的交互项目，可以改变给定的交互项目的状态。例如，给定的交互项目可以包括文本框，并且如果用户正在凝视该文本框，计算机26可以向该文本框提供从键盘接收的字母数字输入。
在其它实施例中，计算机26可以识别在凝视方向的位置上在显示器28上呈现的给定的交互项目，并且响应于从用户接收的声音指令改变给定的交互项目的状态。例如，给定的交互项目可以包括与软件应用相关的图标，并且该用户可以凝视该图标并且说出“开始”以便于执行该应用。在另外的实施例中，用户界面20可被配置为响应于凝视方向来识别给定的交互项目，并且响应于由肢体（例如，手指30或手31）所执行的手势来操控给定的交互项目。例如，在选择了给定的交互项目之后，如果该计算机接收到指示该用户以挥动运动（即，沿着包括X轴40和Y轴42的平面）来移动手30的一序列3D图，计算机26可以相应地在挥动的方向上（即，从左到右）重新定位所选择的交互项目。
在另一实施例中，本发明的实施例可用于接收包括眼睛34的图像（2D图像或3D图）；基于该图像识别凝视方向；基于凝视方向识别显示器上的在凝视方向的区域，并且在该区域上执行操作。例如，计算机26可以包括结合数字摄像头的台式计算机，显示器28可以包括用于所述台式计算机的显示器，并且该摄像头可以被配置成将摄像头的镜头聚焦在所识别出的区域中呈现的项目上。
此外或另外，计算机26可以识别耦合到该计算机的并且位于凝视方向上的设备，并且响应于凝视方向控制设备的功能。例如，如果用户凝视耦合到计算机的扬声器的顶部，计算机可以提高扬声器的音量级，并且如果用户凝视扬声器的底部，计算机可以降低音量级。
图4是根据本发明的实施例的在显示器28上呈现的被配置用于输入密码的数字键盘90的示意图。在此图和随后的图中用户22的存在和凝视用眼睛34表示，所述的眼睛具有视线92。传感设备24通过在该设备的视场94中找到用户头部的3D位置和眼睛34的凝视方向，可以确定视线。
在本说明书中，交互项目36可以通过使用不同的描述（例如，使用图标或滚动框代替交互项目）并附加字母到识别标号来进行区分。例如，在图4中，交互项目46包括数字输入键36A和开始按钮36B。当呈现输入键和开始按钮时，计算机26提示用户22输入密码。尽管数字键示于图4中，任何类型的屏幕上的图形元素可以用作用于该目的的“键”。当用户想要开始操作计算机26或操作在计算机上执行的特定的应用程序时，用户可以将他的视线从一个给定键36A引向适当序列中的下一个键，以便于输入密码。或者，当该用户的凝视停留在每个给定键36A（即，在包含密码的一系列键中）上时，该用户可以做出特定的手势或声音指令（如“输入”），以便于通知设备24记录该选择。
在一些实施例中，计算机26可以被配置成在具有或不具有用户做出的任何额外的输入（即，手势或声音）的情况下，选择一系列交互项目36（例如，当用户将他的视线从一个交互项目移动到下一个时）来指示已被选择的交互项目。同样地，计算机26可以被配置为不向用户提供指示该选择的任何视频或音频反馈。因此，即使用户在公共场合输入密码，旁观者将无法确定或复制密码。
输入密码后，该用户可以引导他的视线朝向开始按钮36B以便于继续与计算机进行交互。
除了密码输入，凝视检测可以用于以其他方式来增强安全性。例如，计算机26可以获悉用户特有的眼动模式和/或眼睛34的其他生物统计特征以作为额外的识别方法。作为另一个例子，设备24可被配置成不仅可以找到用户22的凝视角度，而且还可以找到位于视场94（例如，通过骨架重构从3D图中识别的）内的其他人的凝视角度。在这种情况下，当另一个人正注视显示器28时，设备24可以被配置为警告用户（甚至可提示计算机26在显示器上显示设备24所捕获的其他人的图像）。这种类型的功能可以帮助用户22保护自己免遭窃听和阻止窃听者继续看着显示器。
作为功率节省特征，设备24可以检测何时用户没有看着显示器28，并且当用户的视线离开显示器28的时间超过阈值时间期间时，计算机26可激活功率节省技术。例如，当用户没有看着显示器时，计算机26可以使显示器完全变暗或暗淡（即，降低亮度）。当该用户回过来看向显示器时，计算机可以停用功率节省技术。例如，在检测到用户22将他的视线返回到显示器上时，计算机26可以增加亮度，使亮度返回到全亮度。这种依赖凝视的屏幕控制在提高便携式设备的电池寿命方面以及在通常为了节省成本和环境友好性而降低功率消耗方面也是有用的。
凝视操作的用户界面
凝视跟踪可以被用于创建交互式用户界面，该用户界面可以检测出用户正在注视屏幕上的哪个交互项目（例如，文本框，或者应用程序如字处理程序），从而消除了对于鼠标和/或键盘的需要。例如，当用户键入文本时，文本会被自动定向到该用户正在注视的文本框。作为另一个例子，当用户在一个单词或句子处进行第一次按键时，“鼠标点击”型事件被发送到所注视的文本框中，这使得文本被输入到该文本框中。以这种方式，用户无需移动鼠标逐个字段（“名”、“姓”、“密码”等）进行切换就可填写Web表格。
此外，凝视跟踪与其他形式（例如3D映射/手势检测和/或语音检测）的组合，使用户能够充分控制屏幕上的对象，而无需使用鼠标或触摸屏。以这种方式，用户可以实施全范围的指向和选择功能，包括通过大量的信息项目和选择进行搜索。所组合的界面形式也可以被用于在某个交互项目的上下文中搜索和执行控制功能，例如在打开的文件内执行查找、剪切、复制和粘贴功能。
图5是示意性地示出了根据本发明的实施例的与凝视操作的用户界面交互的方法的流程图，并且图6A至6C是示出了根据本发明的实施例的使用凝视操作的用户界面执行的一系列操作的示意图，在初始化步骤100中，计算机系统例如计算机26在显示器28上呈现多个交互项目36。在图6A-6C所示的配置中，计算机26最初在显示器28的右下角处呈现开始按钮36B。由于用户22使其视线92朝向开始按钮36B，计算机26在接收步骤102中接收指示用户22的凝视方向的输入（例如，深度图）。一旦确定凝视方向，计算机26在识别步骤104中基于凝视方向（即，该用户正注视的显示器上的点）识别显示器28上的目标点120。
在比较步骤106中，如果第一交互项目36接近目标点，则在相关联步骤108中，计算机26将目标点与第一交互项目相关联。在图6A所示的例子中，第一交互项目包括开始按钮36B，并且目标点120位于开始按钮36处。返回到步骤106中，如果目标点没有接近任何交互项目，则该方法继续到步骤102。
在响应步骤110中，计算机26打开（即，呈现）一个或多个接近第一交互项目的第二交互项目36，并且该方法结束。计算机26可以响应于用户调整凝视方向使得目标点接近其中一个第二交互项目，来选择其中一个第二交互项目。
虽然在图6A至图6B中的交互式用户界面的配置示出了计算机26以同心图案呈现了位于第一交互项目径向外侧的第二交互项目36，其它配置也被认为在本发明的精神和范围之内。例如，计算机26可以将第一和第二交互项目呈现为嵌套的矩形图标。
在一些实施例中，计算机26可以响应于由肢体（例如，手指30或手31）所执行的手势打开一个或多个第二交互项目。例如，在将目标点与第一交互项目关联之后，如果计算机接收到指示用户正在以挥动动作（例如，沿包括X轴40和Y轴42的平面）移动手30的一序列3D图，计算机26可以响应地打开一个或多个第二交互项目。
在图6A所示的配置中，计算机26呈现了第二交互项目的菜单区域122，该第二交互项目包括计算机上可用的各种应用的选项卡36C（以同心图案进行布置）。在一些实施例中，计算机26响应于用户凝视目标点120而打开菜单区域122，从而没有必要求用户进行任何形式的身体手势或语音指令。
在图6B中，用户22将其视线92朝向了邮件选项卡36C，这导致计算机26自动打开用户的电子邮件（电子函件）收件箱，其含有收到的邮件项目的列表36D。当用户将其视线在列表36D上向上和向下扫描时，并将视线92停留在特定的列表项36D上时，计算机自动呈现由所述列表项所表示的邮件项目的内容的预览124。用户通过将其视线92向上或向下移动，可预览其它的列表项36D，或可通过将其视线92引导到返回按钮36E返回主菜单。所有这些动作可仅靠眼部运动来执行。
为了打开所选择的邮件项目，用户可通过另一形式将指令输入到计算机26。例如，用户可以说“打开”，或可在凝视与邮件项目对应的列表项36D的同时执行打开的手势。传感设备24检测用户所做的音频输入或三维运动，并将适当的指令输入计算机26中。结果，图6C所示的屏幕打开了，呈现所选择的邮件项目的全部内容126。该用户可通过将他的凝视移动到“返回收件箱”区域36F来从此点返回收件箱，或可使用返回按钮36E返回主菜单，如上面所提到的。
当选择给定的交互项目36时，计算机26可以将视觉反馈传递给指示该选择（即，在执行诸如呈现全部内容126的动作之前）的用户。视觉反馈的例子包括改变所选项目的尺寸和/或外观，或通过用边框包围所选择项目来突出显示所选择的项目。传递视觉反馈使得用户22将他的凝视集中在目标点的附近，从而优化用户体验。例如，当用户选择开始按钮36B时，计算机26可以经由开始按钮传递视觉反馈，从而引导用户将他的凝视保持在接近计算机呈现菜单区域122中的选项卡36C的位置。
与凝视相关的指示手势
如下文详述，当用户22执行指向-选择、指向-触摸和指向-上下文的手势时，用户22指向给定的交互项目36。在本发明的实施例中，计算机26通过限定用户的第一点和第二点之间的直线来识别用户正指向何处，并识别直线在何处（即，目标点120）与显示器28相交。
图7是示意性地示出了根据本发明的实施例的检测与凝视有关的指示手势的方法的流程图。图8是根据本发明的实施例，用户22执行指向-选择手势以选择在显示器28上呈现的第一给定的交互项目36的示意性图示说明，以及图9是根据本发明的实施例，用户22执行指向-触摸手势以操作在显示器28上呈现的第二给定的交互项目36的示意性图示说明。用户22使用指向-选择手势可选择的第一交互项目的例子包括图标36G，用户22使用指向-触摸手势可操作的第二交互项目的例子包括图标36G，垂直滚动框36H和水平滚动框36I。
指向-选择手势包括用户22将给定的手指30（通常为食指）指向第一给定交互项目36，将手指30（通常沿着z轴44）移向第一给定交互项目，停止或减慢手指，然后将手指拉回用户。指向-触摸手势包括用户22将手指指向第二给定交互项目36，将手指30（通常沿z轴44）移向第二给定交互项目，暂停手指，然后将手沿着包括X轴40和Y轴42的平面移动。
在第一接收步骤130中，诸如计算机26的计算机系统接收包括用户22的3D图的第一序列，并且在提取步骤132中，计算机分割所接收的3D图以提取用户的第一点和第二点的3D坐标。虽然图8和图9示出了包括眼睛34的第一点和包括手指30（食指）的指尖的第二点，不同的第一点和第二点被认为在本发明的精神和范围内。例如，第一点可包括眼睛34之间的一个点，或用户脸上的某个其它点，而第二点可以包括用户任意肢体上的任意点。对于用户22的不同姿势，计算机26可使用不同的计算来识别第一点和第二点。
在第一比较步骤134中，如果3D图的第一序列指示该用户正相对于（通常朝向）显示器28移动第二点，那么在第二接收步骤136中，计算机26接收并分割指示第二点减速的3D图的第二序列。在计算步骤138中，计算机26计算与第一点和第二点相交的线段160，以及在识别步骤140中，计算机将线段160延伸到显示器28，并识别线段160与显示器相交处的目标点120。
在一些实施例中，用户22可能没有看着目标点。例如，计算机26可以确定（即，使用上述的凝视检测实施例）用户正将他的凝视引向在显示器28的左侧呈现的第一给定交互项目，但是步骤140识别到该用户正指向位于显示器28右侧的第二给定交互项目36。在这种情况下，尽管该用户将他的凝视指向第一交互项目，计算机可以被配置成选择第二交互项目。
在第二比较步骤142中，如果计算机26在接近目标点120处呈现给定的交互项目36，则计算机与接近目标点的给定交互项目36相接合（engage），并在第三接收步骤144中接收和分割3D图的第三序列。在第三比较步骤146中，如果3D图的第三序列指示用户正从显示器（即，朝向用户22）移走第二点，那么在选择步骤148中，计算机26与在接近目标点120处呈现的给定的交互项目相接合（即，选择），然后该方法结束。在图8所示的例子中，用户22可以使用包括将手指30指向图标“A”和将手指拉回的指向-选择手势选择图标“A”。
在一些实施例中，接合给定的交互项目可以包括执行与给定的交互项目相关联的动作。例如，给定的交互项目可包括电影的给定图标36G，接合该给定图标36G包括执行应用程序来观看电影。
可选地，在指向图标“A”时，用户22可以发出诸如“选择”的语音指令。一旦从麦克风54接收到语音指令，计算机26就可以执行与呈现在接近目标点120处的给定的交互项目（例如，图标“A”）相关的操作。
在一些实施例中，尽管上文描述的凝视检测实施例指示用户当前没有看着给定的交互项目，但计算机26可使用指向-选择手势，选择给定的交互项目36。在第一例子中，如果计算机26检测到用户在指定的时间内并没有改变他的凝视方向，而且当所接收到的2D图像和3D图不指示凝视方向（例如，手31挡住眼睛34）时，计算机26识别出指向-选择手势，那么计算机26可“覆盖”凝视检测并响应于指向-选择手势。
在第二个例子中，如果手指运动姿势是“显著的”（即，至少具有第一指定的距离），并且如果目标点120距离在凝视方向上呈现的交互项目至少为第二指定距离，那么计算机26可以响应指向-选择手势。例如，如果用户正注视在显示器28的左侧呈现的第一交互项目36，并对在显示器右侧呈现的第二交互项目36执行指向-选择手势，那么计算机26可被配置为接合第二交互项目。
如果3D图的第三序列没有指示用户正将第二点从显示器28移走，那么在第四比较步骤150中，计算机26分析3D图的第三序列来确定用户22是否正沿包括X轴40和Y轴42的X-Y平面移动该第二点。如果3D图的第三序列指示该用户正沿X-Y平面移动该第二点，那么在重定位步骤152中，计算机26响应于第二点的运动重定位位于接近目标点120处的交互项目，然后该方法结束。在图9所示的例子中，用户22可以使用包括将手指30指向垂直滚动框和将手指上下移动的指向-触摸手势，移动垂直滚动框36H。
如果3D图的第三序列没有指示该用户正沿X-Y平面移动第二点，那么在第五比较步骤154中，计算机26分析3D图的第三序列以确定用户22是否正相对稳定地保持第二点持续至少特定的时间段（例如，两秒）。如果3D图的第三序列指示该用户正相对稳定地保持第二点持续特定的时间段，那么在呈现步骤156中，计算机26对位于接近目标点120处的交互项目执行保持操作。例如，保持操作可包括呈现位于接近目标点120处的交互项目的上下文信息。上下文信息的例子包括交互项目的属性或用户可用的选项。例如，计算机26可呈现消息“拉回手指来选择，或水平或竖直地移动手指来重定位项目。”保持操作的另一个例子可包括计算机26删除位于接近目标点120处的交互项目。
返回步骤154，如果3D图的第三序列没有指示用户相对稳定地保持第二点持续特定的时间段，那么该方法继续到步骤130。类似地，如果在步骤142中计算机26没有呈现接近目标点120处的给定的交互项目36，或者如果在步骤134中3D图的第一序列没有指示用户22正将第二点朝着显示器28移动，那么该方法也继续到步骤130。
在一些实施例中，计算机26可以响应于本文描述的手势控制耦合到计算机的设备的功能。例如，如果用户在指向耦合到计算机的扬声器时，朝上执行指向-触摸手势，计算机可以提高扬声器的音量级。类似地，如果用户在指向扬声器时朝下执行指向-触摸手势，那么计算机可以降低扬声器的音量级。
尽管图7的流程图中所描述的手势包括指向-选择手势和指向-触摸手势，那些经由线段160（即，与第一点和第二点相交的线段）识别目标点120的其它指示手势应被认为在本发明的精神和范围内。另外地或可选地，指向-选择手势和指向-触摸手势可以与上述的凝视检测实施例结合使用。
例如，计算机26可以被配置为一旦基于用户的凝视、指示用户28正将手指移向显示器28的3D图的第一序列、指示用户正将手指减速的3D图的第二序列、以及指示用户正将手指30从显示器移走的3D图的第三序列识别出目标位置120时，选择（即，指向-选择）给定的交互项目36。类似地，计算机26可以被配置为一旦基于用户的凝视、指示用户28正将手指30移向显示器28的3D图的第一序列、指示用户正将手指减速的3D图的第二序列、以及指示用户正沿包括X轴40和Y轴42的平面移动手指30的3D图的第三序列识别出目标位置120时，响应性地重定位（即指向-接触）给定的交互项目36。
图10是示出了根据本发明的实施例的可选的在此也称为触发手势的指向-选择手势的示意性图示说明。在将食指30指在给定的交互项目36之后，用户22可以通过抬高或合拢拇指170（如由箭头172所示）选择给定的交互项目，其中合拢拇指完成所述手势（即，而不是将手指移向交互项目）。可选地，一旦用户22将手指30指向给定的交互项目，以及发出声音指令来选择给定的交互项目（例如，用户说出单词“打开”），计算机26就可以选择给定的图标。
另外地或可选地，尽管图8至图9中所示的例子示出了位于头部32上的第一点，其它的第一点被认为在本发明的精神和范围内。在图10所示的例子中，第一点包括食指30的关节，并且线段160通过指尖和关节。
非触觉用户界面校准
在操作中，非触觉用户界面20通常由多于一个用户使用，而且每一用户可能不同地指向在显示器28上呈现的同一给定的交互项目36。在一些实施例中，使用非触觉用户界面的元素（即，图标30），计算机26可以为非触觉用户界面的每一用户计算并储存校准系数。
图11是根据本发明的实施例的用户22将手指30指向给定图标36G的示意性图示说明。如该图所示，基于用户手指30的位置，线段160指向图标“A”的正下面。因此，一识别出用户22，计算机26就可以在检测由用户执行的手势时应用适当的校准系数。
例如，如果非触觉用户界面20在特定的一段时间内不活动，那么计算机26可“锁住”非触觉用户界面，并呈现用户22可以指向以解锁用户界面的单个解锁图标36G。当用户指向解锁图标时，计算机26可以识别目标点120并为该用户计算校准系数（即，基于目标点与解锁图标的接近程度）。
另外地或可选地，可能会有这样的情况：当用户22执行手势时，目标点120位于两个或多个图标36G之间，且计算机不能识别用户指向哪个图标。在计算机26不能识别指向哪个图标36G的情况下，计算机能够识别接近目标点120的图标子集，以更大的尺寸呈现识别到的图标，并提示用户再指一次。
图12A是根据本发明的实施例的用户22定位手指30以指向其中一个图标36G的示意性图示说明。如该图所示，目标点120位于图标“A”、“B”、“E”和“F”之间。
图12B是根据本发明的实施例，用户22定位手指30以指向给定的图标36G的示意性图示说明，其中计算机26以更大的尺寸呈现图标。继续图12A所示的例子，计算机26以更大的尺寸呈现图标“A”、“B”、“E”和“F”，然后用户22定位手指30以指向图标“A”。
以类似的方式，如上所述，当用户经由从2D图像和/或3D图获得的凝视检测来选择给定的图标36G时，用户界面20可以校准用户22。首先，计算机26可“锁定”非触觉用户界面，并呈现用户22可以看着以便解锁用户界面的一个解锁图标36G。当用户凝视该解锁图标时，计算机26可以识别目标点120并为用户计算校准系数（即，基于目标点与解锁图标的接近程度）。
在第二个例子中，如果用户持续特定的一段时间凝视着给定的交互项目36G，那么计算机26可在交互项目36（例如，弹出对话框）中呈现给定的交互项目的上下文信息。如果用户凝视接近呈现上下文信息的交互项目，那么计算机26可以基于目标点与上下文信息的接近程度计算出校准系数。
中间件
如上所述，用于从3D图和凝视信息中提取更高层次信息的中间件可在处理器50和/或CPU68上运行，且CPU68可以基于由中间件通常通过API提供的信息执行驱动用户界面72的应用程序。
以下是计算机26可以用来从接收于设备24的3D图中提取信息的中间件原语的例子：
·InteractStart()：识别与用户界面20交互的开始。
·InteractHover(Pos2D,Radius)：识别显示器28上的当前目标点120（即，用户22的手指30指向的显示器上的点的坐标）。Pos2D参数指显示器28上的（二维）位置。
·InteractPointNew(Pos2D,Radius)：当用户22执行指向-选择手势时识别目标点120。
·InteractPointUpdate(Pos2D,Radius)：在执行指向-触摸手势时随用户22沿X-Y平面移动手指30更新目标点120。
·InteractEnd(Pos2D,Radius)：识别用户22何时将手指30移出视场94。
使用上述的中间件的功能，当用户22执行指向-选择和指向-触摸手势时，计算机26可以识别以下“阶段”：
1.手指识别。在手指识别阶段，中间件识别并开始跟踪手指30。中间件跟踪手指，并识别手指朝向显示器运动的任何意图。这使得用户界面20能够从其它随意的手部运动中区分出指向手势。
2.手势识别。为了到达手势识别阶段，通常需要满足两个条件：（a）用户22将手指30移向显示器28，和（b）目标点120在显示器的边界内。在一些配置中，目标点120可以“位于”显示器28的外侧一点。例如，由于有效的指向-触摸手势可包括从“外侧”显示器28拖动给定的交互项目36（例如，退格键、alt-tab键等）。
一旦进入第二阶段，中间件就传达InteractStart()事件。一旦传达InteractStart()事件，中间件就不断地跟踪手指30并寻找在限定目标点（见下面的第3阶段）方向的变化。当手指移动时，中间件正传达InteractHover(Pos2D,Radius)事件，其使得用户界面20能够检测用户22目前正将手指30指向何处。
3.交互指向。当用户20停止手指30，或将手指30从显示器28移走时，就到达了交互指向阶段。根据第二点的位置，中间件通过连接（例如）眼睛30和指尖以创建线段160来计算目标点120，并将该线段延伸至到达显示器。然后中间件传达识别目标点120的事件InteractPointNew(Pos2D,Radius)，从而使用户界面20能够选择预期的交互项目36。
4.交互结束。用户22将手指30从显示器28移走和移出视场94表示手势结束（例如，上述的指向-选择和指向-触摸手势），从而使用户脱离用户界面20。要重新接合用户界面20，用户22可以将手指30重定位在视场94内，从而进入上面描述的手指识别阶段。
在更高的抽象水平上，可以结合上面描述的中间件原语来定义类似于本领域中已知的现有的触摸屏原语的以下原语：
·激活：接合（即，“点击”）给定的交互项目36的指向-选择手势。激活原语可以用于激活应用程序、按压按钮或跟随超链接。
·平移：在X-Y平面上以任何方向移动给定的交互项目36的指向-触摸手势。在操作中，一些应用程序可被配置为对在X轴或Y轴上的移动做出反应。
·上下文：如上所述，指向-保持手势包括用户22将手指移向给定的交互项目36，和将手指相对稳定地保持一特定的时间段（即，与在微软WinDowsTM环境中将鼠标定位于项目上并按下鼠标右键相似）。响应于指向-保持手势，计算机26可以向用户传达指示下一步该怎么做（例如，拖动和/或停止给定的图标36G）的反馈，或关于给定的交互项目的信息（例如，上文所述的电影情节概述）。
在操作中，为了允许在更高的抽象水平上开发在计算机26上执行的反映用户体验（UX）语言原语的应用程序，中间件可以传达以下事件：
·Start(Pos2D,Radius)：以类似于InteractStart()事件的方式开始与用户界面20的交互，但是在更高的抽象水平。
·Activate(Pos2D,Radius)：激活下面描述的手势原语中的一个。
·Pan(Pos2D,radius)：用户22发起指向-触摸手势。
·PanEnd(pos2D,Radius)：用户22完成（即，脱离自）指向-触摸平移手势（例如，通过将手指30从显示器移走）。
·Context(Point2D,Radius)：用户22发起指向-保持手势。在操作中，用户22可直接从指向-保持手势转换到指向-触摸手势。
·ContextEnd()：一旦完成指向-保持手势（即，没有转换到指向-触摸手势），用户22就从用户界面20脱离。
交互式3D显示和游戏
由传感设备24提供的组合的3D映射和凝视方向信息，可以以各种方式使用以提高3D图获取和3D图像演示的质量和用户体验。例如，在交互式游戏中，用户移动穿过场景，在显示器28上的风景可以成为在视线92的方向的焦点。其它区域（如当用户的视点在附近项目上时的远处的风景，或反之亦然）的风景可能会被故意模糊，以模拟实际的深度空间和/或节省带宽。
作为另一个例子，在计算机26上运行的游戏应用程序可被编程为根据用户的凝视方向改变游戏的“故事情节”。例如，计算机可能会在给定的时刻在用户没在看着的显示器区域突然呈现项目（诸如“敌人”角色），使用户惊讶。以上参照图6A至图6C所述的凝视-引导的指向和选择方法可同样在游戏和其它“虚拟世界”中应用在选择交互项目36和“瞄准”它们（诸如将武器指向目标）上。
由设备24收集的深度和凝视信息可以用于增强3D显示（特别是自动立体显示）的能力和用户体验。通过向用户的左、右眼呈现不同的图像来操作该显示，但一般只可以从有限范围的位置观看到。通过跟踪用户的头部位置和凝视方向，设备24能够引导该显示器以改变它呈现的任何图像，使得可以在更大的位置范围观看它们以及展现在显示器上呈现的项目的不同角度视图。应用于在自动立体显示器（或其它3D显示器）上呈现的近场项目36的视差，可以根据用户头部离显示器的距离进行修改，以便增强真实感和减少一些用户在这样的环境中可能感到的视觉不适。
也可以驱动这类3D显示器以与用户的3D手势进行交互。例如，基于用户的已知位置以及用户的凝视方向，计算机26可以驱动该3D显示器来在用户可以“触摸”虚拟项目的位置的空间显示它们。然后用户可以在3D空间中的项目位置通过移动他的手（或其它身体部位）来操作虚拟项目和与虚拟项目进行交互。设备24感测用户的手势和向计算机26提供适当的输入，以使计算机可以响应于用户交互来移动或另外修改该项目。这种类型的交互模式也使得用户能够到达并与给定的屏幕上的对象进行交互，该对象位于由显示器创建的虚拟空间中的另一个对象的“后面”。
在另一个例子中，计算机26可在显示器28上呈现包括多个交互项目36（例如，游戏中的角色）的内容。在一些实施例中，计算机26可以识别显示器上的在用户的凝视方向上的区域（即，目标点12周围的区域），并将在识别出的区域内的内容呈现为“焦点对准”（即，清晰地呈现），以及将在识别出的区域以外的内容呈现为“焦点没有对准”（即，模糊地呈现）。在另一个实施例中，多个交互项目中的每个都具有一个相关的深度值，当用户朝向给定的交互项目凝视时，通过将其相关的深度值与给定的交互项目的深度值一致的交互项目呈现为“焦点对准”（即，清楚地呈现），和将其相关的深度值与给定的交互项目的深度值不一致的交互项目呈现为“焦点没有对准”（即，模糊地呈现），计算机可以模拟3D环境。
在进一步的例子中，在玩游戏时，用户22通过指向在显示器上呈现为交互式图标的武器可以选择武器。如果所选择的武器是枪，如上文所述，用户可以用指向-触摸手势“瞄准”枪，并使用指向-选择手势或触发手势“开”枪。可选地，如果所选择的武器是剑，那么用户可以通过使用指向-选择手势和指向-触摸手势的组合在三个维度（即，沿X-Y平面和Z轴）操纵剑。
上述应用仅仅是混合形式的用户界面如何能被用于提高系统能力和用户体验的几个实施例，但其它类似的应用都被认为在本发明的范围之内。作为另一个例子，根据用户将其凝视固定到屏幕上的对象，以及在呈现某个程序（诸如商业广告）时用户是否正看着显示器，传感设备24的能力可用于测定用户对诸如网站或视频节目的内容的兴趣。这些能力可类似地用于提取用户兴趣概况，例如，在2011年11月14日提交的美国专利申请第13/295106中所描述的，其通过引用并入本文。
应理解的是，上述实施例是通过举例的方式进行阐述，并且本发明不限于在上文已特别示出和描述的内容。更确切地，本发明的范围包括上文所描述的各种特征的组合和子组合，以及对于本领域的普通技术人员而言，在阅读前述的描述后做出的在现有技术中没有公开的变型和改进。

Claims (18)

1.一种方法，包括：
接收和分割计算机系统的用户的至少一个身体部位随时间的三维3D图的第一序列，以便提取所述用户的第一点和第二点的3D坐标，所述第一点包括用户的食指的关节，所述第二点包括用户的所述食指的尖端，所述3D图指示所述第二点朝向耦合到所述计算机系统的显示器的运动；
计算与所述第一点和所述第二点相交的线段；
识别所述线段与所述显示器相交处的目标点；以及
接合在所述显示器上呈现的接近所述目标点的交互项目，
其中接合所述交互项目包括在将食指指在所述交互项目时，在接收到指示所述第二点朝向所述显示器减速运动的3D图的第二序列以及接收到指示所述用户的拇指朝向所述食指合拢的3D图的第三序列时，选择所述交互项目。
2.根据权利要求1所述的方法，其中接合所述交互项目包括在从所述用户接收到声音指令时执行与所述交互项目相关联的操作。
3.根据权利要求1所述的方法，其中接合所述交互项目包括在接收到指示所述第二点朝向所述显示器减速运动的3D图的第二序列以及接收到指示所述第二点远离所述显示器运动的3D图的第四序列时，执行与所述交互项目相关联的动作。
4.根据权利要求1所述的方法，其中接合所述交互项目包括在接收到指示所述第二点朝向所述显示器减速运动的3D图的第二序列以及接收到指示所述第二点沿着包括竖直轴和水平轴的平面运动的3D图的第四序列时，响应性地在所述显示器上重新定位所述交互项目。
5.根据权利要求1所述的方法，其中接合所述交互项目包括在接收到指示所述第二点朝向所述显示器减速运动的3D图的第二序列以及接收到指示所述用户相对稳定地保持所述第二点一特定的时间段的3D图的第四序列时，响应性地对所述交互项目执行保持操作。
6.根据权利要求5所述的方法，其中所述保持操作包括呈现所述交互项目的上下文信息。
7.根据权利要求5所述的方法，其中所述保持操作包括从所述显示器上删除所述交互项目。
8.根据权利要求1或2所述的方法，还包括基于所述交互项目与所述目标点的接近程度计算校准系数。
9.根据权利要求1或2所述的方法，还包括识别与耦合到所述计算机的设备相交的线段，并且响应于所述第二点的运动来控制所述设备的功能。
10.一种装置，包括：
显示器；以及
计算机，所述计算机耦合到所述显示器，并被配置为：接收和分割计算机系统的用户的至少一个身体部位随时间的三维3D图的第一序列，以便提取所述用户的第一点和第二点的3D坐标，所述第一点包括用户的食指的关节，所述第二点包括用户的所述食指的尖端，所述3D图指示所述第二点朝向耦合到所述计算机系统的显示器的运动；计算与所述第一点和所述第二点相交的线段；识别所述线段与所述显示器相交处的目标点；以及接合在所述显示器上呈现的接近所述目标点的交互项目，
其中所述计算机被配置为在将食指指在所述交互项目时，在接收到指示所述第二点朝向所述显示器减速运动的3D图的第二序列以及接收到指示所述用户的拇指朝向所述食指合拢的3D图的第三序列时，通过选择所述交互项目来接合所述交互项目。
11.根据权利要求10所述的装置，其中所述计算机被配置为在从所述用户接收到声音指令时，通过执行与所述交互项目相关联的操作来接合所述交互项目。
12.根据权利要求10所述的装置，其中所述计算机被配置为在接收到指示所述第二点朝向所述显示器减速运动的3D图的第二序列，以及接收到指示所述第二点远离所述显示器运动的3D图的第四序列时，通过执行与所述交互项目相关联的动作来接合所述交互项目。
13.根据权利要求10所述的装置，其中所述计算机被配置为在接收到指示所述第二点朝向所述显示器减速运动的3D图的第二序列，以及接收到指示所述第二点沿着包括竖直轴和水平轴的平面运动的3D图的第四序列时，通过响应性地在所述显示器上重新定位所述交互项目来接合所述交互项目。
14.根据权利要求10所述的装置，其中所述计算机被配置为在接收到指示所述第二点朝向所述显示器减速运动的3D图的第二序列以及接收到指示所述用户相对稳定地保持所述第二点一特定的时间段的3D图的第四序列时，通过响应性地对所述交互项目执行保持操作来接合所述交互项目。
15.根据权利要求14所述的装置，其中所述计算机被配置为通过呈现所述交互项目的上下文信息来执行所述保持操作。
16.根据权利要求14所述的装置，其中所述计算机被配置为通过从所述显示器上删除所述交互项目来执行所述保持操作。
17.根据权利要求10或11所述的装置，其中所述计算机被配置为基于所述交互项目与所述目标点的接近程度来计算校准系数。
18.根据权利要求10或11所述的装置，其中所述计算机被配置为识别与耦合到所述计算机的设备相交的线段，并且响应于所述第二点的运动来控制所述设备的功能。
CN201280007484.1A 2011-02-09 2012-02-09 3d映射环境中的凝视检测 Active CN103347437B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610451134.4A CN106125921B (zh) 2011-02-09 2012-02-09 3d映射环境中的凝视检测

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161440877P 2011-02-09 2011-02-09
US61/440,877 2011-02-09
US201161526692P 2011-08-24 2011-08-24
US61/526,692 2011-08-24
US201161538867P 2011-09-25 2011-09-25
US61/538,867 2011-09-25
PCT/IB2012/050577 WO2012107892A2 (en) 2011-02-09 2012-02-09 Gaze detection in a 3d mapping environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610451134.4A Division CN106125921B (zh) 2011-02-09 2012-02-09 3d映射环境中的凝视检测

Publications (2)

Publication Number Publication Date
CN103347437A CN103347437A (zh) 2013-10-09
CN103347437B true CN103347437B (zh) 2016-06-08

Family

ID=46639006

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280007484.1A Active CN103347437B (zh) 2011-02-09 2012-02-09 3d映射环境中的凝视检测
CN201610451134.4A Active CN106125921B (zh) 2011-02-09 2012-02-09 3d映射环境中的凝视检测

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610451134.4A Active CN106125921B (zh) 2011-02-09 2012-02-09 3d映射环境中的凝视检测

Country Status (4)

Country Link
US (5) US9285874B2 (zh)
EP (2) EP2672880B1 (zh)
CN (2) CN103347437B (zh)
WO (1) WO2012107892A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11853477B2 (en) 2013-03-01 2023-12-26 Tobii Ab Zonal gaze driven interaction

Families Citing this family (369)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2535364T3 (es) 2004-06-18 2015-05-08 Tobii Ab Control ocular de aparato informático
US8885177B2 (en) * 2007-09-26 2014-11-11 Elbit Systems Ltd. Medical wide field of view optical tracking system
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
CN103347437B (zh) 2011-02-09 2016-06-08 苹果公司 3d映射环境中的凝视检测
US8836777B2 (en) * 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
US9009746B2 (en) * 2011-03-17 2015-04-14 Ebay Inc. Secure transaction through a television
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
JP5757166B2 (ja) * 2011-06-09 2015-07-29 ソニー株式会社 音制御装置、プログラム及び制御方法
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
CN109271029B (zh) * 2011-08-04 2022-08-26 视力移动技术有限公司 无触摸手势识别系统、无触摸手势识别方法和介质
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9377852B1 (en) * 2013-08-29 2016-06-28 Rockwell Collins, Inc. Eye tracking as a method to improve the user interface
US9098069B2 (en) 2011-11-16 2015-08-04 Google Technology Holdings LLC Display device, corresponding systems, and methods for orienting output on a display
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
KR101890459B1 (ko) * 2011-12-06 2018-08-21 톰슨 라이센싱 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템
KR101692323B1 (ko) * 2011-12-14 2017-01-04 인텔 코포레이션 시선 활성화 콘텐츠 전송 시스템
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US9423994B2 (en) * 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display
US8988349B2 (en) 2012-02-28 2015-03-24 Google Technology Holdings LLC Methods and apparatuses for operating a display in an electronic device
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US8947382B2 (en) * 2012-02-28 2015-02-03 Motorola Mobility Llc Wearable display device, corresponding systems, and method for presenting output on the same
CN108469899B (zh) * 2012-03-13 2021-08-10 视力移动技术有限公司 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
EP2847648A4 (en) * 2012-05-09 2016-03-02 Intel Corp EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION
WO2013168173A1 (en) * 2012-05-11 2013-11-14 Umoove Services Ltd. Gaze-based automatic scrolling
TWI489326B (zh) * 2012-06-05 2015-06-21 Wistron Corp 操作區的決定方法與系統
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
WO2014020604A1 (en) * 2012-07-31 2014-02-06 Inuitive Ltd. Multiple sensors processing system for natural user interface applications
JP6011165B2 (ja) * 2012-08-31 2016-10-19 オムロン株式会社 ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9310895B2 (en) 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
WO2014068582A1 (en) * 2012-10-31 2014-05-08 Nokia Corporation A method, apparatus and computer program for enabling a user input command to be performed
US10146316B2 (en) 2012-10-31 2018-12-04 Nokia Technologies Oy Method and apparatus for disambiguating a plurality of targets
CN108845668B (zh) * 2012-11-07 2022-06-03 北京三星通信技术研究有限公司 人机交互系统和方法
US9684372B2 (en) * 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
WO2014106219A1 (en) * 2012-12-31 2014-07-03 Burachas Giedrius Tomas User centric interface for interaction with visual display that recognizes user intentions
JP6375591B2 (ja) * 2013-01-15 2018-08-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
WO2014111924A1 (en) * 2013-01-15 2014-07-24 Poow Innovation Ltd. Dynamic icons
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9632658B2 (en) 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
US10365874B2 (en) * 2013-01-28 2019-07-30 Sony Corporation Information processing for band control of a communication stream
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US20140232640A1 (en) * 2013-02-05 2014-08-21 Umoove Services Ltd. Dynamic range resetting
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US9665171B1 (en) 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation
US10895908B2 (en) 2013-03-04 2021-01-19 Tobii Ab Targeting saccade landing prediction using visual history
US11714487B2 (en) 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US10082870B2 (en) 2013-03-04 2018-09-25 Tobii Ab Gaze and saccade based graphical manipulation
US9898081B2 (en) 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US11747895B2 (en) * 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
CN103197889B (zh) * 2013-04-03 2017-02-08 锤子科技（北京）有限公司 一种亮度调整方法、装置及一种电子设备
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9323338B2 (en) 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
KR101803311B1 (ko) * 2013-05-10 2018-01-10 삼성전자주식회사 디스플레이 장치 및 이의 ui 제공 방법
KR20140133362A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 그 ui 화면 제공 방법
US9436288B2 (en) 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
EP2811318B1 (de) * 2013-06-05 2015-07-22 Sick Ag Optoelektronischer Sensor
US10137363B2 (en) 2013-06-20 2018-11-27 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
DE102013011531B4 (de) * 2013-07-10 2018-04-26 Audi Ag Verfahren zum Betreiben eines Assistenzsystems eines Kraftwagens und Assistenzsystem für einen Kraftwagen
WO2015016864A1 (en) * 2013-07-31 2015-02-05 Hewlett-Packard Development Company, L.P. System with projector unit and computer
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
CN104349197B (zh) * 2013-08-09 2019-07-26 联想(北京)有限公司 一种数据处理方法及装置
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US10089786B2 (en) * 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
US9143880B2 (en) 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
WO2015027241A1 (en) 2013-08-23 2015-02-26 Tobii Technology Ab Systems and methods for providing audio to a user based on gaze input
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US10108258B2 (en) * 2013-09-06 2018-10-23 Intel Corporation Multiple viewpoint image capture of a display user
CN106462178A (zh) 2013-09-11 2017-02-22 谷歌技术控股有限责任公司 用于检测存在和运动的电子设备和方法
WO2015048028A1 (en) 2013-09-24 2015-04-02 Sony Computer Entertainment Inc. Gaze tracking variations using selective illumination
WO2015048030A1 (en) 2013-09-24 2015-04-02 Sony Computer Entertainment Inc. Gaze tracking variations using visible lights or dots
US9468373B2 (en) 2013-09-24 2016-10-18 Sony Interactive Entertainment Inc. Gaze tracking variations using dynamic lighting position
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9740361B2 (en) 2013-10-14 2017-08-22 Microsoft Technology Licensing, Llc Group experience user interface
KR101503159B1 (ko) * 2013-10-15 2015-03-16 (주)이스트소프트 시선의 위치를 감지하여 터치스크린을 제어하는 방법
TWI532377B (zh) * 2013-10-18 2016-05-01 原相科技股份有限公司 影像感測系統、影像感測方法以及眼球追蹤系統、眼球追蹤方法
US9876966B2 (en) 2013-10-18 2018-01-23 Pixart Imaging Inc. System and method for determining image variation tendency and controlling image resolution
US9727134B2 (en) * 2013-10-29 2017-08-08 Dell Products, Lp System and method for display power management for dual screen display device
US9524139B2 (en) * 2013-10-29 2016-12-20 Dell Products, Lp System and method for positioning an application window based on usage context for dual screen display device
CN104598009A (zh) * 2013-10-30 2015-05-06 鸿富锦精密工业(武汉)有限公司 屏幕按键控制方法及系统
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9958939B2 (en) * 2013-10-31 2018-05-01 Sync-Think, Inc. System and method for dynamic content delivery based on gaze analytics
US9891707B2 (en) * 2013-11-01 2018-02-13 Sony Corporation Information processing device, information processing method, and program for controlling a state of an application by gaze position
WO2015062750A1 (de) * 2013-11-04 2015-05-07 Johnson Controls Gmbh Infotainmentsystem für ein fahrzeug
US9672649B2 (en) * 2013-11-04 2017-06-06 At&T Intellectual Property I, Lp System and method for enabling mirror video chat using a wearable display device
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US9613202B2 (en) 2013-12-10 2017-04-04 Dell Products, Lp System and method for motion gesture access to an application and limited resources of an information handling system
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
JP2015121623A (ja) * 2013-12-20 2015-07-02 カシオ計算機株式会社 電子機器、表示制御方法及びプログラム
US9244539B2 (en) 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9430040B2 (en) * 2014-01-14 2016-08-30 Microsoft Technology Licensing, Llc Eye gaze detection with multiple light sources and sensors
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9201578B2 (en) * 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9588343B2 (en) * 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
KR101533319B1 (ko) 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
US9330302B2 (en) * 2014-02-26 2016-05-03 Microsoft Technology Licensing, Llc Polarized gaze tracking
US11221680B1 (en) * 2014-03-01 2022-01-11 sigmund lindsay clements Hand gestures used to operate a control panel for a device
DE102014114131A1 (de) * 2014-03-10 2015-09-10 Beijing Lenovo Software Ltd. Verfahren zur Informationsverarbeitung und elektronisches Gerät
CN106659541B (zh) * 2014-03-19 2019-08-16 直观外科手术操作公司 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法
JP6644699B2 (ja) * 2014-03-19 2020-02-12 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視線追跡を使用する医療装置、システム、及び方法
CN104951048A (zh) * 2014-03-24 2015-09-30 联想(北京)有限公司 信息处理方法及装置
RU2014111792A (ru) * 2014-03-27 2015-10-10 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания лиц на основании преобразования двухмерной решетки
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9727778B2 (en) * 2014-03-28 2017-08-08 Wipro Limited System and method for guided continuous body tracking for complex interaction
US9342147B2 (en) 2014-04-10 2016-05-17 Microsoft Technology Licensing, Llc Non-visual feedback of visual change
US20150302422A1 (en) * 2014-04-16 2015-10-22 2020 Ip Llc Systems and methods for multi-user behavioral research
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9727136B2 (en) 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
US9740338B2 (en) * 2014-05-22 2017-08-22 Ubi interactive inc. System and methods for providing a three-dimensional touch screen
US10318016B2 (en) * 2014-06-03 2019-06-11 Harman International Industries, Incorporated Hands free device with directional interface
US9696813B2 (en) * 2015-05-27 2017-07-04 Hsien-Hsiang Chiu Gesture interface robot
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9203951B1 (en) 2014-07-03 2015-12-01 International Business Machines Corporation Mobile telephone adapted for use with one hand
US20170160800A1 (en) * 2014-07-09 2017-06-08 Nokia Technologies Oy Device control
CN107077199B (zh) 2014-07-16 2019-12-31 索尼公司 用于在三维显示器上呈现虚拟对象的装置及用于控制装置的方法
US9846522B2 (en) 2014-07-23 2017-12-19 Microsoft Technology Licensing, Llc Alignable user interface
US9645641B2 (en) * 2014-08-01 2017-05-09 Microsoft Technology Licensing, Llc Reflection-based control activation
WO2016021034A1 (ja) * 2014-08-07 2016-02-11 株式会社Ｆｏｖｅ ３次元上の注視点の位置特定アルゴリズム
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US9619008B2 (en) * 2014-08-15 2017-04-11 Dell Products, Lp System and method for dynamic thermal management in passively cooled device with a plurality of display surfaces
WO2016036352A1 (en) 2014-09-03 2016-03-10 Hewlett-Packard Development Company, L.P. Presentation of a digital image of an object
KR102244620B1 (ko) * 2014-09-05 2021-04-26 삼성전자 주식회사 렌더링 수준 제어 방법 및 장치
DE102014219803A1 (de) * 2014-09-30 2016-03-31 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur Auswahl eines Gerätes
CN105590015B (zh) * 2014-10-24 2019-05-03 中国电信股份有限公司 信息图热点采集方法、处理方法和装置及热点系统
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
WO2016125083A1 (en) * 2015-02-04 2016-08-11 Spiritus Payments Private Limited Method and system for secure pin entry on computing devices
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
CN107407977B (zh) * 2015-03-05 2020-12-08 索尼公司 信息处理设备、控制方法及程序
KR102634148B1 (ko) 2015-03-16 2024-02-05 매직 립, 인코포레이티드 건강 질환 진단과 치료를 위한 방법 및 시스템
CN104699249B (zh) * 2015-03-27 2018-04-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN104834446B (zh) * 2015-05-04 2018-10-26 惠州Tcl移动通信有限公司 一种基于眼球追踪技术的显示屏多屏控制方法及系统
CN104866824A (zh) * 2015-05-17 2015-08-26 华南理工大学 一种基于Leap Motion的手语字母识别方法
CN108369630A (zh) * 2015-05-28 2018-08-03 视觉移动科技有限公司 用于智能家居的手势控制系统和方法
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御方法、表示制御装置及び制御プログラム
US10043281B2 (en) 2015-06-14 2018-08-07 Sony Interactive Entertainment Inc. Apparatus and method for estimating eye gaze location
DE102015211521A1 (de) * 2015-06-23 2016-12-29 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
TWI676281B (zh) 2015-07-23 2019-11-01 光澄科技股份有限公司 光偵測器及其製造方法
TWI723890B (zh) 2015-08-04 2021-04-01 光澄科技股份有限公司 製造影像感測陣列之方法
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
US20170045935A1 (en) * 2015-08-13 2017-02-16 International Business Machines Corporation Displaying content based on viewing direction
WO2017035447A1 (en) 2015-08-27 2017-03-02 Artilux Corporation Wide spectrum optical sensor
US9703387B2 (en) * 2015-08-31 2017-07-11 Konica Minolta Laboratory U.S.A., Inc. System and method of real-time interactive operation of user interface
JP6525150B2 (ja) * 2015-08-31 2019-06-05 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ テレプレゼンス・ロボットに用いる制御シグナルを発生させるための方法、テレプレゼンス・システムおよびコンピュータ・プログラム
US10186086B2 (en) 2015-09-02 2019-01-22 Microsoft Technology Licensing, Llc Augmented reality control of computing device
US11194398B2 (en) 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
EP3369091A4 (en) 2015-10-26 2019-04-24 Pillantas Inc. SYSTEMS AND METHODS FOR CONTROLLING CONVERGENT OCULAR MOVEMENTS
US10466780B1 (en) 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
US9709807B2 (en) * 2015-11-03 2017-07-18 Motorola Solutions, Inc. Out of focus notifications
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
CN105301778A (zh) * 2015-12-08 2016-02-03 北京小鸟看看科技有限公司 三维操控装置、头戴式装置及三维操控方法
US9898256B2 (en) * 2015-12-31 2018-02-20 Microsoft Technology Licensing, Llc Translation of gesture to gesture code description using depth camera
US10310618B2 (en) 2015-12-31 2019-06-04 Microsoft Technology Licensing, Llc Gestures visual builder tool
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
EP3422152A4 (en) * 2016-02-23 2020-03-11 Sony Corporation REMOTE CONTROL DEVICE, SYSTEM, METHOD, AND PROGRAM
US20180164895A1 (en) * 2016-02-23 2018-06-14 Sony Corporation Remote control apparatus, remote control method, remote control system, and program
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US10198233B2 (en) * 2016-03-01 2019-02-05 Microsoft Technology Licensing, Llc Updating displays based on attention tracking data
CN105844705B (zh) * 2016-03-29 2018-11-09 联想(北京)有限公司 一种三维虚拟对象模型生成方法及电子设备
WO2017172911A1 (en) * 2016-03-29 2017-10-05 Google Inc. System and method for generating virtual marks based on gaze tracking
JP6923552B2 (ja) 2016-04-08 2021-08-18 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 可変焦点レンズ要素を用いた拡張現実システムおよび方法
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
CN107438261B (zh) * 2016-05-25 2021-09-07 中兴通讯股份有限公司 峰均比检测装置和方法、移动通信设备
KR20170141484A (ko) * 2016-06-15 2017-12-26 엘지전자 주식회사 차량용 제어장치 및 그것의 제어방법
JP2017228080A (ja) * 2016-06-22 2017-12-28 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
CN106066699A (zh) * 2016-06-23 2016-11-02 温州美渠传媒有限公司 一种智能型人机交换信息设备
US20190258318A1 (en) * 2016-06-28 2019-08-22 Huawei Technologies Co., Ltd. Terminal for controlling electronic device and processing method thereof
US10591988B2 (en) * 2016-06-28 2020-03-17 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
TWI610059B (zh) * 2016-08-04 2018-01-01 緯創資通股份有限公司 三維量測方法及應用其之三維量測裝置
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
US10209772B2 (en) 2016-09-19 2019-02-19 International Business Machines Corporation Hands-free time series or chart-based data investigation
CN107958446B (zh) * 2016-10-17 2023-04-07 索尼公司 信息处理设备和信息处理方法
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
EP3316075B1 (en) * 2016-10-26 2021-04-07 Harman Becker Automotive Systems GmbH Combined eye and gesture tracking
JP2018073244A (ja) * 2016-11-01 2018-05-10 富士通株式会社 キャリブレーションプログラム、キャリブレーション装置、及びキャリブレーション方法
DE102016015119A1 (de) * 2016-12-20 2018-06-21 Drägerwerk AG & Co. KGaA Vorrichtung, Verfahren und Computerprogramm zur Konfiguration eines medizinischen Gerätes, medizinisches Gerät, Verfahren und Computerprogramm für ein medizinisches Gerät
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
JP6814053B2 (ja) * 2017-01-19 2021-01-13 株式会社日立エルジーデータストレージ 物体位置検出装置
CN108459702B (zh) * 2017-02-22 2024-01-26 深圳巧牛科技有限公司 基于手势识别与视觉反馈的人机交互方法与系统
KR102601052B1 (ko) 2017-02-23 2023-11-09 매직 립, 인코포레이티드 가변 파워 반사기를 갖는 디스플레이 시스템
US10650405B2 (en) 2017-03-21 2020-05-12 Kellogg Company Media content tracking
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
CN107368184B (zh) 2017-05-12 2020-04-14 阿里巴巴集团控股有限公司 一种虚拟现实场景中的密码输入方法和装置
CN109141461A (zh) * 2017-06-13 2019-01-04 博世汽车部件(苏州)有限公司 汽车地图导航控制系统和方法
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
DE102017113763B4 (de) * 2017-06-21 2022-03-17 SMR Patents S.à.r.l. Verfahren zum Betreiben einer Anzeigevorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug
US11853469B2 (en) * 2017-06-21 2023-12-26 SMR Patents S.à.r.l. Optimize power consumption of display and projection devices by tracing passenger's trajectory in car cabin
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10496162B2 (en) * 2017-07-26 2019-12-03 Microsoft Technology Licensing, Llc Controlling a computer using eyegaze and dwell
US11073904B2 (en) * 2017-07-26 2021-07-27 Microsoft Technology Licensing, Llc Intelligent user interface element selection using eye-gaze
KR102048674B1 (ko) * 2017-07-31 2019-11-26 코닉오토메이션 주식회사 조명램프형 멀티미디어 장치
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US20190073040A1 (en) * 2017-09-05 2019-03-07 Future Mobility Corporation Limited Gesture and motion based control of user interfaces
US9940518B1 (en) 2017-09-11 2018-04-10 Tobii Ab Reliability of gaze tracking data for left and right eye
CN107515474B (zh) * 2017-09-22 2020-03-31 宁波维真显示科技股份有限公司 自动立体显示方法、装置及立体显示设备
US10957069B2 (en) * 2017-09-29 2021-03-23 Tobii Ab Head pose estimation from local eye region
KR102518404B1 (ko) * 2017-09-29 2023-04-06 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
CN107864390A (zh) * 2017-10-24 2018-03-30 深圳前海茂佳软件科技有限公司 电视机的控制方法、电视机和计算机存储介质
JP6463826B1 (ja) * 2017-11-27 2019-02-06 株式会社ドワンゴ 動画配信サーバ、動画配信方法及び動画配信プログラム
CN107976183A (zh) * 2017-12-18 2018-05-01 北京师范大学珠海分校 一种空间数据测量方法及装置
KR102476757B1 (ko) 2017-12-21 2022-12-09 삼성전자주식회사 반사를 검출하는 장치 및 방법
EP3502836B1 (en) * 2017-12-21 2021-09-08 Atos Information Technology GmbH Method for operating an augmented interactive reality system
US20190253751A1 (en) * 2018-02-13 2019-08-15 Perfect Corp. Systems and Methods for Providing Product Information During a Live Broadcast
JP7282810B2 (ja) 2018-02-22 2023-05-29 イノデム ニューロサイエンシズ 視線追跡方法およびシステム
TWI762768B (zh) 2018-02-23 2022-05-01 美商光程研創股份有限公司 光偵測裝置
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
CN108469893B (zh) * 2018-03-09 2021-08-27 海尔优家智能科技（北京）有限公司 显示屏的控制方法、装置、设备及计算机可读存储介质
CN112236686B (zh) 2018-04-08 2022-01-07 奥特逻科公司 光探测装置
US11126257B2 (en) 2018-04-17 2021-09-21 Toyota Research Institute, Inc. System and method for detecting human gaze and gesture in unconstrained environments
US11210832B2 (en) 2018-04-24 2021-12-28 Hewlett-Packard Development Company, L.P. Animated gazes on head mounted displays
TWI795562B (zh) 2018-05-07 2023-03-11 美商光程研創股份有限公司 雪崩式之光電晶體
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US10895757B2 (en) * 2018-07-03 2021-01-19 Verb Surgical Inc. Systems and methods for three-dimensional visualization during robotic surgery
US11949943B2 (en) 2018-07-16 2024-04-02 Arris Enterprises Llc Gaze-responsive advertisement
CN110865761B (zh) * 2018-08-28 2023-07-28 财团法人工业技术研究院 指向判断系统以及指向判断方法
CN109145566A (zh) * 2018-09-08 2019-01-04 太若科技(北京)有限公司 基于注视点信息解锁ar眼镜的方法、装置及ar眼镜
CN109389069B (zh) * 2018-09-28 2021-01-05 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
US20200125175A1 (en) * 2018-10-17 2020-04-23 WiSilica Inc. System using location, video-processing, and voice as user interface for controlling devices
US10782777B2 (en) 2018-11-29 2020-09-22 International Business Machines Corporation Real-time alteration of standard video and immersive video for virtual reality
CN109480767B (zh) * 2018-12-13 2021-03-19 孙艳 一种医用眼科手术前用辅助检查装置
USD914021S1 (en) 2018-12-18 2021-03-23 Intel Corporation Touchpad display screen for computing device
CN109828660B (zh) * 2018-12-29 2022-05-17 深圳云天励飞技术有限公司 一种基于增强现实的控制应用操作的方法及装置
KR20200085970A (ko) * 2019-01-07 2020-07-16 현대자동차주식회사 자동차 및 그 제어 방법
US11107265B2 (en) * 2019-01-11 2021-08-31 Microsoft Technology Licensing, Llc Holographic palm raycasting for targeting virtual objects
KR102225342B1 (ko) * 2019-02-13 2021-03-09 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US20220176817A1 (en) * 2019-03-08 2022-06-09 Indian Institute Of Science A system for man-machine interaction in vehicles
EP3948492A4 (en) * 2019-03-27 2022-11-09 INTEL Corporation SMART BILLBOARD APPARATUS AND RELATED METHODS
US11256342B2 (en) * 2019-04-03 2022-02-22 Facebook Technologies, Llc Multimodal kinematic template matching and regression modeling for ray pointing prediction in virtual reality
CN117590582A (zh) * 2019-04-11 2024-02-23 三星电子株式会社 头戴式显示设备及其操作方法
US10819920B1 (en) 2019-05-22 2020-10-27 Dell Products L.P. Augmented information handling system user presence detection
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
CN110147180B (zh) * 2019-05-24 2022-08-02 深圳秋田微电子股份有限公司 触控显示装置、触控显示方法、显示器及终端
EP3751812B1 (en) 2019-06-10 2022-10-26 Nokia Technologies Oy Resource access
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11435475B2 (en) 2019-10-11 2022-09-06 Dell Products L.P. Information handling system infrared proximity detection with frequency domain modulation
US11662695B2 (en) 2019-10-11 2023-05-30 Dell Products L.P. Information handling system infrared proximity detection with distance reduction detection
US11294054B2 (en) 2019-10-11 2022-04-05 Dell Products L.P. Information handling system infrared proximity detection with ambient light management
US11435447B2 (en) 2019-10-11 2022-09-06 Dell Products L.P. Information handling system proximity sensor with mechanically adjusted field of view
US11614797B2 (en) * 2019-11-05 2023-03-28 Micron Technology, Inc. Rendering enhancement based in part on eye tracking
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
US11663343B2 (en) 2020-01-31 2023-05-30 Dell Products L.P. Information handling system adaptive user presence detection
US11334146B2 (en) 2020-01-31 2022-05-17 Dell Products L.P. Information handling system peripheral enhanced user presence detection
US11513813B2 (en) 2020-01-31 2022-11-29 Dell Products L.P. Information handling system notification presentation based upon user presence detection
WO2021202783A1 (en) * 2020-04-03 2021-10-07 Magic Leap, Inc. Avatar customization for optimal gaze discrimination
TW202205053A (zh) * 2020-07-27 2022-02-01 虹光精密工業股份有限公司 具有智慧化休眠喚醒功能的事務機及其控制方法
AU2022210589A1 (en) * 2021-01-20 2023-09-07 Apple Inc. Methods for interacting with objects in an environment
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
JP2024509722A (ja) 2021-02-08 2024-03-05 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるユーザ相互作用
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
CN116263598A (zh) * 2021-12-13 2023-06-16 追觅创新科技(苏州)有限公司 自移动设备的重定位方法、设备及存储介质
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20240029437A1 (en) * 2022-07-21 2024-01-25 Sony Interactive Entertainment LLC Generating customized summaries of virtual actions and events
CN115601824B (zh) * 2022-10-19 2023-05-26 华中科技大学 一种二维图像中人眼凝视方向的标注装置、系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1904806A (zh) * 2006-07-28 2007-01-31 上海大学 手、眼关系引导的非接触式位置输入系统和方法
CN101960409A (zh) * 2007-12-31 2011-01-26 微软国际控股私有有限公司 3d指点系统

Family Cites Families (243)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4550250A (en) 1983-11-14 1985-10-29 Hei, Inc. Cordless digital graphics input device
US4789921A (en) 1987-02-20 1988-12-06 Minnesota Mining And Manufacturing Company Cone shaped Fresnel reflector
US4988981B1 (en) 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
US5588139A (en) 1990-06-07 1996-12-24 Vpl Research, Inc. Method and system for generating objects for a multi-person virtual world using data flow networks
US5973700A (en) 1992-09-16 1999-10-26 Eastman Kodak Company Method and apparatus for optimizing the resolution of images which have an apparent depth
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5434370A (en) 1993-11-05 1995-07-18 Microfield Graphics, Inc. Marking system with pen-up/pen-down tracking
WO1996009579A1 (en) 1994-09-22 1996-03-28 Izak Van Cruyningen Popup menus with directional gestures
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6535210B1 (en) 1995-06-07 2003-03-18 Geovector Corp. Vision system computer modeling apparatus including interaction with real scenes with respect to perspective and spatial relationship as measured in real-time
US5852672A (en) 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
RU2109336C1 (ru) 1995-07-14 1998-04-20 Нурахмед Нурисламович Латыпов Способ погружения пользователя в виртуальную реальность и устройство для его реализации
EP0768511A1 (en) 1995-10-16 1997-04-16 European Community Optical three-dimensional profilometry method based on processing speckle images in partially coherent light, and interferometer implementing such a method
US5864635A (en) 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US5862256A (en) 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US6118888A (en) 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US5917937A (en) 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US6049327A (en) 1997-04-23 2000-04-11 Modern Cartoons, Ltd System for data management based onhand gestures
US6008813A (en) 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JP3361980B2 (ja) 1997-12-12 2003-01-07 株式会社東芝 視線検出装置及びその方法
WO1999035633A2 (en) 1998-01-06 1999-07-15 The Video Mouse Group Human motion following computer mouse and game controller
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US6211848B1 (en) 1998-05-15 2001-04-03 Massachusetts Institute Of Technology Dynamic holographic video with haptic interaction
US6076928A (en) 1998-06-15 2000-06-20 Fateh; Sina Ideal visual ergonomic system for computer users
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6252988B1 (en) 1998-07-09 2001-06-26 Lucent Technologies Inc. Method and apparatus for character recognition using stop words
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
CN1145872C (zh) 1999-01-13 2004-04-14 国际商业机器公司 手写汉字自动分割和识别方法以及使用该方法的系统
US6200139B1 (en) * 1999-02-26 2001-03-13 Intel Corporation Operator training system
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
GB9913687D0 (en) 1999-06-11 1999-08-11 Canon Kk Image processing apparatus
US6512385B1 (en) 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US7548874B2 (en) 1999-10-21 2009-06-16 International Business Machines Corporation System and method for group advertisement optimization
US6507353B1 (en) 1999-12-10 2003-01-14 Godot Huard Influencing virtual actors in an interactive environment
WO2001056007A1 (en) 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
US6900779B1 (en) 2000-01-28 2005-05-31 Zheng Jason Geng Method and apparatus for an interactive volumetric three dimensional display
JP2001307134A (ja) 2000-04-19 2001-11-02 Sony Corp 三次元モデル処理装置および三次元モデル処理方法、並びにプログラム提供媒体
US6483499B1 (en) 2000-04-21 2002-11-19 Hong Kong Productivity Council 3D sculpturing input device
US20070078552A1 (en) * 2006-01-13 2007-04-05 Outland Research, Llc Gaze-based power conservation for portable media players
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
GB0012275D0 (en) 2000-05-22 2000-07-12 Secr Defence Brit Three dimensional human computer interface
EP1373967A2 (en) 2000-06-06 2004-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. The extended virtual table: an optical extension for table-like projection systems
US7042442B1 (en) 2000-06-27 2006-05-09 International Business Machines Corporation Virtual invisible keyboard
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
JP3974359B2 (ja) 2000-10-31 2007-09-12 株式会社東芝 オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム
US6816615B2 (en) 2000-11-10 2004-11-09 Microsoft Corporation Implicit page breaks for digitally represented handwriting
JP3631151B2 (ja) 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
JP2004537082A (ja) 2001-01-26 2004-12-09 ザクセル システムズ インコーポレイテッド 仮想現実環境における実時間バーチャル・ビューポイント
US20040104935A1 (en) 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US6831632B2 (en) 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US20040135744A1 (en) 2001-08-10 2004-07-15 Oliver Bimber Virtual showcases
US6741251B2 (en) 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
US6822570B2 (en) 2001-12-20 2004-11-23 Calypso Medical Technologies, Inc. System for spatially adjustable excitation of leadless miniature marker
JP4050055B2 (ja) 2002-01-10 2008-02-20 株式会社リコー 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム
US7197165B2 (en) 2002-02-04 2007-03-27 Canon Kabushiki Kaisha Eye tracking using image data
US9959463B2 (en) 2002-02-15 2018-05-01 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US7821541B2 (en) 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
US7203356B2 (en) 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050122308A1 (en) 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7370883B2 (en) 2002-06-03 2008-05-13 Intelligent Mechatronic Systems, Inc. Three dimensional occupant position sensor
US20030234346A1 (en) 2002-06-21 2003-12-25 Chi-Lei Kao Touch panel apparatus with optical detection for location
US6857746B2 (en) 2002-07-01 2005-02-22 Io2 Technology, Llc Method and system for free-space imaging display and interface
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
SE0202664L (sv) 2002-09-09 2003-11-04 Zenterio Ab Grafiskt användargränssnitt för navigering och selektion från olika valbara alternativ presenterade på en bildskärm
US7526120B2 (en) 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
CN100377043C (zh) 2002-09-28 2008-03-26 皇家飞利浦电子股份有限公司 三维手写识别的方法及其系统
US7427996B2 (en) 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US6977654B2 (en) 2002-10-30 2005-12-20 Iviz, Inc. Data visualization with animated speedometer dial charts
US20040174770A1 (en) 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP2004199496A (ja) 2002-12-19 2004-07-15 Sony Corp 情報処理装置および方法、並びにプログラム
CN1512298A (zh) 2002-12-26 2004-07-14 �ʼҷ����ֵ��ӹɷ����޹�˾ 三维手写识别的方法及其系统
US7298414B2 (en) 2003-01-29 2007-11-20 Hewlett-Packard Development Company, L.P. Digital camera autofocus using eye focus measurement
US7333113B2 (en) 2003-03-13 2008-02-19 Sony Corporation Mobile motion capture cameras
US7573480B2 (en) 2003-05-01 2009-08-11 Sony Corporation System and method for capturing facial and body motion
KR100518824B1 (ko) 2003-03-17 2005-10-05 삼성전자주식회사 필기 모션 획 구분 인식 시스템 및 그 인식방법
KR100465241B1 (ko) 2003-03-17 2005-01-13 삼성전자주식회사 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
US7762665B2 (en) 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7358972B2 (en) 2003-05-01 2008-04-15 Sony Corporation System and method for capturing facial and body motion
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7515756B2 (en) 2003-06-23 2009-04-07 Shoestring Research, Llc. Region segmentation and characterization systems and methods for augmented reality
JP4723799B2 (ja) 2003-07-08 2011-07-13 株式会社ソニー・コンピュータエンタテインメント 制御システムおよび制御方法
JP3977303B2 (ja) 2003-08-21 2007-09-19 シャープ株式会社 位置検出システム、位置検出システムにおける発信装置および受信装置
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7317450B2 (en) 2003-09-26 2008-01-08 Khomo Malome T Spatial chirographic sign reader
US7590941B2 (en) 2003-10-09 2009-09-15 Hewlett-Packard Development Company, L.P. Communication and collaboration system using rich media environments
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
CN102034197A (zh) 2003-10-24 2011-04-27 瑞克楚斯系统公司 管理交互式视频显示系统的方法和系统
US7302099B2 (en) 2003-11-10 2007-11-27 Microsoft Corporation Stroke segmentation for template-based cursive handwriting recognition
US7963652B2 (en) 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
CA2545202C (en) 2003-11-14 2014-01-14 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
EP1563799B2 (de) 2004-02-11 2012-11-28 BrainLAB AG Verstellbare Markeranordnung
GB2411532B (en) 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
WO2005082075A2 (en) 2004-02-25 2005-09-09 The University Of North Carolina At Chapel Hill Systems and methods for imperceptibly embedding structured light patterns in projected color images
US20050215319A1 (en) 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7925549B2 (en) 2004-09-17 2011-04-12 Accenture Global Services Limited Personalized marketing architecture
US7289227B2 (en) 2004-10-01 2007-10-30 Nomos Corporation System and tracker for tracking an object, and related methods
US8487879B2 (en) 2004-10-29 2013-07-16 Microsoft Corporation Systems and methods for interacting with a computer through handwriting to a screen
US20100036717A1 (en) 2004-12-29 2010-02-11 Bernard Trest Dynamic Information System
EP1846115A4 (en) 2005-01-26 2012-04-25 Bentley Kinetics Inc METHOD AND SYSTEM FOR ANALYZING AND TEACHING ATHLETIC MOVEMENT
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
US7686451B2 (en) 2005-04-04 2010-03-30 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US7428542B1 (en) 2005-05-31 2008-09-23 Reactrix Systems, Inc. Method and system for combining nodes into a mega-node
CN101243471B (zh) * 2005-08-19 2013-03-06 皇家飞利浦电子股份有限公司 对用户的运动进行分析的系统和方法
JP2009505305A (ja) 2005-08-22 2009-02-05 イェ，チンジョン 自由空間のポインティング及び手書き手段
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
US20090153468A1 (en) 2005-10-31 2009-06-18 National University Of Singapore Virtual Interface System
CN102169415A (zh) 2005-12-30 2011-08-31 苹果公司 具有多重触摸输入的便携式电子设备
TWI301590B (en) 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
KR101331543B1 (ko) 2006-03-14 2013-11-20 프라임센스 엘티디. 스페클 패턴을 이용한 3차원 센싱
DE602007001600D1 (de) 2006-03-23 2009-08-27 Koninkl Philips Electronics Nv Hotspots zur blickfokussierten steuerung von bildmanipulationen
US20070230789A1 (en) 2006-04-03 2007-10-04 Inventec Appliances Corp. Method of controlling an electronic device by handwriting
WO2007132451A2 (en) * 2006-05-11 2007-11-22 Prime Sense Ltd. Modeling of humanoid forms from depth maps
GB2438449C (en) 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
KR100776801B1 (ko) 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US7934156B2 (en) 2006-09-06 2011-04-26 Apple Inc. Deletion gestures on a portable multifunction device
CN101558655A (zh) 2006-11-29 2009-10-14 F.珀斯扎特胡有限公司 三维投影显示器
US8005294B2 (en) 2006-11-29 2011-08-23 The Mitre Corporation Cursive character handwriting recognition system and method
FR2911211B1 (fr) 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
JP2008242929A (ja) 2007-03-28 2008-10-09 Oki Data Corp 手書き入力システム
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
US20080252596A1 (en) 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
US20080256494A1 (en) 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
CN101689244B (zh) 2007-05-04 2015-07-22 高通股份有限公司 用于紧凑设备的基于相机的用户输入
CN101303634B (zh) 2007-05-09 2012-05-23 鸿富锦精密工业（深圳）有限公司 便携式电子设备
US8100769B2 (en) 2007-05-09 2012-01-24 Nintendo Co., Ltd. System and method for using accelerometer outputs to control an object rotating on a display
US8065624B2 (en) 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
TW200907764A (en) 2007-08-01 2009-02-16 Unique Instr Co Ltd Three-dimensional virtual input and simulation apparatus
US7949157B2 (en) 2007-08-10 2011-05-24 Nitin Afzulpurkar Interpreting sign language gestures
JP5430572B2 (ja) 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
TWI343544B (en) 2007-09-26 2011-06-11 Inventec Appliances Corp A handwriting record device
US20090078473A1 (en) 2007-09-26 2009-03-26 Digital Pen Systems Handwriting Capture For Determining Absolute Position Within A Form Layout Using Pen Position Triangulation
US8195499B2 (en) 2007-09-26 2012-06-05 International Business Machines Corporation Identifying customer behavioral types from a continuous video stream for use in optimizing loss leader merchandizing
WO2009062153A1 (en) 2007-11-09 2009-05-14 Wms Gaming Inc. Interaction with 3d space in a gaming system
US20120204133A1 (en) 2009-01-13 2012-08-09 Primesense Ltd. Gesture-Based User Interface
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US7889073B2 (en) 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
CA2714534C (en) 2008-02-28 2018-03-20 Kenneth Perlin Method and apparatus for providing input to a processor, and a sensor pad
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP2009258884A (ja) * 2008-04-15 2009-11-05 Toyota Central R&D Labs Inc ユーザインタフェイス
KR100947990B1 (ko) 2008-05-15 2010-03-18 성균관대학교산학협력단 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
US8165398B2 (en) 2008-05-30 2012-04-24 Sony Ericsson Mobile Communications Ab Method and device for handwriting detection
JP5317169B2 (ja) 2008-06-13 2013-10-16 洋 川崎 画像処理装置、画像処理方法およびプログラム
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US9445193B2 (en) 2008-07-31 2016-09-13 Nokia Technologies Oy Electronic device directional audio capture
US20100103103A1 (en) 2008-08-22 2010-04-29 Palanker Daniel V Method And Device for Input Of Information Using Visible Touch Sensors
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US20100071965A1 (en) 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
US20100149096A1 (en) 2008-12-17 2010-06-17 Migos Charles J Network management using interaction with display surface
US20100162181A1 (en) 2008-12-22 2010-06-24 Palm, Inc. Interpreting Gesture Input Including Introduction Or Removal Of A Point Of Contact While A Gesture Is In Progress
US20120202569A1 (en) 2009-01-13 2012-08-09 Primesense Ltd. Three-Dimensional User Interface for Game Applications
JP2012515966A (ja) 2009-01-26 2012-07-12 ズッロ・テクノロジーズ・（２００９）・リミテッド 物体の挙動を監視するためのデバイスおよび方法
US20100199228A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US8624962B2 (en) 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
JP5286371B2 (ja) * 2009-02-05 2013-09-11 パナソニック株式会社 情報表示装置及び情報表示方法
US20100235786A1 (en) 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8760391B2 (en) 2009-05-22 2014-06-24 Robert W. Hawkins Input cueing emersion system and method
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
JP4837762B2 (ja) * 2009-06-18 2011-12-14 本田技研工業株式会社 車載機器操作装置
CN101943982B (zh) 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
KR20110010906A (ko) 2009-07-27 2011-02-08 삼성전자주식회사 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
KR101596890B1 (ko) 2009-07-29 2016-03-07 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
JP5490664B2 (ja) * 2009-11-18 2014-05-14 パナソニック株式会社 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
US8812990B2 (en) 2009-12-11 2014-08-19 Nokia Corporation Method and apparatus for presenting a first person world view of content
US8587532B2 (en) 2009-12-18 2013-11-19 Intel Corporation Multi-feature interactive touch user interface
US8232990B2 (en) 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US20110164032A1 (en) 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US20110188116A1 (en) 2010-02-02 2011-08-04 Nikolay Ledentsov Ledentsov Device for generation of three-demensional images
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8595645B2 (en) 2010-03-11 2013-11-26 Apple Inc. Device, method, and graphical user interface for marquee scrolling within a display area
US20110248914A1 (en) 2010-04-11 2011-10-13 Sherr Alan B System and Method for Virtual Touch Typing
US20110254765A1 (en) 2010-04-18 2011-10-20 Primesense Ltd. Remote text input using handwriting
KR101334107B1 (ko) 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
US8384683B2 (en) 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
US9311724B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
US20110292036A1 (en) 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US20110310010A1 (en) 2010-06-17 2011-12-22 Primesense Ltd. Gesture based user interface
US8907929B2 (en) 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
US9489040B2 (en) 2010-07-19 2016-11-08 Smart Technologies Ulc Interactive input system having a 3D input space
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US20120019703A1 (en) 2010-07-22 2012-01-26 Thorn Karl Ola Camera system and method of displaying photos
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
WO2012024022A2 (en) 2010-08-20 2012-02-23 University Of Massachusetts Hand and finger registration for control applications
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
KR101156734B1 (ko) 2010-11-05 2012-06-14 전자부품연구원 테이블 타입 인터렉티브 3차원 시스템
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US20120169583A1 (en) 2011-01-05 2012-07-05 Primesense Ltd. Scene profiles for non-tactile user interfaces
KR101873405B1 (ko) 2011-01-18 2018-07-02 엘지전자 주식회사 드로잉한 패턴을 이용한 사용자 인터페이스 제공방법 및 그 이동 단말기
CN103347437B (zh) 2011-02-09 2016-06-08 苹果公司 3d映射环境中的凝视检测
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US8782566B2 (en) 2011-02-22 2014-07-15 Cisco Technology, Inc. Using gestures to schedule and manage meetings
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
CN102306053B (zh) 2011-08-29 2014-09-10 Tcl集团股份有限公司 一种基于虚拟触摸屏的人机交互方法、装置及电子设备
US9395901B2 (en) 2012-02-08 2016-07-19 Blackberry Limited Portable electronic device and method of controlling same
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US9552673B2 (en) 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1904806A (zh) * 2006-07-28 2007-01-31 上海大学 手、眼关系引导的非接触式位置输入系统和方法
CN101960409A (zh) * 2007-12-31 2011-01-26 微软国际控股私有有限公司 3d指点系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11853477B2 (en) 2013-03-01 2023-12-26 Tobii Ab Zonal gaze driven interaction

Also Published As

Publication number Publication date
US9342146B2 (en) 2016-05-17
CN106125921A (zh) 2016-11-16
EP3527121B1 (en) 2023-08-23
EP3527121A1 (en) 2019-08-21
EP2672880A4 (en) 2017-09-13
EP2672880B1 (en) 2019-05-22
EP2672880A2 (en) 2013-12-18
US20180314329A1 (en) 2018-11-01
US20160370860A1 (en) 2016-12-22
WO2012107892A3 (en) 2012-11-01
WO2012107892A2 (en) 2012-08-16
US20130321271A1 (en) 2013-12-05
US10031578B2 (en) 2018-07-24
CN106125921B (zh) 2019-01-15
CN103347437A (zh) 2013-10-09
US20130321265A1 (en) 2013-12-05
US9285874B2 (en) 2016-03-15
US9454225B2 (en) 2016-09-27
US11262840B2 (en) 2022-03-01
US20140028548A1 (en) 2014-01-30

Similar Documents

Publication Publication Date Title
CN103347437B (zh) 3d映射环境中的凝视检测
JP7411133B2 (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
US11157725B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
US10712901B2 (en) Gesture-based content sharing in artificial reality environments
US10082940B2 (en) Text functions in augmented reality
EP4123425A1 (en) Eye tracking calibration techniques
CN104246682B (zh) 增强的虚拟触摸板和触摸屏
CN117120962A (zh) 用于控制虚拟和图形元素的映射手部区域之间的双手交互
US10928929B2 (en) Method for displaying a virtual interaction on at least one screen and input device, system and method for a virtual application by means of a computing unit
JP2022164671A (ja) 視野周辺の視覚的背光
CN110646938B (zh) 近眼显示器系统
CN110249368A (zh) 混合现实环境中的虚拟用户输入控制
CN110018736A (zh) 人工现实中的经由近眼显示器界面的对象增强
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
CN117891335A (zh) 用于虚拟、增强和混合现实显示系统的键盘
van Wezel Gesture-based interaction concepts for mobile augmented reality applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: APPLE COMPUTER, INC.

Free format text: FORMER OWNER: PRIME SENSE LTD.

Effective date: 20141023

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141023

Address after: American California

Applicant after: Apple Computer, Inc.

Address before: Tel Aviv

Applicant before: Prime Sense Ltd.

C14 Grant of patent or utility model
GR01 Patent grant