CN102968180B - 基于头部方向的用户界面控制 - Google Patents

Abstract

本发明涉及基于头部方向的用户界面控制。各实施例基于头部方向在用户界面元素之间进行区分。表示凝视用户界面元素的主体的图像中的至少三个基准点的集合被计算设备接收。该集合包括第一基准点和第二基准点，它们位于第三基准点的相对两侧。第一基准点和第三基准点之间的第一距离被确定。第二基准点和第三基准点之间的第二距离被确定。计算设备将第一距离和第二距离进行比较，以计算头部方向值。计算设备基于头部方向值选择用户界面元素中的至少一个。在一些实施例中，头部方向值允许用户导航用户界面菜单或控制游戏中的角色。

Description

基于头部方向的用户界面控制

技术领域

本发明涉及用户界面控制。

背景技术

一些现有系统允许用户使用各种输入方法来能够访问计算机或容易地访问计算机。例如，一些现有系统包括相机和面部跟踪算法。这些算法标识诸如用户的眼睛、鼻子和嘴巴的面部特征。例如，眼睛可通过在用户处闪红外光以定位视网膜来标识。鼻尖可通过计算鼻子的曲率来标识。头部的方向可通过计算面部的数学法线或通过使用两个相机来生成面部的三维模型来确定。

然而，这样的现有系统或者需要昂贵且专用的硬件，或者需要对实时或近乎实时的使用不实际的密集计算。

发明内容

本发明的各实施例基于头部方向在多个用户界面元素之间进行区分。计算设备接收表示凝视多个用户界面元素的主体的至少三个基准点的集合的坐标。该集合至少包括第一基准点和第二基准点，它们位于第三基准点的相对两侧。计算设备确定第一基准点和第三基准点之间的第一距离，以及第二基准点和第三基准点之间的第二距离。所确定的第一距离与所确定的第二距离进行比较，以计算主体的头部方向值。基于计算出的头部方向值，选择多个用户界面元素中的至少一个。

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

图1是示出与捕捉设备和用户界面进行接口的头部方向模块的示例性框图。

图2是示出用于实现头部方向模块的计算设备的示例性框图。

图3是示出头部方向模块比较基准点之间的距离以计算头部方向值的操作的示例性流程图。

图4是示出头部方向模块将使用两只眼睛和鼻子计算出的头部方向值应用于用户界面以标识用户界面元素的操作的示例性流程图。

图5是示出两只眼睛和鼻子之间的距离的示例性面部。

图6是用于游戏控制台的用户界面的示例性屏幕截图，示出了基于所计算出的用户的头部方向的、对用户界面元素的选择。

图7是示出坐标系的示例性用户界面。

在全部附图中，相应的附图标记指示相应的部分。

具体实施方式

参考附图，本发明的实施例允许用户102使用从用户102的图像中得到的基准点的集合212来控制或导航用户界面104而无需手部移动。在一些实施例中，比较用户102的面部上的基准点以标识用户102的头部方向值。头部方向值被映射到用户界面104或与用户界面104对准，以标识其上显示的至少一个用户界面元素214。本发明的各方面实时或近乎实时（例如，每秒25帧）操作，并与其它系统（例如，面部跟踪算法）集成以增强用户体验。

尽管本发明的一些方面此处参考游戏环境描述和示出，其它实施例可用于诸如膝上型计算机上的操作环境、视频会议场景中的操作环境、用于远程监督操作的操作环境等操作环境中。

接着参考图1，图1是示出与捕捉设备106和用户界面104进行接口的头部方向模块108的示例性框图。在图1的示例中，用户102正在查看用户界面104。捕捉设备106包括用于捕捉用户102的图像的任何装置。捕捉设备106可包括一个或多个组件，诸如运动传感器、相机、低光照或夜视镜头、光束投影仪和/或检测器、射频（RF）束投影仪和/或检测器等。图像共同地表示用户102的运动。示例性的捕捉设备106包括相机，该相机可具有与之相关联的、用于处理相机捕捉到的图像的计算系统。计算系统可内置于捕捉设备106中或与之分开。图像被处理以在与用户界面104相关联的一个或多个应用（例如应用210）内执行一个或多个控制或动作。在一些实施例中，捕捉设备106是与游戏控制台相关联的相机。在其它实施例中，捕捉设备106是与用户102的计算设备202（诸如膝上型计算机）相关联的摄像头。

头部方向模块108接收捕捉设备106捕捉到的一个或多个图像。图像被实时或近乎实时（例如，当图像被捕捉到和/或处理时）发送到头部方向模块108或使其对头部方向模块108可访问，以允许用户102基于捕捉到的图像的对用户界面104的响应性控制。头部方向模块108表示用于处理捕捉到的图像的任何逻辑（例如，被实现为计算设备202执行的软件、硬件或软件和硬件两者）。头部方向模块108和捕捉设备106可被置于同一硬件机架中并经由总线或其它内部通信装置来通信。头部方向模块108和捕捉设备106还可被实现在同一半导体芯片上。在其它实施例中，头部方向模块108在捕捉设备106本地，但不在同一机架内或同一芯片上。在这样的实施例中，捕捉设备106和头部方向模块108经由任何通信协议或总线（例如，通用串行总线）交换数据。在还有一些其它实施例中，头部方向模块108被实现为经由诸如因特网的网络110与捕捉设备106和用户界面104通信的云服务。

头部方向模块108如此处所述操作，以处理来自捕捉设备106的图像以控制用户界面104。在一些实施例中，头部方向模块108产生可被映射到用户界面104的一部分的头部方向值。在其它实施例中，头部方向模块108还将头部方向值映射或应用到用户界面104，以确定要执行的控制或动作。头部方向模块108可执行所确定的控制或动作，或向另一模块（例如，捕捉设备106或计算系统）标识所确定的控制或动作。

在一些实施例中，用户界面104包括用于向用户102显示数据的显卡。用户界面104还可包括用于操作显卡的计算机可执行指令（例如驱动程序）。此外，用户界面104表示显示器（例如，电视机、膝上型显示器、或触摸屏显示器）和/或用于操作显示器的计算机可执行指令（例如驱动程序）。

在摄像头实施例中，捕捉设备106、头部方向模块108和用户界面104是移动计算设备、膝上型计算机或其它用户计算设备的一部分。例如，头部方向模块108被实现为在用户计算设备上执行的软件。在这样的实施例中，用户计算设备还包括下列各项中的一个或多个以向用户102提供数据或从用户102接收数据：扬声器、声卡、话筒、振动马达、一个或多个加速度计、蓝牙通信模块、全球定位系统（GPS）硬件和感光传感器。

接着参考图2，示例性框图示出了用于实现头部方向模块108的计算设备202。在一些实施例中，计算设备202表示基于头部方向在多个用户界面元素214之间进行区分的系统。计算设备202表示执行实现与计算设备202相关联的操作和功能的指令（例如，应用程序、操作系统功能、或两者）的任何设备。计算设备202可包括游戏控制台或其它多媒体设备。在一些实施例中，计算设备202包括移动电话、膝上型计算机、平板、计算板、上网本、便携式媒体播放器、台式个人计算机、自助服务终端和/或桌面设备。另外，计算设备202可以表示一组处理单元或其它计算设备。

计算设备202具有至少一个处理器204和存储器区域208。在一些实施例中，计算设备202还可包括用户界面104。处理器204包括任何数量的处理单元，并被编程为执行用于实现本发明的各方面的计算机可执行指令。这些指令可由处理器204执行或由在计算设备202内执行的多个处理器执行，或者由计算设备202外部的处理器来执行。在一些实施例中，处理器204被编程为执行诸如各附图（例如图3和图4）中示出的那些指令。

计算设备202还具有一个或多个计算机可读介质，诸如存储器区域208。存储器区域208包括任何数量的、与计算设备202相关联或计算设备202可访问的介质。存储器区域208可以在计算设备202的内部（如图2所示）、在计算设备202的外部（未示出）、或两者（未示出）。

存储器区域208存储一个或多个应用210等等。应用210在被处理器204执行时操作以执行计算设备202上的功能。示例性应用210包括游戏应用和非游戏应用。非游戏应用例如包括邮件应用程序、web浏览器、日历应用程序、地址簿应用程序、消息收发程序、媒体应用、基于位置的服务、搜索程序等。应用210可与对应的应用或服务（诸如可经由诸如网络110访问的web服务）通信。例如，应用210可表示与在云中执行的服务器侧服务相对应的所下载的客户机侧应用。

存储器区域208还存储基准点的一个或多个集合212，诸如基准点的集合#1到基准点的集合#N。每一集合212可包括基准点中的一个或多个。在一些实施例中，每一基准点包括一点在捕捉设备106捕捉的图像上的坐标。示例性坐标是一维、二维、三维坐标。在一些实施例中，图像包括对象，基准点包括第一基准点和第二基准点，这些基准点在对象上位于第三基准点的相对两侧。在其中对象包括面部的示例中，基准点的集合212表示面部基准点401的集合，每一面部基准点包括至少两只眼睛（例如，眼睛的中心或任一眼角）和鼻子。在其它示例中，面部基准点401对应于诸如嘴巴或两个嘴角、耳朵、眉毛、下巴等的其它面部特征。在一些实施例中，面部基准点401的每一集合是从捕捉设备106捕捉的视频的单个帧得到的。

存储器区域208还存储一个或多个用户界面元素214。用户界面元素214包括供用户102消费的任何媒体元素，例如包括菜单、菜单项、声音剪辑、视频剪辑和图像。用户界面元素214或其表示或其对应物被显示在用户界面104上。

存储器区域208还存储一个或多个计算机可执行组件。示例性组件包括通信接口组件216、检测组件218、分数组件220和交互组件222。以下参考图3来描述计算机可执行组件的操作。

接下来参考图3，图3是示出头部方向模块108比较基准点之间的距离以计算头部方向值的操作的示例性流程图。实现头部方向模块108的计算设备202在302接收或得到表示正在凝视多个用户界面元素214的主体的至少三个基准点的集合212的坐标。示例性坐标可采用(X,Y)的形式。尽管一些实施例将主体描述为人，本发明的各方面可用于查看用户界面元素214的任何主体（例如，机器人）。计算设备202例如从捕捉设备106或与捕捉设备106相关联的计算系统接收基准点的集合212。在图3的示例中，基准点的集合212包括至少第一基准点和第二基准点，它们位于第三基准点的相对两侧。

在一些实施例中，计算设备202接收第一基准点和第二基准点的坐标，但不接收第三基准点的坐标。在面部的示例中，第三基准点对应于面部的鼻子。在这样的实施例中，计算设备202可改为接收主体的高度和主体离捕捉设备106的距离。基于这一信息，计算设备202计算第三基准点。

所接收的基准点的坐标可反映用户102对捕捉设备106或头部方向模块108的校准。示例性的校准过程通过将中心建立为笔直向前看的主体、将顶部建立为向上看的主体、并将底部建立为向下看的主体来使得主体的视野居于中心。

在304，计算设备202确定第一基准点和第三基准点之间的第一距离，并在306确定第二基准点和第三基准点之间的第二距离。在一些实施例中，确定距离包括确定第一基准点和第三基准点之间沿水平轴和/或垂直轴的差。沿水平轴的差确定主体是向左还是向右凝视。沿垂直轴的差确定主体是向上还是向下凝视。还构想了以上的组合。

在一些实施例中，沿水平轴的第一距离由以下的等式（1）中的表达式确定，而沿垂直轴的第二距离由以下的等式（2）中的表达式确定。

X_{第三基准点}-X_{第一基准点}=第一距离(1)

X_{第三基准点}-X_{第二基准点}=第二距离(2)

在其中第一基准点、第二基准点和第三基准点对应于左眼、右眼和鼻子的实施例中，第一距离和第二距离分别由以下等式（3）和（4）确定。

X_鼻子–X_左眼=第一距离(3)

X_鼻子–X_右眼=第二距离(4)

在一示例中，如果使用图7中所示的示例性坐标系，第一基准点具有坐标(-0.5,0.1)且第三基准点具有坐标(0,-0.1)，则沿水平轴第一距离被确定为“0-(-0.5)=0.5”。如果第二基准点具有坐标(0.8,0.2)，则沿水平轴第二距离被确定为“0–0.8=(-0.8)”。

在308，计算设备202将所确定的第一距离与所确定的第二距离进行比较，以便为主体计算头部方向值。对头部方向值的计算可按照各种方式执行。在一些实施例中，第一距离和第二距离相加或相减。在其它实施例中，计算设备202产生第一距离和第二距离的加权组合。在这样的实施例中，第一基准点或第二基准点可例如基于主体的高度、主体离捕捉设备106的距离、或主体中基准点所对应的特征（例如，眼睛、耳朵、嘴巴等）给予更大的权重。头部方向值还可表示为多个捕捉到的图像计算的头部方向值的组合（例如，平均、均值或中位数、加权或其它）。

在一些实施例中，头部方向值使用以下等式（5）计算。

第一距离+第二距离=头部方向值(5)

继续第一基准点和第二基准点的以上示例，计算设备202将沿水平轴的头部方向值计算为“0.5+(-0.8)=(-0.3)”。如果对于用户界面104的中心使用坐标(0,0)，如果相机正面对主体，且如果相机未以垂直轴为中心翻转所捕捉的图像，则该主体因此被确定为向用户界面104上的中心的右侧凝视。或者，本发明所用的一些捕捉设备106可以以垂直轴为中心翻转所捕捉的图像。在这样的替换实施例中，如果计算出的头部方向值为正，则主体被确定为向用户界面104的右侧凝视，如果计算出的头部方向值为负，则主体被确定向用户界面104的左侧凝视。

或者或另外地，计算设备202沿垂直轴计算头部方向值。在此示例中，头部方向值可如以下等式（6）所示被确定。

Y_鼻子–((Y_左眼+Y_右眼)/2)(6)

在等式（6）中，两眼的垂直轴坐标被求平均，并与鼻子的垂直轴坐标相比较。如果计算出的头部方向值为正，则主体被确定为朝用户界面104的上部凝视，如果计算出的头部方向值为负，则主体被确定为朝用户界面104的下部凝视。

在310，计算设备202基于计算出的头部方向值，选择用户界面104中显示的用户界面元素214中的至少一个。头部方向值被映射或覆盖到用户界面104上，以标识用户界面104中显示的用户界面元素214的至少一个。例如，用于定义基准点的坐标系被应用于用户界面104，以便使头部方向值与用户界面元素214中的至少一个相关。在以上示例中，头部方向值(-0.3)被映射到菜单、图标、文本、化身或其它显示的用户界面元素214上的点或区域。在一些实施例中，所映射的点由带有作为焦点处的进度指示符的边界的圆圈指示。当进度指示符完成围绕圆圈的旋转而没有改变焦点时，在焦点处的用户界面元素214上采取动作。

在一些实施例中，圆圈或球在用户界面上的位置可使用以下等式（7）和等式（8）来确定。

球点.X=中心点.X+X换毛（molt）因子*(方向.值.X-原始校准方向.X)

(7)

球点.Y=中心点.Y+Y换毛因子*(方向.值.Y-原始校准方向.Y)

(8)

在以上等式中，“球点”变量表示要绘制的圆圈，“中心点”变量表示用户界面的中心的坐标，“X换毛因子”和“Y换毛因子”变量分别表示沿x和y轴的加速或减缓圆圈或球的移动的因子，而“原始校准方向”变量表示校准坐标值。

所选用户界面元素214与其它未选的用户界面元素214区别开来。例如，所选用户界面元素214可被突出显示、放大、描画轮廓、动画化或以其它方式更改（例如，经历色彩变化）。此外，选择用户界面元素214还可激活所选用户界面元素214或以其它方式使得与所选用户界面元素214相关联的动作执行。例如，计算设备202可执行应用210中对应于所选用户界面元素214或由所选用户界面元素214所表示的一个应用。

在一些实施例中，图2所示的计算机可执行组件可执行以实现图3中所示的操作。例如，通信接口组件216在由处理器204执行时，使处理器204从凝视多个用户界面元素214的主体的第一视频帧接收表示至少三个基准点的第一集合212的坐标。该集合212包括第一基准点和第二基准点，它们位于第三基准点的相对两侧。在一些实施例中，通信接口组件216包括网络接口卡和/或用于操作网络接口卡的计算机可执行指令（例如驱动程序）。

检测组件218当由处理器204执行时，使处理器204确定第一基准点和第三基准点之间的第一距离，并确定第二基准点和第三基准点之间的第二距离。分数组件220当由处理器204执行时，使得处理器204将由检测组件218确定的第一距离与检测组件218确定的第二距离进行比较，以便为主体计算第一头部方向值。

检测组件218和分数组件220随后对来自第二视频帧的至少三个基准点的第二集合212操作，以便为主体计算第二头部方向值。交互组件222在由处理器204执行时，使处理器204基于由分数组件220计算出的第一头部方向值与分数组件220计算出的第二头部方向值之间的比较，选择多个用户界面元素214中的至少一个。例如，如果用户界面元素214表示菜单，交互组件222选择用户界面元素214之一以导航菜单。

在一些实施例中，通信接口从主体接收诸如预定义的姿势或语音命令的附加输入。在这样的实施例中，交互组件222基于比较和所接收的、预定义姿势选择用户界面元素214。例如，预定义姿势可包括手臂移动、眨眼、或其它预定义姿势以确认对用户界面元素214中基于主体的当前焦点而突出显示的一个元素的选择。

在另一示例中，分数组件220可检测在主体聚焦于特定用户界面元素214的同时来自主体的暂停。暂停可通过为主体的多个视频帧计算和比较头部方向值来检测。例如，计算设备202可接收查看用户界面104的主体的多个流传输视频帧。如果一时间段（例如，定义的数量的视频帧或视频帧的定义子集）上的头部方向值之间的差满足阈值，则分数组件220检测到暂停。阈值例如可对应于主体移动的误差的界限（例如，根据主体对于计算设备202的校准确定，或由用户102或计算设备202设定）。例如，如果头部方向值之间的差超过阈值，则分数组件220得到暂停发生的结论。

如果分数组件220检测到暂停，则与交互组件222所选择的用户界面元素214相关联的动作被执行。例如，应用210中与所选用户界面元素214相关联的一个应用被执行。

接下来参考图4，示例性流程图示出头部方向模块108将使用两只眼睛和鼻子计算出的头部方向值应用于用户界面104，以标识所显示的用户界面元素214之一的操作。头部方向模块108在402访问面部基准点401的集合。头部方向模块108在404确定两只眼睛中的第一个和鼻子之间的第一距离，并确定两只眼睛中的第二个和鼻子之间的第二距离。在406，所确定的第一距离与所确定的第二距离进行比较，以计算头部方向值。在408，头部方向模块108将计算出的头部方向值应用于用户界面104，以标识用户界面104所显示的用户界面元素214中的至少一个。

头部方向模块108还可如此处所述，在一个或多个用户界面元素214之间区分用户界面104上的所标识的用户界面元素214，并且还执行与所标识的用户界面元素214相关联的动作。

接着参考图5，示例性面部502示出两只眼睛和鼻子之间的距离。图5中的面部502例如表示查看用户界面104的用户102。捕捉设备106可以是游戏控制台或诸如带有摄像头的膝上型计算机的用户计算设备。在一些实施例中，面部502与捕捉设备106捕捉的较大图像隔离开（例如，从较大图像中的多个面部中，面部502被选中以便分析）。图像处理可由头部方向模块108或与头部方向模块108分开但能够与之通信的组件执行。

例如，捕捉设备106可捕捉房间中若干用户102的图像。软件和/或硬件图像处理通过创建用户102的骨架表示来识别用户102。骨架表示之一被选中以便跟踪。例如，用户102之一在校准过程中举起手，且该用户102可被指定为要跟踪的用户102。

在从捕捉到的图像中除去非指定用户102之后，指定用户102的面部502可被隔离开、修剪、并分析以标识基准点的集合212。在此示例中，基准点的集合212包括两只眼睛和鼻子，如图5中所示。两只眼睛和鼻子的坐标被提供给头部方向模块108以便处理。或者，头部方向模块108可标识基准点的集合212。

如参考图3和图4所述，头部方向模块108计算第一距离和第二距离。在图5的示例中，第一距离和第二距离分别被示为D1和D2。距离D1和D2沿水平轴在面部上测量。在其它实施例（未示出）中，距离D1和D2可在每一眼睛和鼻子之间按“视线”测量。

接着参考图6，游戏控制台的用户界面602的示例性屏幕截图示出了基于用户102的计算出的头部方向值对用户界面元素中的至少一个的选择。图6中所示的用户界面602示出了若干菜单选项（例如，用户界面元素）包括“我的帐户”、“商店”、“游戏”和“社区”。“游戏”菜单选项包括供用户102选择的若干游戏选项。在图6的示例中，用户102正在凝视对应于游戏#3的用户界面元素604。

从头部方向值计算出的用户102的感测到的焦点保持固定于用户界面元素604上足够长时间，使得计算设备202放大并突出显示用户界面元素604。如果用户102暂停更长时间，或提供附加姿势（例如，点头、眨眼、举手等），则计算设备202将执行对应于用户界面元素604的游戏#3。

接下来参考图7，示例性用户界面702示出了供本发明的实施例使用的坐标系。在图7的示例中，用户界面702的中心点具有坐标(0,0)。左下角具有坐标(-1,-1)，而右上角具有坐标(1,1)。图7中所示的坐标系可被应用于捕捉设备106所捕捉的图像中的基准点，且可应用于头部方向模块108所计算出的头部方向值。在其它实施例中，诸如其中捕捉设备106以垂直轴为中心翻转图像的实施例中，图7中所示的正值和负值颠倒（例如，下角是(-1,-1)而上角是(1,1)）。在这样的实施例中，用户102在头部方向值7.31时向右看，并在头部方向值-6.11时向左看。

其它示例

本发明的各方面通过例如允许用户102通过瞥看角落、选择汽车或武器、和/或导航地形来控制游戏中的角色来提升游戏的可玩性。

在一示例中，用户102扫视数字报纸中的文章标题和文章摘要。在用户102暂停在特定标题上时，计算设备202增大文章摘要的字体，使用户102易于阅读，而同时减小其它文章摘要或标题的字体。在用户102扫视另一文章标题或摘要之后，先前放大的文章的字体返回到其之前的大小。

本发明的一些实施例基于头部倾斜的角度的坐标补偿头部倾斜。在确定倾斜角度之后，眼睛、鼻子或其它基准点的坐标基于所确定的倾斜角度调整，以允许对头部方向值的准确计算。

图1和2中的各元素的至少一部分功能可以由图1或图2中的其它元素或图1或图2中未示出的实体（例如，处理器、web服务、服务器、应用程序、计算设备等）执行。

在一些实施例中，图3和图4所示的操作可以以在计算机可读介质上编码的软件指令、以被编程或设计为执行这些操作的硬件或这两者来实现。例如，本发明的各方面可被实现为片上系统。

虽然本公开的各方面没有跟踪个人可标识的信息，但参考了从用户102监视和/或收集的数据来描述各实施例。在这样的实施例中，向用户102提供收集数据的通知（例如，经由对话框或偏好设置）并且给予用户102对监视和/或收集给出同意或拒绝的机会。该同意可以采用选择加入同意或选择退出同意的形式。

示例性操作环境

示例性计算机可读介质包括闪存驱动器、数字多功能盘（DVD）、紧致盘（CD）、软盘以及磁带盒。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性与非易失性、可移动与不可移动介质。计算机存储介质将传播的数据信号排除在外。在一些实施例中，计算机存储介质用硬件实现。示例性计算机存储介质包括硬盘、闪存驱动器和其它固态存储器。作为对比，通信介质通常体现诸如载波或其他传输机制等已调制数据信号中的计算机可读指令、数据结构、程序模块或其他数据，并包括任何信息传递介质。

虽然是结合示例性计算系统环境来描述的，但是，本发明的各实施例对于很多其他通用或专用计算机系统环境或配置也很适用。适用于本发明的各方面的公知的计算系统、环境和/或配置的示例包括，但不仅限于：移动计算设备、个人计算机、服务器计算机、手持式或膝上型设备、多处理器系统、游戏控制台、基于微处理器的系统、机顶盒、可编程消费电子产品、移动电话、网络PC、小型计算机、大型计算机、包括上面的系统或设备中的任何一种的分布式计算环境等等。

可以在由一台或多台计算机或其他设备执行的诸如程序模块之类的计算机可执行的指令的一般上下文中来描述本发明的各实施例。计算机可执行指令可以被组织成一个或多个计算机可执行的组件或模块。一般而言，程序模块包括但不限于，执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件，以及数据结构。可以利用任何数量的这样的组件或模块和组织，来实现本发明的各方面。例如，本发明的各方面不仅限于附图中所示出并且在此处所描述的特定计算机可执行的指令或特定组件或模块。本发明的其他实施例可以包括具有比此处所示出和描述的功能多一些或少一些功能的不同的计算机可执行指令或组件。

本发明的各方面在通用计算机被配置成执行此处所描述的指令时将通用计算机变换为专用计算设备。

此处所示和所述的实施例以及未在此专门描述但在本发明的各方面的范围内的实施例构成用于基于眼睛和鼻子的相对位置在多个用户界面元素214之间进行区分的示例性手段，以及用于确定头部方向以导航用户界面104上的菜单的示例性手段。

此处所示出和描述的本发明的各实施例中的操作的执行或完成的顺序不是必需的，除非另作说明。即，除非另作说明，操作可以以任何顺序执行，本发明的各实施例可以包括比此处所公开的操作多一些或少一些操作。例如，在一个操作之前，同时，或之后执行另一个操作也在本发明的各方面范围之内。

当介绍本发明的各方面的元件或其实施例时，“一”、“一个”、“所述”旨在表示有元件中的一个或多个。术语“包括”、“包含”、以及“具有”是包含性的，并表示除所列出的元件以外，还可以有额外的元件。

已经详细地描述了本发明的各方面，显然，在不偏离所附权利要求书所定义的本发明的各方面的范围的情况下，可以进行各种修改。在不偏离本发明的各方面的范围的情况下，可以对上面的结构、产品，以及方法作出各种更改，上面的描述中所包含的和各个附图中所示出的所有主题应该解释为说明性的，而不是限制性的。

Claims (10)

1.一种用于基于头部方向在多个用户界面元素之间区分的方法，所述方法包括：

访问存储在与计算设备相关联的存储器区域中的面部基准点的集合，所述存储器区域存储包括至少两只眼睛和一个鼻子的坐标的面部基准点的集合，所述存储器区域还存储多个用户界面元素以便显示在用户界面上；

确定所述眼睛中第一个和所述鼻子之间的第一距离；

确定所述眼睛中第二个和所述鼻子之间的第二距离；

将所确定的第一距离与所确定的第二距离进行比较，以计算头部方向值；以及

将计算出的头部方向值应用于所述用户界面，以标识所述用户界面所显示的一个或多个用户界面元素中的至少一个。

2.如权利要求1所述的方法，其特征在于，还包括在所述一个或多个用户界面元素之间区分所述用户界面上的所标识的用户界面元素，其中区分所标识的用户界面元素包括以下中的一项或多项：突出显示所标识的用户界面元素、放大所标识的用户界面元素、描绘所标识的用户界面元素的轮廓、改变所标识的用户界面元素的颜色以及使所标识的用户界面元素动画化。

3.如权利要求1所述的方法，其特征在于，还包括执行与所标识的用户界面元素相关联的动作，并且所述方法还包括提供所述面部基准点的集合。

4.如权利要求1所述的方法，其特征在于，还包括：

基于所述眼睛和鼻子的相对位置在所述多个用户界面元素之间进行区分；以及

确定头部方向以在所述用户界面上导航菜单。

5.一种用于基于头部方向在多个用户界面元素之间区分的方法，包括：

接收表示凝视多个用户界面元素的主体的图像中的至少三个基准点的集合的坐标，所述集合包括第一基准点和第二基准点，它们位于第三基准点的相对两侧；

确定所述第一基准点和所述第三基准点之间的第一距离；

确定所述第二基准点和所述第三基准点之间的第二距离；

将所确定的第一距离与所确定的第二距离进行比较，以便为所述主体计算头部方向值；以及

基于计算出的头部方向值选择所述多个用户界面元素中的至少一个。

6.如权利要求5所述的方法，其特征在于，所述主体被相机查看，且接收坐标包括接收所述主体的高度和所述主体离所述相机的距离，且还包括基于所述高度和距离计算所述第三基准点。

7.如权利要求5所述的方法，其特征在于，接收所述坐标包括接收所述基准点中每一个的二维坐标，其中确定第一距离包括计算X_鼻子–X_左眼，其中确定二距离包括计算X_鼻子–X_右眼，且其中计算头部方向值包括计算X_鼻子–X_左眼+X_鼻子–X_右眼，其中X_鼻、X_左眼和X_右眼分别是鼻子、左眼和右眼的二维坐标，其中选择所述多个用户界面元素中的至少一个包括：如果计算出的头部方向值为正则选择所述多个用户界面元素中在用户界面右侧上的至少一个，以及如果计算出的头部方向值为负，则选择所述多个用户界面元素中在所述用户界面左侧上的至少一个。

8.如权利要求5所述的方法，其特征在于，所述图像包括多个面部，且所述方法还包括选择所述面部之一以便分析，其中选择所述多个用户界面元素中的至少一个包括：如果计算出的头部方向值为正，则选择所述多个用户界面元素中在用户界面的上部的至少一个，以及如果计算出的头部方向值为负，则选择所述多个用户界面元素中在所述用户界面的下部的至少一个。

9.如权利要求5所述的方法，其特征在于，还包括接收凝视所述多个用户界面元素的主体的多个流传输视频帧，其中所述接收表示凝视多个用户界面元素的主体的图像中的至少三个基准点的集合的坐标、所述确定所述第一基准点和所述第三基准点之间的第一距离、所述确定所述第二基准点和所述第三基准点之间的第二距离以及所述将所确定的第一距离与所确定的第二距离进行比较是为所接收到的视频帧的子集执行的以便计算所述头部方向值。

10.一种用于基于头部方向在多个用户界面元素之间区分的系统，所述系统包括：

通信接口组件，用于从凝视多个用户界面元素的主体的第一视频帧接收表示至少三个基准点的第一集合的坐标，所述集合包括第一基准点和第二基准点，它们位于第三基准点的相对两侧；

检测组件，用于确定所述第一基准点和所述第三基准点之间的第一距离，并确定所述第二基准点和所述第三基准点之间的第二距离；

分数组件，用于将由所述检测组件确定的第一距离与所述检测组件确定的第二距离进行比较，以便为所述主体计算第一头部方向值，其中，所述检测组件和所述分数组件随后对来自第二视频帧的至少三个基准点的第二集合操作，以便为所述主体计算第二头部方向值；以及

交互组件，用于基于由所述分数组件计算出的第一头部方向值与所述分数组件计算出的第二头部方向值之间的比较，选择所述多个用户界面元素中的至少一个。