CN103443742A

CN103443742A - 用于凝视和姿势接口的系统和方法

Info

Publication number: CN103443742A
Application number: CN2011800673449A
Authority: CN
Inventors: Y.金科; J.厄恩斯特; S.古斯; 郑先隽
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2010-12-16
Filing date: 2011-12-15
Publication date: 2013-12-11
Anticipated expiration: 2031-12-15
Also published as: US20130154913A1; KR20130108643A; WO2012082971A1; CN103443742B

Abstract

本发明涉及一种由用户激活和与显示在3D计算机显示器上的至少一个3D对象交互的系统和方法，其中至少通过用户的、可以与用户对3D计算机显示器的凝视结合的姿势来进行激活和交互。在第一示例中，3D对象是3DCAD对象。在第二示例中，3D对象是径向菜单。用户的凝视由用户所佩戴的、包括至少一个内部照相机和外部照相机的头部框架捕获。用户的姿势由照相机捕获并且从多个姿势中被识别出。用户的姿势由传感器捕获，并且相对于3D计算机显示器进行标定。

Description

用于凝视和姿势接口的系统和方法

相关案件的声明

本发明要求2010年12月16日提交的、序列号为61/423,701的美国临时专利申请和2011年9月22日提交的、序列号为61/537,671的美国临时专利申请的优先权与利益。

技术领域

本发明涉及通过用户的凝视和姿势来激活和与显示在计算机显示器上的3D对象交互。

背景技术

3D技术变得越来越可用。3D TV近来变得可用。3D视频游戏和电影开始变得可用。计算机辅助设计（CAD）软件用户开始使用3D模型。然而，目前设计者与3D技术的交互是传统性质的，即使用诸如鼠标、跟踪球等经典输入设备。一个强大挑战是提供能够促进更好并且更快地使用3D技术的自然并且直观的交互模式。

从而，需要利用3D交互的凝视和姿势来与3D显示器交互的改进的并且新颖的系统及方法。

发明内容

根据本发明的一个方面，提供了允许用户通过凝视和姿势与3D对象交互的方法和系统。根据本发明的一个方面，凝视接口由用户所佩戴的、带有一个或多个照相机的头部框架来提供。还提供了用于标定佩戴者所佩戴的框架的方法和仪器，该框架包括对准显示器的外部照相机，和分别对准佩戴者的一个眼睛的第一和第二内部照相机。

根据本发明的一个方面，为佩戴具有对准人员眼睛的第一照相机的头部框架的该人员提供了一种通过以该眼睛凝视3D对象和通过以身体部分做出姿势来与显示在显示器上的该3D对象交互的方法，该方法包括：以至少两个照相机感测该眼睛的图像、该显示器的图像和该姿势的图像，安装在头部框架中的这至少两个照相机之一适于指向显示器，并且这至少两个照相机中的另一个是第一照相机；将该眼睛的图像、该姿势的图像和该显示器的图像传送给处理器；处理器根据这些图像确定该眼睛的视向和头部框架相对于显示器的位置，并且然后确定人员正在凝视的3D对象；处理器根据该姿势的图像从多个姿势中识别出该姿势；并且处理器基于该凝视、或该姿势、或该姿势和该凝视来进一步处理该3D对象。

根据本发明的另一方面，提供了一种方法，其中第二照相机位于头部框架中。

根据本发明的又另一方面，提供了一种方法，其中第三照相机位于显示器中或毗邻显示器的区域中。

根据本发明的又另一方面，提供了一种方法，其中头部框架包括头部框架中的、指向人员的第二眼睛以捕获第二眼睛的视向的第四照相机。

根据本发明的又另一方面，提供了一种方法，该方法还包括：处理器根据第一眼睛的视向和第二眼睛的视向的交点确定3D焦点。

根据本发明的又另一方面，提供了一种方法，其中进一步处理3D对象包括激活该3D对象。

根据本发明的又另一方面，提供了一种方法，其中进一步处理3D对象包括基于凝视、或姿势、或凝视和姿势两者来以增大的分辨率显现3D对象。

根据本发明的又另一方面，提供了一种方法，其中3D对象由计算机辅助设计程序生成。

根据本发明的又另一方面，提供了一种方法，其进一步包括：处理器基于来自第二照相机的数据识别姿势。

根据本发明的又另一方面，提供了一种方法，其中处理器基于姿势在显示器上移动3D对象。

根据本发明的又另一方面，提供了一种方法，其还包括：处理器确定佩戴头部框架的人员的位置到新位置的改变，和处理器在计算机3D显示器上对应于新地点重新显现3D对象。

根据本发明的又另一方面，提供了一种方法，其中处理器以显示器的帧率确定地点改变和进行重新显现。

根据本发明的又另一方面，提供了一种方法，其还包括：处理器显示与正被凝视的3D对象有关的信息。

根据本发明的又另一方面，提供了一种方法，其中进一步处理3D对象包括激活与3D对象有关的径向菜单。

根据本发明的又另一方面，提供了一种方法，其中进一步处理3D对象包括激活在3D空间中堆叠在彼此之上的多个径向菜单。

根据本发明的又另一方面，提供了一种方法，其还包括：处理器标定人员的、指向3D计算机显示器上的区域的手部和胳膊姿势的相对姿态，人员以新姿态指向3D计算机显示器，并且处理器基于标定过的相对姿态估计与该新姿态有关的坐标。

根据本发明的又另一方面，提供了一种系统，其中人员通过以第一眼睛凝视和通过以身体部分做出姿势来与多个3D对象中的一个或多个交互，该系统包括：显示这多个3D对象的计算机显示器；头部框架，其包括适于指向佩戴头部框架的人员的第一眼睛的第一照相机，和适于指向计算机显示器的区域并且捕获姿势的第二照相机；处理器，其能够执行指令以进行如下步骤：接收由第一和第二照相机传送的数据；处理所接收的数据，以在多个对象中确定凝视所对准的3D对象；处理所接收的数据，以从多个姿势识别该姿势并且基于该凝视和姿势进一步处理3D对象。

根据本发明的又另一方面，提供了一种系统，其中计算机显示器显示3D图像。

根据本发明的又另一方面，提供了一种系统，其中显示器是立体观看系统的部分。

根据本发明的又另一方面，提供了一种设备，利用该设备，人员通过从第一眼睛凝视和从第二眼睛凝视和通过人员的身体部分做出姿势与显示在3D计算机显示器上的3D对象交互，该设备包括：适于由该人员佩戴的框架；安装在框架中的第一照相机，适于指向第一眼睛以捕获第一凝视；安装在框架中的第二照相机，适于指向第二眼睛以捕获第二凝视；安装在框架中的第三照相机，适于指向3D计算机显示器和捕获姿势；第一和第二镜片，其安装在框架中，使得第一眼睛看穿第一镜片并且第二眼睛看穿第二镜片，第一和第二镜片用作3D观看快门；以及用于传送由照相机生成的数据的传送器。

附图说明

图1示出了视讯透视（video-see-through）标定系统；

图2到4是根据本发明的一个方面来使用的头部佩戴多照相机系统的图像；

图5关于根据本发明的一个方面的内部照相机提供了一种眼球模型；

图6示出了一步标定步骤，其可以在进行了初始标定时候使用；以及

图7示出了根据本发明的一个方面的工业凝视和姿势自然接口系统（Industry Gaze and Gesture Natural Interface system）的使用；

图8示出了根据本发明的一个方面的工业凝视和姿势自然接口系统；

图9和10示出了根据本发明的一个方面的姿势；

图11示出了根据本发明的一个方面的姿态标定系统；以及

图12示出了根据本发明的一个方面的系统。

具体实施方式

本发明的方面有关于或者取决于可佩戴的传感器系统的标定和图像的配准。配准和/或标定系统和方法在美国专利7,639,101、7,190,331和6,753,828中公开。这些专利中的每个均通过引用包含于此。

首先，将描述用于标定可佩戴的多照相机系统的方法和系统。图1示出了头部佩戴的、多照相机眼睛追踪系统。提供了计算机显示器12。在显示器12的不同地点上提供了标定点14。头部佩戴的、多照相机设备20可以是一副眼镜。眼镜20包括外部照相机22、第一内部照相机24和第二内部照相机26。来自每个照相机22、24和26的图像经由输出端30提供给处理器28。内部照相机24和26瞄准用户的眼睛34。内部照相机24远离用户的眼睛34地瞄准。在根据本发明的一个方面标定期间，内部照相机朝着显示器12瞄准。

接下来将描述如在图1中示出的、根据本发明的一个方面的用于几何标定头部佩戴的多照相机眼睛追踪系统的方法。

图2-4中示出了眼镜20的一个实施例。在图2中示出了带有内部和外部照相机的框架。这种框架由Reno，NV的Eye-Com公司提供。框架500具有外部照相机501和两个内部照相机502和503。实际的内部照相机在图2中并不可见，但示出了内部照相机502和503的壳体。在图3中示出了一套可佩戴的照相机的类似但更新的版本的内部示图。图3中清楚示出了框架600中的内部照相机602和603。图4示出了通过缆线702连接至视频信号接收器701的、带有外部照相机和内部照相机的可佩戴照相机700。单元701也可以包含用于照相机的电源和处理器28。替选地，处理器28可以位于任意地点。在本发明的另一实施例中，视频信号无线地传送至远程接收器。

所期望的是精确确定头部佩戴的照相机的佩戴者在看哪里。例如，在一个实施例中，头部佩戴的照相机的佩戴者定位在距离计算机屏幕约2英尺与3英尺之间，或者在2英尺与5英尺之间，或者在2英尺与9英尺之间处，该计算机屏幕可以包括键盘，并且根据本发明的一个方面，该系统确定佩戴者的凝视在屏幕上或键盘上或标定空间中其它地方上的所对准处在标定空间中的坐标。

如已经描述那样，存在两组照相机。外部照相机22相对于世界传递关于多照相机系统的姿态的信息，并且内部照相机24和26相对于用户和传感器测量来传递关于多照相机系统的姿态的信息，以用于估计几何模型。

在此提供了数个标定眼镜的方法。第一方法是两步骤过程。第二标定方法依赖于该两步骤过程和然后使用单应性步骤。第三标定方法在同时而不是在分开的时间处理这两个步骤。

方法1-两个步骤

方法1以两个连续步骤、即内部-外部和内部-眼睛标定来开始系统标定。

方法1的第一步骤：内部-外部标定

借助两个不相交的标定模式、即3D中具有精确已知的坐标的固定点，收集一套外部和内部照相机框架对，并且在所有图像中标注已知标定点的3D位置的投影。在一个优化步骤中，将每个外部和内部照相机对的相对姿态估计为将特定误差标准最小化的旋转和平移参数的集合。

内部-外部标定对于每个眼睛进行，即在左眼进行一次并且然后单独地又在右眼上进行一次。

在方法1的第一步骤中，建立在内部照相机坐标系和外部照相机坐标系之间的相对变换。根据本发明的一个方面，估计下面等式中的参数R^ex、t^ex：

p^x=R^exp^e+t^ex

其中

R^ex∈SO(U是旋转矩阵，其中SO(3)是在现有技术中已知的旋转群，

t^ex∈R³是内部和外部照相机坐标系之间的平移向量，

p^x∈R³是外部照相机坐标系中的一个点，

p^x∈R³是外部照相机坐标系中的点的向量，

p^e∈R³是内部照相机坐标系中的一个点，以及

p^e∈R³是内部照相机坐标系中的点的向量。

接下来，R^ex、t^ex在由R^ex经由罗德里格斯（Rodrigues）公式和t^ex的级联所构成的齐次矩阵T^ex∈R⁴×R⁴中被吸收。矩阵T^ex称作齐次坐标的变换矩阵。矩阵T^ex如下构成：

T^{ex} = [\begin{matrix} R^{ex} & t^{ex} \\ 0 & 0 & 0 & 1 \end{matrix}]

其是t^ex和

{[\begin{matrix} 0 & 0 & 0 & 1 \end{matrix}]}^{T}

的级联，该级联为标准文本程序。

通过将误差标准如下最小化来将T^ex的（未知）参数估计为

1.两个不相交（即并不严格耦合）的标定参考栅格G^e、G^x具有施加在分布于全部三维中的、精确已知的地点上的M个标记物；

2.将栅格G^e、G^x放置在内部-外部照相机系统周围，使得G^x在外部照相机图像中可见，并且G^e在内部照相机图像中可见；

3.对于每个内部和外部照相机进行曝光；

4.将内部和外部照相机系统在不移动栅格G^e、G^x的情况下旋转和平移到新地点上，使得在上面步骤2中的可见性条件并不被妨碍；

5.重复步骤3和4，直至采取了N（双倍，即外部/内部）次曝光。

6.在N个曝光/图像中的每个中并且对于每个照相机（内部、外部），标注标记物的成像的地点，形成M×N个标记过的内部图像地点

和M×N个标记过的外部图像地点

7.对于N个曝光/图像中的每个并且对于每个照相机（内部、外部），根据步骤6中的标记过的图像地点和其来自步骤1的基本事实，经由现成的外部照相机标定模块来估计外部姿态矩阵

和

8.通过观看下面的将内部栅格G^e坐标系中的世界点p^e变换为外部栅格G^x坐标系中的点p^x的等式p^x=Gp^e而导出优化标准，其中G是从内部到外部栅格坐标系的未知变换。其另一写法是：

\begin{matrix} p^{x} = {(T_{n}^{x})}^{- 1} T^{ex} T_{n}^{e} p^{e} & &ForAll; n \end{matrix} - - - (1)

换言之，变换

是两个栅格坐标系之间的未知变换。下面直接跟随有：如果对于全部N个实例(T^x，T^e)_n，而言所有点{p^e}总是经由等式1变换成相同的点{p^x}，则

是T^ex的正确的估计。

因此，误差/优化/最小化标准以如下形式提出：其偏好

在那里所形成的p^x对于集合{p^x}中的每个元素而言靠近在一起、例如如下情况：

σ^{2} = Σ [{Var (p^{x})}], p_{n}^{x} = {(T_{n}^{x})}^{- 1} {\tilde{T}}^{ex} T_{n}^{e} p^{e} - - - (2)

刚才描述的这些步骤对于照相机22和24的对并且对于照相机22和26的对来进行。

方法1的第二步骤：内部-眼睛标定

接下来，对于上面确定的每个标定对进行内部-眼睛标定。根据本发明的一个方面，内部-眼睛标定步骤包括估计人眼睛的几何模型的参数、其取向和中心地点的位置。这在内部-外部标定可用之后通过采集来自内部照相机的、包括瞳孔中心的传感器测量集合和在用户聚焦在3D屏幕空间中的已知位置上期间来自外部照相机的相应的外部姿态来进行。

优化程序相对于已知的基础事实对监视器上的凝视再投影误差最小化。

目的是估计内部眼睛照相机坐标系中的眼球中心c∈R³的相对位置和眼球的半径r。在给定内部眼睛图像中的瞳孔中心l的情况下以如下方式计算监视器上的凝视地点：

这些步骤包括：

1.确定l到世界坐标的投影与眼球表面的交点a；

2.通过向量a-c确定凝视在内部照相机坐标系中的方向；

3.通过在较早部分中所获得/所估计的变换将来自步骤2的凝视方向变换到外部世界坐标系中；

4.通过例如标记物追踪机制建立外部照相机坐标系与监视器之间的变换；

5.在给定步骤4所估计的变换的情况下确定来自步骤3的向量与监视器表面的交点d。

在标定步骤中未知的是眼球中心c和眼球半径r。其通过采集K对屏幕交点d与内部图像中的瞳孔中心l∶(d;l)_k来估计。通过将所估计的

相对于实际基础事实地点d的再投影误差最小化来确定所估计的参数

和例如借助一些度量E

\min E (| d - \tilde{d} |) - - - (3)

于是，所找到的眼球中心

和眼球半径

估计是将等式3最小化的。

基本事实通过预先确定的参考点、例如作为两个不同系列的点（其中每个眼睛一个系列）的参考点来提供，这些参考点显示在显示器的已知的坐标系栅格上。在一个实施例中，参考点以伪随机方式分布在显示器的区域上。在另一实施例中，参考点以有规律的图案显示。

标定点优选以均匀或基本均匀的形式分布在显示器上，以获得由显示器限定的空间的有益标定。可预测或随机标定模式的使用可以与框架佩戴者的偏好有关。然而，优选地，标定模式中的所有点应不为共线的。

在此提供的系统优选使用计算机显示器上的至少或大约12个标定点。从而，在用于标定的不同地点中的至少或大约12个参考点显示在计算机屏幕上。在另一实施例中，使用更多标定点。例如，应用至少16个点或至少20个点。这些点可以同时显示，允许眼睛直接凝视不同的点。在另一实施例中，使用少于十二个标定点。例如，在一个实施例中使用两个标定点。标定点数量的选择一方面是基于用户的方便或舒适，其中高数量的标定点会对佩戴者形成负担。非常低数量的标定点会影响使用质量。所认为的是，总数10-12的标定点在一个实施例中是合理数量。在另一实施例中，在标定期间一次显示一个点。

方法2-两个步骤和单应性

第二方法使用上面的两个步骤和单应性步骤。该方法将方法1用作初始处理步骤，并且通过估计来自方法1的、在屏幕世界空间中的所估计坐标与屏幕坐标空间中的基础事实之间的附加单应性来改进解决方案。这通常处理并且减小在之前估计中的系统偏差，由此改进再投影误差。

该方法基于方法1所估计的变量，即其补充方法1。在部分1中的标定步骤开始后，典型地存在投影地点

相对于真实地点d的残留误差。在第二步骤中，通过将该残留误差建模为单应性H、即

来将该误差最小化。单应性容易地由标准方法借助之前部分的对

的集合来估计，并且然后应用于校正残留误差。单应性估计例如在Appel等发明的、2005年11月15日授权的、序列号为6,965,386的美国专利和Mittal等发明的、2008年1月22日授权的、序列号为7,321,386的美国专利中描述，其均通过引用包含于此。

单应性对本领域技术人员已知并且例如在Richard Hartley和AndrewZisserman所著的“Multiple View Geometry in Computer Vision”,CambridgeUniversity Press,2004中描述。

方法3-联合优化

该方法通过同时而非单独地联合优化内部-外部和内部-眼睛空间的参数来处理相同的标定问题。使用在屏幕空间中凝视方向的相同的再投影误差。误差标准的优化在内部-外部以及内部-眼睛几何参数的联合参数空间上进行。

该方法将上面作为方法1的部分描述的内部-外部标定以及上面作为方法1的部分描述的内部-眼睛标定联合地当做一个优化步骤。优化的基础是等式（3）中的监视器再投影误差标准。所估计的变量特别地为T^ex；c和r。它们的估计

和

是作为任意现成优化方法的输出将再投影误差标准最小化的解决方案。

特别地这包括：

1.给定已知的监视器交点d和相关的在内部图像中的瞳孔中心位置l的集合、即(d,l)_k,计算再投影过的凝视地点的再投影误差。凝视地点通过上面描述的、与内部-眼睛标定有关的方法来再投影。

2.采用现成的优化方法来找到参数

和

其将步骤1的再投影误差最小化。

3.所估计的参数

和

然后是系统的标定，并且可以用于再投影新的凝视方向。

在图5中提供了一种与内部照相机相关的眼睛模型的图。其提供了眼睛几何结构的简化视图。固定点的地点在不同的实例中通过如在此提供那样的头部追踪方法来补偿，并且在屏幕上的不同固定点d_i、d_j和d_k示出。

在线单点再标定

一个方法改进在时间上的标定性能，并且能够实现其它系统能力，引起改进的用户舒适度，包括：经由简单的在线再标定实现的更长交互时间；以及摘掉眼睛框架和再戴回而无需经历完全的再标定过程的能力。

对于在线再标定，发起如下面描述那样的简单程序来补偿标定误差，例如由于框架运动（其例如可以是由于长的佩戴时间或摘掉眼睛框架和戴回而造成的将眼睛框架移动）而造成的累积性标定误差。

方法

单点标定与任意之前的标定程序无关地估计和补偿在实际的凝视地点与估计的凝视地点之间在屏幕坐标中的平移偏差。

再标定过程可以手动地、例如当用户例如由于低于正常追踪性能而注意到需要再标定时发起。再标定过程也可以自动地、例如当系统根据用户的行为模式推断追踪性能降低（例如如果系统正被用于打字，则低于正常打字性能可以指示对于再标定的需要）或仅在固定量的时间之后发起。

单点标定例如在已进行上面描述那样的完整标定之后发生。然而，如之前陈述的，单点标定与应用何种标定方法无关。

参考图6，每当发起在线单点标定时，都进行如下步骤：

1.在屏幕800上的已知位置（例如在屏幕中心上）显示一个视觉标记物806；

2.保证用户凝视该点（对于配合的用户而言，这可以通过在显示该标记物之后短的等待时间来触发）；

3.确定用户以框架在凝视哪里。在图6的情况下，用户沿着向量804凝视点802。因为用户应该正沿着向量808凝视点806，所以存在可以标定该系统的向量Δe。

4.下一步骤是确定来自步骤1的、屏幕上地点的实际已知点806与屏幕坐标中来自系统的、再投影过的凝视方向802/804之间的向量Δe。

5.进一步确定用户正凝视哪里通过向量△e来校正。

这包括单点再标定过程。为了随后估计凝视地点，通过向量Δe补偿它们的在屏幕上的再投影，直至发起新的单点再标定或新的完全标定。

附加的点也可以在该再标定步骤中如所需那样使用。

在一个实施例中，将标定过的可佩戴照相机用于确定佩戴着可佩戴照相机的用户的凝视对准哪里。这种凝视可以是主动的或确定的凝视，例如对准显示器上所显示的所期望对象或者所期望图像。凝视也可以是由被有意或无意吸引至特定对象或图像的佩戴者进行的非主动凝视。

通过提供对象或图像在标定过的空间中的坐标，该系统可以编程为通过将对象在标定过的空间中的坐标与标定过的凝视方向相关联来确定照相机的佩戴者正在看哪个图像、对象或对象的部分。因此，用户对对象、例如屏幕上的图像的凝视可以用于发起诸如数据和/或指令的计算机输入。例如，屏幕上的图像可以是诸如字母和数学符号的符号的图像。图像还可以表示计算机命令。图像还可以表示URL。还可以追踪移动的凝视来画图。从而，可以提供系统和各种方法，其使得用户的凝视能够至少类似于用户的触摸如何激活计算机触屏那样激活计算机。

在一个主动或有意凝视的示例中，如在此提供那样的系统在屏幕上显示键盘或者具有与标定系统关联的键盘。键的位置由标定来限定，并且系统因此识别与显示在标定空间中的屏幕上的特定键关联的凝视方向。因此，佩戴者可以通过将凝视对准例如显示在屏幕上的键盘上的字母来键入字母、词语或句子。所键入字母的确认可以基于凝视的持续时间或者通过凝视确认图像或键。完全预期其它配置。例如，不是键入字母、词语或句子，佩戴者而是可以从字典、列表或数据库中选择词语或概念。佩戴者也可以通过使用如在此提供那样的系统和方法来选择和/或构造公式、图形、结构等。

作为非主动凝视的一个示例，佩戴者可以暴露于标定过的视觉空间中的一个或多个对象或图像。可以将该系统用于确定哪个对象或图像吸引并且有可能维持未被指示将凝视定向的佩戴者的注意力。

SIG²N

在可佩戴的多照相机系统的一个应用中，提供了称作SIG²N或SIG2N（Siemens Industry Gaze & Gesture Natural interface（西门子工业凝视&姿势自然接口））的方法和系统，其使得CAD设计者能够：

1.在真实的3D显示器上观看其3D CAD软件对象

2.使用自然凝视&手部姿势和动作来直接与其3D CAD对象交互（例如调整大小、旋转、移动、拉伸、击打等）

3.将其眼睛用于控制的不同附加方面和用于接近地观看与3D对象有关的附加元数据。

SIG2N

3D TV对于消费者而言开始变得可以负担得起来享受观看3D电影。此外，3D视频计算机游戏开始出现，并且3D TV和计算机显示器是用于与这种游戏交互的良好显示设备。

多年来，3D CAD设计者通过传统的2D计算机显示器来将CAD软件用于设计新的、复杂的产品，2D计算机固有地限制设计者的3D理解和3D对象操纵&交互。这种负担得起的硬件的出现提供给CAD设计者以3D方式观看其3D CAD对象的可能性。SIG2N架构的一个方面负责将西门子CAD产品的输出转换为使得其可以在3D TV和3D计算机显示器上有效地显现。

3D对象和3D对象如何显示之间有区别。如果一个对象具有显示为三维特性的三维特性，则其为3D的。例如，例如为CAD对象的对象以三维特性来限定。在本发明的一个实施例中，其以2D方式显示在显示器上，但是通过提供例如是来自虚拟的光源的阴影的照明效果而具有3D印象或幻象，所述阴影为2D图像提供深度幻象。

为了由人类观看者以3D或立体方式来感知，需要通过对象的显示来提供两个图像，其反映利用两个人类传感器（相距大约5-10cm的两个眼睛）来体验的、允许大脑将两个单独图像组合成一个3D图像感知的视差。存在数种已知并且不同的3D显示技术。在一个技术中，同时提供单个屏幕或显示器的两个图像。这些图像通过为每个眼睛提供专用过滤器来分离图像，该过滤器为第一眼睛通过第一图像和阻挡第二图像，并且为第二眼睛阻挡第一图像和通过第二图像。另一技术是提供具有柱状透镜的屏幕，这些柱状透镜为观看者的每个眼睛提供不同的图像。另一技术是通过将框架与眼镜组合来为每个眼睛提供不同的图像，该框架以高速率在两个镜片之间切换，并且与以对应于切换眼镜的正确速率来显示右和左眼图像的显示器相呼应地工作，其中该切换眼镜已知为快门眼镜。

在本发明的一个实施例中，在此提供的系统和方法处理在屏幕上以单个2D图像显示的3D对象，其中每个眼睛接收相同的图像。在本发明的一个实施例中，在此提供的系统和方法处理在屏幕上以至少两个图像显示的3D对象，其中每个眼睛接收3D对象的不同图像。在另一实施例中，是显示器的部件的屏幕或显示器或设备适于示出不同的图像，例如通过使用柱状透镜或通过适配为在两个图像间迅速切换。在另一实施例中，屏幕同时示出两个图像，而带有过滤器的眼镜允许为观看者的左眼和右眼分开两个图像。

在本发明的又另一实施例中，以迅速改变的序列显示旨在于观看者的第一和第二眼睛的第一和第二图像。观看者佩戴带有透镜的一副眼镜，这些透镜操作为交替打开和关闭的快门，这些快门以与显示器同步的方式从透明切换为不透明模式，使得第一眼睛仅看见第一图像，而第二眼睛看见第二图像。改变的序列以为观看者留下不中断的3D图像的印象的速度发生，该3D图像可以是静态图像或移动或视频图像。

因此，在此的3D显示器是仅由屏幕或者由具有眼镜的框架与屏幕的组合形成的3D显示系统，该系统允许观看者以使得对于该观看者出现与对象相关的立体效果的方式来观看对象的两个不同的图像。

在一些实施例中，3D TV或显示器需要观看者佩戴特殊眼镜，以便最优地体验3D可视化。然而，在此也已知和可应用其它3D显示技术。还注意到的是，显示器也可以是3D图像投影到其上的投影屏幕。

假设对于一些用户而言，佩戴眼镜的障碍已被跨越，则继续提供这些眼镜的技术将不再是问题。所注意到的是，在本发明的一个实施例中，与所应用的3D技术无关地，需要由用户使用如上面描述并且在图2-4中示出的一副眼镜或可佩戴的头部框架，以应用根据本发明的一个或多个方面的、如在此描述那样的方法。

SIG2N架构的另一方面需要为3D TV扩增可佩戴的多照相机框架，该多照相机框架带有安装在该框架上的至少两个附加的小照相机。一个照相机聚焦在观看者的眼球上，而另一照相机向前聚焦，其能够聚焦在3D TV或显示器上，并且还能够捕获任意面向前的手部姿势。在本发明的另一实施例中，头部框架具有两个内部照相机，即聚焦在用户左眼球上的第一内部照相机和聚焦在用户右眼球上的第二内部照相机。

单个内部照相机允许系统确定用户的凝视指向哪里。使用两个内部照相机使得能够确定每个眼球的凝视的交点并且因此确定3D聚焦的点。例如，用户可以聚焦在位于屏幕或投影平面前方的对象上。使用两个标定过的内部照相机允许确定3D焦点。

3D焦点的确定在一些应用、例如带有不同深度上的兴趣点的3D透明图像中是重要的。两个眼睛的凝视的交点可以用于创建合适的焦点。例如，3D医学图像是透明的并且包括患者的身体，其中包括正面和背面。通过将3D交点确定为两个凝视的交点的方式，计算机确定用户聚焦在哪里。作为响应，例如当用户聚焦在背面、例如透过胸部看去的椎骨时，计算机增加路径的、会模糊背面图像的示图的透明度。在另一示例中，图像对象是3D对象、例如为从前往后看去的房屋。通过确定3D交点，计算机使得对3D交点的观看变得模糊的观看路径更加透明。这允许观看者通过应用带有2个终端照相机的头部框架来在3D图像中“看穿墙壁”。

在本发明的一个实施例中，将与头部框架分离的照相机用于捕获用户的姿态和/或姿势。在本发明的一个实施例中，单独的照相机合并到或附接至或非常接近3D显示器，使得观看3D显示器的用户面对单独的照相机。在本发明的另一实施例中，单独的照相机位于用户上方，例如，其附接至天花板。在本发明的又另一实施例中，单独的照相机从用户一侧观察用户，而用户面对3D照相机。

在本发明的一个实施例中，安装数个单独的照相机，并且将其连接至系统。将哪个照相机用于获得用户姿态的图像与用户的姿态有关。一个照相机对于一个姿态良好地起作用，例如从上方看水平面中打开和闭合的手部的照相机。相同的照相机可能对竖向面中的打开的、在竖向面中移动的手部并不起作用。在该情况下，从侧面看移动的手部的单独照相机更好地起作用。

SIG²N架构设计为如下构架，在该构架上可以建立对于CAD设计者做出的凝视和手部姿势两者的丰富帮助，以自然和直观地与其3D CAD对象交互。

特别地，在此以本发明的至少一个方面提供的自然的、至CAD设计的人类接口包括：

1.基于凝视&姿势地选择3D CAD数据和与其交互（例如如果用户将凝视固定到3D对象上，则其将被激活（“eye-over（眼睛经过）”相对于“mouse-over（鼠标经过）”）），并且然后用户可以直接操纵3D对象，诸如利用手部姿势来旋转、移动、放大其。由照相机识别出姿势作为计算机控制例如在Liu等发明的、2006年8月22日授权的、序列号为7,095,401的美国专利和Peter等发明的、2002年3月19日授权的、序列号为7,095,401的美国专利中公开，它们通过引用结合于此。图7示出了由佩戴多照相机框架的用户与3D显示器交互的至少一个方面。从人员观点来说，姿势可以是非常简单的。其可以是静态的。一个静态姿势是伸展平的手部，或者是用手指指。通过以逗留在一个位置中的方式将姿态保持特定时间，产生与屏幕上的对象交互的指令。在本发明的一个实施例中，姿势可以是简单的动态姿势。例如，手部可以处于平的并且伸展的位置，并且可以通过反转手腕而从竖向位置移动至水平位置。这种姿势由照相机记录并且由计算机识别出。在一个示例中，手部翻转在本发明的一个实施例中由计算机判读为将显示在屏幕上并且由用户的围绕轴线旋转的凝视所激活的3D对象进行旋转的命令。

2.尤其对于大的3D环境基于眼睛凝视地点来进行优化过的显示器显现。眼睛凝视地点或者双眼在对象上的凝视的交点激活该对象，例如在凝视在一个地点逗留至少最小时间之后激活该对象。“激活”效果可以是在该对象被“激活”之后示出该对象增多的细节，或者是以增大的分辨率显现该“激活过的”对象。另一效果可以是该对象的背景或紧邻处的分辨率的降低，这进一步允许“激活过的”对象突出。

3.基于眼睛凝视地点显示对象元数据，以增强情景/情况认知。该效果例如在凝视在对象之上逗留后，或者在凝视在对象上来回移动之后出现，其激活待与该对象相关地显示的标签。标签可以包含元数据或任何与对象相关的数据。

4.通过用户相对于所感知的3D对象的位置（例如头部位置）来操纵对象或改变情景，这也可以用于基于用户视点来显现3D。在本发明的一个实施例中，在由佩戴上面描述的带有照相机的头部框架的用户观看的3D显示器上显现和显示3D对象。在本发明的另一实施例中，基于用户相对于屏幕的头部位置显现3D对象。如果用户移动，从而框架相对于3D显示器的位置移动并且所显现的图像保持相同，则当用户从该新位置观看时该对象将表现得变得失真。在本发明的一个实施例中，计算机确定框架和头部相对于3D显示器的新位置，并且根据新位置重新计算和重新拖曳或显现3D对象。根据本发明的一个方面重新拖曳或重新显现对象的3D图像以3D显示器的帧率进行。

在本发明的一个实施例中，从固定的视角来重新显现对象。假设由在固定位置的虚拟照相机来观看对象。重新显现进行为使得其对于用户而言显得虚拟照相机跟着该用户移动。在本发明的一个实施例中，虚拟照相机视角通过用户或该用户的头部框架的位置来确定。当用户移动，则显现基于虚拟照相机跟随着头部框架相对于对象移动来完成。这允许用户“围绕显示在3D显示器上的对象而走”。

5.与（例如为用户提供在相同显示器上的多个视点的）多个眼睛框架的多个用户交互。

架构

在图8中示出了用于SIG2N架构的一个结构和其功能部件。SIG2N架构包括：

0.例如由存储在存储介质811上的3D CAD设计系统生成的CAD模型。

1.用于将CAD 3D对象数据转换成用于显示的3D TV形式的部件812。该技术是已知的，并且例如在3D监视器中可用，例如加拿大多伦多的TRUE3Di公司，其销售在3D显示器上以真实3D模式显示Autocad 3D模型的监视器。

2.扩增有照相机和修正过的标定的3D TV眼镜814，和用于凝视追踪标定的追踪部件815，和用于姿势追踪和姿势标定的816（下面将详细描述）。在本发明的一个实施例中，如在图2-4中所示那样的框架设有透镜，诸如在用于观看3D TV或显示器的现有技术中已知那样的快门眼镜、或LC快门眼镜、或主动式快门眼镜。这种3D快门眼镜通常是在框架中的光学中性镜片，其中每个眼睛的镜片例如包含液晶层，其具有在施加电压时变暗的特性。通过交替地并且按3D显示器上所显示的帧的顺序将镜片变暗，对于眼镜佩戴者产生3D显示的幻象。根据本发明的一个方面，快门眼镜合并到带有内部和外部照相机的头部框架中。

3.姿势识别部件和用于与CAD模型交互的、是接口单元817的部分的词表。上面已经描述了系统可以根据图像数据检测至少两个不同的姿势、例如用手指指、伸展手部、在水平和竖向面之间旋转所伸展的手部。许多姿势是可能的。每个姿势或者姿势之间的变化可以具有其自己的含义。在一个实施例中，以竖向姿势面对屏幕的手部在一个词表中可以意味着停止，并且在第二词表中可以意味着沿远离手部的方向移动。

图9和10示出了手部的两个姿势或姿态，其在本发明的一个实施例中是姿势词表的部分。图9示出了带有进行指向的手指的手部。图10示出了伸平的手部。这些姿势或姿态例如由从上方看带有手部的胳膊的照相机来记录。该系统可以被训练用于识别来自用户的有限数目的手部姿态或姿势。在一个简单的例证性姿势识别系统中，该词表由两个手部姿态组成。这意味着，如果姿态不是图9的，则其必须是图10的，反之亦然。已知更复杂得多的姿势识别系统。

4.将眼睛凝视信息与手部姿势事件集成。如上面描述那样，凝视可以用于找到和激活所显示的3D对象，而姿势可以用于操纵所激活的对象。例如，在第一对象上的凝视激活该第一对象用于能够被姿势操纵。移动的、指向所激活的对象的手指使得所激活的对象跟随该指向的手指。在另一实施例中，凝视经过可以激活3D对象，而指向其可以激活相关的菜单。

5.用于聚焦显现功率/等待时间的眼睛追踪信息。凝视经过可以起鼠标经过的作用，该凝视经过高亮显示所凝视的对象，或者增大所凝视经过的对象的分辨率或亮度。

6.用于显现CAD对象附近的附加元数据的眼睛凝视信息。凝视经过对象引起显示或列出文本、图像或与凝视经过的对象或图标有关的其它数据。

7.具有在用户观看角度和地点基础上的多视点能力的显现系统。当佩戴头部框架的观看者相对于3D显示器移动框架时，计算机计算3D对象的正确显现，以被观看者以不失真的方式来观看。在本发明的第一实施例中，所观看的3D对象的取向相对于带有头部框架的观看者保持不变。在本发明的第二实施例中，所观看的对象的虚拟取向相对于3D显示器保持不变，并且根据用户的观看位置而改变，使得用户可以以半圈“围绕该对象而走”并且从不同的视点观看其。

其它应用

本发明的方面可以应用于其中用户需要出于诊断或发展空间认知目的而操纵3D对象和与其交互的许多其它环境。例如，在医学介入中，医师（例如介入的心脏病专家或放射学专家）通常依赖于3D CT/MR模型来指导导管的导航。如在此以本发明的一个方面来提供那样的凝视&姿势自然接口将不仅提供更准确的3D感知、容易的3D对象操纵，而且还加强他们的空间控制和认知。

其中3D数据可视化和操纵起重要作用的其它应用例如包括：

（a）建筑自动化：建筑设计、自动化和管理：装备有SIG2N的3D TV可以借助直观的可视化和带有3D BIM（building information model（建筑信息模型））内容的交互工具在警告设计者、操作者、紧急事件管理者和其他人员方面起辅助作用。

（b）服务：可以在现场或服务中心的便携式3D显示器上显示3D设计数据连同诸如视频和超声信号的在线传感器数据。Mixed Reality（混合现实）的这种使用，因为其需要用于凝视和姿势的直观接口和用于不用手的操作的接口，而将是SIG2N的一个良好应用领域。

姿势驱动的传感器-显示器标定

数目正在增加的应用包括光学传感器和一个或多个显示模块（例如平面屏幕监视器）的组合，例如在此提供的SIG2N架构。这尤其是在基于视觉的、其中系统的用户位于2D或3D监视器前并且不用手地经由自然姿势与将显示器用于可视化的软件应用交互的、自然的用户交互领域中的自然组合。

在该情景中，会令人感兴趣的是建立传感器与显示器之间的相对姿态。如果光学传感器系统能够提供度量深度数据，则在此根据本发明的一个方面提供的方法使得能够基于由系统的配合的用户进行的手部和胳膊姿势来自动估计该相对姿态。

不同的传感器系统，诸如光学立体照相机、基于主动幻象的深度照相机、和时间飞行照相机，满足该要求。另一前提是允许提取在传感器图像中可见的用户手部、肘部和肩膀关节和头部地点的模块。

在这些假设下，提供了两种不同的方法作为本发明的方面，其具有如下区别：

1.第一方法假设已知显示器尺寸。

2.第二方法不知显示器尺寸。

两种方法的共同之处在于：如图11中示出的那样让配合的用户900以竖直方式站立，从而他可以以前方平行的方式看见显示器901并且他被传感器902可见。然后，顺序地在屏幕上示出一组非共线的标记物903，并且让用户以左或右手904当每个标记物显示时指向其。该系统自动通过等待延伸的、即直的胳膊来确定用户是否在指向。当胳膊是直的并且对于短的时段（≤2s）并不移动，则捕获用户的几何结构用于稍后的标定。

这对于每个标记物单独并且连续地进行。在随后的批量标定步骤中，估计照相机和监视器的相对姿态。

接下来根据本发明的不同方面提供两个标定方法。这些方法取决于屏幕尺寸是否已知，和用于获得参考方向、即用户实际指向的方向的数个选项。

下一部分描述参考方向的不同选择，并且随后的部分描述基于参考点的两种标定方法，其与选择了哪些参考点无关。

贡献

在此提供的方法包含根据本发明的不同方面的至少三种贡献：

（1）用于控制标定过程的基于姿势的途径。

（2）用于屏幕-传感器标定的、人类姿态导出的测量过程。

（3）用于改进标定性能的‘机械瞄具’

建立参考点

图11示出了情景的全面的几何结构。用户900站在屏幕D 901前方，该用户从可以是至少一个照相机的传感器C 902可见。为了建立指向方向，在本发明的一个实施例中，一个参考点总是特定手指R_f的尖部，例如延伸的食指的尖部。应该清楚的是，可以使用其它固定的参考点，只要其具有适度的可重复性和准确性。例如，可以使用伸展的拇指的尖部。存在对于其它参考点的地点的至少两个选项：

（1）肩关节R_s：用户的胳膊指向标记物。这对于无经验用户来说可能是难以验证的，因为不存在关于指向的方向是否合适的直接视觉反馈。这可能引入更高的标定误差。

（2）眼球中心R_e：用户主要执行凹口和准星（notch-and-bead）机械瞄具的功能，其中屏幕上的目标可以当做“准星”并且该用户的手指可以理解为“凹口”。该光学重合（optio-coincidence）实现关于指向姿势的精度的直接用户反馈。在本发明的一个实施例中，假设所用眼睛的侧与所用胳膊的侧相同（左/右）。

传感器-显示器标定

方法1–已知的屏幕尺寸

在下文中参考点R_s和R_e的特定选择之间没有区别，其将由R来概括。

该方法如下进行：

1.为（a）几何上由宽度为w_i和高度为h_i的3维空间Di中定向的2D矩形表示的一个或多个显示器和（b）几何上由度量坐标系C_j表示的一个或多个深度感测度量光学传感器保证固定却未知的地点。

下面考虑仅一个显示器D和一个照相机C，而并不缺少一般性。

2.在屏幕表面D上以已知的2D地点m_k=(x,y)_k显示K个视觉标记物的连续序列。

3.对于K个视觉标记物中的每个，（a）检测来自传感器C的传感器数据中用户的右手和左手、右肘和左肘、和右肩关节和左肩关节、以及参考点R_f和R在照相机系统D的度量3D坐标中的地点，（b）测量右肘角度和左肘角度作为左侧和右侧上的手部、肘部和肩部地点之间的角度，（c）如果该角度明显不同于180°，则等待下次传感器测量，并且返回步骤（b），以及（d）对于预先确定的时段连续测量该角度。

如果该角度在任意时刻明显不同于180°，返回步骤（b）。然后（e）对于该标记物记录用户的参考点的位置。对于每个标记物可以为了鲁棒性而记录数次测量。

4.在对于K个标记物中的每个均记录了用户的手部和头部位置之后，批量标定如下进行：

（a）屏幕表面D可以用原点G和两个归一化的方向E_x、E_y表征。该屏幕表面上的任意点P可以写作：

P=G+xwE_x+yhE_y，其中0≤x≤1并且0≤y≤1。

（b）测量（m,R_f,R）_k的每个集合产生关于情景的几何结构的一些信息：由两个点R_fk和R_k限定的射线与屏幕在3D点λ_k(R_k-R_fk)相交。根据上面的测量步骤，该点假设为与屏幕表面D上的3D点G+xE_x+yE_y重合。

在形式上，

G+xwE_x+yhE_y≡λ_k(R_k-R_fk) （4）

（c）在上面的等式中，在左侧存在6个未知数并且对于每个右侧存在一个未知数，并且每次测量产生三个等式。从而，最少K=3次测量对于总的未知数数目以及总的等式数目为9来说是必需的。

（d）针对未知参数G、E_x、E_y求解所采集的测量的等式（4）的集合，以恢复屏幕表面几何结构和由此恢复相对姿态。

（e）在对于每个标记物进行多次测量或者多个标记物K>3的情况下，等式4可以替代性地修改为将这些点之间的距离最小化：

\min \underset{k}{Σ} | | (G + xw E_{x} + yh E_{y}) - λ (R_{k} - R_{fk}) | | - - - (5)

方法2–未知屏幕尺寸

之前的方法假设已知屏幕表面D的物理尺寸w、h。这可能是不实际的假设，并且在该部分中描述的方法不需要关于屏幕尺寸的知识。

在屏幕尺寸未知的情况下，存在两个附加的未知数：（4）和（5）中的w、h。等式组在所有O_k靠近在一起时变得不适定，这对于方法1中的准备阶段由于用户未移动其头部而是该情况。为了解决该问题，系统要求用户在显示标记物之间移动。头部位置被追踪，并且仅当头部位置移动了显著的量时才示出下一标记物，以保证稳定的优化问题。因为现在存在两个附加的未知数，所以测量的最小数目现在对于12个未知数及12个等式是K=4。在此较早解释的所有考虑和等式保持完整。

用于低等待时间自然菜单交互的3D形式的径向菜单

为现有技术的基于光学/红外照相机的肢部/手部追踪系统在姿态检测中由于信号和处理路径而具有迫近的等待时间。在与缺乏立即的非视觉反馈（例如触觉）结合的情况下，这使得用户交互速度与传统的鼠标/键盘交互相比显著减缓。为了减轻该对于菜单选择任务的效果，作为本发明的一个方面以3D形式提供姿势激活的径向菜单。公知通过触摸操作的径向菜单，并且例如在Kurtenbach发明的、在1999年7月20日授权的、序列号为5,926,178的美国申请中描述，其通过引用结合于此。3D形式的姿势激活的径向菜单被认为是新颖的。在一个实施例中，基于用户的姿势在3D屏幕上显示第一姿势激活的径向菜单。具有多个条目的该径向菜单中的一项通过用户姿势来激活，例如通过指向该径向菜单中的该项。可以从菜单复制来自径向菜单中的一项，其方式为“抓取”该项并且将其移动至对象。在另一实施例中，对于3D对象激活径向菜单中的一项，其方式为用户指在该对象上并且指向该菜单项。在本发明的另一实施例中，所显示的径向菜单是一系列“交错的”菜单的部分。用户可以通过像在书里翻页那样通过菜单离开而访问不同地分层的菜单。

对于有经验的用户而言，这提供实质上无等待时间并且鲁棒性的菜单交互，即自然用户接口的一个关键部件。菜单条目的密度/数目可以适配于用户的技巧，从用于新手的六个条目开始直至用于专家的24个条目。此外，菜单可以具有至少两个菜单的层，其中第一菜单明显隐藏其它菜单，但是示出“取消隐藏”下级布置的菜单的3D标签。

用于快速菜单交互的听觉和视觉特征的融合

听觉传感器的高采样频率和低带宽提供对于低等待时间交互的替选方案。根据本发明的一个方面，提供例如打响指的听觉提示与合适的视觉提示的融合，以实现鲁棒性的、低等待时间的菜单交互。在本发明的一个实施例中，为了鲁棒性的多用户情景而将麦克风阵列用于空间资源解疑。

在消费者RGBD传感器中进行在基于手部的用户交互中鲁棒性并且简单的交互点检测

在追踪手部的交互情景中，针对关键姿势、例如闭合和打开手部而连续地追踪和监控用户的该手部。这样的姿势根据手部的当前位置动作发起。在典型的消费者RGBD设备中，低的空间采样分辨率暗示：实际追踪的手部上的地点取决于手部的全面的（非刚性的）姿态。事实上，在激活例如闭合手部的姿势时，难以鲁棒性地将手部上固定点的位置与非刚性的变形分开。现有的方法通过以几何方式建模和估计手部和手指（这在典型的交互范围上对于消费者RGBD传感器可能是非常不精确的，并且是计算上高成本的），或者通过确定用户手腕上的固定点（其进一步暗示，可能错误地建模手部和胳膊几何结构）来解决该问题。相反，在此根据本发明的一个方面提供的方法替代性地建模姿势的暂时行为。其并不依赖于复杂的几何模型或者需要昂贵的处理。第一，估计在所感知的用户姿势的初始化与由系统检测到对应姿势的时刻之间的典型的时段长度。第二，与所追踪的手部点的历史一起，该时段用于刚好在“反算”所感知的初始化的时刻之前建立交互点作为所追踪的手部点。因为该过程与实际姿势有关，其可以适应于宽范围的姿势复杂度/持续时间。可能的改进包括适配性机制，其中根据实际传感器数据确定所感知与所检测到的动作初始化之间的估计时段，以适应于不同用户之间不同的姿势行为/速度。

在手部分类中的RGBD数据的融合

根据本发明的一个方面，根据RGB和深度数据确定打开的相对于关闭的手部的分类。这在本发明的一个实施例中通过将单独地关于RGB和深度训练过的现有分类器融合来实现。

鲁棒性的、非干扰性的用户激活和去激活机制

着手解决确定来自传感器范围内的组的哪个用户想要交互的问题。通过重心和带有用于鲁棒性的滞后阈值的、自然/非干扰性的注意姿势来检测活动的用户。特定的姿势或者姿势与凝视的组合将一个人员作为控制3D显示器的人员而从一组人员中选出。第二姿势或姿势/凝视组合放弃控制3D显示器。

为3D显示器扩增的视点适配

将所显现的情景照相机姿态与用户的姿态对齐，以创建扩增的视点（例如围绕y轴线的360_旋转）。

将深度传感器、虚拟世界客户端与3D可视化集成，用于在身临其境的虚拟环境中进行自然导航

在此使用术语“激活”，其中由处理器激活例如为3D对象的对象。在此还使用术语“激活的对象”。在计算机接口的背景中使用术语“正在激活”、“激活”和“激活过的”。通常，计算机接口应用触觉（基于触摸的）工具，例如带有按键的鼠标。鼠标的位置和运动对应于计算机屏幕上的指针或光标的位置和运动。屏幕通常包含多个对象，诸如显示在屏幕上的图像或图标。借助鼠标将光标移过图标将改变图标的颜色或一些其它性质，指示图标已经为激活做好准备。这种激活可以包括起动程序，将与该图标相关的窗口带至前景，显示文件或图像或任意其它动作。图标或对象的另一激活是已知的在鼠标上“右击”。通常，这显示与对象有关的选项的菜单，包括“以……打开”、“打印”、“删除”、“扫描病毒”、和对于应用例如Microsoft

Windows用户界面已知的其它菜单项。

对于例如为Microsoft

“Powerpoint”的已知应用，显示器上设计模式中的幻灯片可以包含不同的对象，诸如圆圈、和方形、和文本。并不想要的是，仅通过将光标移过这种显示的对象就修改或移动其。通常，用户需要将光标放置在所选对象上方并且敲击按键（或在触屏上轻敲）以选择用于处理的对象。通过敲击按键而选择对象，并且现在对象已激活以用于进一步的处理。在没有激活步骤的情况下，通常不能单独地操纵对象。在诸如改变大小、移动、旋转、或重新上色等的处理之后，通过将光标从对象移走或移远和敲击遥远的区域而将对象去激活。

以与在上面使用鼠标的示例中类似的方式来应用在此的激活3D对象。可以将显示在3D显示器上的3D对象去激活。使用带有一个或两个内部照相机和外部照相机的人员的凝视可以定向在3D显示器上的3D对象上。计算机当然知道3D对象在屏幕上的坐标，并且在3D显示器情况下知道3D对象的虚拟位置相对于显示器在哪里。由标定过的头部框架生成的、提供给计算机的数据使得计算机能够确定被定向的凝视相对于显示器的方向和坐标，并且因此将凝视与相应显示的3D对象相匹配。在本发明的一个实施例中，凝视在可以是图标的3D对象上的逗留或聚焦将该3D对象激活以用于处理。在本发明的一个实施例中，需要由用户做出的进一步的动作来激活对象，诸如头部运动、眨眼或例如为用手指指的姿势。在本发明的一个实施例中，凝视激活对象或图标并且要求进一步的用户动作来显示菜单。在本发明的一个实施例中，凝视或逗留中的凝视激活对象，并且特定的姿势提供对象的进一步处理。例如，凝视或对于最小时间逗留中的凝视激活对象，并且手部姿势、例如在竖向面中从第一位置移动到第二位置的伸展的手部将显示器上的对象从第一屏幕位置移动到第二屏幕位置。

显示在3D显示器上的3D对象可以在被用户“凝视经过”时改变颜色和/或分辨率。在本发明的一个实施例中，显示在3D显示器上的3D对象通过将凝视从该3D对象移走而去激活。可以将选自菜单或选项调色板的不同处理应用于对象。在该情况下，不方便的是当用户看菜单时丢失“激活”。在该情况下，对象保持激活，直至用户提供类似于闭合双眼的特定的“去激活”凝视、或者例如“拇指朝下”的去激活姿势、或者被计算机识别为去激活信号的任意其它凝视和/或姿势。当3D对象被去激活时，其可以以带有较小亮度、对比度和/或分辨率的颜色来显示。

在图形用户界面的其它应用中，鼠标经过图标将引起与对象或图标相关的一个或多个特性的显示。

在本发明的一个实施例中，在此提供的方法在系统或计算机设备上实施。将在图12中示出和并且在此提供那样的系统使能以用于接收、处理和生成数据。为系统提供可以存储在存储器1801上的数据。数据可以从传感器、例如包括一个或多个内部照相机和外部照相机的照相机获得，或者可以从任意其它数据相关的源头提供。数据可以在输入端1806上提供。这种数据可以是图像数据或位置数据、或CAD数据、或在视觉和显示系统中有助的任意其它数据。处理器也可以借助存储在存储器1802并且提供给处理器1803的、执行本发明的方法的指令组或程序来提供或编程，其中该处理器执行1802的指令，以处理来自1801的数据。诸如图像数据或由处理器提供的任意其它数据的数据可以在输出设备1804的输出端上输出，该输出设备可以是用于显示3D图像的3D显示器或数据存储设备。在本发明的一个实施例中，输出设备1804是屏幕或显示器、优选为3D显示器，在所述显示器上，处理器显示可以由照相机记录并且与在由作为本发明的一个方面提供的方法限定的标定空间中的坐标相关联的3D图像。屏幕上的图像可以由计算机根据由照相机记录的、来自用户的一个或多个姿势修改。处理器也具有用于从通信设备接收外部数据并且将数据传送给外部设备的通信通道1807。本发明的一个实施例中的系统具有输入设备1805，其可以是如在此描述那样的头部框架并且其也可以包括键盘、鼠标、指向设备、一个或多个照相机、或者可以生成待被提供给处理器1803的数据的任意其它设备。

处理器可以是专用硬件。然而，处理器也可以是CPU或者可以执行1802的指令的任意其它计算设备。从而，如在图12中示出那样的系统提供用于由传感器、照相机或任意其它数据源产生的数据处理的系统，并且被使能以执行作为本发明的一个方面而在此提供的方法的步骤。

因此，在此针对至少一个工业凝视和姿势自然接口（SIG2N）描述了系统和方法。

应理解的是，本发明可以以多种形式的硬件、软件、固件、特殊用途处理器或其组合来实现。在一个实施例中，本发明可以以如有形地实现在程序存储设备上的应用程序那样的软件来实现。应用程序可以上载至包括任意合适架构的机器，或由该机器执行。

还应理解的是，因为在附图中描绘的一些作为组分的系统部件和方法步骤可以以软件实现，所以系统部件（或处理步骤）之间的实际联系可以取决于本发明以何种方式编程而不同。已知在此提供的本发明的教导，则相关技术领域的普通技术人员将能够理解其以及本发明的类似的实现方式或配置。

这里已经示出、描述和指出了本发明的如应用于本发明的优选实施例那样的新颖特征，则将理解的是，可以由本领域技术人员作出在所示方法和系统的形式和细节方面的不同的省略和替代和变化，而不偏离本发明的精神。因此，目的是仅如由权利要求的范围指示那样来限定。

Claims

1.一种用于由佩戴具有瞄准所述人员的眼睛的第一照相机的头部框架的人员通过以所述眼睛凝视所述3D图像和以身体部分做出姿势来与显示在显示器上的3D对象交互的方法，所述方法包括：

以至少两个照相机感测所述眼睛的图像、所述显示器的图像和所述姿势的图像，安装在所述头部框架中的所述至少两个照相机中的一个适于指向所述显示器，并且所述至少两个照相机中的另一个是所述第一照相机；

将所述眼睛的图像、所述姿势的图像和所述显示器的图像传送给处理器；

所述处理器根据这些图像确定所述眼睛的视向和所述头部框架相对于所述显示器的位置，并且然后确定所述人员正在凝视的3D对象；

所述处理器根据所述姿势的图像从多个姿势中识别出所述姿势；以及

所述处理器基于所述凝视、或所述姿势、或所述凝视和所述姿势进一步处理所述3D对象。

2.根据权利要求1所述的方法，其中所述第二照相机位于所述头部框架中。

3.根据权利要求1所述的方法，其中第三照相机位于所述显示器中或者位于毗邻所述显示器的区域中。

4.根据权利要求1所述的方法，其中所述头部框架包括所述头部框架中的、指向所述人员的第二眼睛的第四照相机，以捕获所述第二眼睛的视向。

5.根据权利要求4所述的方法，进一步包括：所述处理器根据所述第一眼睛的视向和所述第二眼睛的视向的交点确定3D焦点。

6.根据权利要求1所述的方法，其中所述进一步处理所述3D对象包括：激活所述3D对象。

7.根据权利要求1所述的方法，其中所述进一步处理所述3D对象包括：基于所述凝视、或所述姿势、或所述凝视和所述姿势两者来以增大的分辨率显现所述3D对象。

8.根据权利要求1所述的方法，其中所述3D对象由计算机辅助设计程序生成。

9.根据权利要求1所述的方法，进一步包括：所述处理器基于来自所述第二照相机的数据识别所述姿势。

10.根据权利要求9所述的方法，其中所述处理器基于所述姿势在所述显示器上移动所述3D对象。

11.根据权利要求1所述的方法，进一步包括：所述处理器确定佩戴所述头部框架的所述人员的位置到新位置的变化，并且所述处理器在计算机3D显示器上对应于所述新地点重新显现所述3D对象。

12.根据权利要求11所述的方法，其中所述处理器以所述显示器的帧率确定位置的所述变化和进行重新显现。

13.根据权利要求11所述的方法，进一步包括：所述处理器生成用于与正被凝视的3D对象有关的显示的信息。

14.根据权利要求1所述的方法，其中进一步处理所述3D对象包括：激活与所述3D对象有关的径向菜单。

15.根据权利要求1所述的方法，其中进一步处理所述3D对象包括：激活在3D空间中堆叠在彼此之上的多个径向菜单。

16.根据权利要求1所述的方法，还包括：

所述处理器标定所述人员的指向所述3D计算机显示器上的区域的手部和胳膊姿势的相对姿态；

所述人员以新姿态指向所述3D计算机显示器；以及

所述处理器基于标定过的所述相对姿态估计与所述新姿态有关的坐标。

17.一种其中人员通过以第一眼睛凝视和通过以身体部分做出姿势来与多个3D对象的一个或更多交互的系统，包括：

显示所述多个3D对象的计算机显示器；

头部框架，所述头部框架包含适于指向佩戴所述头部框架的人员的第一眼睛的第一照相机，和适于指向所述计算机显示器的区域并且适于捕获所述姿势的第二照相机；

处理器，能够执行指令来进行如下步骤：

接收由所述第一照相机和第二照相机传送的数据；

处理所接收的数据，以在所述多个对象中确定所述凝视所对准的3D对象；

处理所接收的数据，以从多个姿势中识别所述姿势；以及

基于所述凝视和姿势进一步处理所述3D对象。

18.根据权利要求17所述的系统，其中所述计算机显示器显示3D图像。

19.根据权利要求17所述的系统，其中所述显示器是立体观看系统。

20.一种人员用以通过从第一眼睛凝视和从第二眼睛凝视以及通过由所述人员的身体部分做出姿势与显示在3D计算机显示器上的3D对象交互的设备，所述设备包括：

适于由所述人员佩戴的框架；

安装在所述框架中的第一照相机，所述第一照相机适于指向所述第一眼睛以捕获所述第一凝视，

安装在所述框架中的第二照相机，所述第二照相机适于指向所述第二眼睛以捕获所述第二凝视，

安装在所述框架中的第三照相机，所述第三照相机适于指向所述3D计算机显示器和捕获所述姿势，

第一镜片和第二镜片，所述第一镜片和第二镜片安装在所述框架中，使得所述第一眼睛看穿所述第一镜片和所述第二眼睛看穿所述第二镜片，所述第一镜片和第二镜片起3D观看快门的作用；以及

用于传送由所述照相机生成的数据的传送器。