CN104204904A - 紧凑式眼睛跟踪头戴式显示器 - Google Patents

紧凑式眼睛跟踪头戴式显示器 Download PDF

Info

Publication number
CN104204904A
CN104204904A CN201380006559.9A CN201380006559A CN104204904A CN 104204904 A CN104204904 A CN 104204904A CN 201380006559 A CN201380006559 A CN 201380006559A CN 104204904 A CN104204904 A CN 104204904A
Authority
CN
China
Prior art keywords
display
optical
eye tracking
head mounted
tracking head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380006559.9A
Other languages
English (en)
Other versions
CN104204904B (zh
Inventor
高春煜
华宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arizona Board of Regents of University of Arizona
Augmented Vision Inc
Arizona State University ASU
Original Assignee
Augmented Vision Inc
Arizona State University ASU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Augmented Vision Inc, Arizona State University ASU filed Critical Augmented Vision Inc
Priority to CN201810200993.5A priority Critical patent/CN108333767A/zh
Publication of CN104204904A publication Critical patent/CN104204904A/zh
Application granted granted Critical
Publication of CN104204904B publication Critical patent/CN104204904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0856—Catadioptric systems comprising a refractive element with a reflective surface, the reflection taking place inside the element, e.g. Mangin mirrors
    • G02B17/086—Catadioptric systems comprising a refractive element with a reflective surface, the reflection taking place inside the element, e.g. Mangin mirrors wherein the system is made of a single block of optical material, e.g. solid catadioptric systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0896—Catadioptric systems with variable magnification or multiple imaging planes, including multispectral systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

提供了眼睛跟踪头戴式显示器，其在一个方面中可将相同光学件用于眼睛跟踪和图像观看，其中光学件的所选部分被用于眼睛跟踪光学路径且显示光学件的所选部分被用于图像观看光学路径。

Description

紧凑式眼睛跟踪头戴式显示器
相关申请
在此要求2012年1月24日提交的美国临时申请号61/632,441的优先权的权益且要求2012年4月25日提交的美国临时申请号61/687,607的优先权的权益，并要求2012年9月11日提交的美国临时申请号61/699,493的优先权的权益，该申请的全部内容通过引用并入本文。
政府许可权限
本发明是根据由国家科学基金会授予的合同号IIS 1115489而在政府的支持下完成的。政府在本发明中具有某些权限。
技术领域
本发明一般地涉及眼睛跟踪头戴式显示器，并且更具体地但非排它地涉及可将相同的光学件用于眼睛跟踪和图像观看的眼睛跟踪头戴式显示器，其中光学件的所选部分被用于眼睛跟踪光学路径且显示光学件的所选部分被用于图像观看光学路径。
背景技术
头戴式显示器（HMD）技术已被应用到大范围的科学和工程领域。应用的示例包括飞行模拟、科学可视化、医学、工程设计、教育和培训、可佩戴计算以及娱乐系统。在增强现实领域中，HMD是用于将虚拟视图与物理场景合并的使能技术中的一个，例如，其可使得医生能够看到被叠加到病人的解剖体（诸如腹部）上的病人的解剖结构或CT图像的3D描绘（rendering）。在可佩戴计算领域中，HMD创建移动显示器解决方案，其提供比诸如智能电话和PDA之类的其它通用移动平台更有吸引力得多的图像质量和屏幕尺寸。在可预见的未来，此移动显示器可看起来像一副太阳镜一样精致，并且可变成许多人的日常活动的主要部分以取回信息并立即与人联系。
与HMD技术并行，已开发了各种眼睛跟踪技术并将其应用于几个学科，包括视力研究、人计算机接口、远程操作环境、以及视觉通信。已经很好地认识到并研究了用于多模式人计算机接口的眼睛跟踪的益处和数据压缩的技术性益处。例如，已经提出了多分辨率注视跟随显示和图像处理方案以有效地节省通信中的数据传输带宽，并使用有凹的（foveated）细节层次管理方法来改善3D场景的绘制速度，并实现宽FOV高分辨率显示和成像系统。
已在各种水平探索了创建集成眼睛跟踪HMD（ET-HMD）系统的概念。ET-HMD能够如典型HMD所做的一样显示单眼或立体虚拟图像，同时另外跟踪用户的注视方向。完全集成ET-HMD提供多重益处，不仅对基础科学研究，而且对新兴的此技术的应用。例如，许多研究努力都关心人用户如何感知和组织空间信息，与此信息相交互，并在3D虚拟空间内进行导航。HMD中的眼睛跟踪能力为科学家添加非常有价值的工具和客观度量以定量地评定与3D环境的用户交互，并针对各种特定任务研究各种3D可视化技术的有效性，所述特定任务包括培训、教育以及增强认知任务。从技术观点出发，可以利用与HMD系统集成的眼睛跟踪能力来改善立体显示器中的尺寸和深度感知准确度。眼睛跟踪能力可帮助通过视网膜中央凹随动显示方案来创建对FOV分辨率权衡的解决方案并通过使用变焦平面显示方法来创建对调节—会聚（accomodation-convergence）矛盾的解决方案。从应用观点来说，ET-HMD为具有本体感受障碍的人提供新型交互式接口的唯一机会，其中可以使用眼睛注视而不是手或脚作为交互和通信的方法。
尽管独立HMD和眼睛跟踪技术的显著进步和商业可用性，但是在创建紧凑式、便携式、准确且稳健的系统方面将这两个独立技术整合强加（impose）了显著的挑战。虽然进行了几次开创性努力以开发ET-HMD技术并以系统化方法来优化这两个技术，但现有技术解决方案中没有一个提供了符合眼镜样式显示器的形状因数的确实便携、轻质且稳健的系统。针对许多有需求的应用，轻质和紧凑是关键的。例如，为了支持肌萎缩性侧索硬化（ALS）病人通信，集成系统必须是轻质的，使得病人能够用其明显削弱的肌肉和非常有限的移动性来承载重量。
在过去的几十年中，已将许多不同的光学设计方法应用于HMD设计以改善系统性能。这些方法包括应用反折射技术，引入诸如非球面表面之类的新元件，使用全息和衍射光学部件，探索诸如使用投影光学件之类的新设计原理以替换常规HMD设计中的目镜或显微镜式透镜系统，并引入倾斜且偏心或者甚至自由形式表面。这些光学设计方法中没有几个能够创建非侵入式且能够被认为是眼镜样式近眼显示器的宽视野、紧凑且轻质的HMD。将眼镜跟踪能力整合到这些技术是非常有挑战性的，并且增加了显著的重量、体积以及复杂性。
向HMD增加眼睛跟踪能力早在由CAE公司的高分辨率嵌入式显示器时就开始了。此开创性工作并非意图用于移动紧凑式ET-HMD系统。并且，其它的使用机械驱动设备来在工作台原型立体显示器中移动高分辨率嵌入件。ISCAN公司进行工作以将ISCAN眼睛跟踪器整合到来自虚拟研究公司（Virtual Research Corporation）的V8-HMD中以研究基于软件的视网膜中央凹随动显示方案。整合商售HMD和眼睛跟踪器的这种方法被称为功能整合法，其中在稍后的利用阶段将两个单独仪器集合在一起。虽然功能整合法具有是具有低开发成本的简单解决方案的优点，但其一般地并不利用低级优化，并且缺乏紧凑、准确以及稳健的属性。
与功能整合法相反，其中设想该系统并从基本设计角度出发作为一个单一仪器而进行优化的系统化方法在创建完全整合的ET-HMD仪器方面具有许多优点。该系统化方法的明显益处包括探索用于显示器和眼睛跟踪器单元两者的设计约束和要求、设想新的解决方案以及优化用于紧凑且稳健的系统的设计的能力。已进行了开创性努力以探索与低级优化的完全整合的可能性。在这些较早的努力之后，Hua和Rolland合作地追求完全整合设计方法，开发了用于ET-HMD系统的稳健的眼睛跟踪方法和算法，并基于头戴式投影显示器的概念设计了光学透视ET-HMD光学系统。图1示出了ET-HMD光学系统的一阶布局，其中，用理想透镜模块来简化该光学系统以强调概念和比例。（Curatu, C.，Hong Hua以及J. P. Rolland在Proceedings of the SPIE International Society for Optical Engineering, Vol. 5875, San Diego, USA August 2005中的“Projection-based head-mounted display with eye-tracking capabilities”.Curatu, C.，J.P. Rolland以及Hong Hua在Proceedings of International Optical Design Conference, Vancouver, Canada, June 2006中的“Dual purpose lens for an eye -tracked projection head-mounted display”。）。该设计采取完全整合法并将用于显示和眼睛跟踪子系统的大多数光学路径组合。相同的投影光学件被共享以用于显示和眼睛成像功能两者。然而，此设计的主要限制是集成ET-HMD系统的总体积，虽然相比于其它的明显地改善了，但仍是庞大且沉重的。
创建确实便携、轻质、紧凑的ET-HMD解决方案的关键挑战在于解决两个基础问题：（1）使得实现具有与一副太阳镜一样引人注目的精致形状因数的HMD系统的设计的光学方法，其对于技术和应用开发者两者而言已经是一直以来的梦想；以及（2）允许在不向系统增加显著重量和体积的情况下整合眼睛跟踪能力的光学方法。
发明内容
使用基于视频的特征跟踪方法的ET-HMD系统通常要求至少三个独有光学路径：照明路径、眼睛成像路径以及虚拟显示路径。通过照明路径，眼睛被通常近红外发光二极管（NIR LED）照亮以创建成像特征，诸如用于跟踪的变暗或变亮瞳孔和/或浦肯雅（Purkinje）特征。通过成像路径，捕捉具有跟踪特征的眼睛图像以用于特征检测和跟踪。通过显示路径，通过目镜光学件而创建在微型显示设备上显示的虚拟图像以用于信息观看。本发明的创新中的一个是能够通过相同的核心光学件独有地将这三个光学路径组合的光学方案，所述核心光学件可以是目镜、投影透镜或其它光学结构。
例如，在其方面中的一个中，本发明可使用自由形式光学技术以及创新光学方案，其能够独有地将用于眼睛跟踪的眼睛成像光学件与用于信息观看的显示光学件组合。（因此，如在本文中结合本发明的描述所使用的，术语“显示光学件”和“成像光学件”可以指的是相同的物理光学件，该物理光学件也可称为“核心光学件”）。可选地，还可将眼睛照明光学件组合。因此，在其优点中的一个中，本发明避免了由先前的方法施加的限制，其中，用于HMD和眼睛跟踪路径的光学系统被单独地对待，并且其中主要使用旋转对称光学表面。然而，虽然可能更有限制性，但在本发明中公开的将眼睛跟踪与HMD整合的光学方案不限于自由形式光学件。可以将根据本发明的用于ET-HMD系统的核心光学件应用于常规HMD光学件。
在示例性配置中，本发明可提供一种眼睛跟踪头戴式显示器，包括用于生成将被用户观看的图像的微型显示器；该微型显示器可具有显示光学路径和与之相关联的岀射光瞳。第一平面可位于微型显示器处且第二平面位于岀射光瞳处。可以将图像传感器配置成从第二平面接收从用户的眼睛反射的反射光学辐射，并且可具有与之相关联的传感器光学路径。另外，眼睛跟踪头戴式显示器可包括沿着显示光学路径与微型显示器光学通信且沿着传感器光学路径与图像传感器光学通信地设置的显示光学件。显示光学件可包括最接近于微型显示器和图像传感器的所选表面且相对于微型显示器和图像传感器定位，使得显示器和图像传感器光学路径撞击在所选表面的不同相应部分上。显示器和图像传感器光学路径可部分地在所选表面处重叠。显示器和图像传感器光学路径每个可分别地在显示光学件和图像传感器处包括相应的光轴，该轴可以是同轴的或者相对于彼此倾斜。另外，该眼睛跟踪头戴式显示器可在第一平面处包括光阑，其中，该光阑在其中具有设置在沿着传感器光学路径的位置处的至少一个孔径。同样地，该眼睛跟踪头戴式显示器可包括在其中具有至少一个孔径的光阑，该孔径被设置在沿着传感器与所选表面之间的传感器光学路径的位置处。在任一配置中，光阑或孔径可包括销孔状孔径。在一个示例性配置中，显示光学件可包括自由形式光学元件、旋转对称光学元件和/或自由形式光学棱镜。显示光学件可包括非球面表面。
另外，该眼睛跟踪头戴式显示器可包括用于生成光学辐射以对第二平面进行照明以实现用户眼睛的照明的照明源。可将该显示光学件配置成使来自照明源的光学辐射准直。照明源可位于第一平面中或不同位置处，诸如从显示光学件的光轴离开轴。
附图说明
当结合附图来阅读时，可进一步理解本发明的示例性实施例的后面的详细描述和先前概要，在所述附图中：
图1示意性地图示出基于旋转对称光学技术的常规眼睛跟踪头戴式显示器（ET-HMD）系统；
图2A、2B示意性地图示出来自两个不同IR照明策略的图像，其中图2A示出了从同轴照明策略得到的亮眼瞳和四次闪烁的眼睛图像，其中，四个NIR LED被与眼睛成像光学件的光轴几乎同轴地布置，并且图2B示出了从离轴照明策略得到的暗眼瞳和四次闪烁的眼睛图像，其中，四个NIR LED远离眼睛成像光学件的光轴放置；
图3A示意性地图示出根据本发明的被示为单眼光学模块的示例性光学系统；
图3B示意性地图示出根据本发明的设置在微型显示器面板周围的照明单元和眼睛成像单元的示例性系统；
图4示意性地图示出根据本发明的被示为单眼光学模块的基于自由形式棱镜技术的示例性系统的框图；
图5A—5D示意性地图示出根据本发明的光学透视HMD的示例性设计，其中图5A示出了眼睛照明和成像路径，图5B示出了虚拟显示路径，图5C示出了被眼睛照明、眼睛成像以及虚拟显示路径共享的自由形式棱镜，并且图5D示出了被附着于自由形式棱镜的自由形式辅助透镜，其使得实现了透视能力；
图6示意性地图示出根据本发明的使用图5D的2反射自由形式棱镜结构的示例性优化ET-HMD系统的光学布局和射线追踪；
图7示意性地图示出根据本发明的示例性ET-HMD光学系统的3D模型；
图8示意性地图示出基于图6和7中的光学设计的根据本发明的示例性双眼ET-HMD原型的模型；
图9A—9D图示出具有图6的设计的4mm中心瞳孔的HMD虚拟显示路径中的跨视野的20个采样视场的多色调制传递函数（MTF）；
图10图示出图6的设计的HMD虚拟显示路径中的跨视野的畸变网格；
图11图示出图6的设计的眼睛成像路径中的跨视野的采样视场的调制传递函数；
图12图示出图6的设计的眼睛成像路径中的跨视野的畸变网格；
图13A—13D图示出具有图6的设计的4mm中心瞳孔的HMD透视路径中的跨30×22度的中心视野的20个采样视场的多色调制传递函数（MTF）；
图14图示出图6的设计的HMD透视路径中的跨视野的畸变网格；
图15A、15B图示出根据本发明的图3中所示的光学方案的示例性设计；以及
图16示意性地图示出根据本发明的基于旋转对称光学件的图3中所示的光学方案的示例性实施方式。
具体实施方式
现在参考图形，其中相似元件自始至终被相似地编号，图3A示意性地图示出根据本发明的用于实现紧凑式ET-HMD系统的示例性系统布局300。在此示例性布局300中，相同核心光学件310可起到眼睛成像、显示器观看和/或眼睛照明的作用。此简化源自于眼睛照明路径305、眼睛成像路径307以及显示路径309中的独有共轭平面上的深入观察。另外，可将沿着核心光学件310的通光孔径的不同部分用于眼睛照明路径305、眼睛成像路径307以及显示路径309。例如，在最接近于微型显示器定位的核心光学件310的所选表面处，眼睛照明路径305、眼睛成像路径307、以及显示路径309中的两个或更多（例如，眼睛成像路径307和显示路径309）可以撞击在所选表面的不同相应部分上，但允许部分重叠。
在显示路径309中，在本上下文中用作显示光学件的核心光学件310形成被眼睛10看到的微型显示器320的放大虚拟图像。微型显示器单元320可以是任何类型的自发射或被照明像素阵列，其可以用作图像源，包括但不限于硅上液晶（LCoS）显示设备、液晶显示器（LCD）面板、有机发光显示器（OLED）、铁电硅上液晶（FLCoS）设备、数字反射镜设备（DMD）或构建在这些上述或其它类型的微型显示器设备上的微型投影仪，并且可根据期望或要求在微型显示器320与核心光学件310之间提供附加可选光学件。可看起来在与眼睛10的无限或有限距离处的放大虚拟图像对应于微型显示器320的共轭焦平面。眼瞳12可与显示路径309的岀射光瞳312共同定位。通过瞳孔12的中心的显示器的主射线（在图3A中用实线示出）定义微型显示器320上的场高度，并且因此其在微型显示器表面上可分离。在眼睛照明路径305中，可将一个或多个NIR LED（近红外发光二极管）330安装在微型显示器320周围以通过显示器/核心光学件310照亮眼睛，图3B。显示器/核心光学件310可使LED光准直，并通过经由显示器/核心光学件310创建的多个虚拟LED源而在眼睛区域上创建均匀照明区域。此离轴照明布置能够创建暗瞳孔效果，并通过反射离开前角膜而形成NIR LED 330的多个闪烁图像。
在眼睛成像路径307中，眼瞳12变成需要被成像的对象。可将光阑340放置在微型显示器320周围。考虑较早地描述的微型显示器320与眼瞳12的瞳孔—场关系，显示路径中的不同对象场的主射线变成眼睛成像路径307中的同轴对象点的边缘射线，并且因此通过眼瞳12上的同一点的所有射线将被成像到IR成像传感器360上的同一点上。然而，这些射线在独有位置处与微型显示器表面交叉。因此，在成像路径307中，适当地设计光阑340并将其放置在微型显示器320周围，使得其不影响显示路径309且仍足以收集射线以在眼睛成像路径307中形成眼睛图像。在图3B中所示的图示中，可以销孔状小孔径350的形式来提供光阑340，或者其可以是围绕微型显示器320的所选区域。可使单独图像传感器360与每个销孔状孔径350相关联。
作为其益处中的一个，用于将两个或三个独有光学功能组合的光学布局300具有对适合于HMD光学件的事实上所有类型的光学结构的适用性。例如，已经设计了具有基于旋转对称光学元件的常规目镜光学件的示例性配置，如下面结合图16所讨论的。
具体地关于眼睛跟踪功能方面，存在可用来监视眼运动的几个不同眼睛跟踪技术，其分成三个种类：眼动电图描记法（electro-oclography）、巩膜搜索线圈、以及各种基于视频的特征跟踪方法。在这些方法之中，检测并跟踪被捕捉眼睛图像中的特征的基于视频的特征跟踪可以是用以跟踪眼运动的最少侵入且最方便的方法。
在近红外NIR照明下，眼睛图像201、202通常具有能够被容易地识别和测量的两个类型的特征，图2A、2B。一个特征被称为第一浦肯雅图像或闪烁6，其指的是由角膜的前面形成的点光源的反射图像，图2B。第二特征是眼瞳12。图2A—2B展示了IR照亮眼睛图像201、202的示例。取决于IR照明器的配置，例如NIR LED 330，其中与眼睛成像光学件的光轴几乎同轴地布置IR照明器的同轴照明策略导致亮瞳孔2，图2A，而其中将IR照明器远离眼睛成像光学件的光轴放置的离轴照明策略导致具有（多个）闪烁6的变暗瞳孔4，图2B。然后可将通孔和闪烁特征用于眼运动跟踪。
在基于视频的特征跟踪方法之中，使眼运动与瞳孔中心和闪烁中心之间的矢量差相关的瞳孔角膜反射跟踪方法可以是ET-HMD系统中的最适当方法。在这种方法中，可使用一个或多个NIR发光二极管（NIR LED）、例如NIR LED 330来照亮眼睛10，并且然后可由成像传感器360、诸如红外CCD对被照亮眼睛10进行成像。可同时地或单独地跟踪眼瞳12、第一浦肯雅图像（或闪烁）和/或虹膜11。每个NIR LED 330可形成闪烁6或第一浦肯雅图像。瞳孔12和第一浦肯雅特征与眼睛旋转成比例地且彼此之间有差别地移动。两个特征之间的差分矢量可用来确定眼睛10的注视点。在某种程度上，这种方法可容忍HMD系统中的头盔滑动，其引起成像传感器360相对于眼睛10的取向变化并使眼运动混淆。
在其重要方面的另一个中，本发明可利用核心光学件310中的自由形式光学技术来实现具有透视能力的超紧凑且轻质的ET-HMD。图4示出了根据本发明的基于自由形式光学技术的紧凑式眼睛跟踪HMD设计的示例性方法的框图400。在一个示例性实施方式中，可在核心光学件310中使用楔形自由形式棱镜410或波导式自由形式棱镜，其允许射线路径在多表面棱镜结构内折叠并在与使用旋转对称元件的设计相比较时帮助减小显示光学件的总体积和重量。应用自由形式光学技术使得实现了HMD光学件和眼睛跟踪的功能到紧凑式形状中的完全整合。自由形式棱镜410可针对轻质和低成本而由可模压塑料制成。
在这种方法中，自由形式棱镜410可服务于两个或更多独有光学功能。首先，自由形式棱镜410可用作眼睛成像路径407中的核心元件，其捕捉用户的NIR照亮眼睛图像401并使用所捕捉眼睛图像401来跟踪眼运动。不同于常规成像系统，其通常在透镜结构中采用旋转对称光学表面且通常要求成像透镜保持与检测器460和要捕捉的对象同线，自由形式棱镜410使光路在单一元件内折叠，使得可将图像检测器460放置在自由形式棱镜410的侧面上。其次，同一自由形式棱镜410可用作用于在显示路径409中的微型显示器420上观看图像的显示器观看光学件。第三，棱镜410可用作照明路径305中的核心元件，其使来自NIR LED 430中的一个或多个的光准直。替换地，NIR LED可直接地照亮眼睛区域而不通过棱镜410（或核心光学件310）。在任一种情况下，NIR LED 430可均匀且非侵入式地照亮眼睛区域并形成将被成像以用于眼睛跟踪的关键特征（例如，闪烁6和变暗瞳孔4）。最后，如果对于其中现实的直接观看是关键的应用而言需要光学透视ET-HMD系统，则可将棱镜410与自由形式修正透镜415接合。自由形式修正器415可以修正由棱镜410引入的视轴偏差和不期望像差，并使得实现系统400的透视能力，其向现实视图411提供低的周围模糊和最小化畸变。总体上，本发明的独有光学方案可以使得通过同一自由形式棱镜410来实现用于眼睛成像407和虚拟显示器409以及可选地眼睛照明405的光学路径的组合，并且可以以最小硬件成本实现眼睛跟踪和显示的能力。
示例1
根据本发明的第一示例性配置500利用具有两个反射的楔形自由形式棱镜510，图5A—5D。在本实施例中，自由形式棱镜510可用作多达三个核心功能：（1）作为使来自一个或多个NIR LED 530的光准直以均匀地且非侵入性地照亮要成像的眼睛区域的照明光学件；（2）作为捕捉NIR照亮眼睛图像以使得实现眼运动跟踪的眼睛成像光学件的核心元件；以及（3）作为用以在微型显示器520上观看图像的HMD系统的目镜光学件。这三个独有光学路径可被同一自由形式棱镜510组合而实现眼睛跟踪和显示能力。另外，同一棱镜510在被与自由形式修正透镜接合时使得实现了光学透视HMD系统的透视能力。替换地，自由形式棱镜510可省略作为照明光学件的核心功能。
楔形自由形式棱镜510可包括三个光学表面，其中的至少一个可以是有或没有旋转对称的非球面表面。本发明的一个创新是能够经由单一自由形式棱镜510独有地将两个或三个独有光学路径（即，眼睛照明路径505、眼睛成像路径507、以及显示路径509中的两个或更多）组合的光学方法。图5A示出了包括自由形式棱镜510的眼睛照明和成像光学件的示意性设计。在照明路径505中，从NIR LED 530发射的射线首先被表面3折射，后面是由表面1'和2进行的两次连续反射，并且最后通过表面1被透射并到达眼睛10。在表面1'上的反射可满足全内反射（TIR）的条件。由LED 530发射的光可被棱镜510准直，提供到眼睛10的均匀照明。然后可由IR图像传感器560对NIR照亮的眼睛10进行成像。在眼睛成像路径507中，被散射离开眼睛10的光线可首先被表面1折射，后面是由表面2和1'进行的两次连续反射，并且最后可通过表面3被透射并到达传感器560。可在棱镜510的表面3与图像传感器560之间插入附加透镜562以改善眼睛成像的光学性能。可在透镜562附近或内部放置小孔径光阑550以限制由成像传感器560接收到的光。
图5B示意性地图示出使用自由形式棱镜510将微型显示器520上的图像放大、在舒适观看距离处形成虚拟图像的HMD光学件的显示路径509。从微型显示器520上的点发射的射线可首先被自由形式棱镜510的表面3折射，后面是由表面1'和2的两次连续反射，并且最后可通过表面1被透射而到达系统500的岀射光瞳512。表面1'上的反射可满足TIR条件。作为要求多个元件的替代，光学路径在棱镜结构内被自然地折叠。可在棱镜510的表面3与微型显示器520之间插入附加透镜以进一步改善显示路径509的光学性能。
图5C示意性地图示出其中照明、成像和显示光学件包括同一棱镜510和照明LED 530且销孔状光阑550被放置在微型显示器520的边缘540周围而形成高质量眼睛图像的集成系统500。在图5C中图示出光阑和LED配置的一个示例。值得注意的是可将光阑550和LED 530放置在微型显示器520中周围的周界处的其它位置上。另外，光阑550和LED 530可以或者不可以与微型显示器520共面。可在照明路径505、眼睛成像路径507以及显示路径509中的一个或多个中使用附加透镜以改善系统性能。此外，在最接近于微型显示器520的表面、表面3处，照明路径505、眼睛成像路径507、以及显示路径509可撞击在表面3的不同相应部分上（但允许部分重叠）。
为了使得实现透视能力，可将棱镜510的表面2涂覆作为半反射镜。来自微型显示器520的射线可被表面2反射，而来自现实场景的射线被透射。图5D示意性地图示出自由形式辅助透镜515，其由两个自由形式表面4和5组成，被与棱镜510接合以修正由自由形式棱镜510引入到现实视图路径511的视轴偏差和像差。辅助透镜515的表面4通常具有与棱镜510的表面2相同的规格，并且辅助透镜515的表面5被优化以修正轴偏差和像差。辅助透镜515并未显著地增加整个系统的占位空间（footprint）或重量。总体上，示例性系统500提供了与任何现有HMD方法能够潜在地递送的相比具有更少突出的形状因数的轻质、紧凑式、稳健且被眼镜跟踪的HMD解决方案，这进一步由设计的计算机分析来证明。
图6示意性地图示出基于图5中所描述的2反射楔形自由形式棱镜510的优化系统的二维光学布局。在此实施方式中，可使用成像透镜562来改善眼睛成像路径507的性能。光阑550可接近于棱镜510的表面3定位。（多个）NIR-LED 530可位于微型显示器520周围。图7示意性地图示出图5D的示例性光学系统的3D模型700，并且图8示意性地图示出基于图6和7中所示的光学设计的双眼ET-HMD原型800的3D模型。在表1中列出了整个系统的规格。
分别地在用于表面1、2和3的表2—4中列出了自由形式棱镜510的示例性光学规格。在棱镜510中的三个光学表面之中，表面1是失真非球面表面（AAS）。AAS表面的下陷由下式定义
其中，z是沿着本地x、y、z坐标系的z轴测量的自由形式表面的下陷，cx和cy分别地是x和y轴上的顶点曲率，Kx和Ky分别地是x和y轴上的圆锥常数，AR、BR、CR和DR是来自圆锥的第4、6、8和10阶变形的旋转对称部分，AP、BP、CP和DP是来自圆锥的第4、6、8和10阶变形的非旋转对称分量。
棱镜510的表面2可以是由下式定义的XY多项式表面：
其中，z是沿着本地x、y、z坐标系的z轴测量的自由形式表面的下陷，c是顶点曲率（CUY），k是圆锥常数，并且Cj是用于xmyn的系数。
表面3可以是具有旋转对称开诺全息照片衍射光学元件的非球面表面，其中该非球面表面的下陷由下式定义：
其中，z是沿着本地x、y、z坐标系的z轴测量的表面的下陷，c是顶点曲率，k是圆锥常数，A至J分别地是第4、6、8、10、12、14、16、18和20阶变形系数。
表2：自由形式棱镜的表面1的光学表面规格
X 曲率 (cx) -1.348215E-02
Y 曲率 (cy) 2.004523E-03
Y 圆锥常数 (KY) 0.998125E+01
第4阶对称系数 (AR) -3.9067945E-06
第6阶对称系数 (BR) -9.5768964E-17
第8阶对称系数 (CR) -2.8799927E-15
第10阶对称系数 (DR) -8.7077963E-16
X 圆锥常数 (KX) -1.5687534E+01
第4阶非对称系数 (AP) -3.2949463E-01
第6阶非对称系数 (BP) -2.0405356E+02
第8阶非对称系数 (CP) -8.0782710E+00
第10阶非对称系数 (DP) -2.72019184E-01
表4：自由形式棱镜510的表面3的光学表面规格
Y 半径 -1.5000000000E+01
圆锥波长 (K) -8.1715030467E+00
第4阶系数 (A) -3.5999478362E-05
第6阶系数 (B) 4.1811989405E-07
第8阶系数 (C) -2.0382499300E-09
第10阶系数 (D) 3.7498678418E-12
   
衍射阶 1
结构波长 (nm) 550
R**2 (HCO C1) -3.2332326174E-03
R**4 (HCO C2) 4.1482610496E-05
R**6 (HCO C3) -4.2185152895E-07
R**8 (HCO C4) 1.8253428127E-09
R**10 (HCO C5) -2.7615741244E-12
在表5中列出了自由形式修正器515透镜的表面5的示例性光学规格。透镜515的表面4具有与棱镜510的表面2相同的规格，并且透镜515的表面5是由与用于表面2相同的等式定义的XY多项式表面。
在示例性设计的显示器侧，棱镜510提供了46度的对角线FOV或者垂直地40度和垂直地22度。其支持具有～8μm的像素尺寸和0.9"或更小的对角线尺寸的微型显示器520。在所制造的原型中，使用具有16:9的纵横比和1920×1200像素的分辨率的0.86"微型显示器。
示例性设计实现了高图像对比度和分辨率。图9A—9D图示出具有4mm中心瞳孔的HMD路径中的跨视野的20个采样视场的多色调制传递函数（MTF）。MTF曲线展示了50 lps/mm（等效于10μm像素分辨率）的截止分辨率下的0.2的平均对比度和35 lps/mm（等效于约15μm像素分辨率）的截止分辨率下的大于0.3的平均对比度。图10还展示了虚拟显示路径的畸变网格。
在眼睛成像和照明侧，将一个或多个NIR LED 530放置在图像源周围以通过自由形式棱镜510创建均匀照亮眼睛区域。自由形式棱镜510能够分别地为在水平和垂直方向上的约30mm×20mm的眼睛区域提供均匀照明。该相同被照亮眼睛区域被高分辨率NIR传感器560捕捉。被成像区域足以允许眼运动跟踪。眼睛成像路径的可分辨像素尺寸为约～10μm。图11图示出眼睛成像路径的调制传递函数（MTF）。MTF曲线展示了50 lps/mm（等效于10μm像素分辨率）的截止分辨率下的0.1的平均对比度和30 lps/mm（等效于约16μm像素分辨率）的截止分辨率下的大于0.25的平均对比度。图12进一步图示出眼睛成像路径的畸变网格。
在系统500的透视侧，接合棱镜510和自由形式修正透镜515提供了约100度的对角线FOV或者水平地80度和垂直地50度。透视FOV被设计成比虚拟显示FOV大得多用于改善的情景意识。透视系统的爱宝箱（eyebox）尺寸被优化成大于虚拟显示系统以进一步改善使用容易性和观看舒适性。本设计实施例实现了高图像对比度和分辨率。图13A—13D图示出具有4mm中心瞳孔的透视路径中的跨中心30×22度的视野的20个采样视场的多色调制传递函数（MTF）。MTF曲线展示近衍射极限性能。在图13A—13D中，0.5循环/min对应于1分钟的弧空间分辨率，其为20/20视力（vision）的可分辨性，并且1循环/min对应于0.5分钟的弧空间分辨率，其为20/15视力的可分辨性。跨采样视场的平均MTF在0.5循环/min（等效于1分钟的弧角分辨率）的截止分辨率下大于0.5，并且平均对比度在1循环/min（等效于0.5分钟的弧角分辨率）的截止分辨率下大于0.4。跨整个80×50透视FOV的平均MTF在0.5循环/min的截止频率下大于0.35。图14进一步图示出跨整个FOV的透视显示路径的畸变网格。中心40×22度中的畸变小于2%，并且跨整个视场的畸变小于8%。
示例2
图15A—15B示意性地图示出本发明的第二配置的示例性设计，其中成像系统1500的光阑1540可围绕微型显示器1520。微型显示器平面被划分成三个区域：IR透射区域1527，其允许由IR传感器1560来收集射线，并且其可用作用于IR传感器1560上的眼睛成像的光阑1540；对应于有效显示区域的微型显示器1520的有效区域（非透射），其阻止IR射线到达IR传感器1560；以及IR透射与微型显示器区域之间的第三非透射框架1523，其对应于微型显示器的物理框架，其也阻止射线到达IR传感器1560。在成像系统1500中，棱镜1510、微型显示器1520、以及IR传感器1560的相应的光轴可以是同轴的。因此，可将IR传感器1560放置在微型显示器1520后面以捕捉眼瞳的图像。从IR传感器1560到棱镜1510的距离取决于通过自由形式棱镜1510的眼瞳的图像位置，其最终取决于显示路径的设计。例如，如果自由形式棱镜1510被设计成在显示空间中是远心或接近于远心的，则主射线将几乎相互平行且在其与微型显示器1520交叉之前垂直于微型显示器表面。这意味着通过棱镜1510的眼瞳的图像位于无穷远或显著地远的距离处。在这种情况下，可能需要在IR传感器1560与棱镜1510之间插入一个或多个附加成像透镜1562以减少眼睛成像路径的总长度并实现良好的图像质量，图15A。
另一方面，如果自由形式棱镜1510被设计成是非远心的（即，主射线将会聚到在棱镜1510后面的某个短距离处的点），则眼瞳在相当紧密的距离处被棱镜1510成像，并且可以将IR传感器1560直接放置在棱镜1510后面而不需要附加成像透镜1562。实际上，当设计显示路径时常常期望远心或近远心的条件，因为虚拟图像跨整个FOV看起来更加均匀。当微型显示器1520仅在窄角度内发射或反射光（例如，诸如LCoS类型微型显示器之类的设备）时，可能要求此条件。当微型显示器1520提供宽发射角（例如OLED）时，可以放松远心性条件。
可以以与在图3B中所述的类似方式将NIR LED放置在光阑1540周围，或者替换地，可将NIR LED 1530放置在棱镜1510的边缘周围且其直接地照亮眼睛10，如图15A中所示。此外，可用本发明的任何其它配置来实施在不使用棱镜1530的情况下直接地照亮眼睛10的棱镜1510的边缘周围的NIR LED 1530，包括例如在图5A—6或16中所描述的那些。
示例3
图16示意性地图示出将旋转对称光学件用于核心光学件310的图3中所示的光学方案的示例性设计1600。作为使用基于紧凑式自由形式的棱镜510的替代，使用四元件观看光学件1610作为用于显示观看、眼睛成像和眼睛照明的核心光学件310。可将微型显示器1620放置在光学件1610的焦平面处。可将一个光源1630（诸如NIR-LED）放置在图像源1620周围。还可将销孔状光阑1640和微成像透镜1662放置在图像源1620的边缘周围以在成像传感器1660上形成眼睛图像。可以根据不同应用的需要在图像源1620周围布置附加光源1630和成像子系统（微成像透镜1662和成像传感器1660）。在示例性设计1600中，显示光学件1610和微型显示器1620的相应的光轴可以是同轴的，而图像传感器1660、光源1630以及微型显示器1620中的一个或多个的相应的光轴可相对于彼此倾斜和/或偏心。与自由形式配置一样，在最接近于微型显示器1620的表面、表面8处，照明路径、眼睛成像路径以及显示路径撞击在表面8的不同相应部分上，但允许部分重叠，例如，如成像路径与显示路径之间所示。
观看光学件1610可以提供40度的对角线FOV、20mm眼睛间隙和10mm眼瞳尺寸，并且可以支持具有0.8"或更小的对角线尺寸的图像源1620。可将一个或多个NIR LED 1630放置在微型显示器1620周围以通过观看光学件创建均匀照亮眼睛区域。观看光学件1610能够为约15mm×15mm的眼睛区域提供均匀照明。该相同的被照亮眼睛区域可被高分辨率NIR传感器1630捕捉。被成像区域足以允许眼运动跟踪。
在表6-9中提供了设计1600的示例性光学规格。
表6：观看光学件1610的光学表面规格
表面号 表面类型 半径 (MM) 厚度 (MM) 材料
对象   无穷大 无穷大 空气
1 (光阑)   0 20 空气
2 球形 38.747568 13 丙烯酸
3 球形 -68.038477 2.940552 空气
4 球形 87.660626 4.795025 丙烯酸
5 球形 -52.591345 0.1 空气
6 球形 29.845125 10.782261 NBK7
7 球形 -23.016798 8 SF61
8 球形 30.000017 7.076910 空气
9 (微型显示器)   无穷大 0  
表面11和12可以是具有由下式定义的非球面表面的下陷的非球面表面：
其中，z是沿着本地x、y、z坐标系的z轴测量的表面的下陷，c是顶点曲率，k是圆锥常数，A至J分别地是第4、6、8、10、12、14、16、18和20阶变形系数。
表8：成像透镜的表面11的光学表面规格
Y 半径 41.495014
圆锥常数 (K) -20
第4阶系数 (A) -1.021763E-02
第6阶系数 (B) -6.885433E-04
第8阶系数 (C) -3.263238E-04
第10阶系数 (D) 0
表9：成像透镜的表面12的光学表面规格
Y 半径 -2.858167
圆锥常数 (K) -1.750218
第4阶系数 (A) -7.851177E-03
第6阶系数 (B) -1.064232E-04
第8阶系数 (C) -4.912295E-05
第10阶系数 (D) 0
根据前述说明，本发明的这些及其它优点对于本领域的技术人员而言将是显而易见的。相应地，本领域的技术人员将认识到，在不脱离本发明的宽泛发明构思的情况下，可对上述实施例进行变更或修改。因此应理解的是本发明不限于本文所述的特定实施例，而是意图包括在如权利要求中阐述的本发明的范围和精神内的所有变更和修改。

Claims (30)

1.一种眼睛跟踪头戴式显示器，包括：微型显示器，用于生成将被用户观看的图像，该微型显示器具有显示光学路径和与之相关联的出射光瞳；
位于微型显示器处的第一平面和位于出射光瞳处的第二平面；
图像传感器，被配置成从第二平面接收被从用户的眼睛反射的反射光学辐射，该图像传感器具有与之相关联的传感器光学路径；以及
显示光学件，设置成沿着显示光学路径与微型显示器进行光学通信且沿着传感器光学路径与图像传感器进行光学通信，该显示光学件具有最接近于微型显示器和图像传感器的所选表面，显示光学件相对于微型显示器和图像传感器定位，使得显示器和图像传感器光学路径撞击在所选表面的不同相应部分上。
2.根据权利要求1所述的眼睛跟踪头戴式显示器，其中，所述显示器和图像传感器光学路径在所选表面处部分地重叠。
3.根据前述权利要求中的任一项所述的眼睛跟踪头戴式显示器，其中，所述显示光学件被配置成在第二平面处创建微型显示器的虚拟图像以用于观看。
4.根据前述权利要求中的任一项所述的眼睛跟踪头戴式显示器，其中，所述显示光学路径和传感器光学路径每个分别地在微型显示器和图像传感器处包括相应的光轴，并且其中，该光轴是同轴的。
5.根据权利要求1—3中的任一项所述的眼睛跟踪头戴式显示器，其中，所述显示光学路径和传感器光学路径每个分别地在显示光学件和图像传感器处包括相应的光轴，并且其中，光轴在第二平面处相对于彼此倾斜。
6.根据前述权利要求中的任一项所述的眼睛跟踪头戴式显示器，其中，所述显示光学路径包括光轴，并且其中，所述图像传感器离开显示光学路径的光轴定位。
7.根据前述权利要求中的任一项所述的眼睛跟踪头戴式显示器，其中，所述显示光学路径包括光轴，并且其中，所述微型显示器位于显示光学路径的光轴上。
8.根据前述权利要求中的任一项所述的眼睛跟踪头戴式显示器，在第一平面处包括光阑，该光阑在其中具有设置在沿着传感器光学路径的位置处的至少一个孔径。
9.根据前述权利要求中的任一项所述的眼睛跟踪头戴式显示器，包括光阑，该光阑在其中具有设置在沿着传感器与所选表面之间的传感器光学路径的位置处的至少一个孔径。
10.根据权利要求8—9中的任一项所述的眼睛跟踪头戴式显示器，其中，所述至少一个孔径包括销孔。
11.根据前述权利要求中的任一项所述的眼睛跟踪头戴式显示器，其中，所述显示光学件包括自由形式光学元件。
12.根据前述权利要求中的任一项所述的眼睛跟踪头戴式显示器，其中，所述显示光学件包括旋转对称光学元件。
13.根据前述权利要求中的任一项所述的眼睛跟踪头戴式显示器，其中，所述显示光学件包括自由形式光学棱镜。
14.根据权利要求13所述的眼睛跟踪头戴式显示器，其中，所述棱镜包括楔形棱镜。
15.根据权利要求13所述的眼睛跟踪头戴式显示器，其中，所述棱镜包括非球面表面。
16.根据权利要求13所述的眼睛跟踪头戴式显示器，其中，所述棱镜在显示空间中是远心的。
17.根据权利要求13所述的眼睛跟踪头戴式显示器，其中，所述棱镜在显示空间中是非远心的。
18.根据权利要求13所述的眼睛跟踪头戴式显示器，其中，所述棱镜包括被定向为从微型显示器接收光并进行全内反射的TIR（全内反射）表面。
19.根据权利要求13所述的眼睛跟踪头戴式显示器，其中，所述棱镜包括被定向为将光全内反射到图像传感器的TIR（全内反射）表面。
20.根据权利要求13所述的眼睛跟踪头戴式显示器，包括与棱镜进行光学通信的自由形式修正透镜。
21.根据权利要求20所述的眼睛跟踪头戴式显示器，其中，修正透镜的视野大于显示光学件的视野。
22.根据前述权利要求中的任一项所述的眼睛跟踪头戴式显示器，其中，所述显示光学件包括半镜面。
23.根据前述权利要求中的任一项所述的眼睛跟踪头戴式显示器，包括用于生成光学辐射且被配置成对第二平面进行照明以实现用户眼睛的照明的照明源，该照明源具有与之相关联的照明光学路径。
24.根据权利要求23所述的眼睛跟踪头戴式显示器，其中，所述显示光学件被设置成沿着照明光学路径与照明源进行光学通信。
25.根据权利要求23—24中的任一项所述的眼睛跟踪头戴式显示器，其中，所述显示光学件被配置成从照明源接收辐射并向第二平面透射辐射。
26.根据权利要求23—25中的任一项所述的眼睛跟踪头戴式显示器，其中，所述照明源位于接近于第一平面处。
27.根据权利要求23—26中的任一项所述的眼睛跟踪头戴式显示器，其中，所述照明源包括多个发光二极管。
28.根据权利要求23—27中的任一项所述的眼睛跟踪头戴式显示器，其中，所述显示光学件被配置成使来自照明源的光学辐射准直。
29.根据权利要求23—28中的任一项所述的眼睛跟踪头戴式显示器，
其中，所述显示光学件的显示光学路径包括光轴且所述照明源离开光轴定位。
30.根据权利要求23—29中的任一项所述的眼睛跟踪头戴式显示器，其中，所述棱镜包括被定向为从照明源接收辐射并进行全内反射的TIR（全内反射）表面。
CN201380006559.9A 2012-01-24 2013-01-24 紧凑式眼睛跟踪头戴式显示器 Active CN104204904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810200993.5A CN108333767A (zh) 2012-01-24 2013-01-24 紧凑式眼睛跟踪头戴式显示器

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261632441P 2012-01-24 2012-01-24
US61/632441 2012-01-24
US201261687607P 2012-04-27 2012-04-27
US61/687607 2012-04-27
US201261699493P 2012-09-11 2012-09-11
US61/699493 2012-09-11
PCT/US2013/022918 WO2013112705A1 (en) 2012-01-24 2013-01-24 Compact eye-tracked head-mounted display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810200993.5A Division CN108333767A (zh) 2012-01-24 2013-01-24 紧凑式眼睛跟踪头戴式显示器

Publications (2)

Publication Number Publication Date
CN104204904A true CN104204904A (zh) 2014-12-10
CN104204904B CN104204904B (zh) 2018-05-18

Family

ID=48873902

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380006559.9A Active CN104204904B (zh) 2012-01-24 2013-01-24 紧凑式眼睛跟踪头戴式显示器
CN201810200993.5A Pending CN108333767A (zh) 2012-01-24 2013-01-24 紧凑式眼睛跟踪头戴式显示器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810200993.5A Pending CN108333767A (zh) 2012-01-24 2013-01-24 紧凑式眼睛跟踪头戴式显示器

Country Status (12)

Country Link
US (7) US9720232B2 (zh)
EP (3) EP3270194B1 (zh)
JP (3) JP6141584B2 (zh)
KR (3) KR102264765B1 (zh)
CN (2) CN104204904B (zh)
AU (4) AU2013212169B2 (zh)
BR (1) BR112014018154A8 (zh)
CA (1) CA2860701C (zh)
IL (4) IL233502A (zh)
NZ (2) NZ627582A (zh)
RU (1) RU2623708C2 (zh)
WO (1) WO2013112705A1 (zh)

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105662334A (zh) * 2016-01-18 2016-06-15 北京国承万通信息科技有限公司 眼睛光学参数检测设备及头戴式显示器
CN105843397A (zh) * 2016-04-12 2016-08-10 公安部上海消防研究所 基于瞳孔追踪技术的虚拟现实互动系统
CN105917267A (zh) * 2015-09-13 2016-08-31 深圳市柔宇科技有限公司 光学模组、光学装置及穿戴式显示装置
CN105934028A (zh) * 2016-05-25 2016-09-07 北京易迈医疗科技有限公司 一种自适应照明调节系统以及医用头盔
CN107407817A (zh) * 2015-01-21 2017-11-28 特塞兰德有限责任公司 具有全内反射的显示设备
CN107533226A (zh) * 2015-08-12 2018-01-02 谷歌有限责任公司 具有堆叠光导的近眼式显示器
CN107942416A (zh) * 2017-11-15 2018-04-20 中国科学院长春光学精密机械与物理研究所 一种环带自由曲面光学元件及单片式光学系统
CN108957753A (zh) * 2018-07-25 2018-12-07 上海乐相科技有限公司 一种头戴式显示设备
CN109298528A (zh) * 2017-07-25 2019-02-01 脸谱科技有限责任公司 传感器组件和头戴式显示器
CN109416572A (zh) * 2016-04-29 2019-03-01 托比股份公司 启用眼睛跟踪的可穿戴设备
CN110291786A (zh) * 2017-02-20 2019-09-27 夏普株式会社 头戴式显示器
CN110456505A (zh) * 2018-05-07 2019-11-15 脸谱科技有限责任公司 透明和反射性的照明源
CN110596889A (zh) * 2018-06-13 2019-12-20 托比股份公司 眼睛跟踪装置和制造眼睛跟踪装置的方法
CN110914741A (zh) * 2017-03-09 2020-03-24 亚利桑那大学评议会 自由形式棱镜和具有增加视场的头戴式显示器
CN111149040A (zh) * 2017-09-27 2020-05-12 奥迪股份公司 尤其用于车辆的显示装置以及带有这种显示装置的车辆
CN111263609A (zh) * 2017-09-05 2020-06-09 眼脑医疗股份有限公司 用于测量双眼对准的方法和系统
CN112558751A (zh) * 2019-09-25 2021-03-26 武汉市天蝎科技有限公司 一种智能眼镜基于mems和光波导镜片的视线追踪方法
WO2021082798A1 (zh) * 2019-10-31 2021-05-06 华为技术有限公司 一种头戴式显示设备
CN113093378A (zh) * 2020-01-08 2021-07-09 宏碁股份有限公司 眼球追踪装置和头戴式显示设备
CN113204119A (zh) * 2021-04-30 2021-08-03 歌尔股份有限公司 胶合镜组和头戴显示设备
CN113272712A (zh) * 2019-12-13 2021-08-17 谷歌有限责任公司 作为移动增强现实显示器的紧凑型边沿安装的基于弯曲光学透视光导的眼部佩戴物
CN113454504A (zh) * 2018-12-17 2021-09-28 脸谱科技有限责任公司 使用衍射光学元件的用于头戴式显示器（hmd）眼睛跟踪的全息图案生成
CN113646689A (zh) * 2019-04-16 2021-11-12 脸谱科技有限责任公司 头戴式显示器的场内光源的排除区域
CN114035335A (zh) * 2021-11-29 2022-02-11 京东方科技集团股份有限公司 显示装置及其控制方法、显示系统
US11415797B2 (en) * 2020-07-01 2022-08-16 Interface Technology (Chengdu) Co., Ltd. Eye tracking device and electronic device using same
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
CN115202037A (zh) * 2019-03-06 2022-10-18 株式会社理光 光学装置、视网膜投影显示装置、头部安装型显示装置
US11589745B2 (en) 2017-09-05 2023-02-28 Neurolens, Inc. Method and system for measuring binocular alignment
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11595598B2 (en) 2018-06-28 2023-02-28 Meta Platforms Technologies, Llc Global shutter image sensor
US11729525B2 (en) 2018-01-24 2023-08-15 Meta Platforms Technologies, Llc Digital pixel array with multi-stage readouts
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11877080B2 (en) 2019-03-26 2024-01-16 Meta Platforms Technologies, Llc Pixel sensor having shared readout structure
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11910119B2 (en) 2017-06-26 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11927475B2 (en) 2017-08-17 2024-03-12 Meta Platforms Technologies, Llc Detecting high intensity light in photo sensor
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11956413B2 (en) 2019-08-26 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator

Families Citing this family (201)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
AU2009206514A1 (en) 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205111A1 (en) * 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US20120081800A1 (en) 2009-04-20 2012-04-05 Dewen Cheng Optical see-through free-form head-mounted display
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
CN102782562B (zh) 2010-04-30 2015-07-22 北京理工大学 宽视场高分辨率拼接式头盔显示装置
BR112014018154A8 (pt) 2012-01-24 2017-07-11 Univ Arizona Visor de monitoramento ocular montado na cabeça
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
WO2014043142A1 (en) * 2012-09-11 2014-03-20 Augmented Vision, Inc. Compact eye imaging and eye tracking apparatus
CN104756494B (zh) 2012-10-18 2019-04-16 亚利桑那大学评议会 具有可寻址焦点提示的立体显示器
US9377902B2 (en) * 2013-02-18 2016-06-28 Microsoft Technology Licensing, Llc Systems and methods for wedge-based imaging using flat surfaces
US10228561B2 (en) 2013-06-25 2019-03-12 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism and gaze-detection light
US9625723B2 (en) * 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
US10345903B2 (en) * 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
US9652034B2 (en) 2013-09-11 2017-05-16 Shenzhen Huiding Technology Co., Ltd. User interface based on optical sensing and tracking of user's eye movement and position
US20150085254A1 (en) * 2013-09-26 2015-03-26 Topcon Medical Laser Systems, Inc. Micro-Display Based Slit Lamp Illumination System
EP3065623B1 (en) 2013-11-09 2020-04-22 Shenzhen Goodix Technology Co., Ltd. Optical eye tracking
KR101855196B1 (ko) 2013-11-27 2018-06-08 선전 구딕스 테크놀로지 컴퍼니, 리미티드 아이 트래킹 및 사용자 반응 검출
US20150157198A1 (en) * 2013-12-11 2015-06-11 Topcon Medical Laser Systems, Inc. Ophthalmic Illumination System with Micro-Display Overlaid Image Source
US9459455B2 (en) 2013-12-19 2016-10-04 Google Inc. See-through eyepiece for head wearable display
US9389422B1 (en) 2013-12-23 2016-07-12 Google Inc. Eyepiece for head wearable display using partial and total internal reflections
US9459451B2 (en) 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9538915B2 (en) 2014-01-21 2017-01-10 Osterhout Group, Inc. Eye imaging in head worn computing
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9442292B1 (en) 2014-02-18 2016-09-13 Google Inc. Directional array sensing module
IL247587B2 (en) * 2014-03-05 2023-12-01 Univ Arizona 3D wearable display for augmented reality
US9395544B2 (en) 2014-03-13 2016-07-19 Google Inc. Eyepiece with switchable reflector for head wearable display
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
EP3129822A4 (en) 2014-04-09 2017-11-15 3M Innovative Properties Company Head mounted display and low conspicuity pupil illuminator
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9915823B1 (en) 2014-05-06 2018-03-13 Google Llc Lightguide optical combiner for head wearable display
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9377623B2 (en) 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
US9494799B2 (en) 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
US9366869B2 (en) 2014-11-10 2016-06-14 Google Inc. Thin curved eyepiece for see-through head wearable display
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
JP5824697B1 (ja) * 2014-12-27 2015-11-25 株式会社Ｆｏｖｅ ヘッドマウントディスプレイ
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
KR101638095B1 (ko) * 2015-01-16 2016-07-20 한국과학기술원 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
US10176961B2 (en) 2015-02-09 2019-01-08 The Arizona Board Of Regents On Behalf Of The University Of Arizona Small portable night vision system
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US20180045962A1 (en) * 2015-03-13 2018-02-15 Konica Minolta, Inc. Image Display Device and Optical See-Through Display
US9625989B2 (en) * 2015-04-01 2017-04-18 Fove, Inc. Head mounted display
US10162180B2 (en) 2015-06-04 2018-12-25 Google Llc Efficient thin curved eyepiece for see-through head wearable display
CN107710050A (zh) 2015-06-30 2018-02-16 3M创新有限公司 照明器
US10146054B2 (en) 2015-07-06 2018-12-04 Google Llc Adding prescriptive correction to eyepieces for see-through head wearable displays
US10437061B2 (en) 2015-08-03 2019-10-08 Facebook Technologies, Llc Near-ocular display based on hologram projection
US10459305B2 (en) 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
US10338451B2 (en) 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
US10552676B2 (en) 2015-08-03 2020-02-04 Facebook Technologies, Llc Methods and devices for eye tracking based on depth sensing
US10297180B2 (en) 2015-08-03 2019-05-21 Facebook Technologies, Llc Compensation of chromatic dispersion in a tunable beam steering device for improved display
JP6474900B2 (ja) * 2015-08-11 2019-02-27 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ
JP6334477B2 (ja) * 2015-08-24 2018-05-30 Ｎｅｃフィールディング株式会社 画像表示装置、画像表示方法及びプログラム
JP2017049762A (ja) 2015-09-01 2017-03-09 株式会社東芝 システム及び方法
JP2016127587A (ja) * 2015-09-03 2016-07-11 株式会社Ｆｏｖｅ ヘッドマウントディスプレイ
US10247858B2 (en) 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
WO2017091477A1 (en) 2015-11-25 2017-06-01 Google Inc. Prism-based eye tracking
US10203566B2 (en) 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
WO2018154564A1 (en) * 2017-02-22 2018-08-30 Real View Imaging Ltd. Pupil tracking in an image display system
US11663937B2 (en) 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
US10788791B2 (en) 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
US10795316B2 (en) 2016-02-22 2020-10-06 Real View Imaging Ltd. Wide field of view hybrid holographic display
WO2017145158A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Zero order blocking and diverging for holographic imaging
CN107229122B (zh) * 2016-03-23 2019-08-16 宏达国际电子股份有限公司 头戴式显示装置
US9897811B2 (en) 2016-04-07 2018-02-20 Google Llc Curved eyepiece with color correction for head wearable display
US9946074B2 (en) 2016-04-07 2018-04-17 Google Llc See-through curved eyepiece with patterned optical combiner
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10599215B2 (en) * 2016-04-26 2020-03-24 Facebook Technologies, Llc Off-axis eye tracker
EP3455667A2 (en) * 2016-05-11 2019-03-20 Wayray Sa Heads-up display with variable image plane
US10338390B2 (en) 2016-06-17 2019-07-02 Google Llc Method for fabricating a curved eyepiece
US10649209B2 (en) 2016-07-08 2020-05-12 Daqri Llc Optical combiner apparatus
CN105954992B (zh) * 2016-07-22 2018-10-30 京东方科技集团股份有限公司 显示系统和显示方法
US10466474B2 (en) 2016-08-04 2019-11-05 International Business Machines Corporation Facilitation of communication using shared visual cue
WO2018027299A1 (en) * 2016-08-12 2018-02-15 Bacque, James Benson Large exit pupil wearable near-to-eye vision systems exploiting freeform eyepieces
CA3033651C (en) 2016-08-12 2023-09-05 Arizona Board Of Regents On Behalf Of The University Of Arizona High-resolution freeform eyepiece design with a large exit pupil
US10659759B2 (en) 2016-08-29 2020-05-19 Stratus Systems, Inc. Selective culling of multi-dimensional data sets
US10733439B1 (en) * 2016-10-20 2020-08-04 Facebook Technologies, Llc Imaging retina in head-mounted displays
US9946075B1 (en) * 2016-12-08 2018-04-17 Darwin Hu See-through display glasses for virtual reality and augmented reality applications
US10548567B2 (en) * 2016-12-13 2020-02-04 General Electric Company System and method for displaying medical images of an object within a patient
WO2018117753A1 (en) 2016-12-23 2018-06-28 Samsung Electronics Co., Ltd. Electronic device and method of controlling the same
EP3397137B1 (en) * 2016-12-31 2019-10-30 Lumus Ltd. Eye tracker based on retinal imaging via light-guide optical element
US10481678B2 (en) 2017-01-11 2019-11-19 Daqri Llc Interface-based modeling and design of three dimensional spaces using two dimensional representations
CN110431467A (zh) 2017-01-28 2019-11-08 鲁姆斯有限公司 增强现实成像系统
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10810753B2 (en) * 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
WO2018161040A1 (en) * 2017-03-02 2018-09-07 Intevac, Inc. See through axial high order prism
US10317670B2 (en) * 2017-03-03 2019-06-11 Microsoft Technology Licensing, Llc MEMS scanning display device
US10365709B2 (en) * 2017-03-03 2019-07-30 Microsoft Technology Licensing, Llc MEMS scanning display device
CN107452031B (zh) * 2017-03-09 2020-06-26 叠境数字科技（上海）有限公司 虚拟光线跟踪方法及光场动态重聚焦显示系统
KR20190128072A (ko) 2017-03-21 2019-11-14 매직 립, 인코포레이티드 저-프로파일 빔 스플리터
EP4246214A3 (en) * 2017-03-21 2023-12-06 Magic Leap, Inc. Methods, devices, and systems for illuminating spatial light modulators
US20200012101A1 (en) * 2017-03-31 2020-01-09 Sharp Kabushiki Kaisha Head-mounted display
US11164352B2 (en) 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
US10928633B1 (en) * 2017-05-26 2021-02-23 Meta View, Inc. Apparatuses, methods and systems for an off-axis display assembly
US10521658B2 (en) * 2017-07-07 2019-12-31 Facebook Technologies, Llc Embedded eye tracker with dichroic mirror
EP3655817B1 (en) 2017-07-19 2023-03-08 Lumus Ltd. Lcos illumination via loe
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US11568609B1 (en) 2017-07-25 2023-01-31 Meta Platforms Technologies, Llc Image sensor having on-chip compute circuit
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10394034B2 (en) * 2017-08-15 2019-08-27 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and optical relay
US10976551B2 (en) * 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
US11301036B1 (en) * 2017-09-28 2022-04-12 Apple Inc. Method and device for image display and eye tracking through a catadioptric lens
DE102017217375A1 (de) 2017-09-29 2019-04-04 Carl Zeiss Meditec Ag Vorrichtung zur Einspiegelung von Parameter und/oder Bilddaten in den stereoskopischen Beobachtungsstrahlengang ophthalmologischer Geräte
US10475834B1 (en) * 2017-10-06 2019-11-12 Facebook Technologies, Llc Apparatuses, systems, and methods for disrupting light at a back-side of an image sensor array
CN109782441A (zh) * 2017-11-14 2019-05-21 塔普翊海（上海）智能科技有限公司 一种近眼可透视头显光学系统
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
JP2018037107A (ja) * 2017-11-27 2018-03-08 株式会社東芝 システム及び方法
US11132055B2 (en) 2017-12-03 2021-09-28 Esight Corp. Enhancing the performance of near-to-eye vision systems
EP3729182B1 (en) * 2017-12-21 2023-11-22 BAE SYSTEMS plc Eye tracking for head-worn display
CN107861247B (zh) * 2017-12-22 2020-08-25 联想(北京)有限公司 光学部件及增强现实设备
US10949947B2 (en) 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices
US10506220B2 (en) 2018-01-02 2019-12-10 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
US11116663B2 (en) 2018-01-19 2021-09-14 Iridex Corporation System and method for a patient-invisible laser treatment alignment pattern in ophthalmic photomedicine
US10725292B2 (en) * 2018-02-01 2020-07-28 Varjo Technologies Oy Gaze-tracking system and aperture device
CN111869204B (zh) 2018-03-22 2023-10-03 亚利桑那大学评议会 为基于积分成像的光场显示来渲染光场图像的方法
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
US11550095B2 (en) * 2018-10-26 2023-01-10 Google Llc Curved optical see-through thin freeform lightguide with large field of view in eyewear formfactor
US11500185B2 (en) 2018-11-09 2022-11-15 Meta Platforms Technologies, Llc Catadioptric and refractive optical structures for beam shaping
WO2020123561A1 (en) * 2018-12-10 2020-06-18 Daqri, Llc Adaptive viewports for hypervocal viewport (hvp) displays
US11221483B2 (en) * 2018-12-10 2022-01-11 Auroratech Company Optical system for AR headsets, and method for design and manufacturing
US11125993B2 (en) 2018-12-10 2021-09-21 Facebook Technologies, Llc Optical hyperfocal reflective systems and methods, and augmented reality and/or virtual reality displays incorporating same
JP2022516730A (ja) 2019-01-09 2022-03-02 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー Ａｒ、ｈｍｄ、およびｈｕｄ用途向けの光導波路における不均一な副瞳リフレクタおよび方法
US11237389B1 (en) * 2019-02-11 2022-02-01 Facebook Technologies, Llc Wedge combiner for eye-tracking
US11849262B2 (en) 2019-03-12 2023-12-19 Lumus Ltd. Image projector
AU2020258040A1 (en) * 2019-04-18 2021-11-11 Bae Systems Plc Optical arrangement for a display
US10997773B2 (en) 2019-06-13 2021-05-04 Facebook Technologies, Llc Dynamic tiling for foveated rendering
EP4028827A4 (en) * 2019-09-13 2023-11-22 Arizona Board of Regents on behalf of the University of Arizona PUPIL ADJUSTED OCCLUSIVE OPTICAL TRANSPARENT HEAD MOUNTED DISPLAY
US11137608B2 (en) 2019-09-25 2021-10-05 Electronics And Telecommunications Research Institute Slim immersive display device, slim visualization device, and user eye-tracking device
US11933949B2 (en) 2019-09-27 2024-03-19 Apple Inc. Freeform folded optical system
JP2021056369A (ja) * 2019-09-30 2021-04-08 セイコーエプソン株式会社 ヘッドマウントディスプレイ
US11809619B1 (en) 2019-11-12 2023-11-07 Apple Inc. Display systems with optical sensing
US11228745B2 (en) * 2019-11-26 2022-01-18 Varjo Technologies Oy Display apparatus and method of correcting image distortion therefor
US11176637B2 (en) 2019-12-03 2021-11-16 Facebook Technologies, Llc Foveated rendering using eye motion
US20210327295A1 (en) * 2020-04-17 2021-10-21 Rockwell Collins, Inc. Head tracking with virtual avionics training products
TWI792033B (zh) * 2020-08-10 2023-02-11 見臻科技股份有限公司 穿戴式眼動追蹤系統
US11686927B2 (en) 2020-08-26 2023-06-27 Electronics And Telecommunications Research Institute Slim immersive display device and slim visualization device
US11741863B2 (en) 2021-04-16 2023-08-29 Tectus Corporation Eyeglass-integrated display device using multiple embedded projectors and display windows
CN113325585B (zh) * 2021-05-27 2023-03-28 京东方科技集团股份有限公司 显示装置、可穿戴显示设备及注视点的位置的确定方法
US11493773B2 (en) 2021-06-07 2022-11-08 Panamorph, Inc. Near-eye display system
CN115685542A (zh) * 2021-07-22 2023-02-03 中强光电股份有限公司 头戴式显示装置
CN117813037A (zh) * 2021-08-18 2024-04-02 索尼集团公司 眼球信息检测装置、显示装置、眼球信息检测方法和显示方法
KR20230046885A (ko) * 2021-09-30 2023-04-06 주식회사 피앤씨솔루션 비구면을 사용해 폭을 줄인 증강현실용 기하 광학 장치
CN114185162B (zh) * 2021-11-16 2022-09-16 中国科学院上海技术物理研究所 一种简约型搜索跟踪一体化光学系统
US11863730B2 (en) 2021-12-07 2024-01-02 Snap Inc. Optical waveguide combiner systems and methods
JP2023086613A (ja) 2021-12-10 2023-06-22 キヤノン株式会社 光学系及びそれを有する観察装置
CN116413911A (zh) * 2021-12-31 2023-07-11 北京耐德佳显示技术有限公司 一种超薄型镜片、使用其的虚像成像装置和近眼显示器

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1110857A (zh) * 1993-07-27 1995-10-25 拉兹罗·霍拉克斯基 图象显示装置
JPH09218375A (ja) * 1996-02-08 1997-08-19 Canon Inc 疲労判定方法及びそれを用いた観察装置
JPH10307263A (ja) * 1997-05-07 1998-11-17 Olympus Optical Co Ltd プリズム光学素子及び像観察装置
JP2001066543A (ja) * 1999-08-25 2001-03-16 Canon Inc 複合光学装置
US20010009478A1 (en) * 1994-06-13 2001-07-26 Shoichi Yamazaki Head-up display device with rotationally asymmetric curved surface
US6384983B1 (en) * 1999-11-19 2002-05-07 Mixed Realty Systems Laboratory Inc. Image display apparatus
US6433760B1 (en) * 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
WO2007085682A1 (en) * 2006-01-26 2007-08-02 Nokia Corporation Eye tracker device
US20110043644A1 (en) * 2008-04-02 2011-02-24 Esight Corp. Apparatus and Method for a Dynamic "Region of Interest" in a Display System
US20110090389A1 (en) * 2009-10-15 2011-04-21 Canon Kabushiki Kaisha Image-pickup display device having optical element provided with diffraction element portion

Family Cites Families (174)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3632184A (en) 1970-03-02 1972-01-04 Bell Telephone Labor Inc Three-dimensional display
JPS503354A (zh) 1973-05-11 1975-01-14
EP0066402B1 (en) 1981-05-29 1985-09-11 Gec Avionics Limited Night vision goggles
US4669810A (en) 1984-02-03 1987-06-02 Flight Dynamics, Inc. Head up display system
US4753522A (en) 1985-06-03 1988-06-28 Ricoh Company, Ltd. Plastic lens assembly for use in copying machines
US4863251A (en) 1987-03-13 1989-09-05 Xerox Corporation Double gauss lens for a raster input scanner
US5880888A (en) 1989-01-23 1999-03-09 Hughes Aircraft Company Helmet mounted display system
JPH02200074A (ja) 1989-01-30 1990-08-08 Nippon Hoso Kyokai <Nhk> イメージインテンシファイア付固体撮像装置
GB8916206D0 (en) * 1989-07-14 1989-11-08 Marconi Gec Ltd Helmet systems
JP2692996B2 (ja) 1989-12-25 1997-12-17 オリンパス光学工業株式会社 結像レンズ
US5109469A (en) 1990-11-01 1992-04-28 Itt Corporation Phosphor screen for correcting luminous non-uniformity and method for making same
US5172275A (en) 1990-12-14 1992-12-15 Eastman Kodak Company Apochromatic relay lens systems suitable for use in a high definition telecine apparatus
DE4291016T1 (zh) 1991-04-22 1993-05-13 Evans & Sutherland Computer Corp., Salt Lake City, Utah, Us
DE69325607T2 (de) 1992-04-07 2000-04-06 Raytheon Co Breites spektrales Band virtuelles Bildanzeige optisches System
US6008781A (en) 1992-10-22 1999-12-28 Board Of Regents Of The University Of Washington Virtual retinal display
JPH0779914A (ja) * 1993-06-30 1995-03-28 Canon Inc 視野計及び視線操作装置
US5526183A (en) 1993-11-29 1996-06-11 Hughes Electronics Helmet visor display employing reflective, refractive and diffractive optical elements
US5416315A (en) 1994-01-24 1995-05-16 Night Vision General Partnership Visor-mounted night vision visor
JP2911750B2 (ja) * 1994-06-13 1999-06-23 キヤノン株式会社 観察光学系
JP3847799B2 (ja) * 1994-08-05 2006-11-22 キヤノン株式会社 視線検出系を有した表示装置
JP3566369B2 (ja) * 1994-12-22 2004-09-15 キヤノン株式会社 観察光学装置
US5621572A (en) 1994-08-24 1997-04-15 Fergason; James L. Optical system for a head mounted display using a retro-reflector and method of displaying an image
JPH08160345A (ja) * 1994-12-05 1996-06-21 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
US5625495A (en) 1994-12-07 1997-04-29 U.S. Precision Lens Inc. Telecentric lens systems for forming an image of an object composed of pixels
JP3658034B2 (ja) 1995-02-28 2005-06-08 キヤノン株式会社 画像観察光学系及び撮像光学系
JP3683934B2 (ja) * 1995-02-28 2005-08-17 キヤノン株式会社 画像観察装置
US5818632A (en) 1995-04-13 1998-10-06 Melles Griot, Inc Multi-element lens system
JP3599828B2 (ja) 1995-05-18 2004-12-08 オリンパス株式会社 光学装置
JP3556389B2 (ja) 1996-05-01 2004-08-18 日本電信電話株式会社 ヘッドマウントディスプレイ装置
EP0785457A3 (en) 1996-01-17 1998-10-14 Nippon Telegraph And Telephone Corporation Optical device and three-dimensional display device
JPH09219832A (ja) 1996-02-13 1997-08-19 Olympus Optical Co Ltd 画像表示装置
JPH09262210A (ja) * 1996-03-28 1997-10-07 Canon Inc 光学システム
US5959780A (en) 1996-04-15 1999-09-28 Olympus Optical Co., Ltd. Head-mounted display apparatus comprising a rotationally asymmetric surface
JP3758265B2 (ja) 1996-04-24 2006-03-22 ソニー株式会社 ３次元画像表示方法とその表示装置
US5880711A (en) 1996-04-24 1999-03-09 Sony Corporation Three-dimensional image display method and its display apparatus
US6028606A (en) 1996-08-02 2000-02-22 The Board Of Trustees Of The Leland Stanford Junior University Camera simulation system
US5886822A (en) * 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
JP3924348B2 (ja) 1996-11-05 2007-06-06 オリンパス株式会社 画像表示装置
US6034823A (en) 1997-02-07 2000-03-07 Olympus Optical Co., Ltd. Decentered prism optical system
US6204680B1 (en) * 1997-04-15 2001-03-20 Delaware Capital Formation, Inc. Test socket
US6760169B2 (en) 1997-05-07 2004-07-06 Olympus Corporation Prism optical element, image observation apparatus and image display apparatus
JP3101709B2 (ja) 1997-08-26 2000-10-23 工業技術院長 リチウムマンガン酸化物薄膜の製造方法
EP1027701B1 (en) 1997-11-05 2004-06-09 OMD Devices LLC Focus error correction apparatus
KR20000070909A (ko) 1997-12-11 2000-11-25 요트.게.아. 롤페즈 영상 디스플레이 장치 및 이러한 장치를 포함하는 헤드가 장착된 디스플레이
US6236521B1 (en) 1998-02-09 2001-05-22 Canon Kabushiki Kaisha Objective lens and image pickup device using the same
US6198577B1 (en) 1998-03-10 2001-03-06 Glaxo Wellcome, Inc. Doubly telecentric lens and imaging system for multiwell plates
JP3279265B2 (ja) 1998-03-26 2002-04-30 株式会社エム・アール・システム研究所 画像表示装置
US6704149B2 (en) 1998-04-21 2004-03-09 Minolta Co., Ltd. Lens optical system
JPH11326820A (ja) 1998-05-18 1999-11-26 Olympus Optical Co Ltd 観察光学系及びそれを用いた観察装置
JP2000075240A (ja) * 1998-08-26 2000-03-14 Mr System Kenkyusho:Kk 複合表示装置
JP2000199853A (ja) 1998-10-26 2000-07-18 Olympus Optical Co Ltd 結像光学系及び観察光学系
US6281862B1 (en) 1998-11-09 2001-08-28 University Of Washington Scanned beam display with adjustable accommodation
JP2000171714A (ja) 1998-12-07 2000-06-23 Olympus Optical Co Ltd 結像光学系
JP4550184B2 (ja) 1999-07-02 2010-09-22 オリンパス株式会社 観察光学系
JP2000231060A (ja) 1999-02-12 2000-08-22 Olympus Optical Co Ltd 結像光学系
JP2000249974A (ja) * 1999-03-02 2000-09-14 Canon Inc 表示装置及び立体表示装置
US6480337B2 (en) * 1999-03-04 2002-11-12 Mixed Reality Systems Laboratory Inc. Image display apparatus
CN1171110C (zh) 1999-04-02 2004-10-13 奥林巴斯株式会社 观察光学系统及使用了该系统的图像显示装置
EP1054280A3 (en) 1999-05-20 2004-08-18 Konica Corporation Zoom lens
US6243199B1 (en) 1999-09-07 2001-06-05 Moxtek Broad band wire grid polarizing beam splitter for use in the visible wavelength region
JP2001091892A (ja) * 1999-09-24 2001-04-06 Olympus Optical Co Ltd 顔面装着型映像表示装置
JP3391342B2 (ja) 1999-10-29 2003-03-31 ミノルタ株式会社 撮像レンズ装置
JP2001145127A (ja) 1999-11-12 2001-05-25 Shunichi Suda ３次元画像表示装置
KR100360592B1 (ko) 1999-12-08 2002-11-13 동부전자 주식회사 반도체 장치 및 그 제조 방법
US6758563B2 (en) * 1999-12-30 2004-07-06 Nokia Corporation Eye-gaze tracking
JP2001238229A (ja) 2000-02-21 2001-08-31 Nippon Hoso Kyokai <Nhk> 立体画像撮影装置及び立体画像表示装置並びに立体画像撮影表示システム
JP2001264680A (ja) * 2000-03-14 2001-09-26 Mixed Reality Systems Laboratory Inc 画像表示装置
US20010048561A1 (en) 2000-08-24 2001-12-06 Heacock Gregory L. Virtual imaging system for small font text
KR100386725B1 (ko) 2000-07-31 2003-06-09 주식회사 대양이앤씨 헤드 마운트 디스플레이용 광학 시스템
JP3658295B2 (ja) 2000-08-09 2005-06-08 キヤノン株式会社 画像表示装置
US6554430B2 (en) 2000-09-07 2003-04-29 Actuality Systems, Inc. Volumetric three-dimensional display system
JP4583569B2 (ja) 2000-09-22 2010-11-17 オリンパス株式会社 観察光学系および撮像光学系
JP4646374B2 (ja) 2000-09-29 2011-03-09 オリンパス株式会社 画像観察光学系
US6563648B2 (en) 2000-10-20 2003-05-13 Three-Five Systems, Inc. Compact wide field of view imaging system
JP2002148559A (ja) 2000-11-15 2002-05-22 Mixed Reality Systems Laboratory Inc 画像観察装置及びそれを用いた画像観察システム
JP4943580B2 (ja) 2000-12-25 2012-05-30 オリンパス株式会社 結像光学系
JP3658330B2 (ja) * 2001-02-21 2005-06-08 キヤノン株式会社 複合表示装置及びそれを用いたヘッドマウントディスプレイ装置
JP2002258208A (ja) * 2001-03-01 2002-09-11 Mixed Reality Systems Laboratory Inc 光学素子及びそれを用いた複合表示装置
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US6963454B1 (en) 2002-03-01 2005-11-08 Research Foundation Of The University Of Central Florida Head-mounted display by integration of phase-conjugate material
US6731434B1 (en) 2001-05-23 2004-05-04 University Of Central Florida Compact lens assembly for the teleportal augmented reality system
US6999239B1 (en) 2001-05-23 2006-02-14 Research Foundation Of The University Of Central Florida, Inc Head-mounted display by integration of phase-conjugate material
JP4751534B2 (ja) 2001-07-24 2011-08-17 大日本印刷株式会社 光学系及びそれを用いた装置
JP4129972B2 (ja) 2002-02-18 2008-08-06 オリンパス株式会社 偏心光学系
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
KR100509370B1 (ko) 2002-12-30 2005-08-19 삼성테크윈 주식회사 촬영 렌즈
DE10306578A1 (de) 2003-02-17 2004-08-26 Carl Zeiss Anzeigevorrichtung mit elektrooptischer Fokussierung
KR20050106480A (ko) 2003-03-05 2005-11-09 쓰리엠 이노베이티브 프로퍼티즈 컴파니 회절 렌즈
JP4035476B2 (ja) 2003-04-23 2008-01-23 キヤノン株式会社 走査光学系、走査型画像表示装置および画像表示システム
US7152977B2 (en) 2003-04-24 2006-12-26 Qubic Light Corporation Solid state light engine optical system
JP4072456B2 (ja) * 2003-05-08 2008-04-09 キヤノン株式会社 表示光学系、画像表示装置および画像表示システム
JP2004341411A (ja) * 2003-05-19 2004-12-02 Canon Inc 光学系および画像表示装置
US7077523B2 (en) 2004-02-13 2006-07-18 Angstorm Inc. Three-dimensional display using variable focusing lens
US20070246641A1 (en) 2004-02-27 2007-10-25 Baun Kenneth W Night vision system with video screen
US7339737B2 (en) 2004-04-23 2008-03-04 Microvision, Inc. Beam multiplier that can be used as an exit-pupil expander and related system and method
US7567241B2 (en) 2004-08-03 2009-07-28 Silverbrook Research Pty Ltd Stylus with customizable appearance
JP2008511874A (ja) 2004-09-01 2008-04-17 アプティカル リサーチ アソシエイツ 傾斜／偏心レンズ素子を有する小形ヘッド取付け表示装置
JP4639721B2 (ja) 2004-09-22 2011-02-23 株式会社ニコン 三次元映像表示装置
JP4560368B2 (ja) 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
US7249853B2 (en) 2005-04-13 2007-07-31 Eastman Kodak Company Unpolished optical element with periodic surface roughness
US7405881B2 (en) * 2005-05-30 2008-07-29 Konica Minolta Holdings, Inc. Image display apparatus and head mount display
US7360905B2 (en) 2005-06-24 2008-04-22 Texas Instruments Incorporated Compact optical engine for very small personal projectors using LED illumination
US20070109505A1 (en) 2005-10-05 2007-05-17 Matsushita Electric Industrial Co., Ltd. Projection three-dimensional display apparatus
JP2007101930A (ja) 2005-10-05 2007-04-19 Matsushita Electric Ind Co Ltd 立体像要素画像作成表示方法および立体像表示装置
US7522344B1 (en) 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
KR101255209B1 (ko) 2006-05-04 2013-04-23 삼성전자주식회사 인터레이스 방식으로 영상을 디스플레이 하는 고해상도입체 영상 디스플레이 장치
US20070273983A1 (en) 2006-05-26 2007-11-29 Hebert Raymond T Devices, methods, and systems for image viewing
US8102454B2 (en) 2006-06-08 2012-01-24 Shimadzu Corporation Image pickup apparatus
JP2006276884A (ja) 2006-06-16 2006-10-12 Olympus Corp 偏心プリズム光学系
US7515345B2 (en) 2006-10-09 2009-04-07 Drs Sensors & Targeting Systems, Inc. Compact objective lens assembly
US8259239B2 (en) 2007-01-18 2012-09-04 The Arizona Board Of Regents On Behalf Of The University Of Arizona Polarized head-mounted projection display
JP4906680B2 (ja) 2007-11-02 2012-03-28 キヤノン株式会社 画像表示装置
US20090168010A1 (en) 2007-12-27 2009-07-02 Igor Vinogradov Adaptive focusing using liquid crystal lens in electro-optical readers
AU2009206514A1 (en) 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
JP5169253B2 (ja) 2008-01-29 2013-03-27 ブラザー工業株式会社 画像表示装置
FR2928034B1 (fr) 2008-02-26 2010-03-19 New Imaging Technologies Sas Capteur matriciel pour tube amplificateur de lumiere
JP5329882B2 (ja) * 2008-09-17 2013-10-30 パイオニア株式会社 ディスプレイ装置
CN101359089B (zh) * 2008-10-08 2010-08-11 北京理工大学 轻小型大视场自由曲面棱镜头盔显示器光学系统
JP5341462B2 (ja) 2008-10-14 2013-11-13 キヤノン株式会社 収差補正方法、画像処理装置および画像処理システム
JP5464839B2 (ja) 2008-10-31 2014-04-09 キヤノン株式会社 画像表示装置
CN101424788A (zh) 2008-12-09 2009-05-06 中国科学院长春光学精密机械与物理研究所 一种眼镜式头盔显示器光学系统
US8331032B2 (en) 2009-02-19 2012-12-11 Drs Rsta, Inc. Compact objective lens assembly for simultaneously imaging multiple spectral bands
US20120081800A1 (en) 2009-04-20 2012-04-05 Dewen Cheng Optical see-through free-form head-mounted display
US8441733B2 (en) 2009-04-24 2013-05-14 David Kessler Pupil-expanded volumetric display
GB0909126D0 (en) 2009-05-27 2009-07-01 Qinetiq Ltd Eye tracking apparatus
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
CN102906623A (zh) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
GB201004346D0 (en) * 2010-03-16 2010-04-28 Qinetiq Ltd Eye tracking apparatus
CN102782562B (zh) 2010-04-30 2015-07-22 北京理工大学 宽视场高分辨率拼接式头盔显示装置
US20120013988A1 (en) 2010-07-16 2012-01-19 Hutchin Richard A Head mounted display having a panoramic field of view
AU2011278055B2 (en) 2010-07-16 2015-04-02 Mcgill Technology Limited Dispensing apparatus
US20120019557A1 (en) 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
DE102010040030B4 (de) 2010-08-31 2017-02-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Objektiv und Bildaufnahmesystem
JP5603716B2 (ja) 2010-09-06 2014-10-08 オリンパス株式会社 プリズム光学系、プリズム光学系を用いた画像表示装置及び撮像装置
US8503087B1 (en) 2010-11-02 2013-08-06 Google Inc. Structured optical surface
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
WO2012088478A1 (en) 2010-12-24 2012-06-28 Chunyu Gao An ergonomic head mounted display device and optical system
US20120160302A1 (en) 2010-12-27 2012-06-28 Jeffrey Michael Citron Trough shaped fresnel reflector solar concentrator
WO2012118573A1 (en) 2011-02-28 2012-09-07 Osterhout Group, Inc. Light control in head mounted displays
TWI490587B (zh) 2011-04-12 2015-07-01 Ability Entpr Co Ltd 光學變焦鏡頭
US11640050B2 (en) 2011-10-19 2023-05-02 Epic Optix Inc. Microdisplay-based head-up display system
BR112014018154A8 (pt) 2012-01-24 2017-07-11 Univ Arizona Visor de monitoramento ocular montado na cabeça
JP6111635B2 (ja) 2012-02-24 2017-04-12 セイコーエプソン株式会社 虚像表示装置
US8985803B2 (en) 2012-03-21 2015-03-24 Microsoft Technology Licensing, Llc Freeform-prism eyepiece with illumination waveguide
JP6056171B2 (ja) 2012-03-29 2017-01-11 富士通株式会社 立体画像表示装置及び方法
US20130285885A1 (en) 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
US20130300634A1 (en) 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
JP5983056B2 (ja) * 2012-06-04 2016-08-31 セイコーエプソン株式会社 画像表示装置およびヘッドマウントディスプレイ
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
DE102013001097A1 (de) 2012-08-10 2014-02-13 Johnson Controls Gmbh Head-up-Display und Verfahren zum Betrieb eines Head-up-Displays
JP6019918B2 (ja) 2012-08-17 2016-11-02 セイコーエプソン株式会社 虚像表示装置
KR20150054967A (ko) 2012-09-11 2015-05-20 매직 립, 인코포레이티드 인체공학적 헤드 마운티드 디스플레이 디바이스 및 광학 시스템
CN104756494B (zh) 2012-10-18 2019-04-16 亚利桑那大学评议会 具有可寻址焦点提示的立体显示器
US9858721B2 (en) 2013-01-15 2018-01-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
US9201193B1 (en) 2013-02-18 2015-12-01 Exelis, Inc. Textured fiber optic coupled image intensified camera
TWI625551B (zh) 2013-03-15 2018-06-01 傲思丹度科技公司 具有改良之視角深度及解析度之三維光場顯示器及方法
US9405124B2 (en) 2013-04-09 2016-08-02 Massachusetts Institute Of Technology Methods and apparatus for light field projection
US9737209B2 (en) * 2013-05-15 2017-08-22 The Johns Hopkins University Eye tracking and gaze fixation detection systems, components and methods using polarized light
CN103605214A (zh) 2013-11-21 2014-02-26 深圳市华星光电技术有限公司 立体显示装置
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US10274731B2 (en) 2013-12-19 2019-04-30 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
JP6264878B2 (ja) 2013-12-24 2018-01-24 セイコーエプソン株式会社 導光装置、虚像表示装置及び導光装置の製造方法
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
WO2015126466A1 (en) 2014-02-21 2015-08-27 The University Of Akron Imaging and display system for guiding medical interventions
IL247587B2 (en) 2014-03-05 2023-12-01 Univ Arizona 3D wearable display for augmented reality
CA2950425C (en) 2014-05-30 2022-01-25 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
RU2551731C1 (ru) 2014-07-02 2015-05-27 Константин Александрович Караваев Способ виртуального подбора одежды
US20170276918A1 (en) 2014-08-29 2017-09-28 Arizona Board Of Regents Of Behalf Of The University Of Arizona Ultra-compact head-up displays based on freeform waveguide
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
CA3033651C (en) 2016-08-12 2023-09-05 Arizona Board Of Regents On Behalf Of The University Of Arizona High-resolution freeform eyepiece design with a large exit pupil

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1110857A (zh) * 1993-07-27 1995-10-25 拉兹罗·霍拉克斯基 图象显示装置
US20010009478A1 (en) * 1994-06-13 2001-07-26 Shoichi Yamazaki Head-up display device with rotationally asymmetric curved surface
JPH09218375A (ja) * 1996-02-08 1997-08-19 Canon Inc 疲労判定方法及びそれを用いた観察装置
JPH10307263A (ja) * 1997-05-07 1998-11-17 Olympus Optical Co Ltd プリズム光学素子及び像観察装置
US6433760B1 (en) * 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
JP2001066543A (ja) * 1999-08-25 2001-03-16 Canon Inc 複合光学装置
US6384983B1 (en) * 1999-11-19 2002-05-07 Mixed Realty Systems Laboratory Inc. Image display apparatus
WO2007085682A1 (en) * 2006-01-26 2007-08-02 Nokia Corporation Eye tracker device
US20110043644A1 (en) * 2008-04-02 2011-02-24 Esight Corp. Apparatus and Method for a Dynamic "Region of Interest" in a Display System
US20110090389A1 (en) * 2009-10-15 2011-04-21 Canon Kabushiki Kaisha Image-pickup display device having optical element provided with diffraction element portion

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107407817A (zh) * 2015-01-21 2017-11-28 特塞兰德有限责任公司 具有全内反射的显示设备
CN107533226B (zh) * 2015-08-12 2021-05-11 谷歌有限责任公司 具有堆叠光导的近眼式显示器
CN107533226A (zh) * 2015-08-12 2018-01-02 谷歌有限责任公司 具有堆叠光导的近眼式显示器
CN105917267B (zh) * 2015-09-13 2018-06-12 深圳市柔宇科技有限公司 光学模组、光学装置及穿戴式显示装置
CN107505712A (zh) * 2015-09-13 2017-12-22 深圳市柔宇科技有限公司 光学模组、光学装置及穿戴式显示装置
CN105917267A (zh) * 2015-09-13 2016-08-31 深圳市柔宇科技有限公司 光学模组、光学装置及穿戴式显示装置
US10120175B2 (en) 2015-09-13 2018-11-06 Shenzhen Royole Technologies Co. Ltd. Optical module, optical device and wearable display device
CN107505712B (zh) * 2015-09-13 2020-07-28 深圳市柔宇科技有限公司 光学模组、光学装置及穿戴式显示装置
CN105662334B (zh) * 2016-01-18 2017-07-11 北京国承万通信息科技有限公司 眼睛光学参数检测设备及头戴式显示器
CN105662334A (zh) * 2016-01-18 2016-06-15 北京国承万通信息科技有限公司 眼睛光学参数检测设备及头戴式显示器
CN105843397A (zh) * 2016-04-12 2016-08-10 公安部上海消防研究所 基于瞳孔追踪技术的虚拟现实互动系统
CN109416572A (zh) * 2016-04-29 2019-03-01 托比股份公司 启用眼睛跟踪的可穿戴设备
CN105934028A (zh) * 2016-05-25 2016-09-07 北京易迈医疗科技有限公司 一种自适应照明调节系统以及医用头盔
CN110291786A (zh) * 2017-02-20 2019-09-27 夏普株式会社 头戴式显示器
CN110914741A (zh) * 2017-03-09 2020-03-24 亚利桑那大学评议会 自由形式棱镜和具有增加视场的头戴式显示器
US11910119B2 (en) 2017-06-26 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11315330B1 (en) 2017-07-25 2022-04-26 Facebook Technologies, Llc Sensor system based on stacked sensor layers
CN109298528A (zh) * 2017-07-25 2019-02-01 脸谱科技有限责任公司 传感器组件和头戴式显示器
CN109298528B (zh) * 2017-07-25 2022-06-14 脸谱科技有限责任公司 传感器组件和头戴式显示器
US11927475B2 (en) 2017-08-17 2024-03-12 Meta Platforms Technologies, Llc Detecting high intensity light in photo sensor
CN111263609A (zh) * 2017-09-05 2020-06-09 眼脑医疗股份有限公司 用于测量双眼对准的方法和系统
US11903645B2 (en) 2017-09-05 2024-02-20 Neurolens, Inc. Method and system for measuring binocular alignment
US11589745B2 (en) 2017-09-05 2023-02-28 Neurolens, Inc. Method and system for measuring binocular alignment
CN111263609B (zh) * 2017-09-05 2024-03-08 纽偌莱恩斯公司 用于测量双眼对准的方法和系统
CN111149040A (zh) * 2017-09-27 2020-05-12 奥迪股份公司 尤其用于车辆的显示装置以及带有这种显示装置的车辆
US11493758B2 (en) 2017-09-27 2022-11-08 Audi Ag Display device, in particular for vehicle, and vehicle having display device with volume hologram
CN111149040B (zh) * 2017-09-27 2022-06-28 奥迪股份公司 尤其用于车辆的显示装置以及带有这种显示装置的车辆
CN107942416A (zh) * 2017-11-15 2018-04-20 中国科学院长春光学精密机械与物理研究所 一种环带自由曲面光学元件及单片式光学系统
US11729525B2 (en) 2018-01-24 2023-08-15 Meta Platforms Technologies, Llc Digital pixel array with multi-stage readouts
CN110456505A (zh) * 2018-05-07 2019-11-15 脸谱科技有限责任公司 透明和反射性的照明源
CN110456505B (zh) * 2018-05-07 2022-05-31 脸谱科技有限责任公司 透明和反射性的照明源
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
CN110596889A (zh) * 2018-06-13 2019-12-20 托比股份公司 眼睛跟踪装置和制造眼睛跟踪装置的方法
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US11863886B2 (en) 2018-06-27 2024-01-02 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes
US11595598B2 (en) 2018-06-28 2023-02-28 Meta Platforms Technologies, Llc Global shutter image sensor
CN108957753A (zh) * 2018-07-25 2018-12-07 上海乐相科技有限公司 一种头戴式显示设备
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
CN113454504A (zh) * 2018-12-17 2021-09-28 脸谱科技有限责任公司 使用衍射光学元件的用于头戴式显示器（hmd）眼睛跟踪的全息图案生成
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
CN115202037A (zh) * 2019-03-06 2022-10-18 株式会社理光 光学装置、视网膜投影显示装置、头部安装型显示装置
US11877080B2 (en) 2019-03-26 2024-01-16 Meta Platforms Technologies, Llc Pixel sensor having shared readout structure
CN113646689A (zh) * 2019-04-16 2021-11-12 脸谱科技有限责任公司 头戴式显示器的场内光源的排除区域
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11956413B2 (en) 2019-08-26 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
CN112558751A (zh) * 2019-09-25 2021-03-26 武汉市天蝎科技有限公司 一种智能眼镜基于mems和光波导镜片的视线追踪方法
CN112558751B (zh) * 2019-09-25 2022-07-01 武汉市天蝎科技有限公司 一种智能眼镜基于mems和光波导镜片的视线追踪方法
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
WO2021082798A1 (zh) * 2019-10-31 2021-05-06 华为技术有限公司 一种头戴式显示设备
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
CN113272712A (zh) * 2019-12-13 2021-08-17 谷歌有限责任公司 作为移动增强现实显示器的紧凑型边沿安装的基于弯曲光学透视光导的眼部佩戴物
US11962928B2 (en) 2019-12-16 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
CN113093378A (zh) * 2020-01-08 2021-07-09 宏碁股份有限公司 眼球追踪装置和头戴式显示设备
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11415797B2 (en) * 2020-07-01 2022-08-16 Interface Technology (Chengdu) Co., Ltd. Eye tracking device and electronic device using same
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
CN113204119A (zh) * 2021-04-30 2021-08-03 歌尔股份有限公司 胶合镜组和头戴显示设备
US11956560B2 (en) 2021-10-07 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
CN114035335A (zh) * 2021-11-29 2022-02-11 京东方科技集团股份有限公司 显示装置及其控制方法、显示系统
CN114035335B (zh) * 2021-11-29 2023-08-08 京东方科技集团股份有限公司 显示装置及其控制方法、显示系统
US11960638B2 (en) 2022-11-22 2024-04-16 Meta Platforms Technologies, Llc Distributed sensor system

Also Published As

Publication number Publication date
AU2020250245A1 (en) 2020-11-05
US20170184856A1 (en) 2017-06-29
US10969592B2 (en) 2021-04-06
JP2015508182A (ja) 2015-03-16
US20210255464A1 (en) 2021-08-19
KR101931406B1 (ko) 2018-12-20
KR20210068614A (ko) 2021-06-09
IL282719B (en) 2022-02-01
JP2017182078A (ja) 2017-10-05
RU2014134394A (ru) 2016-03-20
NZ627582A (en) 2016-11-25
BR112014018154A2 (zh) 2017-06-20
EP3270194A1 (en) 2018-01-17
EP2805200B1 (en) 2017-09-13
US10598939B2 (en) 2020-03-24
RU2623708C2 (ru) 2017-06-28
WO2013112705A1 (en) 2013-08-01
AU2018250366B2 (en) 2020-07-09
US20180113316A1 (en) 2018-04-26
US11181746B2 (en) 2021-11-23
US20190235253A1 (en) 2019-08-01
KR102524232B1 (ko) 2023-04-20
CA2860701A1 (en) 2013-08-01
CN108333767A (zh) 2018-07-27
AU2016259369A1 (en) 2016-12-08
JP6744252B2 (ja) 2020-08-19
KR20140119144A (ko) 2014-10-08
AU2013212169B2 (en) 2016-09-08
EP3270194B1 (en) 2020-10-14
IL233502A0 (en) 2014-08-31
KR102264765B1 (ko) 2021-06-11
BR112014018154A8 (pt) 2017-07-11
CN104204904B (zh) 2018-05-18
EP2805200A1 (en) 2014-11-26
JP7179039B2 (ja) 2022-11-28
AU2016259369B2 (en) 2018-07-26
US9720232B2 (en) 2017-08-01
KR20180133937A (ko) 2018-12-17
JP6141584B2 (ja) 2017-06-07
CA2860701C (en) 2018-09-18
AU2013212169A1 (en) 2014-07-24
US20200278550A1 (en) 2020-09-03
AU2020250245B2 (en) 2022-10-06
IL253681B (en) 2018-02-28
US20140361957A1 (en) 2014-12-11
NZ719204A (en) 2017-11-24
US10606080B2 (en) 2020-03-31
IL257590B (en) 2021-05-31
US20220050299A1 (en) 2022-02-17
JP2020181214A (ja) 2020-11-05
IL253681A0 (en) 2017-09-28
AU2018250366A1 (en) 2018-11-08
IL257590A (en) 2018-04-30
IL233502A (en) 2017-08-31
IL282719A (en) 2021-06-30
EP2805200A4 (en) 2015-09-16
EP3761072A1 (en) 2021-01-06
US10613328B2 (en) 2020-04-07

Similar Documents

Publication Publication Date Title
CN104204904A (zh) 紧凑式眼睛跟踪头戴式显示器
Hua et al. A compact eyetracked optical see-through head-mounted display
Lyu Perceptual Driven Approach to the Design of Statically Foveated Head-Mounted Displays
Cheng Performance enhancement and size reduction of near-eye display

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant