CN104823152B - 使用视线追踪实现扩增实境 - Google Patents

使用视线追踪实现扩增实境 Download PDF

Info

Publication number
CN104823152B
CN104823152B CN201380062933.7A CN201380062933A CN104823152B CN 104823152 B CN104823152 B CN 104823152B CN 201380062933 A CN201380062933 A CN 201380062933A CN 104823152 B CN104823152 B CN 104823152B
Authority
CN
China
Prior art keywords
information
image
user
interest region
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380062933.7A
Other languages
English (en)
Other versions
CN104823152A (zh
Inventor
阿许温·史汪明纳桑
玛荷许·瑞玛屈安卓恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104823152A publication Critical patent/CN104823152A/zh
Application granted granted Critical
Publication of CN104823152B publication Critical patent/CN104823152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Abstract

本发明揭示涉及使用视线追踪实现扩增实境应用的方法和设备。根据本发明的一种示范性方法包含对用户显示可由所述用户观看的场景的图像；接收指示所述用户的视线的信息；基于所述视线信息确定所述图像内的所关注区域；基于所述所关注区域确定图像区段；起始对所述图像区段的对象辨识过程；以及显示所述对象辨识过程的结果。

Description

使用视线追踪实现扩增实境
技术领域
本文中揭示的标的物涉及具有后置相机的电子装置，且更明确地说，涉及用于供(例如)移动电子装置中的扩增实境(AR)使用的方法、设备和系统。
背景技术
移动计算装置(移动装置)给用户提供能够经由无线通信系统存取多种信息。作为实例，经启用用于供无线蜂窝式网络和/或无线局域网(诸如，Wi-Fi或WiMAX)使用的移动装置给用户提供能够存取大量的因特网信息资源。移动装置也可使用户能够探究提供与计算机产生的图形内容合并或由计算机产生的图形内容扩增的目标对象的实时视图的扩增实境环境。举例而言，驻留于移动装置机上的相机可与图形显示器一起用以给使用者呈现涉及在移动装置的相机视图中捕获的所关注对象的补充信息。此补充信息可形成重叠在移动装置的相机视图中捕获的现实世界对象的信息层。此功能性通常被称作扩增实境(AR)视图模式。在AR视图中，在相机视图中捕获的对象可转变到与显示屏对准以允许用户更容易地存取信息层。
移动装置可具有AR模式视图，且可在图形显示屏上呈现AR目标对象。在一些情形中，对用户显示的AR目标对象的数目可广泛。AR目标对象可在观看屏幕上创造混杂，这可使用户的观看分心，且可对移动装置的处理能力提出要求。
发明内容
根据本发明的一种用于使用视线追踪实现扩增实境应用的方法的实例包含对用户显示可由所述用户观看的场景的图像，接收指示所述用户的视线的信息，基于所述视线信息确定在所述图像内的所关注区域，使对象标签将基于所述所关注区域的位置显示于所述场景的图像中，和如果所述所关注区域留在所述对象标签上或周围，那么显示扩增实境信息。
所述方法的实施方案可包含以下特征中的一或多者。对用户显示的图像可用耦合到移动装置的第一相机捕获，且可基于用耦合到移动装置的第二相机捕获的图像来确定视线信息。如果所关注区域不留在对象标签上或周围，那么隐藏对象标签。后置相机或视线追踪工具可用以接收视线信息。对象标签可为图标。所关注区域的图形表示可显示于图像上。图形表示可为一或多个圆或其他图形图标。可用前置相机捕获图像。
根据本发明的一种用于使用视线追踪实现对象辨识的方法的实例包含对用户显示可由所述用户观看的场景的图像，接收指示所述用户的视线的信息，基于所述视线信息确定在所述图像内的所关注区域，基于所述所关注区域确定图像区段，起始对所述图像区段的对象辨识过程，和显示所述对象辨识过程的结果。
所述方法的实施方案可包含以下特征中的一或多者。起始可包含执行所述对象辨识过程。起始可包含将所述图像区段提供到远程服务器和从所述远程服务器接收对象辨识结果，使得所述显示可包含基于所述对象辨识结果显示扩增实境信息。从所述远程服务器接收姿态信息，和基于所述姿态信息显示所述扩增实境信息。可用耦合到移动装置的第一相机捕获所述图像，且可基于用耦合到所述移动装置的第二相机捕获的图像确定所述视线信息。对象辨识过程的结果可包含显示扩增实境信息。如果所关注区域留在所述图像区段上或周围，那么显示所述扩增实境信息。显示所述对象辨识过程的结果可包含显示对象标签。如果所关注区域留在所述对象标签上或周围，那么显示所述扩增实境信息。显示图像区段边界线。
根据本发明的一种用于使用视线追踪显示基于位置的扩增实境信息的方法的实例包含在移动装置上显示图像，基于所述移动装置的位置确定基于位置的扩增实境对象，在所述图像中显示图标，其中所述图标在所述图像内的位置是基于与所述基于位置的扩增实境对象相关联的位置信息或在所述图像中可见的现实世界对象的位置，基于用户的视线确定在所述图像内的所关注区域，和如果所述所关注区域与所述图标的所述位置重叠，那么在所述移动装置上显示与所述基于位置的扩增实境对象或所述现实世界对象相关联的扩增实境信息。
所述方法的实施方案可包含以下特征中的一或多者。可用在所述移动装置上的前置相机获得图像。可使用在所述移动装置上的后置相机确定用户的视线。图像可为在应用程序中显示的文件。可显示所关注区域的图形表示。
根据本发明的一种方法的实例包含在移动装置上显示由所述移动装置的第一相机捕获的第一图像，基于由所述移动装置的第二相机捕获的第二图像确定所述移动装置的用户的注视，基于所述确定的注视确定在所述第一图像内的所关注区域，和至少部分基于所述确定的所关注区域在所述移动装置处执行与扩增实境功能相关联的一或多个动作。
所述方法的实施方案可包含以下特征中的一或多者。所述一或多个动作可包含显示与所述第一图像中实质上在所述所关注区域内的对象相关联的扩增信息。所述一或多个动作可包含追踪所述第一图像中实质上在所述所关注区域内的对象。所述一或多个动作可包含关于所述第一图像中实质上在所述所关注区域内的对象执行的对象辨识。扩增实境功能可进一步基于所述移动装置的位置。
根据本发明的用于使用图像分段实现对象追踪的方法的实例包含对用户显示可由所述用户从第一相机定向观看的场景的第一图像，接收指示所述用户的视线的信息，基于所述视线信息确定在所述第一图像内的所关注区域，基于所述所关注区域确定图像区段，对所述图像区段执行对象追踪过程以确定所述图像区段的第一姿态，和基于所述图像区段的所述第一姿态显示在第一AR姿态中的扩增实境对象。
所述方法的实施方案可包含以下特征中的一或多者。对所述用户显示可由所述用户从第二相机定向观看的所述场景的第二图像，使得所述第二图像包含所述图像区段，对所述图像区段执行所述对象追踪过程以确定所述图像区段的第二姿态，和基于所述图像区段的所述第二姿态显示在第二扩增实境姿态中的所述扩增实境对象。执行所述对象追踪过程可包含将所述图像区段提供到远程服务器。
根据本发明的用于使用视线追踪实现对象辨识的方法的实例包含对用户显示可由所述用户观看的场景的图像，接收指示所述用户的视线的信息，基于所述视线信息确定在所述图像内的所关注区域，基于所述所关注区域确定图像区段，将所述图像区段提供到远程服务器，从所述远程服务器接收对象辨识结果，和基于所述对象辨识结果显示扩增实境信息。在一实施方案中，所述方法可从所述远程服务器接收姿态信息，且基于所述姿态信息显示所述扩增实境信息。
根据本发明的一种用于使用视线追踪实现对象辨识的装置的实例包含：存储器；至少一处理器，其耦合到所述存储器且经配置以对用户显示可由所述用户观看的场景的图像，接收指示所述用户的视线的信息，基于所述视线信息确定在所述图像内的所关注区域，基于所述所关注区域确定图像区段，起始对所述图像区段的对象辨识过程，和显示所述对象辨识过程的结果。
根据本发明的一种用于使用视线追踪显示基于位置的扩增实境信息的装置的实例包含：存储器；至少一处理器，其耦合到所述存储器且经配置以在移动装置上显示器图像，基于所述移动装置的位置确定基于位置的扩增实境对象，在所述图像中显示图标，其中所述图标在所述图像内的位置是基于与所述基于位置的扩增实境对象相关联的位置信息或在所述图像中可见的现实世界对象的位置，基于用户的视线确定在所述图像内的所关注区域，和如果所述所关注区域与所述图标的所述位置重叠，那么在所述移动装置上显示与所述基于位置的扩增实境对象或所述现实世界对象相关联的扩增实境信息。
根据本发明的一种用于使用视线追踪实现对象辨识的装置的实例包含用于对用户显示可由所述用户观看的场景的图像的装置，用于接收指示所述用户的视线的信息的装置，用于基于所述视线信息确定在所述图像内的所关注区域的装置，用于基于所述所关注区域确定图像区段的装置，用于起始对所述图像区段的对象辨识过程的装置，和用于显示所述对象辨识过程的结果的装置。
基于本发明的一种用于使用视线追踪显示基于位置的扩增实境信息的装置的实例包含：用于在移动装置上显示器图像的装置，用于基于所述移动装置的位置确定基于位置的扩增实境对象的装置，用于在所述图像中显示图标的装置，其中所述图标在所述图像内的位置是基于与所述基于位置的扩增实境对象相关联的位置信息或在所述图像中可见的现实世界对象的位置，用于基于用户的视线确定在所述图像内的所关注区域的装置，和用于如果所述所关注区域与所述图标的所述位置重叠那么在所述移动装置上显示与所述基于位置的扩增实境对象或所述现实世界对象相关联的扩增实境信息的装置。
根据本发明的一种非暂时性计算机存储媒体的实例包含处理器可执行指令，其经配置以使处理器对用户显示可由所述用户观看的场景的图像，接收指示所述用户的视线的信息，基于所述视线信息确定在所述图像内的所关注区域，基于所述所关注区域确定图像区段，起始对所述图像区段的对象辨识过程，和显示所述对象辨识过程的结果。
根据本发明的非暂时性计算机存储媒体的实例包含处理器可执行指令，其经配置以使处理器在移动装置上显示图像，基于所述移动装置的位置确定基于位置的扩增实境对象，在所述图像中显示图标，其中所述图标在所述图像内的位置是基于与所述基于位置的扩增实境对象相关联的位置信息或在所述图像中可见的现实世界对象的位置，基于用户的视线确定在所述图像内的所关注区域，和如果所述所关注区域与所述图标的所述位置重叠，那么在所述移动装置上显示与所述基于位置的扩增实境对象或所述现实世界对象相关联的扩增实境信息。
本文中描述的项目和/或技术可提供以下能力中的一或多者以及未提到的其它能力。场景的图像可由移动装置的前置相机捕获，且用户的视线可由在所述移动装置上的后置相机追踪。可基于用户的视线的位置确定所关注区域。可基于所关注区域的位置起始图像分段过程。可对图像区段执行对象辨识。可基于所关注区域的位置和逗留时间呈现扩增实境信息。可显示对象标签。可提供其它能力，且不是根据本发明的每个实施方案都必须提供所论述的能力中的任一者，更不用说全部。另外，通过除了所提到的手段之外的手段来达成上文提到的效果可为可能的，且所提到的项目/技术可能不一定产生所提到的效果。
附图说明
参考以下诸图描述非限制性且非详尽性方面，其中除非另外指定，否则类似参考标号贯穿各图指类似部分。
图1说明并有在实践本发明的实施例过程中使用的装置的部分的示范性计算机系统。
图2为执行本发明的实施例的装置的示范性图。
图3为用于用移动装置上的后置相机执行视线跟踪的示范性现有技术过程流程。
图4为使用视线追踪识别用移动装置上的前置相机捕获的图像上的所关注区域的示范性图解。
图5为与AR对象标签混在一起的图像的示范性图解。
图6A为具有随用户注视的位置而变来显示的AR对象标签的图像的示范性图解。
图6B为图像的示范性图解，其中用户的注视位于AR对象标签上。
图7为图像的示范性图解，其中基于位置的扩增信息在显示器上混作一团。
图8为具有指示基于位置的扩增信息在何处可用的图标的图像的示范性图解。
图9为经配置以基于视线追踪执行图像分段和对象辨识的装置的示范性图解。
图10为通过视线追踪实施方案的群组视频会议的图解。
图11为过程流程图，其说明用于基于视线位置展示扩增对象的示范性过程。
图12为过程流程图，其说明用于在视线位置的领域中执行对象辨识的示范性过程。
图13为过程流程图，其说明用于显示用于基于位置的扩增实境对象的图标的示范性过程。
具体实施方式
近来，许多移动装置具有多个相机——前置相机、后置相机等，且未来，更多得多的相机可包含于移动装置中。在多数扩增实境应用中，当前置相机在看图像对象时，后置相机可指向正操作移动装置的用户。例如，后置相机可捕获用户眼睛的图像，其可用以确定在为用户注视下的当前对象的显示屏上的位置。此功能性通常被称作视线追踪。视线追踪可用以评估用户对显示屏上的图像的兴趣。
涉及使用视线追踪实现扩增实境应用的实施方案揭示于行动计算情境中。例如建筑物、路标、杂志广告、广告牌、证件和其它现实世界2D和3D对象的目标对象可在移动装置的AR视图模式中用前置相机来捕获。可用由在移动装置上的背部相机捕获的信息确定用户的视线。例如，可通过应用有效分段和对象辨识技术获得对象区域和/或对象的电子表示来确定扩增实境信息。对象辨识管线可基于由用户的视线界定的所关注区域。所关注区域可通过有效分段算法来确定。这些区段可包括多个(关键)点，其中其相关联的描述符是从在所关注区域内的目标对象的AR视图获得。图像区段可基于例如色彩、纹理、边界和强度的图像方面。分段的粗略度可取决于移动装置或远程服务器的应用或处理能力。用户可基于可用处理能力或功率要求来选择分段算法以改善操作效能。支持扩增实境环境的信息层可由移动装置用户通过应用可附着至提取的目标对象的这些电子表示的一或多个呈现区和/或活化区来定义。
出于定义媒体内容项目呈现于扩增实境环境内的位置(例如，位置及/或定向)的目的，用于媒体内容项目的呈现区可由用户部署到扩增实境环境。出于定义用于可响应于用户视线位置和/或估计的移动装置位置及/或定向实现和/或起始媒体内容项目在相关联的呈现区处的呈现的方式和/或时间的条件的目的，用于媒体内容项目的活化区可由用户部署于扩增实境环境内。活化区可在用户的视线内以起始从扩增实境环境到非扩增实境视图的过渡(即，应用)。过渡可包含用户的视线逗留在活化区上的时间的阶段。
图1说明并有在实践本发明的实施例过程中使用的装置的部分的示范性计算机系统。如图1中所说明的计算机系统可作为下文描述的计算机化装置的部分而并入。例如，计算机系统100可表示移动装置或智能电话的组件中的一些。移动装置可为具有如相机的输入感觉单元的任何计算装置，且还可包含显示单元。移动装置的实例包含(但不限于)视频游戏控制台、平板计算机、智能电话和任何其它手持型装置。图1提供计算机系统100的一个实施例的示意性图解，所述计算机系统可执行如本文中所描述的由各种其它实施例提供的方法，且/或可充当主机计算机系统、远程查询一体机/终端、销售点装置、移动装置、机顶盒及/或计算机系统。图1仅打算提供对各种组件的一般化说明，可在适当时利用所述组件中的任一者或全部。因此，图1广泛地说明可以相对分开或相对较集成方式实施个别系统元件的方式。
计算机系统100经展示为包括硬件元件，所述硬件元件可经由总线102(或可在恰当时以其他方式通信)电耦合。硬件元件可包含一或多个处理器104，包含(不限于)一或多个通用处理器和/或一或多个专用处理器(例--数字信号处理芯片、图形加速处理器和/或类似者)；一或多个输入装置108，其可包含(但不限于)一或多个相机、传感器(包含惯性传感器)、鼠标、键盘和/或类似者；和一或多个输出装置110，其可包含(但不限于)显示单元，例如，图4到10的装置显示器。除了输入装置108外，如图2中所描绘的前置相机204和后置相机206也可分别实施为第一相机120和第二相机122。此外，在一些实施例中，输入与输出装置可集成，例如，在触摸屏或电容性显示器中。
计算机系统100可进一步包含以下各者(和/或与以下各者通信)：一或多个非暂时性存储装置106，所述非暂时性存储装置可包括(但不限于)本地和/或网络可存取的存储装置，和/或可包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)等固态存储装置，其可为可编程的、可快闪更新的和/或类似者。此类存储装置可经配置以实施任何恰当数据存储，包含(但不限于)各种文件系统、数据库结构和/或类似者。装置存储可用于本文中论述的许多实施例中。
计算机系统100还可包含通信子系统112，其可包含(但不限于)调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置和/或芯片组(例如，BluetoothTM装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)和/或类似者。通信子系统112可准许与网路(例如，举一个实例，下文所描述的网络)、其它计算机系统和/或本文所描述的任何其它装置交换数据。在许多实施例中，计算机系统100将进一步包括非暂时性工作存储器114，所述非暂时性工作存储器可包含RAM或ROM装置，如上文所描述。
计算机系统100也可包括展示为当前位于工作存储器114内的软件元件，包含操作系统116、装置驱动程序、可执行库和/或例如一或多个应用程序118的其他代码，其可包括由各种实施例提供的计算机程序，和/或可经设计以实施由其它实施例提供的方法和/或配置由其它实施例提供的系统，如本文中所描述。仅仅作为实例，关于上文所论述的方法描述的一或多个程序可实施为可由计算机(和/或计算机内的处理器)执行的代码和/或指令；接着，在一方面中，这些代码和/或指令可用以配置和/或调适通用计算机(或其他装置)以根据所描述方法执行一或多个操作。
一组这些指令和/或代码可存储在计算机可读存储媒体(例如，上文所描述的存储装置106)上。在一些情况下，存储媒体可并入于例如计算机系统100的计算机系统内。在其它实施例中，存储媒体可与计算机系统分开(例如，可装卸式媒体，例如，压缩光盘)，和/或提供于安装包中，使得存储媒体可用以编程、配置及/或调适其上存储有指令/代码的通用计算机。这些指令可呈可由计算机系统100执行的可执行代码的形式，和/或可呈源和/或可安装代码的形式，所述源和/或可安装代码在编译和/或安装于所述计算机系统100上后(例如，使用多种通常可用编译程序、安装程序、压缩/解压缩公用程序等中的任一者)，接着呈可执行代码的形式。
可根据特定要求进行实质性变化。举例来说，也可使用定制硬件，和/或可将特定元件实施于硬件、软件(包含便携式软件，例如，小程序等)或两者中。另外，可使用到例如网络输入/输出装置的其它计算装置的连接。
一些实施例可使用计算机系统(例如，计算机系统100)来执行根据本发明的方法。例如，所描述方法的程序中的一些或全部可由计算机系统100响应于处理器104执行工作存储器114中所含有的一或多个指令(其可并入到操作系统116和/或其它代码中，例如，应用程序118)的一或多个序列来执行。此些指令可从另一计算机可读媒体(例如，存储装置106中的一或多者)读出到工作存储器114内。仅举例来说，工作存储器114中含有的指令的序列的执行可使处理器104执行本文中所描述的方法的一或多个程序。
如本文中所使用，术语“机器可读媒体”和“计算机可读媒体”是指参与提供使机器以特定方式操作的数据的任何媒体。在使用计算机系统100实施的实施例中，在将指令/代码提供到处理器104以用于执行中可涉及各种计算机可读媒体，和/或各种计算机可读媒体可用以存储和/或载运此类指令/代码(例如，作为信号)。在许多实施方案中，计算机可读媒体为物理和/或有形存储媒体。此媒体可呈许多形式，包含(但不限于)非易失性媒体、易失性媒体和传输媒体。非易失性媒体包含(例如)光盘和/或磁盘，例如，存储装置106。易失性媒体包含(但不限于)例如工作存储器114的动态存储器。传输媒体包含(但不限于)同轴电缆、铜线和光纤，包含包括总线102的电线，以及通信子系统112的各种组件(和/或通信子系统112提供与其它装置的通信所借助于的媒体)。因此，传输媒体还可呈波的形式(包含(但不限于)无线电、声波和/或光波，例如，在无线电波和红外线数据通信期间产生的那些波)。
常见形式的物理和/或有形计算机可读媒体包含(例如)软性磁盘、柔性磁盘、硬盘、磁带或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪EPROM、任何其它存储器芯片或盒带、如下文所描述的载波，或计算机可从其读取指令和/或代码的任何其它媒体。
在将一或多个指令的一或多个序列载运到处理器104以用于执行中可涉及各种形式的计算机可读媒体。仅以实例来说明，最初可将指令载运于远程计算机的磁盘及/或光学光盘上。远程计算机可将指令加载到其动态存储器中，并经由传输媒体将指令作为信号进行发送以由计算机系统100接收和/或执行。根据本发明的各种实施例，可呈电磁信号、声学信号、光信号和/或类似者的形式的这些信号皆为可在其上编码指令的载波的实例。
通信子系统112(和/或其组件)一般将接收信号，且总线102可接着将信号(和/或由信号载运的数据、指令等)载运到工作存储器114，处理器104从所述工作存储器检索指令并执行指令。由工作存储器114接收的指令可任选地在由处理器104执行之前或之后存储于非暂时性存储装置106上。
上文所论述的方法、系统和装置为实例。各种实施例可在恰当时省略、取代或添加各种程序或组件。举例来说，在替代配置中，所描述的方法可以不同于所描述的次序来执行，和/或可添加、省略和/或组合各种阶段。并且，可在各种其它实施例中组合关于某些实施例描述的特征。可以类似方式组合实施例的不同方面和要素。并且，技术演进，且因此，许多要素为实例，其并不将本发明的范围限于那些特定实例。
在描述中给出特定细节以提供对实施例的透彻理解。然而，可在无这些特定细节的情况下实践实施例。举例来说，已在无不必要的细节的情况下展示熟知电路、过程、算法、结构和技术以便避免混淆所述实施例。此描述仅提供实例实施例，且不希望限制本发明的范围、适用性或配置。相反地，实施例的前述描述将为所属领域的技术人员提供用于实施本发明的实施例的启迪性描述。可在不脱离本发明的精神和范围的情况下对要素的功能和布置做出各种改变。
并且，将一些实施例描述为以流程图或框图形式描绘的过程。尽管每一流程图或框图可将操作描述为顺序过程，但许多操作可并行地或同时地来执行。此外，操作的次序可以重新排列。过程可具有图中未包含的额外步骤。此外，可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施方法的实施例。当以软件、固件、中间件或微码实施时，执行相关联任务的程序代码或代码段可存储在例如存储媒体的计算机可读媒体中。处理器可执行相关联的任务。
已描述若干实施例，可在不脱离本发明的精神的情况下使用各种修改、替代构造和等效物。例如，以上元件可仅为较大系统的组件，其中其它规则可优先于本发明的应用或以其它方式修改本发明的应用。并且，可在考虑以上要素之前、期间或之后进行许多步骤。因此，以上描述并不限制本发明的范围。
图2为执行本发明的实施例的装置200的示范性图。在一个实施例中，图2可表示使用参看图1描述的装置的一或多个组件的移动台。然而，本发明的实施例不限于使用智能电话或平板计算机，且可使用具有类似于图1的能力且适合于执行本发明的实施例的任一装置。这些装置可包含移动装置、数码相机、摄像机、平板计算机、PDA或任何其它类似装置。图2表示智能电话的前侧和背侧。电话包含显示器208和第一相机206。显示器208可为输出装置110，如参看图1所论述。耦合到智能电话的前侧且引导回到用户的第一相机可被称作后置相机。智能电话的后侧包含第二相机204。耦合到智能电话的后侧且引导离开用户的第二相机可被称作前置相机。后置相机可面向装置的用户，且前置相机可背对装置的用户。前置相机和后置相机皆可为输入装置108的实施方案，或可实施为第一相机120和第二相机122，如参看图1所论述。图2中的装置200仅为示范性，且并非限制。可使用具有多个相机和不同定向的其它装置。例如，装置200可为头戴式显示器(HMD)，且可具有不同外观尺寸。装置200可为包含显示器和多个光学路径的摄影装备(例如，数码相机或录像机)。还可使用其它装置。在一些实施例中，第一相机120和第二相机122经安置以便关于彼此成角度，例如，当将相机集成到移动装置的边缘以及在移动装置的背面和/或前面存在相机时。
参看图3，展示用于用移动装置上的后置相机执行视线跟踪的示范性现有技术过程流程300。然而，过程300仅为示范性且并非限制性。可更改过程300，例如，通过添加、移除或重新排列阶段。可使用用于接收视线追踪信息的其它过程。在阶段302，移动装置200可利用后置相机206将视频帧提供到一或多个处理器104。过程可包含利用表面检测算法识别用户的脸以将眼睛的坐标传送到眼睛侦测算法306的可选步骤304。视线追踪信息可基于用户的虹膜的相对位置。例如，眼睛检测算法可将眼睛的坐标传送到在阶段308处的虹膜检测算法。可将虹膜的坐标传送到预处理算法以在阶段310从眼睛提取关键特征。例如，可映射虹膜的大小和点，且可选择固定大小的区段。可使用所述区段内的每一像素的亮度，且将值输入到在阶段312处的学习算法。通过实例，可将神经网络用于学习算法。在实例中，神经网络为具有对称S型激发函数的基本双层网络。可使用额外层来增大神经网络的准确度。在阶段314，可将两个输出神经元用于(x,y)屏幕坐标。屏幕坐标可为用于可由在装置100上运行的应用程序使用的所关注区域的基础。
参看图4，进一步参看图1和2，展示使用视线追踪识别用装置402上的前置相机捕获图像上的所关注区域的示范性图解。在一实施例中，装置402为移动装置100。装置402包含前置相机(未图示)、后置相机406和显示器408。显示器408中的图像包含路标404、背景灯增强区410、所关注区域的图形表示412和所关注区域414。在操作中，用户可将前置相机引向例如路标404的实时场景。可在相机视图或AR视图模式中将图像呈现于显示器408上。图像也可存储在存储器106中。后置相机406可用以基于视线追踪算法(例如，图3)确定所关注区域414。在一实施例中，显示器408可启动背景灯增强区410以帮助照亮用户的眼睛。例如，可将显示器408的区设定到亮的白色，以朝向用户的脸和眼睛提供更多光。在一实施例中，区域410可在图像周围形成框。可使用例如圆圈或亮点的其它形状和图案，或在显示器408的角落中的不同形状。增强区410的形状可用以在眼睛凝视过程300中在阶段310帮助相机406检测关键特征。
在一实施例中，所关注区域414可由例如一或多个圆圈412的图形表示表示于显示器408上以对用户提供回馈。圆圈412的直径可为用户的注视留在区域中的时间量的函数(例如，时间愈多，则直径愈大)。可使用多个圆圈在用户的注视在显示器408上移动时创造追踪效应。圆圈仅为示范性且并非限制，因为可使用其它形状或指示。
可将所关注区域414的位置用作用于图像分段算法的种子位置。例如，分段算法可确定目标对象(例如，路标404)的边界，且随后图像处理可限于由所述区段界定的区域。分段的使用可减少对于图像识别所需要的处理功率。结果，当所关注区域414留在含有AR目标对象(例如，路标404)的区域中时，装置402可经配置以确定图像区段，对所述区段执行图像辨识，且呈现与图像辨识相关联的任何AR信息。在实例中，AR信息可为表示在图像上显示的额外数据的AR对象标签。在一实施例中，如果所关注区域414留在显示器408的含有AR对象标签的区域上，那么装置402可经配置以呈现额外AR信息或执行另一应用程序(例如，道路地图或导航应用程序)。如果所关注区域移动到另一位置，那么AR信息可从显示器渐渐褪去。
参看图5，进一步参看图4，展示与AR对象标签504的集合混在一起的图像502的示范性图解。在此实例中，装置402为移动装置100。装置402包含前置相机(未图示)、后置相机406和显示器408。显示器408中的图像包含图像502和若干对象标签504。图像502可基于来自前置相机(未图示)的输入，或从存储器检索的图像文件。个别对象标签中的每一者将AR信息与图像502的至少一部分相关联的指示提供到用户。对象标签504可为基于装置402的地理位置从服务器检索的基于位置的信息。在一实施例中，对象标签504可为图像分段和辨识过程的结果，或与图像文件(例如，元数据)相关联。图5中提出的实例不取决于接收到用户的视线追踪信息。作为不知晓用户感兴趣的图像的区域的结果，装置402可同时显示所有对象标签504。因此，图像502与AR对象标签504的集合混在一起，这可使图像的内容的用户观看混淆不清。
参看图6A，进一步参看图5，展示具有随用户的注视的位置而显示的AR对象标签504-1的图像502的示范性图解。图6A继续图5的实例，并有用户的视线信息。显示器408包含图像502、单一对象标签504-1、包含帝国大厦(Empire State Building)505的图像区段和通过处理用户的视线而确定的所关注区域506。与图5中展示的若干对象标签504大不相同，单一对象标签504-1经基于其与所关注区域506的接近性而展示。装置402可经配置以利用后置相机406和视线追踪算法(即，存储在存储器114中)基于用户的注视的位置而识别所关注区域506。若干对象标签504可保持隐藏，直到所关注区域506越过与AR目标对象相关联的位置或在所述位置附近。在此实例中，如图6A中所描绘，“帝国大厦(Empire StateBuilding)”文字为对象标签，且可随着用户的注视越过图像的含有帝国大厦的区段或在所述区段附近时出现。可用边界线或其它图形增强(例如，加亮、色彩改变、升高)来突出显示图像区段以指示扩增实境信息可用。然而，在图6A中，此突出显示未加以说明，亦非包围帝国大厦的区段线。在一实施例中，对象标签的位置维持在相关联的图像区段上或附近的位置，使得如果图像移动(例如，当相机的定向改变时)，那么对象标签将移动。所关注区域506与对象标签504-1之间的距离可基于笛卡耳坐标系统(例如，显示器408上的像素)。图像分段和辨识过程可用以辨识AR目标对象，且接着进行与一或多个对象标签的关联。在一实施例中，对象标签504-1可指示额外扩增实境信息可用。在图6A的实例中，如果用户延长其在图像的含有帝国大厦或“帝国大厦(Empire State Building)”文字(即，对象标签)的区段上的注视(即，留在其上)，那么可将额外扩增实境信息对用户呈现。如先前所描述，扩增实境信息可为(但不限于)呈现于屏幕上的额外信息，例如，媒体档案、超链接、GUI对象、互动式图标、执行一或多个应用程序或如此项技术中已知的其它扩增实境特征。
参看图6B，进一步参看图6A，展示图像502'的示范性图解，其中用户的注视位于AR对象标签504-1上。显示器408含有移动实时图像502'、所关注区域506和对象标签504-1。在实时图像模式(即，相机模式)中，用户可能努力保持装置402稳定。作为移动装置402的结果，显示器408上的图像也可将位置移位。在图6B中描绘的实例中，用户移动装置402，这使图像502移位且变为502'。移动图像502'可在目标对象的辨识中和在确定用户的注视是否正留在目标对象上过程中给用户和图像处理算法带来困难。在一实施例中，在含有帝国大厦505的图像区段的初始辨识后，可显示对象标签504-1。对象标签504-1的位置可固定于相对于显示器408保持恒定的位置中。结果，对象标签504-1将显得保持固定于显示器408上的位置中，即使图像502'移动(即，当用户改变前置相机的定向时)。用户可接着留在对象标签504-1上的所关注区域506以存取额外扩增实境信息。对象标签504-1将保留的持续时间可基于预设定时间周期(例如，1秒、2秒、5秒)，或基于例如侦测另一目标对象的动态事件，或确定用户并未正看着显示器408。在一段持续时间内将对象标签504-1放置于显示器408上的固定位置中的能力可改善视线追踪算法的效率，其中可减少针对漂移注视(例如，归因于目标对象在显示器408中的相对移动)的连续调整。
参看图7，进一步参看图4，展示图像702的示范性图解，其中基于位置的扩增信息在显示器上混作一团。显示器408展示具有若干对象标签704的图像702。在一实施例中，装置402可含有能够经由卫星定位系统(SPS)天线接收卫星定位系统(SPS)信号的SPS接收器。SPS接收器也可完全或部分地处理卫星定位系统(SPS)信号，且使用SPS信号确定装置400的位置。在一些实施例中，也可利用处理器104、存储器114、DSP和专业化处理器(未图示)与SPS接收器一起来完全或部分地处理SPS信号，和/或计算装置402的位置。例如谷歌街景(Google StreetView)和Yelp Monocle的现有应用程序可利用位置信息基于装置402的位置和定向显示对象标签。例如，如图7中所描绘，当用户将装置402的前置相机指向街景时，系统可利用位置和头条信息来搜索数据库且在显示器408上呈现若干对象标签704。对象标签704可出现在对应的商业或名胜的大致位置中。随着这些应用程序的实施方案成长，这些街景可变得混杂有潜在对象标签，如图7中所描绘。
参看图8，进一步参看图7，具有指示基于位置的扩增信息可用的图标804的图像802的示范性图解。显示器408展示具有若干对象标签图标804、特定图标804-1、所关注区域806和第二对象标签808的图像802。在一实施例中，图7中所描绘的文字标签704可由对象标签图标804替换以帮助减少图像802中的混杂。例如，如图8中所描绘，对象标签图标804为闪电且位于与扩增实境信息相关联的商业或名胜的最接近位置中。对象标签图标804仅为示范性，且并非限制，因为可使用多种不同形状、对象和大小来帮助减少图像802上的混杂。
除了显示对象标签图标804外，装置402可利用后置相机406执行视线追踪且基于用户的注视确定所关注区域806。在此实例中，当用户注视于特定对象标签图标804-1上或附近时，第二对象标签808可出现。在图8中的实例中，用户留在与电影院和百老汇剧“妈妈咪呀(Momma Mia)”相关联的对象标签图标804-1上。当所关注区域806留在对象标签图标804-1上时，可显示第二对象标签808以对用户呈现额外信息或选择。在一实施例中，第二对象标签808不需要地理参考图像802，且可保持处于同一屏幕位置中，而与前置相机的定向无关。用户可接着将其注视留在第二对象标签808的部分上以存取额外扩增实境信息。例如，用户可留在第二对象标签808的“评论”文字上且装置402可以具有所述剧的当前评论的弹出窗口来反应。用户也可将其注视留在第二对象标签808的“门票”文字上，且装置402可转变到门票订购应用程序。第二对象标签808中的文字栏为示范性，因为可使用其它信息和应用程序。另外，用于呈现扩增实境信息的触发可基于屏幕位置和/或用户的注视的地理参考坐标(例如，x,y,z坐标)。第二对象标签808中的文字栏的内容也可触发额外扩增实境信息的呈现。例如，装置402可经配置以识别用户的所关注区域806内的字词或符号，且可将那个信息用作到扩增实境内容数据库的搜索输入。
参看图9，进一步参看图4，展示基于视线追踪执行图像分段和对象辨识的示范性图解。装置402包含前置相机(未图示)、后置相机406和显示器408。显示器408中的图像展示图像902包含散布在图像上的若干现实世界对象。在此实例中，现实世界对象包含第一DVD情况904-1、第二DVD情况904-2、第三DVD情况904-3和第四DVD情况904-1。图像902还包含所关注区域906、图像区段908和示范性惊叹号对象标签910。在操作中，装置402可经定位使得前置相机(未图示)捕获现实世界对象的图像902。装置402可在相机视图模式、AR模式中，或图像可基于先前存储在存储器中的文件。当用户注视图像902时，后置相机406可供视线追踪过程300用以确定所关注区域906。所关注区域906的位置可用以起始两步骤扩增实境过程。在第一步骤中，所关注区域906的位置用以确定区段908。在第二步骤中，对区段908执行图像辨识过程且可呈现相关联的扩增实境信息。例如，当所关注区域906留在第一DVD情况904-1上时，装置402可起始图像分段算法以确定图像区段908。在一实施例中，可将分段过程的结果显示为在所述区段周围的突出显示边界(例如，如图9中所描绘的图像区段边界线)。装置402可接着针对所述区段执行一或多个对象检测管线算法。在一实施例中，装置402可将区段图像信息发送到远程服务器，且所述远程服务器可针对所述区段执行对象检测算法。在任一实施例中，对象检测算法的结果可指示对象标签和额外扩增实境信息可呈现于显示器408上。例如，对象检测的结果可指示与第一DVD情况904-1相关联的扩增实境信息存在且可用于显示。在一实施例中，当所关注区域906留在区段908上时，可显示扩增实境信息。在一实施例中，可首先显示对象标签(例如，惊叹号对象标签910)以对用户报警扩增实境信息可用。如果所关注区域906留在显示的对象标签(例如，惊叹号对象标签910)上，那么可接着显示扩增实境信息。
区段908也可作为输入提供到扩增实境追踪算法，使得显示的扩增信息遵随(例如，追踪)目标对象。处理器104可经配置以对区段908执行姿态估计和/或追踪算法。在操作中，追踪算法可允许将呈现的扩增实境信息显示于与前置相机204的位置及定向对应的视图中。例如，当装置202处于第一定向中时，可在第一AR姿态中显示扩增实境对象。当装置202处于第二定向中时，可在第二AR姿态中显示扩增对象。将区段908提供到对象检测和/或追踪算法可减少检测和/或追踪对象所涉及的计算复杂度的量，且因此可减少用于扩增实境应用程序的功率耗用。在一实施例中，可对远程服务器执行对象检测算法。例如，移动装置可确定图像区段且将图像区段数据发送到远程服务器。远程服务器可经配置以对图像区段执行对象辨识过程，和任选地，对象追踪过程。远程服务器可将对象辨识过程的结果(和任选地，姿态信息)返回到移动装置。识别区段908且将区段908发送到远程服务器的过程可减少传输到远程服务器(例如，网络、云端)的数据的量。
作为实例，且非限制，所关注区域906可定义用于图像分段算法的种子点，或其可定义对象的中心，或其可建立图像的前景(见以引用的方式并入本文中的米什拉(Mishra)、阿洛伊莫诺斯(Aloimonos)、花(Fah)的“按固定的有效分段(Active Segmentation withFixation)”(国际计算机视觉会议(ICCV)，2009))。可使用其它分段算法。可使用有效分段算法来确定图像的边界边缘片段。分段的粗略度可随分段算法和/或移动装置100的可用处理能力而变。图像内的区段可小于整个图像。大小的减小可对应于减小的存储器和处理要求，这可实现或改善在移动装置100上的对象辨识处理。在远程处理应用程序中，可将区段提供到远程服务器用于图像辨识处理。仅将区段提供到远程服务器可提供额外安全益处，其在于，不提供可包含机密信息的整个图像。
在一实施例中，对象检测算法可减少取样图像区段908且执行区段内的特征检测。在操作中，当用户的注视留在区段908上时(即，DVD情况904-1)，可基于随后图像辨识过程显示扩增实境信息。扩增实境信息可为对象标签，或与DVD情况904-1相关联的例如电影预告片的其它信息、到在线零售店的链接或其它类型的主题动画。也可呈现其它形式的扩增实境信息。
参看图10，展示通过视线追踪实施方案的群组视频会议的图解。装置402包含网络连接(未图示)、后置相机406和显示器408。显示器408中的图像展示包含多个视频会议与会者(例如，1004-1、1004-2、1004-3、1004-4、1004-5、1004-6)的视频表示的图像1002、一或多个远程用户注视位置回馈图标1006-1、1006-4、所关注区域1008和视频会议控制图标1010。在操作中，装置402可供群组视频会议应用程序使用以显示视频会议出席者的近实时图像。例如，会议应用程序可呈现会议图像1002，其可包含与会者1004(即，1004-1到1004-6)的脸面视图。后置相机406可用以捕获用户的脸，用于对其他与会者呈现。相机406也可供视线追踪算法用以确定所关注区域1008。当用户的注视留在与会者中的一者(例如，1004-5)的图像中的一者上时，那个与会者的图像可扩大且在显示器408中居中。例如，当所关注区域1008(即，用户的注视)留在下部中心图像1004-5上时，图像1004-5经扩大且向上移动到显示器408的中心内。当所关注区域1008漂移走时，图像1004-5可返回到其原始下部中心位置。
可基于所关注区域1008的位置存取额外功能性。例如，可将例如静音、谈话、聊天、音量、断开连接等的特征显现为选定图像上的视频会议控制图标1010。用户可经由将其注视(即，所关注区域1008)聚焦于图标上来存取这些控制特征。其它功能性可包含为与会者提供到社交媒体网站的图标和/或链路，或为与会者显示联系信息。图标的大小和间距可取决于视线算法的敏感度、相机406与用户之间的距离和显示器408的分辨率。
在一实施例中，用户的所关注区域1008信息可包含于视频会议数据流中，且提供到其他与会者。可使用所关注区域信息来将所关注的指示提供到与会者中的一或多个。远程用户注视位置回馈图标1006-1、1006-2可用以指示远程用户当前正在看本地用户的图像。例如，如果远程视频会议电话与会者当前正在其屏幕上看本地用户的图像，那么可将远程用户注视回馈图标1006-1(例如，一对眼睛或其它图标)对显示器408上的本地用户呈现。使用图10中所描绘的实例，与左上方1004-1和右下方1004-4中的图像相关联的远程与会者当前正其相应屏幕上看本地用户的图像。本地用户可经由用于远程与会者1004-1、1004-4的显示在相应图像上的一或多个远程用户注视位置回馈图标1006-1、1006-4变得意识到远程与会者所关注区域信息。
在操作中，参看图11，进一步参看图2、6A和6B，用于使用装置200基于视线位置展示扩增对象的过程1100包含展示的阶段。然而，过程1100仅为示范性且并非限制性。可更改过程1100，例如，通过添加、移除或重新排列阶段。术语“扩增实境信息”大体指响应于用户的动作对用户呈现的额外信息。例如，用户可将前置相机204引向目标对象，且装置200可呈现对象标签以指示扩增实境信息与所述目标对象相关联。在一实施例中，可使用各种形式的对象标签，诸如，呈现对象标签504、显示文字标签704、显示对象标签图标804和显示第二对象标签808。可将其它图形元素用作对象标签。当用户的注视留在目标对象和/或对象标签上时，可呈现扩增实境信息。作为实例，且非限制，扩增实境信息可为与例如图像、动画、URL地址、交互式游戏或其它应用程序的对象相关联的其它信息。
在阶段1102，用户可将装置200引向一或多个目标对象，且可在图形显示器208上将对象图像502对用户显示。对象图像502可通过前置相机204获得(即，在相机视图或AR视图模式中)，或可为存储在存储器114中的文件(例如，网页下载)。图像可具有相关联的对象标签和存储在网络服务器上或本地存储在存储器114上的扩增实境信息。
在阶段1104，装置200可基于用户的视线确定所关注区域。在一实施例中，存储器114可包含经配置以使处理器104执行视线处理算法以确定对象图像502上的所关注区域的计算机可读指令。作为实例，且非限制，视线算法可如图3中所描绘。可使用其它视线算法和设备。在一实施例中，可经由眼睛追踪工具(例如，LC技术EyeFollower，眼睛追踪器)、眼睛追踪眼镜(例如，技术)或头戴式显示器(例如，谷歌眼镜(Google Glasses))来确定所关注区域。可在显示器208上呈现所关注区域506以将回馈提供给用户。所关注区域506的形状和大小可基于用户的注视的速度和方向而变化。处理器104可经配置以用例如追踪(例如，将所关注的先前区域展示为用户的眼睛在图像上的水平移动)和逗留时间(例如，逗留时间越长，那么圆圈越大)的任选特征来显示所关注区域506。
在阶段1106，装置402可基于与所关注区域506的接近性显示对象标签。对象图像502可包含与扩增实境信息相关联的一或多个特征或区段。例如，与扩增实境信息的关联性可基于图像辨识过程、位置业务，或含于用于静态图像的元数据内。特征或区段的位置可参考显示器上的笛卡耳坐标(例如，像素位置)。存储器114可包含经配置以使处理器104确定所关注区域与特定特征或区段的位置之间的距离的指令。在实例中，当所关注区域506越过或靠近区段的特定特征时，可展示对象标签504-1(即，可将可见性质设定到真)。类似地，当所关注区域506从区段的那个特定特征移开时，可隐藏对象标签504-1(即，可将可见性质设定到假)。对象标签的展示与隐藏状态之间的转变可为渐渐褪去、消溶、滑动或其它图形转变。
在阶段1108，处理器104可经配置以确定所关注区域506是否正留在特征或显示的对象标签504-1上或周围。视线技术的敏感性可影响确定所关注区域正逗留所需要的时间量。逗留持续时间的实例可包含0.25秒、0.5秒、0.75秒、1.0秒、1.5秒。也可基于扩增实境信息的本质使用其它逗留时间。参看图6A，所关注区域506的位置可保持在图像特征上或周围。在实例中，参看图6B，所关注区域的位置可保持在显示器中含有对象标签504-1的区域上或周围。
在阶段1110，处理器104可经配置以在显示器208上呈现扩增实境信息。在实例中，扩增实境信息可为对用户显示的额外文字或图形信息。当满足建立的逗留持续时间阈值时，在阶段1106呈现的对象标签可转变到扩增实境信息。扩增实境信息可包含经配置以使处理器104执行可与目标对象相关联的软件应用程序(例如，网络浏览器、地图应用程序、媒体播放器等)的指令。也可显示其它扩增实境信息。
在阶段1112，如果所关注区域不留在图像的含有特征或对象标签504-1的区域上(即，从所述区域移开)，那么相关联的对象标签504-1可从展示状态转变到隐藏状态。所述过程可在阶段1104继续。
在操作中，参看图12，进一步参看图9，作为实例，用于使用装置402在视线位置的领域中执行对象辨识的过程1200包含所展示的阶段。然而，过程1200仅为示范性且并非限制性。可更改过程1200，例如，通过添加、移除或重新排列阶段。
在阶段1202，用户将装置402上的前置相机引向一或多个目标对象。处理器104经配置以在显示器上对用户显示对象图像902。在典型的AR应用中，经由前置相机来获取对象图像902。例如，用户可将装置402指向路标、广告牌、消费品或其它现实世界对象，且在相机视图或AR视图模式中显示图像。
在阶段1204，处理器104可经配置以基于来自用户的视线确定所关注区域906。如所描述，存储在存储器114中的视线追踪算法可利用后置来确定所关注区域906。也可使用其它视线追踪硬件和软件。
在阶段1206，处理器104可经配置以基于所关注区域906的位置来执行图像分段算法。在一实施例中，如果所关注区域留在图像902的预定区域(例如，10平方像素、30平方像素、100平方像素、200平方像素)上达预定时间(例如，0.5秒、1秒、2秒、4秒)，那么可执行图像分段算法。所关注区域906可用以定义用于图像分段过程的种子点。所关注区域可用以定义对象的中心，或建立图像的前景。所关注区域906的位置可用作到其它分段算法的输入以识别所关注的区段。在一实施例中，图像分段算法判定图像中的区段，且所关注区域906的位置可用以通过对象辨识算法选择区段中的一或多者供处理。
在阶段1208，处理器104或远程服务器可经配置以对图像区段执行对象辨识。在一实施例中，对象检测算法可减少取样图像区段908且执行区段内的特征检测。在一实施例中，大体关于尺度不变特征变换(SIFT)算法来描述特征检测技术以执行关键点的局部化和区段内的特征描述符的提取。对于对象辨识，可从训练图像导出特征描述符集合和其它区分信息的数据库。特征描述符接着经从图像区段提取，且用以查询数据库，以评估给定查询图像的内容。对于扩增实境或视觉搜索应用程序，装置402可捕获图像，执行分段算法，且将区段中的特征与图像、特征和元数据信息的数据库比较。此数据库可存储在网络上的服务器上，且可由装置402检索以供本地处理，或替代地，可将查询传输到远程服务器以使用网络资源来处理。
在阶段1210，处理器104可经配置以确定所关注区域906是否正留在图像902的由图像区段908界定的区域上。如果所关注区域906在区段908上的逗留时间超过确立的阈值(例如，1.0秒、1.5秒、2.0秒、3.0秒)，那么装置402可在阶段1212显示与对象相关联的扩增实境信息。例如，与第一DVD情况904-1相关联的扩增实境信息可为电影预告片、在线商店、交互式游戏或其它应用程序。如果所关注区域906不留在区段908上，那么过程可在阶段1204重复。在一些实施例中，阶段1210的执行是任选的。
在操作中，参看图13，进一步参看图7和8，用于使用装置402针对基于位置的扩增实境对象显示图标的示范性过程1300包含所展示的阶段。然而，过程1300仅为示范性且并非限制性。可更改过程1300，例如，通过添加、移除或重新排列阶段。
在阶段1302，装置402可用前置相机获得图像。在一实施例中，图像702可为在相机视图或AR视图模式中在显示器408上呈现的街景。如图8中所描绘，对象图像可为在浏览器或其它应用程序(例如，谷歌街景、Yelp Monocle)中显示的文件。装置402可与基于位置的业务系统交换位置信息。例如，位置信息可基于GPS位置、基于WiFi的位置或如此项技术中已知的其它定位技术。位置信息还可包含如从车载GPS芯片和其它内部传感器导出的大致航向。基于位置的业务系统可基于位置信息将扩增实境信息提供到装置402。例如，参看图7，基于位置的业务系统可提供与图像702中所描绘的位置相关联的对象标签704。
在一实施例中，在阶段1304，装置402可从基于位置的业务系统或其它联网资源接收包含对象标签、对象图标、第二对象标签和其它扩增实境信息的扩增实境对象。扩增实境对象也可先前存储在存储器114中。扩增实境信息也可地理参考(例如，基于地理位置索引)图像802中的对象。在阶段1306，装置402可经配置以利用位置信息在图像702上的适当位置中显示一或多个图标804。
在阶段1308，装置402可基于用户的视线位置确定所关注区域806。例如，装置可利用后置相机406和存储在存储器114中的视线算法。在一实施例中，可从例如技术眼镜或头戴式注视追踪技术的其它眼睛追踪技术来确定所关注区域。可显示所关注区域806的表示以给用户提供关于所关注区域的当前位置的回馈。例如，如图8中所描绘，所关注区域806可为如先前所描述的一或多个可扩展圆圈。所关注区域的图形表示的其它实例包含(但不限于)放大镜图标、阴影效应、沉没效应、凸纹效应、气泡效应、箭头图标或眼珠图标。
在阶段1310，处理器104可经配置以确定所关注区域806留在图标804上或附近的时间量。逗留时间的量和位置公差可基于眼睛追踪技术的敏感性和/或图像中的可用扩增实境信息的密度变化。例如，逗留时间可大致为1秒、2秒或3秒，且位置公差可大致为5、10或20个像素。可以使用其它值。如果所关注区域806不留在图标804上，那么处理器104可经配置以继续确定所关注区域，如在阶段1308处所描述。
在阶段1312，处理器104可经配置以确定与位置相关联的扩增实境信息是否包含第二对象标签808。第二对象标签808可包含文字、另一图标或其它GUI编程对象(例如，列表框、组合框、单选按钮、命令按钮等)。如果第二对象标签可用，那么在阶段1314可将其显示。在一实施例中，第二对象标签808可地理参考图像802且因此将随着图像802在显示器408上移动(即，随着前置相机的定向改变)而移动。第二对象标签808可参考显示器408上的位置，且因此在短的周期(例如，1秒、2秒、5秒)内保持在显示器408上的同一或靠近同一(即，受抑制)相对位置中，而与图像802(如果存在)的移动无关。
在阶段1316，装置402可经配置以确定所关注区域是否正留在第二对象标签808上。第二对象标签的逗留时间的持续时间可(但未必)小于如在阶段1310所描述的在对象图标804上使用的逗留时间。在一实施例中，第二对象标签808可为包含多个选择选项的列表框。第二对象标签808的大小可在显示器408上扩展以增大第二对象标签808的对象大小。增大的对象大小可改善视线追踪算法的效率，且可改善视线追踪选择结果。
在阶段1318，装置402可经配置以显示扩增实境信息。扩增实境信息的实例可包含(但不限于)GUI对象、媒体文件、超文本或执行一或多个应用程序(例如，网络浏览器、游戏、地图软件、社交网络应用程序)。
除非另有特定陈述，否则如从以下论述显而易见，应了解，贯穿本说明书，利用例如“处理”、“计算(computing)”、“计算(calculating)”、“识别”、“确定”、“建立”、“获得”和/或类似者的术语的论述指例如专用计算机或类似专用电子计算装置的特定设备的动作或过程。因此，在本说明书的上下文中，专用计算机或类似专用电子计算装置能够操纵或变换信号，所述信号通常表示为专用计算机或相似专用电子计算装置的存储器、寄存器或其它信息存储装置、发射装置或显示装置内的物理电子或磁性量。在此特定专利申请案的上下文中，术语“特定的设备”可包含通用计算机(一旦其经编程以依据来自程序软件的指令执行特定功能)。
贯穿本说明书对“一个实例”、“一实例”、“某些实例”或“示范性实施方案”的提及意味关于特征和/或实例描述的特定特征、结构或特性可包含在所主张的标的物的至少一个特征和/或实例中。因此，短语“在一个实例中”、“一实例”、“在某些实例中”或“在一些实施方案中”或其它相似短语在贯穿本说明书的各处的出现未必皆指同一特征、实例和/或限制。此外，特定特征、结构或特性可组合于一或多个实例和/或特征中。
本文中描述的方法和移动装置可取决于应用由各种装置实施。例如，这些方法可用硬件、固件、软件或其组合实施。对于硬件实施方案，处理单元可在一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、其它经设计以执行本文中描述的功能的电子单元或其组合内实施。本文中，术语“控制逻辑”涵盖由软件、硬件、固件或组合实施的逻辑。
对于固件和/或软件实施方案，可用执行本文中所描述的功能的模块(例如，程序、函数等等)实施方法。任何有形地体现指令的机器可读媒体都可用于实施本文所描述的方法中。例如，软件代码可存储在存储器中并且由处理单元执行。存储器可实施在处理单元内或处理单元外部。如本文中所使用，术语“存储器”指任何类型的长期、短期、易失性、非易失性或其它存储装置，并且不限于任何特定类型的存储器或任何特定数目个存储器，或任何特定类型的其上存储存储器的媒体。
除了存储在计算机可读媒体上之外，还可将指令和/或数据作为信号提供于通信设备中所包含的传输媒体上。例如，通信设备可包含具有指示指令和数据的信号的收发器。所述指令和数据经配置以使至少一个处理器实施在权利要求书中概述的功能。即，通信设备包含具有指示用以执行所揭示的功能的信息的信号的传输媒体。在第一时间，通信设备中包含的发射媒体可包含执行所揭示的功能的信息的第一部分，而在第二时间，通信设备中包含的传输媒体可包含执行所揭示的函数的信息的第二部分。
本发明可结合例如无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等等的各种无线通信网络实施。术语“网络”与“系统”常可互换使用。术语“位置(position)”和“地点(location)”常互换地使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)网络、WiMAX(IEEE 802.16)网络等等。CDMA网络可实施一或多种无线电接入技术(RAT)，例如，cdma2000、宽带CDMA(W-CDMA)等等。Cdma2000包含IS-95、IS2000和IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某一其它RAT。来自名为“第三代合作伙伴计划”(3GPP)的协会的文献中描述了GSM和W-CDMA。来自名为“第三代合作伙伴计划2”(3GPP2)的协会的文献中描述了Cdma2000。3GPP和3GPP2文献是可公开获得的。WLAN可为IEEE 802.11x网络，且WPAN可为蓝牙网络、IEEE802.15x或某一其它类型的网络。所述技术也可结合WWAN、WLAN和/或WPAN的任何组合来实施。
移动台指例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机或其它能够接收无线通信和/或导航信号的合适的移动装置的装置。还希望术语“移动台”包含例如通过短程无线、红外线、电线连接或其它连接与个人导航装置(PND)通信的装置，不管卫星信号接收、辅助数据接收和/或与位置有关的处理发生在所述装置处还是在所述PND处。并且，希望“移动台”包含所有装置，包含无线通信装置、计算机、膝上型计算机等，其能够例如经由因特网、Wi-Fi或其它网络与服务器通信，并且不管是在所述装置处、服务器处还是在与所述网络相关联的另一装置处发生卫星信号接收、辅助数据接收和/或与位置相关的处理。以上各项的任何可操作组合也被视为“移动台”。
某事物“经优化”、“为必需”或其它说法的说法并不指示本发明仅适用于被优化的系统或存在所述“必需”元件的系统(或归因于其它说法的其它局限性)。这些说法仅指特定描述的实施方案。当然，许多实施方案是可能的。所述技术可供不同于本文中论述的协议的协议(包含正在开发或有待开发的协议)使用。
相关领域的技术人员将认识到，可使用所揭示的实施例的许多可能修改和组合，同时仍然采用相同的基本基础机构和方法。出于解释的目的，前文描述已参考特定实施例来撰写。然而，以上的说明性论述并不希望是详尽的或将本发明限于所揭示的精确形式。鉴于以上教示，许多修改和变化是可能的。选择和描述所述实施例以解释本发明的原理和其实际应用，且使所属领域的技术人员能够以如适合于所涵盖的特定用途的各种修改最好地利用本发明和各种实施例。

Claims (19)

1.一种用于使用视线追踪实现对象辨识的方法，其包括：
对用户显示可由所述用户观看的场景的图像；
接收指示所述用户的视线的视线信息；
基于所述视线信息确定所述图像内的所关注区域；
基于所述所关注区域确定图像区段；
显示图像区段边界线；
起始对所述图像区段的对象辨识过程；
如果所述对象辨识过程的结果指示扩增实境信息可用，那么显示对象标签；
如果所述所关注区域留在所述对象标签上或周围，那么显示扩增实境信息；以及如果所述所关注区域不留在所述对象标签上或周围，那么隐藏所述图像区段边界线和所述对象标签。
2.根据权利要求1所述的方法，其中所述起始包括执行所述对象辨识过程。
3.根据权利要求1所述的方法，其中所述起始包括将所述图像区段提供到远程服务器和从所述远程服务器接收所述对象辨识结果。
4.根据权利要求3所述的方法，其包括：
从所述远程服务器接收姿态信息；以及
基于所述姿态信息显示所述扩增实境信息。
5.根据权利要求1所述的方法，其中所述图像是用耦合到移动装置的第一相机捕获，且其中所述视线信息是基于用耦合到所述移动装置的第二相机捕获的图像确定。
6.根据权利要求1所述的方法，其包括显示背景灯增强区。
7.一种用于使用视线追踪实现对象辨识的设备，其包括：
存储器；
至少一处理器，其耦合到所述存储器且经配置以：
使可由用户观看的场景的图像对所述用户显示；
接收指示所述用户的视线的视线信息；
基于所述视线信息确定所述图像内的所关注区域；
基于所述所关注区域确定图像区段；
显示图像区段边界线；
起始对所述图像区段的对象辨识过程；
如果所述对象辨识过程的结果指示扩增实境信息可用，那么使对象标签被显示；
如果所述所关注区域留在所述对象标签上或周围，那么使扩增实境信息被显示；以及
如果所述所关注区域不留在所述对象标签上或周围，那么使所述图像区段边界线和对象标签被隐藏。
8.根据权利要求7所述的设备，其中所述至少一处理器经配置以执行所述对象辨识过程。
9.根据权利要求7所述的设备，其中所述至少一处理器经配置以将所述图像区段提供到远程服务器和从所述远程服务器接收所述对象辨识结果。
10.根据权利要求9所述的设备，其中所述至少一处理器经配置以：
从所述远程服务器接收姿态信息；以及
基于所述姿态信息，使所述扩增实境信息被显示。
11.根据权利要求9所述的设备，其中所述至少一处理器经配置以用耦合到移动装置的第一相机捕获所述图像，且基于用耦合到所述移动装置的第二相机捕获的图像确定所述视线信息。
12.根据权利要求9所述的设备，其中所述至少一处理器经配置以使背景灯增强区被显示。
13.一种用于使用视线追踪实现对象辨识的设备，其包括：
用于对用户显示可由所述用户观看的场景的图像的装置；
用于接收指示所述用户的视线的视线信息的装置；
用于基于所述视线信息确定所述图像内的所关注区域的装置；
用于基于所述所关注区域确定图像区段的装置；
用于显示图像区段边界线的装置；
用于起始对所述图像区段的对象辨识过程的装置；
用于如果所述对象辨识过程的结果指示扩增实境信息可用那么显示对象标签的装置；
用于如果所述所关注区域留在所述对象标签上或周围那么显示扩增实境信息的装置；以及
用于如果所述所关注区域不留在所述对象标签上或周围那么隐藏所述图像区段边界线和所述对象标签的装置。
14.根据权利要求13所述的设备，其中用于起始的所述装置包括用于执行所述对象辨识过程的装置。
15.根据权利要求13所述的设备，其中用于起始的所述装置包括用于将所述图像区段提供到远程服务器的装置和用于从所述远程服务器接收所述对象辨识结果的装置。
16.根据权利要求15所述的设备，其包括：
用于从所述远程服务器接收姿态信息的装置；以及
用于基于所述姿态信息显示所述扩增实境信息的装置。
17.根据权利要求13所述的设备，其中所述图像是用耦合到移动装置的第一相机捕获，且其中所述视线信息是基于用耦合到所述移动装置的第二相机捕获的图像确定。
18.根据权利要求13所述的设备，其包括用于显示背景灯增强区的装置。
19.一种包括处理器可执行指令的非暂时性计算机存储媒体，所述处理器可执行指令经配置以使处理器：
对用户显示可由所述用户观看的场景的图像；
接收指示所述用户的视线的视线信息；
基于所述视线信息确定所述图像内的所关注区域；
基于所述所关注区域确定图像区段；
显示图像区段边界线
起始对所述图像区段的对象辨识过程；
如果所述对象辨识过程的结果指示扩增实境信息可用，那么显示对象标签；
如果所述所关注区域留在所述对象标签上或周围，那么显示扩增实境信息；以及
如果所述所关注区域不留在所述对象标签上或周围，那么隐藏所述图像区段边界线和所述对象标签。
CN201380062933.7A 2012-12-19 2013-12-10 使用视线追踪实现扩增实境 Active CN104823152B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261739518P 2012-12-19 2012-12-19
US61/739,518 2012-12-19
US13/838,467 US9996150B2 (en) 2012-12-19 2013-03-15 Enabling augmented reality using eye gaze tracking
US13/838,467 2013-03-15
PCT/US2013/074067 WO2014099479A1 (en) 2012-12-19 2013-12-10 Enabling augmented reality using eye gaze tracking

Publications (2)

Publication Number Publication Date
CN104823152A CN104823152A (zh) 2015-08-05
CN104823152B true CN104823152B (zh) 2017-10-24

Family

ID=50930270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380062933.7A Active CN104823152B (zh) 2012-12-19 2013-12-10 使用视线追踪实现扩增实境

Country Status (6)

Country Link
US (3) US9996150B2 (zh)
EP (1) EP2936300B1 (zh)
JP (1) JP6505606B2 (zh)
KR (1) KR102166861B1 (zh)
CN (1) CN104823152B (zh)
WO (1) WO2014099479A1 (zh)

Families Citing this family (288)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
CN103635891B (zh) * 2011-05-06 2017-10-27 奇跃公司 大量同时远程数字呈现世界
TWI475474B (zh) * 2012-07-30 2015-03-01 Mitac Int Corp Gesture combined with the implementation of the icon control method
US8914837B2 (en) 2012-12-14 2014-12-16 Biscotti Inc. Distributed infrastructure
US9654563B2 (en) 2012-12-14 2017-05-16 Biscotti Inc. Virtual remote functionality
US9485459B2 (en) * 2012-12-14 2016-11-01 Biscotti Inc. Virtual window
US9996150B2 (en) 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
JP6049452B2 (ja) * 2012-12-29 2016-12-21 キヤノン株式会社 情報表示装置、情報表示システム、それらの制御方法、及びプログラム
US9485290B1 (en) * 2013-03-14 2016-11-01 Parallels IP Holdings GmbH Method and system for controlling local display and remote virtual desktop from a mobile device
JP6022386B2 (ja) * 2013-03-21 2016-11-09 株式会社ジオ技術研究所 ３次元地図表示装置、３次元地図表示方法、および、コンピュータプログラム
US10432681B1 (en) 2013-04-24 2019-10-01 Parallels International Gmbh Method and system for controlling local display and remote virtual desktop from a mobile device
US10863098B2 (en) * 2013-06-20 2020-12-08 Microsoft Technology Licensing. LLC Multimodal image sensing for region of interest capture
US9113036B2 (en) 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
JP6317817B2 (ja) 2013-07-25 2018-04-25 コンヴィーダ ワイヤレス， エルエルシー エンドツーエンドｍ２ｍサービス層セッション
US20150035952A1 (en) * 2013-08-05 2015-02-05 Samsung Electronics Co., Ltd. Photographing apparatus, display apparatus, photographing method, and computer readable recording medium
US10152495B2 (en) 2013-08-19 2018-12-11 Qualcomm Incorporated Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
JP2015046089A (ja) * 2013-08-29 2015-03-12 ソニー株式会社 情報処理装置および情報処理方法
KR101444858B1 (ko) * 2013-09-03 2014-11-03 재단법인 실감교류인체감응솔루션연구단 원격 존재 장치
US10356364B2 (en) * 2013-09-10 2019-07-16 Minerva Project, Inc. Registering and displaying visual attention metadata in a web video conferencing and seminar system
EP3044950A4 (en) * 2013-09-12 2017-05-17 Intel Corporation Techniques for providing an augmented reality view
KR20160068916A (ko) * 2013-10-11 2016-06-15 인터디지탈 패튼 홀딩스, 인크 시선 구동 증강 현실
US20150113454A1 (en) * 2013-10-21 2015-04-23 Motorola Mobility Llc Delivery of Contextual Data to a Computing Device Using Eye Tracking Technology
US9886087B1 (en) * 2013-11-30 2018-02-06 Allscripts Software, Llc Dynamically optimizing user interfaces
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
JP6393986B2 (ja) * 2013-12-26 2018-09-26 セイコーエプソン株式会社 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法
US9639152B2 (en) * 2013-12-30 2017-05-02 Lenovo (Singapore) Pte. Ltd. Display alignment based on eye tracking
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) * 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
CN105917329B (zh) * 2014-02-18 2019-08-30 麦克赛尔株式会社 信息显示装置和信息显示程序
US9804753B2 (en) * 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
US9529428B1 (en) * 2014-03-28 2016-12-27 Amazon Technologies, Inc. Using head movement to adjust focus on content of a display
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9961119B2 (en) 2014-04-22 2018-05-01 Minerva Project, Inc. System and method for managing virtual conferencing breakout groups
US10802582B1 (en) * 2014-04-22 2020-10-13 sigmund lindsay clements Eye tracker in an augmented reality glasses for eye gaze to input displayed input icons
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9672387B2 (en) * 2014-04-28 2017-06-06 Sony Corporation Operating a display of a user equipment
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
GB2527306A (en) * 2014-06-16 2015-12-23 Guillaume Couche System and method for using eye gaze or head orientation information to create and play interactive movies
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
WO2016013272A1 (ja) * 2014-07-23 2016-01-28 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
JP6432197B2 (ja) * 2014-07-31 2018-12-05 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP6385210B2 (ja) * 2014-09-05 2018-09-05 キヤノン株式会社 画像診断支援装置および制御方法、プログラム
US10359842B2 (en) * 2014-09-16 2019-07-23 Ricoh Company, Limited Information processing system and information processing method
US10620900B2 (en) 2014-09-30 2020-04-14 Pcms Holdings, Inc. Reputation sharing system using augmented reality systems
US9955059B2 (en) * 2014-10-29 2018-04-24 Kabushiki Kaisha Toshiba Electronic device, method, and computer program product
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
GB2532953A (en) 2014-12-02 2016-06-08 Ibm Overlay display
GB2532954A (en) 2014-12-02 2016-06-08 Ibm Display control system for an augmented reality display system
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
KR20160071242A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법
ES2642263T3 (es) * 2014-12-23 2017-11-16 Nokia Technologies Oy Control de contenido de realidad virtual
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
JP2016131741A (ja) 2015-01-20 2016-07-25 株式会社リコー 通信端末、面談システム、表示方法及びプログラム
US10740971B2 (en) 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
US10146303B2 (en) 2015-01-20 2018-12-04 Microsoft Technology Licensing, Llc Gaze-actuated user interface with visual feedback
JP2016140720A (ja) * 2015-02-05 2016-08-08 株式会社リコー 通信端末、面談システム、表示方法及びプログラム
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US9851790B2 (en) * 2015-02-27 2017-12-26 Lenovo (Singapore) Pte. Ltd. Gaze based notification reponse
US9767614B2 (en) 2015-03-24 2017-09-19 Nokia Technologies Oy Augmented reality
JP6670549B2 (ja) * 2015-03-30 2020-03-25 大和ハウス工業株式会社 取引支援システム及び取引支援方法
DE102015006664A1 (de) * 2015-05-22 2016-11-24 Giesecke & Devrient Gmbh System und Verfahren zur Bearbeitung von Wertdokumenten
US10317994B2 (en) * 2015-06-05 2019-06-11 International Business Machines Corporation Initiating actions responsive to user expressions of a user while reading media content
CN107850654B (zh) 2015-06-09 2022-09-27 诺基亚技术有限公司 引发主动扫描的执行
JP6611501B2 (ja) * 2015-07-17 2019-11-27 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
CN105025131B (zh) * 2015-07-31 2018-06-08 瑞声声学科技(深圳)有限公司 一种手机的工作方法
JP6275087B2 (ja) * 2015-08-03 2018-02-07 株式会社オプティム ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。
CN105094335B (zh) * 2015-08-04 2019-05-10 天津锋时互动科技有限公司 场景提取方法、物体定位方法及其系统
KR102354458B1 (ko) * 2015-08-19 2022-01-21 삼성전자주식회사 디스플레이 장치 및 그의 제어방법
US20170061482A1 (en) * 2015-08-24 2017-03-02 TCL Research America Inc. Focal-point based recommendation method and system
JP6361714B2 (ja) * 2015-09-30 2018-07-25 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
WO2017096093A1 (en) * 2015-12-01 2017-06-08 Quantum Interface, Llc. Motion based interface systems and apparatuses and methods for making and using same using directionally activatable attributes or attribute control objects
US9773372B2 (en) * 2015-12-11 2017-09-26 Igt Canada Solutions Ulc Enhanced electronic gaming machine with dynamic gaze display
US9841813B2 (en) * 2015-12-22 2017-12-12 Delphi Technologies, Inc. Automated vehicle human-machine interface system based on glance-direction
US10102358B2 (en) * 2015-12-29 2018-10-16 Sensory, Incorporated Face-controlled liveness verification
US9659380B1 (en) 2016-01-07 2017-05-23 International Business Machines Corporation Object position tracking using motion estimation
US10129510B2 (en) 2016-02-18 2018-11-13 Samsung Electronics Co., Ltd. Initiating human-machine interaction based on visual attention
KR20180114162A (ko) 2016-02-24 2018-10-17 매직 립, 인코포레이티드 낮은 광 누설을 가진 편광 빔 분할기
CN105843383B (zh) * 2016-03-21 2019-03-12 努比亚技术有限公司 应用启动装置及方法
JP6649833B2 (ja) * 2016-03-31 2020-02-19 株式会社エヌ・ティ・ティ・データ 拡張現実ユーザインタフェース適用装置および制御方法
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
EP3451135A4 (en) * 2016-04-26 2019-04-24 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
WO2017189699A1 (en) * 2016-04-27 2017-11-02 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
EP3242228A1 (en) * 2016-05-02 2017-11-08 Artag SARL Managing the display of assets in augmented reality mode
EP3453169A4 (en) * 2016-05-07 2019-09-18 Smart Third-i Ltd SYSTEMS AND METHODS WITH EDGE CAMERA ARRANGEMENTS IN HANDHELD DEVICES
US10956766B2 (en) 2016-05-13 2021-03-23 Vid Scale, Inc. Bit depth remapping based on viewing parameters
US9990524B2 (en) * 2016-06-16 2018-06-05 Hand Held Products, Inc. Eye gaze detection controlled indicia scanning system and method
CN107544660B (zh) * 2016-06-24 2020-12-18 联想(北京)有限公司 一种信息处理方法及电子设备
CN109643373B (zh) * 2016-06-30 2023-06-27 奇跃公司 估计3d空间中的姿态
EP4336850A3 (en) 2016-07-08 2024-04-17 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
WO2018013495A1 (en) * 2016-07-11 2018-01-18 Gravity Jack, Inc. Augmented reality methods and devices
EP3489943A4 (en) * 2016-07-19 2019-07-24 FUJIFILM Corporation PICTURE DISPLAY SYSTEM, CONTROL DEVICE FOR HEAD-MOUNTED DISPLAY AND METHOD AND PROGRAM FOR ACTUATING THEREOF
KR101826025B1 (ko) * 2016-07-22 2018-02-07 한국과학기술연구원 사용자 인터렉션이 가능한 3d 영상 콘텐츠 생성 시스템 및 방법
US20190253747A1 (en) * 2016-07-22 2019-08-15 Vid Scale, Inc. Systems and methods for integrating and delivering objects of interest in video
KR20230133940A (ko) 2016-07-25 2023-09-19 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
CN106155326A (zh) * 2016-07-26 2016-11-23 北京小米移动软件有限公司 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备
WO2018035133A1 (en) * 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
CN107765842A (zh) * 2016-08-23 2018-03-06 深圳市掌网科技股份有限公司 一种增强现实方法及系统
JP6853638B2 (ja) * 2016-09-14 2021-03-31 株式会社スクウェア・エニックス 表示システム、表示方法、及び、コンピュータ装置
US10209772B2 (en) * 2016-09-19 2019-02-19 International Business Machines Corporation Hands-free time series or chart-based data investigation
US10347050B1 (en) * 2016-09-22 2019-07-09 Apple Inc. Augmented reality device to warp images
EP3793205B1 (en) * 2016-09-26 2023-09-13 Dolby Laboratories Licensing Corporation Content based stream splitting of video data
CA3037047A1 (en) 2016-09-28 2018-04-05 Magic Leap, Inc. Face model capture by a wearable device
JP7090601B2 (ja) 2016-10-05 2022-06-24 マジック リープ， インコーポレイテッド 複合現実較正のための眼球周囲試験
CN106445461B (zh) * 2016-10-25 2022-02-15 北京小米移动软件有限公司 文字信息处理方法及装置
CN111610858B (zh) * 2016-10-26 2023-09-19 创新先进技术有限公司 基于虚拟现实的交互方法及装置
CN109845277A (zh) * 2016-10-26 2019-06-04 索尼公司 信息处理装置、信息处理系统、信息处理方法和程序
WO2018097947A2 (en) 2016-11-03 2018-05-31 Convida Wireless, Llc Reference signals and control channels in nr
CN106484122A (zh) * 2016-11-16 2017-03-08 捷开通讯(深圳)有限公司 一种虚拟现实装置及其浏览轨迹跟踪方法
CN108124167A (zh) * 2016-11-30 2018-06-05 阿里巴巴集团控股有限公司 一种播放处理方法、装置和设备
KR102626304B1 (ko) 2016-12-06 2024-01-18 삼성전자주식회사 콘텐츠 출력 방법 및 이를 지원하는 전자 장치
EP3552387A4 (en) * 2016-12-06 2020-04-22 Gurule, Donn M. SYSTEMS AND METHODS FOR A CHRONOLOGICAL-BASED SEARCH ENGINE
JP6816492B2 (ja) * 2016-12-14 2021-01-20 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10127705B2 (en) * 2016-12-24 2018-11-13 Motorola Solutions, Inc. Method and apparatus for dynamic geofence searching of an incident scene
US10284806B2 (en) * 2017-01-04 2019-05-07 International Business Machines Corporation Barrage message processing
US10769679B2 (en) * 2017-01-25 2020-09-08 Crackle, Inc. System and method for interactive units within virtual reality environments
US10880716B2 (en) 2017-02-04 2020-12-29 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities, and services in connection with the reception of an electromagnetic signal
US10477602B2 (en) 2017-02-04 2019-11-12 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities and services in connection with the reception of an electromagnetic signal
US10217239B2 (en) * 2017-02-15 2019-02-26 International Business Machines Corporation Personalized point of interest guidance in 360-degree views
WO2018152437A1 (en) 2017-02-17 2018-08-23 Vid Scale, Inc. Systems and methods for selective object-of-interest zooming in streaming video
KR101810671B1 (ko) * 2017-03-07 2018-01-25 링크플로우 주식회사 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
WO2018164911A1 (en) 2017-03-07 2018-09-13 Pcms Holdings, Inc. Tailored video streaming for multi-device presentations
JP6874448B2 (ja) * 2017-03-17 2021-05-19 株式会社デンソーウェーブ 情報表示システム
US11830614B2 (en) * 2017-03-20 2023-11-28 Opticsurg, Inc. Method and system for optimizing healthcare delivery
WO2018180843A1 (ja) * 2017-03-29 2018-10-04 シャープ株式会社 表示装置
US10249095B2 (en) * 2017-04-07 2019-04-02 Microsoft Technology Licensing, Llc Context-based discovery of applications
US10504259B2 (en) 2017-04-24 2019-12-10 Intel Corporation Separately processing regions or objects or interest from a render engine to a display engine or a display panel
CN108875460B (zh) * 2017-05-15 2023-06-20 腾讯科技（深圳）有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
KR102351542B1 (ko) 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
US10319151B2 (en) 2017-07-07 2019-06-11 Motorola Solutions, Inc. Device and method for hierarchical object recognition
JP6717268B2 (ja) * 2017-07-12 2020-07-01 京セラドキュメントソリューションズ株式会社 情報処理装置及び情報処理プログラム
GB2565087A (en) * 2017-07-31 2019-02-06 Admoments Holdings Ltd Smart display system
TWI642030B (zh) * 2017-08-09 2018-11-21 宏碁股份有限公司 視覺效用分析方法及相關眼球追蹤裝置與系統
EP3336848B1 (en) 2017-08-15 2023-09-27 Siemens Healthcare GmbH Method for operating a medical imaging device and medical imaging device
US10379823B1 (en) 2017-09-05 2019-08-13 Parallels International Gmbh Conversion of remote application dialogs to native mobile controls
US10778939B2 (en) * 2017-09-22 2020-09-15 Facebook, Inc. Media effects using predicted facial feature locations
CN109544698B (zh) * 2017-09-22 2023-04-07 阿里巴巴集团控股有限公司 图像展示方法、装置及电子设备
CN107908328A (zh) * 2017-11-15 2018-04-13 百度在线网络技术（北京）有限公司 增强现实方法和装置
US10134084B1 (en) 2017-11-17 2018-11-20 Capital One Services, Llc Augmented reality systems for facilitating a purchasing process at a merchant location
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10586360B2 (en) * 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
JP6463826B1 (ja) * 2017-11-27 2019-02-06 株式会社ドワンゴ 動画配信サーバ、動画配信方法及び動画配信プログラム
CN109918975B (zh) * 2017-12-13 2022-10-21 腾讯科技（深圳）有限公司 一种增强现实的处理方法、对象识别的方法及终端
EP3676656A4 (en) 2018-01-18 2020-11-25 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR ADDING CONTENT WITH EXTENDED REALITY
KR20190089627A (ko) * 2018-01-23 2019-07-31 삼성전자주식회사 Ar 서비스를 제공하는 디바이스 및 그 동작 방법
US20190253751A1 (en) * 2018-02-13 2019-08-15 Perfect Corp. Systems and Methods for Providing Product Information During a Live Broadcast
US20190265787A1 (en) * 2018-02-26 2019-08-29 Tobii Ab Real world interaction utilizing gaze
EP3766028A1 (en) 2018-03-14 2021-01-20 Snap Inc. Generating collectible items based on location information
US10747312B2 (en) * 2018-03-14 2020-08-18 Apple Inc. Image enhancement devices with gaze tracking
CN108510525B (zh) * 2018-03-30 2019-03-12 百度在线网络技术（北京）有限公司 模板追踪方法、装置、增强现实系统及存储介质
US20190324548A1 (en) * 2018-04-18 2019-10-24 JG Management Pty. Ltd. Gesture-based designation of regions of interest in images
CN108563778B (zh) * 2018-04-24 2022-11-04 北京市商汤科技开发有限公司 一种关注信息的处理方法及装置、存储介质、电子设备
US11494988B2 (en) 2018-05-22 2022-11-08 Agilent Technologies, Inc. Method and system for implementing augmented reality (AR)-based assistance within work environment
CN108897474A (zh) * 2018-05-29 2018-11-27 高新兴科技集团股份有限公司 一种增强现实摄像机的虚拟标签的管理方法及管理系统
CN108737872A (zh) * 2018-06-08 2018-11-02 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
TWI726215B (zh) * 2018-06-08 2021-05-01 友達光電股份有限公司 影像監控系統及影像監控方法
JP2020005038A (ja) * 2018-06-25 2020-01-09 キヤノン株式会社 送信装置、送信方法、受信装置、受信方法、及び、プログラム
US11087538B2 (en) 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view
US10520739B1 (en) * 2018-07-11 2019-12-31 Valve Corporation Dynamic panel masking
US11169601B2 (en) 2018-07-12 2021-11-09 Toyota Research Institute, Inc. Methods and systems for determining teleoperating user intent via eye tracking
US10943115B2 (en) * 2018-07-24 2021-03-09 Apical Ltd. Processing image data to perform object detection
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
JP2021182174A (ja) * 2018-08-07 2021-11-25 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US10803695B2 (en) 2018-08-08 2020-10-13 Igt Gaming system and method for collecting, communicating and tracking eye gaze data
US11336968B2 (en) * 2018-08-17 2022-05-17 Samsung Electronics Co., Ltd. Method and device for generating content
US11393170B2 (en) 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
US11715302B2 (en) * 2018-08-21 2023-08-01 Streem, Llc Automatic tagging of images using speech recognition
US10991139B2 (en) * 2018-08-30 2021-04-27 Lenovo (Singapore) Pte. Ltd. Presentation of graphical object(s) on display to avoid overlay on another item
US11630485B2 (en) * 2018-09-10 2023-04-18 Apple Inc. Housing structures and input-output devices for electronic devices
TWI718410B (zh) 2018-09-14 2021-02-11 財團法人工業技術研究院 目標物資訊的預載顯示方法及裝置
WO2020068251A1 (en) 2018-09-27 2020-04-02 Convida Wireless, Llc Sub-band operations in unlicensed spectrums of new radio
CN113039508A (zh) * 2018-10-10 2021-06-25 普鲁托虚拟现实科技公司 评估虚拟环境的输入和输出的对准
US10678323B2 (en) 2018-10-10 2020-06-09 Plutovr Reference frames for virtual environments
US10838488B2 (en) 2018-10-10 2020-11-17 Plutovr Evaluating alignment of inputs and outputs for virtual environments
EP3871197A4 (en) * 2018-10-23 2022-08-03 Nichols, Steven R. AR SYSTEM FOR ENHANCED BOOK COVERS AND RELATED METHODS
FR3090256B1 (fr) * 2018-12-12 2021-07-02 Orange Procédé de reproduction sur un terminal d’un contenu principal en restituant un contenu secondaire associé à un objet affiché, terminal, serveur, et programme d’ordinateur correspondants
KR20200076325A (ko) 2018-12-19 2020-06-29 삼성전자주식회사 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법
KR102204212B1 (ko) * 2018-12-21 2021-01-19 주식회사 딥엑스 실감형 콘텐츠 제공 장치 및 방법
US10928898B2 (en) 2019-01-03 2021-02-23 International Business Machines Corporation Augmented reality safety
US20220350853A1 (en) * 2019-01-09 2022-11-03 Charles Isgar System for obtaining websites having a geolocation near a location of a user computing device
US11488208B2 (en) * 2019-01-09 2022-11-01 Charles Isgar System for obtaining URLs of businesses based on geo-identification area
US11064255B2 (en) * 2019-01-30 2021-07-13 Oohms Ny Llc System and method of tablet-based distribution of digital media content
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view
US20200288204A1 (en) * 2019-03-05 2020-09-10 Adobe Inc. Generating and providing personalized digital content in real time based on live user context
BR102019005162A2 (pt) 2019-03-15 2020-09-29 Samsung Eletrônica da Amazônia Ltda. Método para atualizar o campo de visão de interface gráfica de usuário em realidade aumentada
KR102250712B1 (ko) * 2019-03-29 2021-05-11 경북대학교 산학협력단 전자 장치 및 제어 방법
EP3742259B1 (en) * 2019-05-24 2023-08-23 General Electric Technology GmbH Method and apparatus for displaying information
US11017017B2 (en) * 2019-06-04 2021-05-25 International Business Machines Corporation Real-time vision assistance
CN110286754B (zh) * 2019-06-11 2022-06-24 Oppo广东移动通信有限公司 基于眼球追踪的投射方法及相关设备
RU2746201C2 (ru) * 2019-06-28 2021-04-08 Акционерное общество "Лаборатория Касперского" Система и способ невербальной активации сервиса на мобильном устройстве
CN110248165B (zh) * 2019-07-02 2021-04-06 高新兴科技集团股份有限公司 标签显示方法、装置、设备及存储介质
EP3760157A1 (en) * 2019-07-04 2021-01-06 Scopis GmbH Technique for calibrating a registration of an augmented reality device
US11589094B2 (en) * 2019-07-22 2023-02-21 At&T Intellectual Property I, L.P. System and method for recommending media content based on actual viewers
JP6655751B1 (ja) * 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
JP2021026260A (ja) 2019-07-31 2021-02-22 セイコーエプソン株式会社 表示装置、表示方法、および、コンピュータープログラム
US11042259B2 (en) 2019-08-18 2021-06-22 International Business Machines Corporation Visual hierarchy design governed user interface modification via augmented reality
US11106929B2 (en) 2019-08-29 2021-08-31 Sony Interactive Entertainment Inc. Foveated optimization of TV streaming and rendering content assisted by personal devices
JP6781977B1 (ja) * 2019-09-12 2020-11-11 株式会社ぴやまる 情報提示システム、情報分析システム、情報提示方法、情報分析方法およびプログラム
US11533434B2 (en) * 2019-09-18 2022-12-20 Google Llc Generating and rendering motion graphics effects based on recognized content in camera view finder
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
KR102637416B1 (ko) * 2019-10-30 2024-02-16 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR102383840B1 (ko) * 2019-11-08 2022-04-07 고려대학교 산학협력단 아이트래커기기를 사용한 외국어 읽기 능숙도 측정 도구
CN112874527A (zh) * 2019-11-29 2021-06-01 奥迪股份公司 辅助驾驶装置、包括其的车辆及相应的方法和介质
KR102477231B1 (ko) * 2019-12-30 2022-12-14 한국전자통신연구원 응시 대상 관심도 검출 장치 및 방법
US10928904B1 (en) 2019-12-31 2021-02-23 Logitech Europe S.A. User recognition and gaze tracking in a video system
US11163995B2 (en) 2019-12-31 2021-11-02 Logitech Europe S.A. User recognition and gaze tracking in a video system
JP2021131441A (ja) * 2020-02-19 2021-09-09 キヤノン株式会社 電子機器
EP4115603A1 (en) * 2020-03-06 2023-01-11 Telefonaktiebolaget LM ERICSSON (PUBL) Methods providing video conferencing with adjusted/modified video and related video conferencing nodes
US10996753B1 (en) 2020-04-07 2021-05-04 Eyetech Digital Systems, Inc. Multi-mode eye-tracking with independently operable illuminators
US11921917B2 (en) 2020-04-07 2024-03-05 Eyetech Digital Systems, Inc. Compact eye-tracking camera systems and methods
CN111563432A (zh) * 2020-04-27 2020-08-21 歌尔科技有限公司 一种显示方法及增强现实显示设备
CN115280369A (zh) * 2020-05-26 2022-11-01 Oppo广东移动通信有限公司 图像创建显示装置的控制方法及图像创建显示装置
CN111652678B (zh) * 2020-05-27 2023-11-14 腾讯科技（深圳）有限公司 物品信息显示方法、装置、终端、服务器及可读存储介质
US11050975B1 (en) * 2020-07-21 2021-06-29 Samuel J. Petuchowski Reciprocal signaling of participant gaze in multipoint video conferencing
US11490968B2 (en) * 2020-07-29 2022-11-08 Karl Storz Se & Co. Kg Devices, systems, and methods for labeling objects of interest during a medical procedure
US11561611B2 (en) * 2020-10-29 2023-01-24 Micron Technology, Inc. Displaying augmented reality responsive to an input
JP7453652B2 (ja) 2020-11-10 2024-03-21 日本電信電話株式会社 視線情報提示装置、視線情報提示方法、及び視線情報提示プログラム
US11503090B2 (en) 2020-11-30 2022-11-15 At&T Intellectual Property I, L.P. Remote audience feedback mechanism
US20240028112A1 (en) * 2020-12-08 2024-01-25 Maxell, Ltd. Image display device and image display method
CN116711302A (zh) * 2020-12-16 2023-09-05 三星电子株式会社 以低时延发送多条应用数据的方法和装置
CN112633128A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 余光区域中感兴趣对象信息的推送方法和系统
EP4278366A1 (en) 2021-01-12 2023-11-22 Emed Labs, LLC Health testing and diagnostics platform
US11496854B2 (en) 2021-03-01 2022-11-08 International Business Machines Corporation Mobility based auditory resonance manipulation
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US20220334693A1 (en) 2021-04-19 2022-10-20 Apple Inc. User interfaces for managing visual content in media
US20220377413A1 (en) * 2021-05-21 2022-11-24 Rovi Guides, Inc. Methods and systems for personalized content based on captured gestures
US11369454B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
WO2022255995A1 (en) * 2021-06-02 2022-12-08 Vertechs Energy Solutions Llc Augmented reality drilling, completion and production visualization system and synergy method based on holographic projection
GB2623461A (en) 2021-06-22 2024-04-17 Emed Labs Llc Systems, methods, and devices for non-human readable diagnostic tests
JP2023006771A (ja) * 2021-06-30 2023-01-18 キヤノン株式会社 制御装置およびその制御方法
EP4343516A1 (en) 2021-08-23 2024-03-27 Samsung Electronics Co., Ltd. Wearable electronic device on which augmented reality object is displayed, and operating method thereof
US11687221B2 (en) 2021-08-27 2023-06-27 International Business Machines Corporation Augmented reality based user interface configuration of mobile and wearable computing devices
WO2023048911A1 (en) * 2021-09-24 2023-03-30 Chinook Labs Llc Object-based glint grouping
WO2023049170A2 (en) * 2021-09-25 2023-03-30 Apple Inc. Gazed based interactions with three-dimensional environments
KR20230044833A (ko) * 2021-09-27 2023-04-04 삼성전자주식회사 전자 장치 및 컨텐츠 표시 방법
US11592899B1 (en) * 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US20230156300A1 (en) * 2021-11-15 2023-05-18 Comcast Cable Communications, Llc Methods and systems for modifying content
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11887260B2 (en) * 2021-12-30 2024-01-30 Snap Inc. AR position indicator
WO2023132459A1 (ko) * 2022-01-10 2023-07-13 삼성전자 주식회사 Ar 객체를 표시하는 전자 장치 및 그 방법
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US20230259249A1 (en) * 2022-02-17 2023-08-17 Rovi Guides, Inc. Systems and methods for displaying and adjusting virtual objects based on interactive and dynamic content
US11914765B2 (en) 2022-02-17 2024-02-27 Rovi Guides, Inc. Systems and methods for displaying and adjusting virtual objects based on interactive and dynamic content
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device
WO2023244811A1 (en) * 2022-06-17 2023-12-21 Magic Leap, Inc. Method and system for performing eye tracking in augmented reality devices
US20240036640A1 (en) * 2022-07-29 2024-02-01 Qualcomm Incorporated User attention determination for extended reality

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4109145A (en) * 1974-05-20 1978-08-22 Honeywell Inc. Apparatus being controlled by movement of the eye
CN102147658A (zh) * 2011-02-12 2011-08-10 华为终端有限公司 实现扩增实境互动的方法、扩增实境互动装置及移动终端

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (ja) 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
JP4061379B2 (ja) 2004-11-29 2008-03-19 国立大学法人広島大学 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体
JP2006155236A (ja) 2004-11-29 2006-06-15 Japan Research Institute Ltd 対象物管理情報生成装置、対象物管理装置、対象物管理方法および対象物管理プログラム
EP1983884B1 (en) 2006-01-26 2016-10-26 Nokia Technologies Oy Eye tracker device
WO2008012717A2 (en) * 2006-07-28 2008-01-31 Koninklijke Philips Electronics N. V. Gaze interaction for information display of gazed items
US8285121B2 (en) * 2007-10-07 2012-10-09 Fall Front Wireless Ny, Llc Digital network-based video tagging system
JP5328810B2 (ja) * 2008-12-25 2013-10-30 パナソニック株式会社 情報表示装置および情報表示方法
JP4824793B2 (ja) * 2009-07-06 2011-11-30 東芝テック株式会社 ウエアラブル端末装置及びプログラム
US8819172B2 (en) * 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
US9039419B2 (en) * 2009-11-06 2015-05-26 International Business Machines Corporation Method and system for controlling skill acquisition interfaces
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US8861864B2 (en) * 2010-03-11 2014-10-14 Qualcomm Incorporated Image feature detection based on application of multiple feature detectors
US20110273369A1 (en) 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
US8937592B2 (en) 2010-05-20 2015-01-20 Samsung Electronics Co., Ltd. Rendition of 3D content on a handheld device
JP5651386B2 (ja) 2010-06-23 2015-01-14 ソフトバンクモバイル株式会社 眼鏡型表示装置
KR101690955B1 (ko) * 2010-10-04 2016-12-29 삼성전자주식회사 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치
WO2012074528A1 (en) * 2010-12-02 2012-06-07 Empire Technology Development Llc Augmented reality system
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US8514295B2 (en) 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
US9507416B2 (en) 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
US8670183B2 (en) 2011-03-07 2014-03-11 Microsoft Corporation Augmented view of advertisements
JP5776255B2 (ja) * 2011-03-25 2015-09-09 ソニー株式会社 端末装置、物体識別方法、プログラム及び物体識別システム
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US8379981B1 (en) * 2011-08-26 2013-02-19 Toyota Motor Engineering & Manufacturing North America, Inc. Segmenting spatiotemporal data based on user gaze data
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
EP3666352B1 (en) * 2011-10-28 2021-12-01 Magic Leap, Inc. Method and device for augmented and virtual reality
US20160011724A1 (en) * 2012-01-06 2016-01-14 Google Inc. Hands-Free Selection Using a Ring-Based User-Interface
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US9210413B2 (en) * 2012-05-15 2015-12-08 Imagine Mobile Augmented Reality Ltd System worn by a moving user for fully augmenting reality by anchoring virtual objects
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US20130342672A1 (en) * 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US20140002443A1 (en) * 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
US9111383B2 (en) * 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US9996150B2 (en) 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4109145A (en) * 1974-05-20 1978-08-22 Honeywell Inc. Apparatus being controlled by movement of the eye
CN102147658A (zh) * 2011-02-12 2011-08-10 华为终端有限公司 实现扩增实境互动的方法、扩增实境互动装置及移动终端

Also Published As

Publication number Publication date
KR102166861B1 (ko) 2020-10-16
EP2936300B1 (en) 2022-08-10
US20200033943A1 (en) 2020-01-30
US20180253145A1 (en) 2018-09-06
US9996150B2 (en) 2018-06-12
US20140168056A1 (en) 2014-06-19
US10474233B2 (en) 2019-11-12
KR20150096474A (ko) 2015-08-24
EP2936300A1 (en) 2015-10-28
JP6505606B2 (ja) 2019-04-24
US11079841B2 (en) 2021-08-03
JP2016509705A (ja) 2016-03-31
CN104823152A (zh) 2015-08-05
WO2014099479A1 (en) 2014-06-26

Similar Documents

Publication Publication Date Title
CN104823152B (zh) 使用视线追踪实现扩增实境
US9767615B2 (en) Systems and methods for context based information delivery using augmented reality
US8661053B2 (en) Method and apparatus for enabling virtual tags
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
US20150070347A1 (en) Computer-vision based augmented reality system
US20130328926A1 (en) Augmented reality arrangement of nearby location information
EP2974509B1 (en) Personal information communicator
US11620795B2 (en) Displaying augmented reality content in messaging application
US20220100265A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
US9600720B1 (en) Using available data to assist in object recognition
US11694411B2 (en) Passing augmented reality content between devices
US9990665B1 (en) Interfaces for item search
WO2016005799A1 (en) Social networking system and method
US20160018951A1 (en) Contextual view portals
US11599903B2 (en) Advertisement tracking integration system
CN114721562B (zh) 用于数字对象的处理方法、装置、设备、介质及产品
WO2021179919A1 (en) System and method for virtual fitting during live streaming

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant