CN106415445A - 用于观看者关注区域估计的技术 - Google Patents

用于观看者关注区域估计的技术 Download PDF

Info

Publication number
CN106415445A
CN106415445A CN201580022975.7A CN201580022975A CN106415445A CN 106415445 A CN106415445 A CN 106415445A CN 201580022975 A CN201580022975 A CN 201580022975A CN 106415445 A CN106415445 A CN 106415445A
Authority
CN
China
Prior art keywords
beholder
computing device
image
gaze
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580022975.7A
Other languages
English (en)
Other versions
CN106415445B (zh
Inventor
C.S.马沙尔
A.莫兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106415445A publication Critical patent/CN106415445A/zh
Application granted granted Critical
Publication of CN106415445B publication Critical patent/CN106415445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415—Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/06—Remotely controlled electronic signs other than labels

Abstract

用于观看者关注区域估计的技术包括：计算设备通过计算设备的相机系统来捕获计算设备的显示器的观看者的图像。计算设备还确定观看者距计算设备的距离范围，基于所捕获的图像和观看者的距离范围来确定观看者的凝视方向，并且基于观看者的凝视方向和观看者的距离范围来确定显示器的主动交互区。主动交互区指示观看者的凝视指向其处的显示器的区。计算设备基于所确定的主动交互区而在显示器上显示内容。

Description

用于观看者关注区域估计的技术
对相关美国专利申请的交叉引用
本申请要求2014年6月6日提交、题为“TECHNOLOGIES FOR VIEWER ATTENTION AREAESTIMATION”、序列号为14/298,003的美国发明专利申请的优先权。
背景技术
数字标牌用于向标牌附近的人们显示信息，诸如广告、通知、引导等。与传统布告板标牌不同，显示在数字标牌上的信息可以编程为显示特定内容。例如，数字标牌可以编程为显示静态内容或者改变随时间所显示的内容（例如，在一天显示某一信息并且在不同的一天显示不同的信息）。另外，在一些实现中，人员可以与数字标牌交互以改变示出在数字标牌上的内容（例如，凭借人员的触摸或凝视）。
商业投入极大努力以理解是什么在吸引潜在顾客的关注（例如，对象颜色、形状、位置、大小、取向等）。实际上，广告位的成本通常至少部分地取决于广告的位置和大小（即，物理或虚拟）。例如，相比于较少人员看向的位置，人员频繁看向的位置倾向于对于广告而言是较高需求的。当然，预期顾客的无数其它倾向也受商业的监控（例如，旅行模式等）。特别地，已经采用各种技术来标识人们正看向哪里，这可以由商业利用来用于任何数目的目的（例如，广告定位、交互性和/或其它原因）。
附图说明
通过示例而非限制的方式在随附各图中图示了本文描述的概念。为了图示的简便和清楚，在图中图示的要素不必然按照比例绘制。在考虑适当的情况下，已经在各图当中重复参考标号以指示对应或类似的要素。
图1是用于通过计算设备进行的观看者关注区域估计的系统的至少一个实施例的简化框图；
图2是图1的计算设备的环境的至少一个实施例的简化框图；
图3-4是用于通过图1的计算设备显示观看者交互式内容的方法的至少一个实施例的简化流程图；以及
图5-7是观看者与图1的计算设备交互的简化图示。
具体实施方式
尽管本公开的概念容许各种修改和可替换形式，但是其具体实施例已经通过示例的方式而示出在绘图中并且将在本文中详细地描述。然而，应当理解的是，不意图将本公开的概念限制于所公开的特定形式，而是相反，本发明将涵盖与本公开和随附权利要求一致的所有修改、等同物和可替换物。
在说明书中对“一个实施例”、“实施例”、“说明性实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每一个实施例可以是或者可以不是必然包括该特定特征、结构或特性。此外，这样的短语不必然是指相同实施例。另外，当结合实施例描述特定特征、结构或特性时，认为无论是否明确描述，本领域技术人员在其知识范围内都可以结合其他实施例来实施这样的特征、结构或特性。附加地，应当领会的是，以“至少一个A、B和C”的形式包括在列表中的项目可以意指（A）；（B）；（C）；（A和B）；（B和C）；或者（A、B和C）。类似地，以“A、B或C中的至少一个”的形式列出的项目可以意指（A）；（B）；（C）；（A和B）；（B和C）；或者（A、B和C）。
所公开的实施例可以在一些情况下实现在硬件、固件、软件或它们的任何组合中。所公开的实施例还可以实现为由一个或多个暂时性或非暂时性机器可读（例如，计算机可读）存储介质承载或者存储在该存储介质上的指令，所述指令可以由一个或多个处理器读取和执行。机器可读存储介质可以体现为用于以机器可读的形式存储或传输信息的任何存储设备、机构或其它物理结构（例如，易失性或非易失性存储器、介质盘或者其它介质设备）。
在绘图中，一些结构或方法特征可以以特定布置和/或次序示出。然而，应当领会的是，可以不要求这样的特定布置和/或次序。相反，在一些实施例中，这样的特征可以以与说明性图中所示出的不同方式和/或顺序进行布置。附加地，结构或方法特征包括在特定图中不意指暗示在所有实施例中都要求这样的特征，并且在一些实施例中可以不包括这样的特征或者这样的特征可以与其它特征组合。
现在参照图1，在说明性实施例中，用于估计观看者的关注区域并且显示观看者交互式内容的系统100包括计算设备102，并且可以包括一个或多个网络104和/或移动计算设备106。在使用中，如在下文更加详细地描述的，计算设备102配置为捕获计算设备102的显示器的观看者的一个或多个图像，并且基于使用取决于观看者距计算设备102的距离的技术对所捕获的图像的分析来确定观看者的凝视方向。计算设备102进一步配置为基于观看者的凝视方向和观看者的距离来确定显示器的主动交互区，并且基于所确定的主动交互区来在显示器上显示内容。在一些实施例中，系统100可以包括网络104和（例如，观看者的）移动计算设备106，网络104和移动计算设备106使得计算设备102能够执行本文描述的各种附加功能。例如，在一些实施例中，计算设备102可以与所标识的观看者的移动计算设备106通信（即，经由网络104），以促进确定离计算设备102的观看者的距离或者近似距离。
计算设备102可以体现为用于向观看者显示数字信息并且能够执行本文描述的功能的任何类型的计算设备。应当领会的是，在一些实施例中，计算设备102可以体现为交互式数字标牌或者具有大显示器的另一种类型的计算设备。例如，在说明性实施例中，计算设备102体现为“智能标牌”，其准许基于例如观看者的凝视的观看者/用户交互（即，与标牌本身）。当然，取决于特定实施例，计算设备102可以响应于各种其它类型的观看者/用户输入（例如，触摸、音频和其它输入）。然而，在一些实施例中，计算设备102可以不准许观看者交互，但是可以替代地收集关于观看者的凝视的数据，所述数据可以后续用于例如确定计算设备102的哪个区（即，其显示器的哪个区）引起最多观看者的关注。尽管在图1的说明性实施例中仅示出了一个计算设备102，但是应当领会的是，在其它实施例中，系统100可以包括多个计算设备102。例如，在一些实施例中，多个计算设备102可以相互协作以显示内容，并且基于本文描述的技术而准许与内容的观看者交互。
如上文所指示的，在一些实施例中，计算设备102可以通过网络104与一个或多个移动计算设备106通信以执行本文描述的功能。应当领会的是，（多个）移动计算设备106可以体现为能够执行本文描述的功能的任何类型的移动计算设备。例如，移动计算设备106可以体现为蜂窝电话、智能电话、可穿戴计算设备、个人数字助理、移动因特网设备、膝上型计算机、平板计算机、笔记本、上网本、超极本和/或任何其它计算/通信设备，并且可以包括在这样的设备中通常所发现的组件和特征。附加地，网络104可以体现为任何数目的各种有线和/或无线电信网络。这样，网络104可以包括一个或多个网络、路由器、交换机、计算机和/或其它中间设备。例如，网络104可以体现为或者以其它方式包括一个或多个蜂窝网络、电话网络、局域网或广域网、公共可获得的全球网络（例如，因特网）或者它们的任何组合。
如图1中所示，说明性计算设备102包括处理器110、输入/输出（“I/O”）子系统112、存储器114、数据存储装置116、显示器118、相机系统120、一个或多个传感器122和通信电路124。当然，在其它实施例中，计算设备102可以包括其它或者附加的组件，诸如在典型计算设备中通常所发现的那些（例如，各种输入/输出设备和/或其它组件）。附加地，在一些实施例中，说明性组件中的一个或多个可以并入另一个组件中或者以其它方式形成另一个组件的部分。例如，存储器114或其部分可以在一些实施例中并入处理器110中。
处理器110可以体现为能够执行本文描述的功能的任何类型的处理器。例如，处理器110可以体现为（多个）单核或多核处理器、数字信号处理器、微控制器、或者其它处理器或处理/控制电路。类似地，计算设备102的存储器114可以体现为能够执行本文描述的功能的任何类型的易失性或非易失性存储器或数据存储装置。在操作中，存储器114可以存储在计算设备102的操作期间所使用的各种数据和软件，诸如操作系统、应用、程序、库和驱动程序。存储器114经由I/O子系统112通信耦合到处理器110，I/O子系统112可以体现为促进与计算设备102的处理器110、存储器114和其它组件的输入/输出操作的电路和/或组件。例如，I/O子系统112可以体现为或者以其它方式包括存储器控制器中心、输入/输出控制中心、固件设备、通信链路（即，点对点链路、总线链路、导线、线缆、光导、印刷电路板迹线等）和/或促进输入/输出操作的其它组件和子系统。在一些实施例中，I/O子系统112可以形成片上系统（SoC）的部分，并且连同处理器110、存储器114和/或计算设备112的其它组件被并入单个集成电路芯片上。
数据存储装置116可以体现为配置用于数据的短期或长期存储的任何类型的一个或多个设备，诸如例如存储器设备和电路、存储器卡、硬盘驱动、固态驱动或其它数据存储设备。数据存储装置116和/或存储器114可以存储用于显示的内容和/或在计算设备102的操作期间有用的各种其它数据，如下文所讨论的。
计算设备102的显示器118可以体现为可以在其上向计算设备102的观看者显示信息的任何类型的显示器。另外，显示器118可以体现为或者以其它方式使用任何适当的显示技术，包括例如液晶显示器（LCD）、发光二极管（LED）显示器、阴极射线管（CRT）显示器、等离子体显示器、图像投影仪（例如，2D或3D）、激光投影仪、触摸屏显示器和/或其它显示器技术。尽管在图1的说明性实施例中仅示出了一个显示器118，但是在其它实施例中，计算设备102可以包括多个显示器118。例如，图像或视频可以跨若干显示器118显示以生成大显示格式。
相机系统120可以包括一个或多个相机，所述一个或多个相机配置为捕获图像或视频（即，图像或帧的集合）并且能够执行本文描述的功能。应当领会的是，相机系统120的每一个相机可以体现为适用于捕获图像的任何外围或集成设备，诸如静物相机、视频相机、或者能够捕获视频和/或图像的其它设备。如下文所描述的，相机系统120可以捕获计算设备102的邻域（vicinity）内（例如，在计算设备102前方）的观看者的图像。在说明性实施例中，相机系统120包括二维（2D）相机126和深度相机128。
2D相机126可以体现为任何类型的二维相机。在一些实施例中，2D相机126可以包括RBG（红-绿-蓝）传感器或者类似的相机传感器，所述RBG（红-绿-蓝）传感器或者类似的相机传感器配置为捕获或以其它方式生成具有三个颜色通道（即，非深度通道）的图像。当然，图像的颜色值可以以另一方式表示（例如，作为灰度）并且可以包括更少或者附加的“颜色”通道。在一些实施例中，取决于2D相机126和/或相关联的成像技术的特定类型，由2D相机126生成的图像的RGB图像颜色值可以替代地表示为例如HSL（色调-饱和度-亮度）或HSV（色调-饱和度-值）值。
深度相机128可以体现为能够捕获深度图像或者以其它方式生成用于所捕获的图像的深度信息的任何设备。例如，深度相机128可以体现为三维（3D）相机、双焦相机、3D光场相机，和/或以其它方式能够生成深度图像、通道或流。在实施例中，深度相机128包括至少两个透镜和对应的传感器，所述至少两个透镜和对应的传感器配置为从场景的至少两个不同视点捕获图像（例如，立体相机）。应当领会的是，深度相机128可以取决于所使用的特定深度相机128而以各种方式确定场景中的对象的深度测量结果。例如，深度相机128可以配置为感测和/或分析结构化光、（例如，信号的）渡越时间（time of flight）、光检测和测距（LIDAR）、光场和其它信息，以确定对象的深度/距离。另外，在一些环境中，深度相机128可能由于各种因素（例如，遮挡、IR吸收、噪声和距离）而不能够准确地捕获场景中的某些对象的深度。这样，在所捕获的深度图像/通道中可能存在深度孔洞（即，未知深度值），这样其可以利用对应的深度像素值（例如，零或空值）来指示。当然，表示深度图像中的未知深度像素值的特定值或符号可以基于特定实现而变化。
在说明性实施例中，深度相机128还配置为捕获彩色图像。例如，深度相机128可以具有（多个）RGB-D（红-绿-蓝-深度）传感器或者（多个）类似的相机传感器，所述（多个）RGB-D（红-绿-蓝-深度）传感器或者（多个）类似的相机传感器可以捕获具有四个通道——深度通道和三个颜色通道（即，非深度通道）的图像。换言之，深度相机128可以具有RGB颜色流和深度流。可替换地，在一些实施例中，计算设备102可以包括相机（例如，2D相机126），所述相机具有配置为捕获彩色图像的传感器和配置为捕获对象距离的另一个传感器（例如，一个传感器122）。例如，在一些实施例中，深度相机128（或对应传感器122）可以包括红外（IR）投影仪和IR传感器，使得IR传感器通过分析由IR投影仪投射在场景上的IR光图案来估计场景中的对象的深度值。另外，在一些实施例中，由深度相机128捕获的颜色通道可以由计算设备102利用，而不是利用2D相机126来捕获单独图像，如下文所描述的。为了简单起见，在本文中对“RGB图像”、“彩色图像”和/或2D图像的引用是指基于特定图像的颜色/灰度通道（例如，来自RBG流）的图像，而对“深度图像”的引用是指至少部分地基于图像的深度通道/流的对应图像。
如图1中所示，计算设备102可以包括一个或多个传感器122，一个或多个传感器122配置为收集在执行本文描述的功能中有用的数据。例如，传感器122可以包括深度传感器，深度传感器可以用于确定对象距计算设备102的距离。在各种实施例中，传感器122可以体现为或者以其它方式包括例如接近度传感器、光学传感器、光传感器、音频传感器、温度传感器、运动传感器、压电传感器和/或其它类型的传感器。当然，计算设备102还可以包括配置为促进（多个）传感器122的使用的组件和/或设备。
通信电路124可以体现为使得能够通过网络104在计算设备102和其它远程设备（例如，移动计算设备106）之间进行通信的任何通信电路、设备或它们的集合。通信电路124可以配置为使用任何一种或多种通信技术（例如，无线或有线通信）和相关联的协议（例如，以太网、Bluetooth®、Wi-Fi®、WiMAX等）以实施这样的通信。
现在参照图2，在使用中，计算设备102建立用于估计观看者的关注区域并且显示观看者交互式内容的环境200。如下文所讨论的，计算设备102利用相机系统120来捕获计算设备102的一个或多个观看者（即，看向显示器118的人员）的（多个）图像。另外，计算设备102确定观看者距计算设备102的距离范围、观看者的凝视方向（例如，基于（多个）所捕获的图像和距离范围）以及显示器118的主动交互区（例如，基于观看者的凝视方向和观看者的距离范围）。如下文所描述的，观看者距计算设备102的距离范围可以被确定为绝对或近似物理距离，或者被确定为落入距离的范围（例如，短距离、中等距离和长距离）之内。另外，用于确定观看者的凝视方向的特定技术可以是基于例如所确定的观看者的距离范围。如下文所描述的，主动交互区指示观看者的凝视指向其处的显示器118的区。附加地，在说明性实施例中，计算设备102基于所确定的主动交互区而在显示器118上显示可以变化的内容。
计算设备102的说明性实施例200包括关注区估计模块202、显示内容确定模块204、显示模块206和通信模块208。附加地，关注区估计模块202包括面部检测模块210、头部取向确定模块212和凝视追踪模块214。如所示出，凝视追踪模块214还包括眼睛检测模块216。环境200的每一个模块可以体现为硬件、软件、固件或它们的组合。附加地，在一些实施例中，说明性模块中的一个或多个可以形成另一个模块的部分。例如，显示内容确定模块204在一些实施例中可以形成显示模块206的部分（或者反之亦然）。
关注区估计模块202接收利用相机系统120的（多个）相机所捕获（例如，作为流传送的视频或者作为个体图像而捕获）的图像，分析捕获图像，并且确定观看者的凝视指向其处的显示器118的区（即，主动交互区）。如下文所讨论的，在说明性实施例中，由相机系统捕获和/或由关注区估计模块202利用以做出这样的确定的特定图像是取决于观看者距计算设备102的距离范围。这样，关注区估计模块202配置为确定观看者相对于计算设备102的距离范围。为了这样做，关注区估计模块202可以分析由相机系统120捕获的图像和/或由传感器122收集的数据。取决于特定实施例，关注区估计模块202可以以任何合适的粒度或准确度水平来确定观看者距计算设备102的距离范围。例如，距离范围可以体现为绝对物理距离（例如，三英尺）、近似距离或者距离的范围（例如，在三英尺和十英尺之间）。在说明性实施例中，关注区估计模块202通过确定观看者当前位于预限定距离范围集合中的哪一个距离范围内，来确定观看者距计算设备102的距离。距离范围可以体现为特定距离的范围（例如，零到三英尺、三英尺到十英尺等）或者绝对范围（例如，短范围、中等范围或长范围）。应当领会的是，取决于特定实施例，可以存在任何数目的离散距离范围，以及用于检测范围的任何数目的设备和/或技术。例如，在一些实施例中，可以存在N个距离范围以及用于范围/距离检测的N个对应设备/技术，其中N是大于1的正整数。当然，在其它实施例中，距离范围的数目和可用范围/距离技术的数目可以不同。另外，在一些实施例中，关注区估计模块202可以作为显式步骤而确定距离范围（例如，使用深度或距离传感器），而在其它实施例中，距离范围可以更为隐式地确定（例如，基于技术限制等），如下文所描述的。当然，在一些实施例中，关注区估计模块202可以不确定人员距计算设备102的距离范围，直到确定人员正看向显示器118或者处于一般邻域中（例如，响应于在所捕获的图像中检测到人员的面部）。
如上文所讨论的，构成每一个距离范围的物理距离可以取决于特定实施例。在一些实施例中，距离范围可以根据预限定的距离或阈值进行限定。例如，短范围可以在距计算设备102的零英尺和四英尺之间，中等范围可以在四英尺和十五英尺之间，并且长范围可以大于十五英尺。在其它实施例中，距离范围可以被抽象出并且基于本文描述的技术的限制。例如，如下文所讨论的，凝视追踪算法仅可以能够在高至特定阈值距离的、在阈值误差水平（例如，高至10%误差）内准确地确定观看者的凝视方向。类似地，深度相机128或深度传感器仅可以能够在高至另一阈值距离的、在可接受阈值误差水平之内准确地测量对象的深度。当然，应当领会的是，在其它实施例中，距离范围可以基于其它准则进行选择（例如，不管凝视追踪算法和/或深度相机128图像是否提供准确数据）。例如，在一些实施例中，凝视追踪算法、深度相机128图像和/或RGB图像可以甚至在长范围处提供准确结果。在这样的实施例中，距离范围可以基于例如算法和计算效率来确定。也就是说，RGB图像分析可以在长范围处使用，因为其最为高效并且在这样的距离处提供足够准确度。类似地，RGB-D图像分析可以在中等范围处使用，并且凝视追踪算法在短范围处使用。还应当领会的是，在一些实施例中，关注区估计模块202可以针对计算设备102的多个观看者而确定观看者的凝视方向和显示器118的主动交互区。
如上文所讨论的，关注区估计模块202包括面部检测模块210、头部取向确定模块212和凝视追踪模块214。面部检测模块210检测所捕获的图像中的一个或多个人员的面部的存在，并且确定所捕获的图像中的任何检测到的面部的位置。应当领会的是，面部检测模块210可以利用用于这样做的任何适当的对象检测/追踪算法。另外，在一些实施例中，面部检测模块210可以基于人员的检测到的面部来标识人员（例如，通过生物计量算法和/或其它面部识别或对象相关算法）。这样，在其中追踪多个人员的凝视方向的实施例中，面部检测模块210可以在所捕获的图像中的那些人员之间进行区分以增强追踪质量。在一些实施例中，面部检测模块210可以在检测人员的面部的位置之前检测该人员在所捕获的图像中的存在。
头部取向确定模块212确定计算设备102的观看者相对于计算设备102的头部姿势。如下文参照图3所讨论的，在说明性实施例中，如果观看者距计算设备102为长范围，则头部取向确定模块212基于由2D相机126捕获的图像来确定观看者的头部姿势，并且如果观看者距计算设备102为中等范围，则头部取向确定模块212基于由深度图像128捕获的图像来确定观看者的头部姿势。也就是说，在一些实施例中，头部取向确定模块212可以在其中深度值可获得的距离（例如，中等范围距离）处利用RGB和深度图像像素值二者，并且在深度值不可获得时默认利用RGB值。当然，头部取向确定模块212可以利用用于确定观看者相对于计算设备102的头部姿势/取向的任何适当的技术和/或算法。例如，在实施例中，头部取向确定模块212可以将如在（多个）所捕获的图像中示出的观看者的头部与各种取向中的人员的头部的参考/模型图像的集合进行比较。
凝视追踪模块214基于例如观看者的（多个）所捕获的图像（例如，RGB图像和/或RGB-D图像）和所确定的观看者的距离范围（例如，短范围、中等范围或长范围），来确定观看者的凝视方向。应当领会的是，凝视追踪模块214可以利用用于这样做的任何适当的技术和/或算法。例如，在计算设备102的紧密接近度内（例如，在短范围内），凝视追踪模块214可以利用眼睛和凝视追踪算法来确定观看者的凝视方向（例如，基于对观看者的（多个）所捕获的图像的分析）。另外，在说明性实施例中，当观看者处于计算设备102的中等范围内时（例如，当准确的深度信息是可获得的时），凝视追踪模块214可以基于对RGB-D图像或类似数据的分析来确定观看者的凝视方向。在说明性实施例中，当观看者距计算设备102为长范围时（例如，当准确的深度信息是不可获得的时），凝视追踪模块214分析RGB图像（即，不包括准确的深度信息的所捕获的图像）以确定观看者的凝视方向。尽管出于描述的简单和清楚起见，在本文中可以参照观看者的单只眼睛来讨论眼睛和凝视检测、追踪以及分析，但是本文描述的技术等同地适用于追踪观看者的两只眼睛。
眼睛检测模块216确定观看者的眼睛在所捕获的图像中和/或相对于计算设备102的位置。为了这样做，眼睛检测模块216可以使用任何适当的技术、算法和/或图像滤波器（例如，边缘检测和分段）。在一些实施例中，眼睛检测模块216利用观看者的面部的位置（即，利用面部检测模块210所确定的）来确定观看者的眼睛的位置，以例如减少所捕获的图像的被分析以定位观看者的（多个）眼睛的区。当然，在其它实施例中，眼睛检测模块216可以独立于观看者的面部位置的确定或者在没有观看者的面部位置的确定的情况下，做出观看者的眼睛位置的确定。附加地，在一些实施例中，眼睛检测模块216分析观看者的眼睛以确定观看者的眼睛的各种特性/特征（例如，闪烁位置、虹膜位置、瞳孔位置、虹膜-瞳孔对比度、眼睛大小/形状、和/或其它特性）。应当领会的是，凝视追踪模块214可以利用观看者的眼睛的各种所确定的特征，来用于确定观看者相对于计算设备102的凝视方向和/或位置。例如，在实施例中，凝视追踪模块214使用从观看者的眼睛的角膜和/或瞳孔反射出的闪烁（即，第一浦肯野（Purkinje）图像），来用于凝视追踪或者更具体地闪烁分析。基于反射，凝视追踪模块214可以确定观看者相对于计算设备102的位置或定位（例如，在三维空间中）和/或观看者的凝视方向。
应当领会的是，基于所确定的观看者的凝视方向，关注区估计模块202能够确定显示器118的主动交互区。例如，基于观看者的凝视方向和/或观看者的距离范围，关注区估计模块202可以确定观看者所聚焦于的显示器118的区。换言之，显示器118可以划分成显示器118的主动交互区和显示器118的被动交互区，观看者的凝视指向所述主动交互区并且观看者可以在所述主动交互区与显示器118交互，观看者的凝视不指向所述被动交互区。在一些实施例中，被动交互区可以显示互补信息。另外，在一些实施例中，所确定的主动交互区的大小可以基于观看者距计算设备102的距离范围来确定。例如，在说明性实施例中，与当观看者距计算设备102为中等范围时相比，主动交互区的大小在观看者距计算设备102为短范围时更小。类似地，与观看者距计算设备102为长范围时相比，主动交互区在观看者距计算设备102为中等范围时更小。以这样的方式，关注区估计模块202可以基于观看者的凝视方向以及观看者距计算设备102的距离范围，来动态地确定显示器118的主动交互区的大小和位置。另外，如下文所讨论的，所显示的内容可以类似地改变，使得例如随着观看者逼近计算设备102，内容所提供的细节量增多。
显示内容确定模块204基于例如所确定的主动交互区，来确定要显示在计算设备102的显示器118上的内容。如上文所讨论的，在说明性实施例中，观看者的凝视可以被用作输入。也就是说，观看者的凝视方向可以指示至计算设备102的观看者的期望输入选择。相应地，在这样的实施例中，显示内容确定模块204可以基于观看者的期望输入选择（即，观看者的凝视方向和/或所确定的主动交互区）而选择用于显示的内容。另外，如上文所讨论的，计算设备102可以配置供多个观看者使用。这样，在一些实施例中，显示内容确定模块204可以基于多个观看者的凝视方向和/或所确定的主动交互区，来确定用于显示的内容。例如，显示内容确定模块204可以给予特定观看者的交互优先考虑（例如，最接近于计算设备102的观看者），执行群体分析以确定平均、中值、模式或另外的共同期望的交互，和/或以另一种适当的方式确定用于显示的内容。在实施例中，显示内容确定模块204可以确定在显示器118的一个区中为一个观看者显示内容，并且在显示器118的另一个区上为另一个观看者显示其它内容（例如，如果观看者的对应主动交互区不重叠的话）。
显示模块206配置为在计算设备102的显示器118上显示内容（即，由显示内容确定模块204所确定的）。如上文所讨论的，在说明性实施例中，显示在显示器118上的内容至少部分地基于显示器118的一个或多个观看者的所确定的主动交互区。
通信模块208处置计算设备102和远程设备（例如，移动计算设备106）之间通过对应网络（例如，网络104）的通信。例如，在一些实施例中，计算设备102可以与观看者的移动计算设备106通信，以准确地确定观看者相对于计算设备102的距离（例如，基于信号传输时间）。另外，在另一个实施例中，计算设备102的观看者可以使用例如移动计算设备106（例如，具有眼睛追踪的可穿戴计算设备），以在确定凝视方向、主动交互区、观看者输入选择和/或观看者的其它特性方面促进计算设备102。当然，与这样的分析相关联的有关数据可以由移动计算设备106传输并且由计算设备102的通信模块208接收。
现在参照图3-4，在使用中，计算设备102可以执行用于在计算设备102的显示器118上显示观看者交互式内容的方法300。说明性方法300从框302开始，其中计算设备102针对计算设备102前方的观看者进行扫描。换言之，计算设备102捕获一般在计算设备102前方的场景（即，可以正看向显示器118的任何人员）的一个或多个图像，并且如以上所讨论的那样分析那些所捕获的图像以检测任何观看者。如上文所指示的，计算设备102可以使用用于这样做的任何适当的技术或算法。例如，计算设备102可以使用峰检测（blob detection）、边缘检测、图像分段、图案/模型匹配和/或其它技术，以标识计算设备102前方的人员（即，潜在观看者）。
在框304中，计算设备102确定是否已经在任何所捕获的图像中检测到观看者。如果否，则方法300返回到框302，其中计算设备102继续针对潜在观看者进行扫描。然而，如果已经检测到人员，则计算设备102在框306中定位所捕获的图像中的人员的面部。为了这样做，计算设备102可以使用任何适当的技术和/或算法（例如，类似于检测在计算设备102前方的人员）。在框308中，计算设备102确定是否已经检测到人员的面部。如果否，则方法300返回到框302，其中计算设备102继续针对潜在观看者进行扫描。换言之，在说明性实施例中，计算设备102假设人员不是观看者，如果该人员的面部不能在所捕获的图像中检测到的话。例如，从计算设备102走开的人员（对于其的面部将不被检测到）不太可能正看向计算设备102。应当领会的是，在一些实施例中，尽管如此，仍可以确定潜在观看者的头部姿势方向/取向，以标识例如那些观看者的凝视方向（例如，以与下文描述的方式类似的方式）。潜在观看者头部姿势方向/取向和/或凝视方向可以用于标识观看者实际正看向哪里，例如以用于将来的分析和市场化目的。
如果检测到观看者的面部，则计算设备102在框310中确定观看者相对于计算设备102的距离范围。如上文所讨论的，计算设备102可以将观看者的距离范围确定为显式的距离值（例如，三英尺、七英尺、十二英尺等）或者确定为抽象距离范围（例如，短范围、中等范围、长范围等）。在一些实施例中，计算设备102可以执行以下显式步骤：确定观看者距计算设备102的距离范围。为了这样做，计算设备102可以例如利用由相机系统120的一个或多个相机捕获的图像、由传感器122收集的数据（例如，距离、深度或其它相关数据）、从其它设备（例如，移动计算设备106）传输的数据和/或其它信息。当然，在其它实施例中，计算设备102可以更隐式地探明或确定观看者距计算设备102的距离范围，如本文中所讨论的。
应当领会的是，在说明性实施例中，基于所利用的凝视追踪算法和深度相机128的技术限制来确定距离范围（例如，短范围、中等范围和长范围）。例如，在特定实施例中，短范围（例如，在距计算设备102的零英尺和四英尺之间）由所实现的凝视追踪技术的限制而限定。在这样的实施例中，中等范围（例如，在四英尺和十五英尺之间）由所利用的深度相机128的限制（例如，由深度相机128捕获的深度图像流的准确度）而限定。长范围（例如，大于十五英尺）可以被限定为超出中等范围距离的距离。当然，观看者的距离范围可以以其它方式来确定并且可以取决于特定实施例而是连续或离散的。相应地，在框312中，计算设备102基于用于执行这样的凝视追踪的特定实现和/或技术，来确定观看者是否在计算设备102的凝视追踪距离内（例如，在四英尺内）。如果是，则计算设备102在框314中基于凝视追踪算法来确定观看者的凝视方向。如上文所讨论的，计算设备102可以利用用于这样做的任何适当的凝视追踪算法。另外，计算设备102可以确定观看者的凝视指向其处的显示器118上的点（如果有的话），如下文所描述的。
如果计算设备102确定观看者不在凝视追踪距离内，则计算设备102在框316中基于用于执行这样的深度确定的特定实现和/或技术，来确定观看者是否在深度确定范围内。例如，计算设备102可以确定由深度相机128生成的深度图像（或者由深度传感器收集的类似数据）是否包括如上文所讨论的准确信息（例如，基于误差阈值）。如果计算设备102在深度确定范围内，则计算设备102在框318中基于由深度相机128捕获的图像（例如，RGB-D图像）来确定观看者的头部取向。例如，在一些实施例中，这样的图像可以与各种三维面部模板（例如，个性化模板或模型的模板）相比较。当然，计算设备102可以使用用于这样做的任何适当的技术或算法（例如，迭代最近点算法）来分析RGB-D图像。在一些实施例中，确定观看者的头部姿势/取向构成了确定观看者的头部姿势相对于（例如，模型的）基线头部取向的滚转、倾斜和横摆角度。
如果计算设备102确定观看者不在深度确定范围内，则计算设备102在框320中基于由2D相机126捕获的图像来确定观看者的头部取向。如上文所讨论的，计算设备102可以利用用于这样做的任何适当的算法或技术。在一些实施例中，计算设备102可以结合用于头部姿势/取向估计的比例正交投影变换（POST：Pose from Orthography and Scaling）或者比例正交投影迭代变换（POSIT：Pose from Orthography and Scaling with Iterations）算法，来利用例如人体测量3D模型（例如，刚性、统计、形状、纹理和/或其它模型）。应当领会的是，取决于特定实施例，确定观看者的头部取向可以使用例如静态图像途径（即，基于在相同时间处拍摄的单个图像或多个图像）或者差分或基于运动的途径（即，基于视频或图像序列）来完成。另外，在一些实施例中，不是使用由2D相机126捕获的图像，而是计算设备102可以分析由深度相机128捕获的图像（例如，RGB-D图像）的颜色通道（例如，RGB部分）。
不管计算设备102是在框318中基于深度图像还是在框320中基于2D图像来确定观看者的头部取向，计算设备102都在框322中确定观看者的凝视方向。在一些实施例中，为了这样做，计算设备102进一步使用适当的算法或技术来分析（多个）对应所捕获的图像（即，在框314或框318中分析的（多个）图像），以确定观看者的（多个）眼睛在所捕获的图像中的位置。另外，如上文所讨论的，计算设备102可以确定观看者的眼睛的各种特性，所述特性可以（例如，结合观看者的头部的所确定的取向）用于确定/估计观看者的凝视方向。例如，在实施例中，观看者的眼睛的所捕获的图像可以与参考图像的集合相比较，参考图像指示人员相对于人员的面部的不同眼睛取向（或凝视方向）。在这样的实施例中，向上看的人员的眼睛的参考/模型图像可以示出参考图像的底部处的人员巩膜（即，眼睛的白色部）的部分，以及朝向参考图像的顶部的人员虹膜的部分。类似地，直接向前看的人员的参考图像可以示出人员的虹膜和瞳孔，其中巩膜处于虹膜的两侧处。附加地，向下看的人员的参考图像可以主导性地示出例如朝向参考图像的顶部的人员的上眼皮和/或巩膜。当然，所使用的参考图像的集合可以在数目和取向方面变化，并且可以取决于例如所确定的观看者的头部的取向（例如，在她的头部指向相机的情况下向下看的人员的眼睛可能看起来不同于看向侧方的人员的眼睛）。
在说明性实施例中，计算设备102基于观看者的头部取向、观看者的眼睛取向和/或观看者距计算设备102的所确定的距离范围，来确定观看者关于显示器118的凝视方向。特别地，在一些实施例中，计算设备102可以确定三维空间中从观看者的眼睛定向并且与观看者的凝视一致的向量（即，凝视向量）的角度。另外，在一些实施例中，计算设备102确定观看者的凝视指向其处的显示器118上的点或区。应当领会的是，计算设备102可以使用用于这样做的任何适当的算法和/或技术做出这样的确定。例如，在一些实施例中，计算设备102可以存储指示在二维或三维空间中计算设备102的组件（例如，显示器118、相机系统120、传感器122、个体相机和/或其它组件）对于彼此和/或对于固定点（即，原点）的相对位置的数据。基于这样的坐标系统、观看者到计算设备102的距离范围以及观看者的凝视的相对取向（例如，基于观看者的头部和/或眼睛取向的凝视角度），计算设备102可以确定观看者的凝视指向其处的显示器118上的点/区。在另一个实施例中，计算设备102可以将观看者的凝视向量延伸到与显示器118一致的平面，并且将凝视向量与该平面之间的相交点标识为这样的点。当然，在一些环境中，计算设备102可以确定观看者没有正直接地看向显示器118上的任何点并且相应地处置那些环境。例如，计算设备102可以忽略观看者，或者标识观看者的凝视归因于的显示器118上的点（例如，最靠近观看者的实际凝视向量的显示器118上的点）。
不管计算设备102是如在框314中所描述的那样还是如在框322中所描述的那样基于凝视追踪算法来确定观看者的凝视方向，方法300都前进到图4的框324，其中计算设备102基于观看者的凝视方向和/或观看者距计算设备102的距离范围来确定显示器118的主动交互区。如上文所讨论的，计算设备102可以确定观看者的凝视指向其处的显示器118上的点或区（即，物理位置）（或者观看者的凝视归因于的点）。这样，在框326中，计算设备102基于观看者的凝视方向来确定主动交互区的位置。例如，在一些实施例中，显示器118的主动交互区的位置可以定中心在观看者的凝视指向其处的点的附近、在该点周围取向、或者以其它方式与该点相关联或包括该点。在框328中，计算设备102还确定主动交互区的大小。在说明性实施例中，主动交互区的大小取决于观看者距计算设备102的距离范围。如上文所讨论的，随着观看者逼近计算设备102，主动交互区的大小减少（例如，在观看者的凝视点附近）。也就是说，与如果观看者距计算设备102为长距离的情况相比，如果观看者距计算设备102为短距离，则主动交互区可以更小，尽管观看者的凝视指向相同点。换言之，如上文所讨论的，计算设备102可以基于观看者的凝视方向和观看者距计算设备102的距离范围，来动态地确定主动交互区的大小和位置。当然，在一些实施例中，计算设备102可以仅基于观看者的凝视方向或观看者距计算设备102的距离范围中的一个，来确定显示器118的主动交互区。
在框330中，计算设备102确定是否检测到另一个观看者。如果是，则方法300返回到图3的框302，其中计算设备102针对在计算设备102前方的附加观看者进行扫描。换言之，在说明性实施例中，计算设备102可以配置供多个观看者使用。在这样的实施例中，主动交互区可以以单数或复数来确定，并且可以基于若干观看者的凝视方向和距离范围来确定。当然，在一些实施例中，方法300可以实现成供单个观看者所使用。
如果计算设备102确定未检测到另一个观看者或者计算设备102实现成供基于仅一个观看者的凝视来使用，则计算设备102在框332中基于（多个）观看者的（多个）所标识的主动交互区来显示内容。如上文所讨论的，显示器118可以虚拟地划分成一个或多个主动交互区和被动交互区。另外，观看者在显示器118的主动交互区中的特定点处的凝视可以指示对在该点示出的显示要素的期望输入选择。相应地，计算设备102可以基于观看者的输入选择来显示内容（例如，在主动和/或被动交互区中）。例如，在一些实施例中，计算设备102可以在主动交互区中或周围显示主要内容（即，直接与用户输入有关的内容），并且在被动交互区中显示其它内容（例如，背景图像或之前示出的内容）。在框334中，计算设备102可以存储关于观看者的所确定的凝视方向、所确定的主动交互区的数据和/或对于计算设备102的操作和/或对于将来的市场化目的（例如，对于数据挖掘）有用的其它信息。方法300返回到图3的框302，其中计算设备102针对观看者进行扫描。应当领会的是，在一些实施例中，方法300可以在循环中执行以连续地确定观看者的凝视方向并且在显示器118上显示合适内容。
现在参照图5-7，示出了观看者502与计算设备102交互的简化图示。应当领会的是，在图5-7中所示的说明性使用场景中，计算设备102体现为交互式数字标牌。附加地，在该场景中，观看者502在图6中要比图7中更远离计算设备102，并且在图5中要比图6中更远离计算设备102。换言之，在图5-7的序列中，观看者502正朝向计算设备102行走。如图5中所示，在显示器118上示出两件衬衫并且观看者的凝视指向计算设备102的显示器118的特定区506。相应地，如上文所描述的，计算设备102确定观看者的凝视方向504和观看者502距计算设备102的距离范围，并且基于那些确定来确定显示器118的主动交互区508。计算设备102将观看者的凝视方向504（或者主动交互区508内的对应点）与期望的输入选择相关联，并且在显示器118上显示不同内容，如图6中所示。特别地，计算设备102将所选衬衫显示为全套服装的部分，其中利用输入选择列表询问“那么，您对此有何意见”。如所示的，观看者的凝视指向显示器118的区510。类似于以上所描述的，计算设备102确定观看者的新凝视方向504以及观看者502距计算设备102的新距离范围，并且基于那些确定来确定显示器118的主动交互区512。应当领会的是，主动交互区512小于主动交互区508，因为观看者502更靠近计算设备102。计算设备102将观看者的凝视方向504与输入选择“是”相关联，并且在显示器118上以三种不同颜色显示之前显示的全套服装，如图7中所示。如上文所描述的，计算设备102确定观看者的新凝视方向504、距离范围和主动交互区514，并且确定用于显示的内容，如上文所描述的。
示例
下面提供本文公开的技术的说明性示例。技术的实施例可以包括以下描述的示例中的任何一个或多个以及任何组合。
示例1包括一种用于观看者关注区域估计的计算设备，该计算设备包括：显示器；相机系统，用于捕获显示器的观看者的图像；关注区估计模块，用于（i）确定观看者距计算设备的距离范围，（ii）基于所捕获的图像和观看者的距离范围来确定观看者的凝视方向，以及（iii）基于观看者的凝视方向和观看者的距离范围来确定显示器的主动交互区；以及显示模块，用于基于所确定的主动交互区而在显示器上显示内容。
示例2包括示例1的主题，并且其中确定观看者的距离范围包括基于所捕获的观看者的图像来确定观看者的距离范围。
示例3包括示例1和2中的任一项的主题，并且其中确定观看者的距离范围包括：响应于检测到所捕获的图像中的观看者的面部而确定观看者的距离范围。
示例4包括示例1-3中任一项的主题，并且其中确定观看者的距离范围包括：确定观看者是否在第一距离内，凝视追踪算法在该第一距离处可以在第一阈值误差水平内准确地确定观看者的凝视方向；以及确定观看者是否在比第一距离大的第二距离内，深度相机在该第二距离处可以在第二阈值误差水平内准确地测量深度。
示例5包括示例1-4中任一项的主题，并且其中确定观看者的距离范围包括：确定观看者距计算设备的距离是否超出第一阈值距离；以及如果观看者距计算设备的距离超出第一阈值距离，则确定观看者距计算设备的距离是否超出比第一阈值距离大的第二阈值距离。
示例6包括示例1-5中任一项的主题，并且其中观看者的距离范围为以下中的一个：（i）距计算设备的短范围、（ii）距计算设备的中等范围或者（iii）距计算设备的长范围。
示例7包括示例1-6中任一项的主题，并且其中相机系统包括：二维相机，用于捕获观看者的图像，该观看者的图像是第一图像；以及深度相机，用于捕获观看者的第二图像。
示例8包括示例1-7中任一项的主题，并且其中确定观看者的凝视方向包括：响应于确定距离范围为距计算设备的长范围而基于第一所捕获的图像来确定观看者的凝视方向；响应于确定距离范围为距计算设备的中等范围而基于第二所捕获的图像来确定观看者的凝视方向；以及响应于确定距离范围是距计算设备的短范围而基于凝视追踪算法来确定观看者的凝视方向。
示例9包括示例1-8中任一项的主题，并且其中基于第二所捕获的图像来确定观看者的凝视方向包括：基于第二所捕获的图像来确定观看者的头部取向。
示例10包括示例1-9中任一项的主题，并且其中二维相机包括红-绿-蓝（RGB）相机，并且深度相机包括红-绿-蓝-深度（RGB-D）相机，并且其中基于第一所捕获的图像来确定观看者的凝视方向包括基于对RGB图像的分析来确定观看者的凝视方向；并且基于第二所捕获的图像来确定观看者的凝视方向包括基于对RGB-D图像的分析来确定观看者的凝视方向。
示例11包括示例1-10中任一项的主题，并且其中确定主动交互区包括确定具有以下的主动交互区：（i）作为观看者的距离范围的函数的大小和（ii）作为观看者的凝视方向的函数的位置。
示例12包括示例1-11中任一项的主题，并且其中观看者的凝视方向指示至计算设备的观看者的期望输入选择；并且其中在显示器上显示内容包括基于观看者的输入选择来显示内容。
示例13包括示例1-12中任一项的主题，并且其中捕获观看者的图像包括捕获多个观看者的图像；确定观看者的距离范围包括确定多个观看者中的每一个距计算设备的对应距离范围；确定观看者的凝视方向包括确定多个观看者中的每一个的对应凝视方向；并且确定显示器的主动交互区包括：基于多个观看者中的每一个的对应凝视方向和多个观看者中的每一个的对应距离范围，来针对多个观看者中的每一个确定显示器的对应主动交互区。
示例14包括示例1-13中任一项的主题，并且其中在显示器上显示内容包括：基于针对多个观看者中的每一个所确定的主动交互区而在显示器上显示内容。
示例15包括示例1-14中任一项的主题，并且其中计算设备体现为交互式数字标牌。
示例16包括一种用于通过计算设备进行的观看者关注区域估计的方法，该方法包括：通过计算设备的相机系统捕获计算设备的显示器的观看者的图像；通过计算设备确定观看者距计算设备的距离范围；通过计算设备基于所捕获的图像和观看者的距离范围来确定观看者的凝视方向；通过计算设备基于观看者的凝视方向和观看者的距离范围来确定显示器的主动交互区，其中主动交互区指示观看者的凝视指向其处的显示器的区；以及基于所确定的主动交互区而在显示器上显示内容。
示例17包括示例16的主题，并且其中确定观看者的距离范围包括基于所捕获的观看者的图像来确定观看者的距离范围。
示例18包括示例16和17中任一项的主题，并且其中确定观看者的距离范围包括：响应于检测到所捕获的图像中的观看者的面部而确定观看者的距离范围。
示例19包括示例16-18中任一项的主题，并且其中确定观看者的距离范围包括：确定观看者是否在第一距离内，凝视追踪算法在该第一距离处可以在第一阈值误差水平内准确地确定观看者的凝视方向；以及确定观看者是否在比第一距离大的第二距离内，深度相机在该第二距离处可以在第二阈值误差水平内准确地测量深度。
示例20包括示例16-19中任一项的主题，并且其中确定观看者的距离范围包括：确定观看者距计算设备的距离是否超出第一阈值距离；以及如果观看者距计算设备的距离超出第一阈值距离，则确定观看者距计算设备的距离是否超出比第一阈值距离大的第二阈值距离。
示例21包括示例16-20中任一项的主题，并且其中确定观看者的距离范围包括：确定观看者为（i）距计算设备的短范围、（ii）距计算设备的中等范围或者（iii）距计算设备的长范围。
示例22包括示例16-21中任一项的主题，并且其中捕获观看者的图像包括利用相机系统的二维相机来捕获观看者的第一图像，并且进一步包括通过相机系统的深度相机来捕获观看者的第二图像。
示例23包括示例16-22中任一项的主题，并且其中确定观看者的凝视方向包括：响应于确定距离范围为距计算设备的长范围而基于第一所捕获的图像来确定观看者的凝视方向；响应于确定距离范围为距计算设备的中等范围而基于第二所捕获的图像来确定观看者的凝视方向；以及响应于确定距离范围是距计算设备的短范围而基于凝视追踪算法来确定观看者的凝视方向。
示例24包括示例16-23中任一项的主题，并且其中基于第二所捕获的图像来确定观看者的凝视方向包括：基于第二所捕获的图像来确定观看者的头部取向。
示例25包括示例16-24中任一项的主题，并且其中二维相机包括红-绿-蓝（RGB）相机，并且深度相机包括红-绿-蓝-深度（RGB-D）相机，并且其中基于第一所捕获的图像来确定观看者的凝视方向包括基于对RGB图像的分析来确定观看者的凝视方向；并且基于第二所捕获的图像来确定观看者的凝视方向包括基于对RGB-D图像的分析来确定观看者的凝视方向。
示例26包括示例16-25中任一项的主题，并且其中确定主动交互区包括确定具有以下的主动交互区：（i）作为观看者的距离范围的函数的大小和（ii）作为观看者的凝视方向的函数的位置。
示例27包括示例16-26中任一项的主题，并且其中观看者的凝视方向指示至计算设备的观看者的期望输入选择；并且其中在显示器上显示内容包括基于观看者的输入选择来显示内容。
示例28包括示例16-27中任一项的主题，并且其中捕获观看者的图像包括捕获多个观看者的图像；确定观看者的距离范围包括确定多个观看者中的每一个距计算设备的对应距离范围；确定观看者的凝视方向包括确定多个观看者中的每一个的对应凝视方向；并且确定显示器的主动交互区包括：基于多个观看者中的每一个的对应凝视方向和多个观看者中的每一个的对应距离范围，来针对多个观看者中的每一个确定显示器的对应主动交互区。
示例29包括示例16-28中任一项的主题，并且其中在显示器上显示内容包括：基于针对多个观看者中的每一个所确定的主动交互区而在显示器上显示内容。
示例30包括示例16-29中任一项的主题，并且其中计算设备体现为交互式数字标牌。
示例31包括一种计算设备，包括：处理器；以及具有存储在其中的多个指令的存储器，所述多个指令在由处理器执行时使计算设备执行示例16-30中任一项的方法。
示例32包括包含存储在其上的多个指令的一个或多个机器可读存储介质，所述多个指令响应于被执行而导致计算设备执行示例16-30中任一项的方法。
示例33包括一种用于观看者关注区域估计的计算设备，该计算设备包括：用于通过计算设备的相机系统捕获计算设备的显示器的观看者的图像的构件；用于确定观看者距计算设备的距离范围的构件；用于基于所捕获的图像和观看者的距离范围来确定观看者的凝视方向的构件；用于基于观看者的凝视方向和观看者的距离范围来确定显示器的主动交互区的构件，其中主动交互区指示观看者的凝视指向其处的显示器的区；以及用于基于所确定的主动交互区而在显示器上显示内容的构件。
示例34包括示例33的计算设备，并且其中用于确定观看者的距离范围的构件包括用于基于所捕获的观看者的图像来确定观看者的距离范围的构件。
示例35包括示例33和34中任一项的计算设备，并且其中用于确定观看者的距离范围的构件包括：用于响应于检测到所捕获的图像中的观看者的面部而确定观看者的距离范围的构件。
示例36包括示例33-35中任一项的计算设备，并且其中用于确定观看者的距离范围的构件包括：用于确定观看者是否在第一距离内的构件，凝视追踪算法在该第一距离处可以在第一阈值误差水平内准确地确定观看者的凝视方向；以及用于确定观看者是否在比第一距离大的第二距离内的构件，深度相机在该第二距离处可以在第二阈值误差水平内准确地测量深度。
示例37包括示例33-36中任一项的计算设备，并且其中用于确定观看者的距离范围的构件包括：用于确定观看者距计算设备的距离是否超出第一阈值距离的构件；以及用于如果观看者距计算设备的距离超出第一阈值距离，则确定观看者距计算设备的距离是否超出比第一阈值距离大的第二阈值距离的构件。
示例38包括示例33-37中任一项的计算设备，并且其中用于确定观看者的距离范围的构件包括：用于确定观看者为（i）距计算设备的短范围、（ii）距计算设备的中等范围或者（iii）距计算设备的长范围的构件。
示例39包括示例33-38中任一项的计算设备，并且其中用于捕获观看者的图像的构件包括用于利用相机系统的二维相机来捕获观看者的第一图像的构件，并且进一步包括用于通过相机系统的深度相机来捕获观看者的第二图像的构件。
示例40包括示例33-39中任一项的计算设备，并且其中用于确定观看者的凝视方向的构件包括：用于响应于确定距离范围为距计算设备的长范围而基于第一所捕获的图像来确定观看者的凝视方向的构件；用于响应于确定距离范围为距计算设备的中等范围而基于第二所捕获的图像来确定观看者的凝视方向的构件；以及用于响应于确定距离范围是距计算设备的短范围而基于凝视追踪算法来确定观看者的凝视方向的构件。
示例41包括示例33-40中任一项的计算设备，并且其中用于基于第二所捕获的图像来确定观看者的凝视方向的构件包括：用于基于第二所捕获的图像来确定观看者的头部取向的构件。
示例42包括示例33-41中任一项的计算设备，并且其中二维相机包括红-绿-蓝（RGB）相机；深度相机包括红-绿-蓝-深度（RGB-D）相机；用于基于第一所捕获的图像来确定观看者的凝视方向的构件包括用于基于对RGB图像的分析来确定观看者的凝视方向的构件；并且用于基于第二所捕获的图像来确定观看者的凝视方向的构件包括用于基于对RGB-D图像的分析来确定观看者的凝视方向的构件。
示例43包括示例33-42中任一项的计算设备，并且其中用于确定主动交互区的构件包括用于确定具有以下的主动交互区的构件：（i）作为观看者的距离范围的函数的大小和（ii）作为观看者的凝视方向的函数的位置。
示例44包括示例33-43中任一项的计算设备，并且其中观看者的凝视方向指示至计算设备的观看者的期望输入选择；并且用于在显示器上显示内容的构件包括用于基于观看者的输入选择来显示内容的构件。
示例45包括示例33-44中任一项的计算设备，并且其中用于捕获观看者的图像的构件包括用于捕获多个观看者的图像的构件；用于确定观看者的距离范围的构件包括用于确定多个观看者中的每一个距计算设备的对应距离范围的构件；用于确定观看者的凝视方向的构件包括用于确定多个观看者中的每一个的对应凝视方向的构件；并且用于确定显示器的主动交互区的构件包括：用于基于多个观看者中的每一个的对应凝视方向和多个观看者中的每一个的对应距离范围，来针对多个观看者中的每一个确定显示器的对应主动交互区的构件。
示例46包括示例33-45中任一项的计算设备，并且其中用于在显示器上显示内容的构件包括：用于基于针对多个观看者中的每一个所确定的主动交互区而在显示器上显示内容的构件。
示例47包括示例33-46中任一项的计算设备，并且其中计算设备体现为交互式数字标牌。

Claims (25)

1.一种用于观看者关注区域估计的计算设备，该计算设备包括：
显示器；
相机系统，用于捕获显示器的观看者的图像；
关注区估计模块，用于（i）确定观看者距计算设备的距离范围，（ii）基于所捕获的图像和观看者的距离范围来确定观看者的凝视方向，以及（iii）基于观看者的凝视方向和观看者的距离范围来确定显示器的主动交互区；以及
显示模块，用于基于所确定的主动交互区而在显示器上显示内容。
2.权利要求1所述的计算设备，其中确定观看者的距离范围包括：响应于检测到所捕获的图像中的观看者的面部而确定观看者的距离范围。
3.权利要求1或2中任一项所述的计算设备，其中确定观看者的距离范围包括：
确定观看者是否在第一距离内，凝视追踪算法在该第一距离处能够在第一阈值误差水平内准确地确定观看者的凝视方向；以及
确定观看者是否在比第一距离大的第二距离内，深度相机在该第二距离处能够在第二阈值误差水平内准确地测量深度。
4.权利要求1或2中任一项所述的计算设备，其中确定观看者的距离范围包括：
确定观看者距计算设备的距离是否超出第一阈值距离；以及
如果观看者距计算设备的距离超出第一阈值距离，则确定观看者距计算设备的距离是否超出比第一阈值距离大的第二阈值距离。
5.权利要求1或2中任一项所述的计算设备，观看者的距离范围包括为以下中的一个：（i）距计算设备的短范围、（ii）距计算设备的中等范围或者（iii）距计算设备的长范围。
6.权利要求1所述的计算设备，其中相机系统包括：
二维相机，用于捕获观看者的图像，该观看者的图像是第一图像；以及
深度相机，用于捕获观看者的第二图像。
7.权利要求6所述的计算设备，其中确定观看者的凝视方向包括：
响应于确定距离范围为距计算设备的长范围而基于第一所捕获的图像来确定观看者的凝视方向；
响应于确定距离范围为距计算设备的中等范围而基于第二所捕获的图像来确定观看者的凝视方向；以及
响应于确定距离范围是距计算设备的短范围而基于凝视追踪算法来确定观看者的凝视方向。
8.权利要求7所述的计算设备，其中基于第二所捕获的图像来确定观看者的凝视方向包括：基于第二所捕获的图像来确定观看者的头部取向。
9.权利要求7所述的计算设备，其中二维相机包括红-绿-蓝（RGB）相机，并且深度相机包括红-绿-蓝-深度（RGB-D）相机，并且其中：
基于第一所捕获的图像来确定观看者的凝视方向包括基于对RGB图像的分析来确定观看者的凝视方向；并且
基于第二所捕获的图像来确定观看者的凝视方向包括基于对RGB-D图像的分析来确定观看者的凝视方向。
10.权利要求1所述的计算设备，其中确定主动交互区包括确定具有以下的主动交互区：（i）作为观看者的距离范围的函数的大小和（ii）作为观看者的凝视方向的函数的位置。
11.权利要求10所述的计算设备，其中观看者的凝视方向指示至计算设备的观看者的期望输入选择；并且
其中在显示器上显示内容包括基于观看者的输入选择来显示内容。
12.权利要求1所述的计算设备，其中：
捕获观看者的图像包括捕获多个观看者的图像；
确定观看者的距离范围包括确定多个观看者中的每一个距计算设备的对应距离范围；
确定观看者的凝视方向包括确定多个观看者中的每一个的对应凝视方向；并且
确定显示器的主动交互区包括：基于多个观看者中的每一个的对应凝视方向和多个观看者中的每一个的对应距离范围，来针对多个观看者中的每一个确定显示器的对应主动交互区。
13.权利要求12所述的计算设备，其中在显示器上显示内容包括：基于针对多个观看者中的每一个所确定的主动交互区而在显示器上显示内容。
14.一种用于通过计算设备进行的观看者关注区域估计的方法，该方法包括：
通过计算设备的相机系统捕获计算设备的显示器的观看者的图像；
通过计算设备确定观看者距计算设备的距离范围；
通过计算设备基于所捕获的图像和观看者的距离范围来确定观看者的凝视方向；
通过计算设备基于观看者的凝视方向和观看者的距离范围来确定显示器的主动交互区，其中主动交互区指示观看者的凝视指向其处的显示器的区；以及
基于所确定的主动交互区而在显示器上显示内容。
15.权利要求14所述的方法，其中确定观看者的距离范围包括基于所捕获的观看者的图像来确定观看者的距离范围。
16.权利要求14所述的方法，其中确定观看者的距离范围包括：
确定观看者是否在第一距离内，凝视追踪算法在该第一距离处能够在第一阈值误差水平内准确地确定观看者的凝视方向；以及
确定观看者是否在比第一距离大的第二距离内，深度相机在该第二距离处能够在第二阈值误差水平内准确地测量深度。
17.权利要求14所述的方法，其中确定观看者的距离范围包括：
确定观看者距计算设备的距离是否超出第一阈值距离；以及
如果观看者距计算设备的距离超出第一阈值距离，则确定观看者距计算设备的距离是否超出比第一阈值距离大的第二阈值距离。
18.权利要求14所述的方法，其中确定观看者的距离范围包括：确定观看者为（i）距计算设备的短范围、（ii）距计算设备的中等范围或者（iii）距计算设备的长范围。
19.权利要求14所述的方法，其中捕获观看者的图像包括利用相机系统的二维相机来捕获观看者的第一图像，并且进一步包括：
通过相机系统的深度相机来捕获观看者的第二图像。
20.权利要求19所述的方法，其中确定观看者的凝视方向包括：
响应于确定距离范围为距计算设备的长范围而基于第一所捕获的图像来确定观看者的凝视方向；
响应于确定距离范围为距计算设备的中等范围而基于第二所捕获的图像来确定观看者的凝视方向；以及
响应于确定距离范围是距计算设备的短范围而基于凝视追踪算法来确定观看者的凝视方向。
21.权利要求20所述的方法，其中基于第二所捕获的图像来确定观看者的凝视方向包括：基于第二所捕获的图像来确定观看者的头部取向。
22.权利要求20所述的方法，其中二维相机包括红-绿-蓝（RGB）相机，并且深度相机包括红-绿-蓝-深度（RGB-D）相机，并且其中：
基于第一所捕获的图像来确定观看者的凝视方向包括基于对RGB图像的分析来确定观看者的凝视方向；并且
基于第二所捕获的图像来确定观看者的凝视方向包括基于对RGB-D图像的分析来确定观看者的凝视方向。
23.权利要求14所述的方法，其中确定主动交互区包括确定具有以下的主动交互区：（i）作为观看者的距离范围的函数的大小和（ii）作为观看者的凝视方向的函数的位置。
24.权利要求14所述的方法，其中：
捕获观看者的图像包括捕获多个观看者的图像；
确定观看者的距离范围包括确定多个观看者中的每一个距计算设备的对应距离范围；
确定观看者的凝视方向包括确定多个观看者中的每一个的对应凝视方向；并且
确定显示器的主动交互区包括：基于多个观看者中的每一个的对应凝视方向和多个观看者中的每一个的对应距离范围，来针对多个观看者中的每一个确定显示器的对应主动交互区。
25.包括存储在其上的多个指令的一个或多个机器可读存储介质，所述多个指令响应于被执行而导致计算设备执行权利要求14-24中任一项所述的方法。
CN201580022975.7A 2014-06-06 2015-05-06 用于观看者关注区域估计的技术 Active CN106415445B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/298,003 US20150358594A1 (en) 2014-06-06 2014-06-06 Technologies for viewer attention area estimation
US14/298003 2014-06-06
PCT/US2015/029446 WO2015187294A1 (en) 2014-06-06 2015-05-06 Technologies for viewer attention area estimation

Publications (2)

Publication Number Publication Date
CN106415445A true CN106415445A (zh) 2017-02-15
CN106415445B CN106415445B (zh) 2020-03-17

Family

ID=54767155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580022975.7A Active CN106415445B (zh) 2014-06-06 2015-05-06 用于观看者关注区域估计的技术

Country Status (3)

Country Link
US (1) US20150358594A1 (zh)
CN (1) CN106415445B (zh)
WO (1) WO2015187294A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388233A (zh) * 2017-08-14 2019-02-26 财团法人工业技术研究院 透明显示装置及其控制方法
CN110992250A (zh) * 2019-11-29 2020-04-10 京东方科技集团股份有限公司 一种实现高分辨率显示的方法及装置
CN112989865A (zh) * 2019-12-02 2021-06-18 山东浪潮人工智能研究院有限公司 一种基于人头姿态判断的人群注意力焦点判断方法
TWI795823B (zh) * 2020-06-29 2023-03-11 仁寶電腦工業股份有限公司 電子裝置及其操作方法

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置
US9881058B1 (en) 2013-03-14 2018-01-30 Google Inc. Methods, systems, and media for displaying information related to displayed content upon detection of user attention
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9532715B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
KR102168911B1 (ko) * 2014-03-26 2020-10-22 삼성전자 주식회사 디스플레이장치 및 그 제어방법과, 디스플레이 시스템
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US20160012475A1 (en) * 2014-07-10 2016-01-14 Google Inc. Methods, systems, and media for presenting advertisements related to displayed content upon detection of user attention
CN104238751B (zh) * 2014-09-17 2017-06-27 联想(北京)有限公司 一种显示方法及电子设备
US10217379B2 (en) * 2015-01-30 2019-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Modifying vision-assist device parameters based on an environment classification
US10037712B2 (en) 2015-01-30 2018-07-31 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of detecting a classification of an object
JP2016151798A (ja) * 2015-02-16 2016-08-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
WO2017018012A1 (ja) * 2015-07-28 2017-02-02 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
US11194405B2 (en) * 2015-10-08 2021-12-07 Panasonic Intellectual Property Corporation Of America Method for controlling information display apparatus, and information display apparatus
JP2017134558A (ja) * 2016-01-27 2017-08-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
US10469997B2 (en) 2016-02-26 2019-11-05 Microsoft Technology Licensing, Llc Detecting a wireless signal based on context
US10475144B2 (en) * 2016-02-26 2019-11-12 Microsoft Technology Licensing, Llc Presenting context-based guidance using electronic signs
WO2017153355A1 (de) * 2016-03-07 2017-09-14 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und vorrichtung zum durchführen einer blickabbildung
US10692112B2 (en) * 2016-06-28 2020-06-23 International Business Machines Corporation Display control system, method, recording medium and display apparatus network
CN108227914B (zh) * 2016-12-12 2021-03-05 财团法人工业技术研究院 透明显示装置、使用其的控制方法及其控制器
US10291890B2 (en) 2017-01-12 2019-05-14 Intel Corporation Touch interface for a projection device
US10728702B2 (en) * 2017-01-21 2020-07-28 Changing Environments, Inc. Networked data management using pedestrian traffic patterns
US11403881B2 (en) * 2017-06-19 2022-08-02 Paypal, Inc. Content modification based on eye characteristics
US10687119B2 (en) 2017-06-27 2020-06-16 Samsung Electronics Co., Ltd System for providing multiple virtual reality views
EP3649607A4 (en) 2017-10-31 2020-07-15 Samsung Electronics Co., Ltd. SYSTEM AND METHOD FOR ANALYZING A VIEW OF AN OBSERVER
US20190243376A1 (en) * 2018-02-05 2019-08-08 Qualcomm Incorporated Actively Complementing Exposure Settings for Autonomous Navigation
US20220141445A1 (en) * 2018-08-30 2022-05-05 Gene Malkin Calibration of depth-sensing computer vision systems
CN114721007A (zh) 2018-08-30 2022-07-08 韦奥机器人股份有限公司 深度感测计算机视觉系统
US10789912B2 (en) * 2018-12-20 2020-09-29 Intel Corporation Methods and apparatus to control rendering of different content for different view angles of a display
JP2020118919A (ja) * 2019-01-28 2020-08-06 沖電気工業株式会社 表示制御装置、表示制御方法、プログラムおよび表示制御システム
CN111881763A (zh) * 2020-06-30 2020-11-03 北京小米移动软件有限公司 确定用户注视位置的方法、装置、存储介质和电子设备
CN116997918A (zh) * 2021-03-08 2023-11-03 日本电气株式会社 支付系统、支付方法和计算机程序
US20230360079A1 (en) * 2022-01-18 2023-11-09 e-con Systems India Private Limited Gaze estimation system and method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
CN101496086A (zh) * 2006-07-28 2009-07-29 皇家飞利浦电子股份有限公司 沿橱窗自分布的专用屏幕
WO2011130594A1 (en) * 2010-04-16 2011-10-20 Qualcomm Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
US20120133754A1 (en) * 2010-11-26 2012-05-31 Dongguk University Industry-Academic Cooperation Foundation Gaze tracking system and method for controlling internet protocol tv at a distance
US20130135196A1 (en) * 2011-11-29 2013-05-30 Samsung Electronics Co., Ltd. Method for operating user functions based on eye tracking and mobile device adapted thereto
US20130207895A1 (en) * 2012-02-15 2013-08-15 Samsung Electronics Co., Ltd. Eye tracking method and display apparatus using the same

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3407298B2 (ja) * 2000-08-18 2003-05-19 日本電信電話株式会社 文書表示方法、装置、および文書表示プログラムを記録した記録媒体
WO2011100436A1 (en) * 2010-02-10 2011-08-18 Lead Technology Capital Management, Llc System and method of determining an area of concentrated focus and controlling an image displayed in response
US8489122B2 (en) * 2010-12-09 2013-07-16 Andrew Llc System and method for total flight time ratio pattern matching
CA2853709C (en) * 2011-10-27 2020-09-01 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
US8723796B2 (en) * 2012-02-02 2014-05-13 Kodak Alaris Inc. Multi-user interactive display system
US9159116B2 (en) * 2013-02-13 2015-10-13 Google Inc. Adaptive screen interfaces based on viewing distance

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
CN101496086A (zh) * 2006-07-28 2009-07-29 皇家飞利浦电子股份有限公司 沿橱窗自分布的专用屏幕
WO2011130594A1 (en) * 2010-04-16 2011-10-20 Qualcomm Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
US20120133754A1 (en) * 2010-11-26 2012-05-31 Dongguk University Industry-Academic Cooperation Foundation Gaze tracking system and method for controlling internet protocol tv at a distance
US20130135196A1 (en) * 2011-11-29 2013-05-30 Samsung Electronics Co., Ltd. Method for operating user functions based on eye tracking and mobile device adapted thereto
US20130207895A1 (en) * 2012-02-15 2013-08-15 Samsung Electronics Co., Ltd. Eye tracking method and display apparatus using the same

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388233A (zh) * 2017-08-14 2019-02-26 财团法人工业技术研究院 透明显示装置及其控制方法
CN109388233B (zh) * 2017-08-14 2022-07-29 财团法人工业技术研究院 透明显示装置及其控制方法
CN110992250A (zh) * 2019-11-29 2020-04-10 京东方科技集团股份有限公司 一种实现高分辨率显示的方法及装置
CN112989865A (zh) * 2019-12-02 2021-06-18 山东浪潮人工智能研究院有限公司 一种基于人头姿态判断的人群注意力焦点判断方法
CN112989865B (zh) * 2019-12-02 2023-05-30 山东浪潮科学研究院有限公司 一种基于人头姿态判断的人群注意力焦点判断方法
TWI795823B (zh) * 2020-06-29 2023-03-11 仁寶電腦工業股份有限公司 電子裝置及其操作方法

Also Published As

Publication number Publication date
WO2015187294A1 (en) 2015-12-10
CN106415445B (zh) 2020-03-17
US20150358594A1 (en) 2015-12-10

Similar Documents

Publication Publication Date Title
CN106415445A (zh) 用于观看者关注区域估计的技术
US11741624B2 (en) Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
US11379996B2 (en) Deformable object tracking
US9697415B2 (en) Recording medium, image processing method, and information terminal
EP3557376A2 (en) Training of a neural network for three dimensional (3d) gaze prediction
CN108475108A (zh) 用于注视跟踪的环境光分析
CN112771856B (zh) 可分离失真视差确定
Gurbuz et al. Model free head pose estimation using stereovision
US11798177B2 (en) Hand tracking method, device and system
Perra et al. Adaptive eye-camera calibration for head-worn devices
KR20140019950A (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
CN115482359A (zh) 目标的尺寸测量方法、电子设备及其介质
CN115049819A (zh) 注视区域识别方法及装置
KR20240032107A (ko) 시력 검사 시스템 및 방법과 그 용도
KR101491413B1 (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
Li et al. Robust depth camera based multi-user eye tracking for autostereoscopic displays
KR101396098B1 (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
KR101382806B1 (ko) 단말기의 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
Ratnayake et al. Head Movement Invariant Eye Tracking System
EP4018288A1 (en) Eye tracking and gaze estimation using off-axis camera
CN117726926A (zh) 训练数据处理方法、电子设备和计算机可读存储介质
CN117255982A (zh) 手势识别方法、交互方法、手势交互系统、电子设备、存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant