CN104838326A - 可佩戴的食物营养反馈系统 - Google Patents

可佩戴的食物营养反馈系统 Download PDF

Info

Publication number
CN104838326A
CN104838326A CN201380062474.2A CN201380062474A CN104838326A CN 104838326 A CN104838326 A CN 104838326A CN 201380062474 A CN201380062474 A CN 201380062474A CN 104838326 A CN104838326 A CN 104838326A
Authority
CN
China
Prior art keywords
wearer
data
food item
display
food
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380062474.2A
Other languages
English (en)
Other versions
CN104838326B (zh
Inventor
R·杰拉尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN104838326A publication Critical patent/CN104838326A/zh
Application granted granted Critical
Publication of CN104838326B publication Critical patent/CN104838326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets

Abstract

透视、头戴式显示器和感测设备协作来提供关于在设备视野中检测到的食物项的反馈。反馈可包括基于个人佩戴者需求的警报、一般营养信息、食物消费跟踪和社交交互。该系统包括与显示器和传感器通信的一个或多个处理设备，该一个或多个处理设备标识在该装置附近的食物项、确定与该装置的佩戴者相关的反馈信息，并在显示器中渲染反馈信息。

Description

可佩戴的食物营养反馈系统
背景
人们通常不知晓有关他们消费的食物项的营养信息。尽管人们可能具有对食物项、卡路里内容、原料以及向他们呈现的食物的益处和后果的一般知晓，但是为每顿餐食跟踪消费和营养信息是令人厌烦的。提供营养信息对于尝试看管他们的体重的人、具有过敏限制或严格饮食需求的人而言是有利的。
混合的现实显示允许在显示中将虚拟图像与现实世界物理环境混合。用于混合现实的系统可包括例如，透视头戴式显示器或具有检测佩戴者的视野内的区域的内置相机的智能电话。这样的系统通常包括在一个或多个应用的控制下提供图像的处理单元。
发明内容
描述了提供可佩戴食物营养反馈系统的技术。反馈系统包括透视、近眼、头戴式显示器，该显示器具有检测该装置的视野中的信息的多个传感器。在该视野中检测食物项并且各种类型的反馈被提供到设备的佩戴者。反馈可包括基于个人佩戴者需求的警报、一般营养信息、食物消费跟踪和社交交互。该系统包括与显示器和传感器通信的一个或多个处理设备，该一个或多个处理设备标识在该装置附近的食物项、确定与该装置的佩戴者相关的反馈信息并在显示器中渲染反馈信息。该技术可被扩展来在涉及食物准备和购买中使用。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念的选集。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图简述
图1A是描绘一系统环境中的具有可调整IPD的透视、近眼、头戴式设备的一个实施例的示例组件的框图，其中该设备可以在该系统环境中操作。
图1B是描绘具有可调整IPD的透视、近眼、头戴式设备的另一实施例的示例组件的框图。
图2A是示出延伸到一定距离处的注视点并朝对准远IPD的方向延伸的注视向量的示例的俯视图。
图2B是示出延伸到一定距离处的注视点并朝对准近IPD的方向延伸的注视向量的示例的俯视图。
图3A是用于将透视、近眼、头戴式显示器与IPD对准的方法实施例的流程图。
图3B是用于调整透视、近眼、头戴式显示设备以使该设备与佩戴者IPD对准的方法的实现示例的流程图。
图3C是示出至少一个透视、近眼、头戴式显示调整机构的机械或自动调整的不同示例选项的流程图。
图4A是透视、近眼、头戴式显示设备的眼镜实施例中的镜架提供对硬件和软件组件的支持的眼镜腿的侧视图。
图4B是透视、近眼、头戴式显示设备的实施例中提供对硬件和软件组件的支持和对微显示器部件的三维调整的眼镜腿的侧视图。
图5A是透视、近眼、头戴式的包括注视检测元件的安排的可活动显示光学系统的实施例的俯视图。
图5B是透视、近眼、头戴式的包括注视检测元件的安排的可活动显示光学系统的另一实施例的俯视图。
图5C是透视、近眼、头戴式的包括注视检测元件的安排的可活动显示光学系统的第三实施例的俯视图。
图5D是透视、近眼、头戴式的包括注视检测元件的安排的可活动显示光学系统的第四实施例的俯视图。
图6A是可以用于一个或多个实施例的透视、近眼、头戴式显示单元的硬件和软件组件的一个实施例的框图。
图6B是与透视、头戴式显示设备相关联的处理单元的硬件和软件组件的一个实施例的框图。
图7是示出根据本发明技术的表示食物反馈方法的流程图。
图8是表示用于实现本技术的系统的框图。
图9是示出根据本发明技术的食物反馈方法的第二流程图。
图10是表示用于识别对透视、近眼、头戴式显示设备的佩戴者可用的食物项的方法的流程图。
图11是表示用于确定可用的食物项的营养信息的方法的流程图。
图12是表示用于确定对于佩戴者的反馈的流程图。
图13是示出用于跟踪食物消费的方法的流程图。
图14-19是示出被提供给透视、头戴式显示设备的佩戴者的各种类型的反馈的透视视图。
图20是示例性处理设备的框图。
图21是另一示例性处理设备的框图。
具体实施方式
在此描述的技术包括透视、头戴式显示设备，其向佩戴者提供关于佩戴者的交互和对食物的消费的反馈。在该设备的视野中检测食物项并且各种类型的反馈被提供到该设备的佩戴者。反馈可包括基于个人佩戴者需求的警报、一般营养信息、食物消费跟踪和社交交互。该系统标识在佩戴者附近的食物，确定与该装置的佩戴者相关的反馈信息并在显示器中渲染反馈信息。
第三方和用户历史被利用来提供针对佩戴者的准确且定制的反馈。第三方食物提供者可向用户呈现关于产品的具体营养信息。用户健康可出于消费和食物交互顾虑两者来被跟踪，并且当问题出现时可向用户提供警报。该技术可被扩展来在涉及食物准备和购买中使用。
图1-6示出适用于实现本系统的示例性透视、显示设备。
图1A是描绘一系统环境中的透视显示设备的一个实施例的示例组件的框图，其中该设备可以在该系统环境中操作。在一个实施例中，该技术实现透视、近眼显示设备。在其他实施例中，可使用不同类型的透视显示设备。系统10包括作为通过线6与处理单元4进行通信的近眼、头戴式显示设备2的透视显示设备。在其他实施例中，头戴式显示设备2通过无线通信来与处理单元4进行通信。处理单元4可以采取各种实施例。在一些实施例中，处理单元4是可以佩戴在佩戴者的身体(例如，在所示示例中的腕)上或置于口袋中的分开的单元，并且包括用于操作近眼显示设备2的计算能力中的大部分能力。处理单元4可以与一个或多个计算系统、热点、蜂窝数据网络等无线地(例如，WiFi、蓝牙、红外、或其他无线通信手段)通信。在其他实施例中，处理单元4的功能可被集成在显示设备2的软件和硬件组件中。
透视头戴式显示设备2(在一个实施例中它是带镜架115的眼镜的形状)被佩戴在佩戴者的头上，使得佩戴者可以透视显示器(在该示例中该显示器被实现为用于每一只眼睛的显示光学系统14)，并且从而具有对该佩戴者前方的空间的实际直接视图。使用术语“实际直接视图”来指直接用人眼看到现实世界对象，而非看到所创建的对象的图像表示的能力。例如，透过眼镜看房间将允许佩戴者得到该房间的实际直接视图，而在电视机上查看房间的视频不是该房间的实际直接视图。基于执行软件(例如，游戏应用)的上下文，该系统可以将虚拟对象的图像(有时称为虚拟图像或全息图)投影在可由佩戴该透视显示设备的人观看的显示器上，同时该人还透过该显示器观看现实世界对象。
镜架115提供用于将该系统的各元件保持在原位的支承体以及用于电连接的管道。在该实施例中，镜架115提供了便利的眼镜架作为下面进一步讨论的系统的各元件的支撑体。在其他实施例中，可以使用其他支承结构。这样的结构的示例是帽舌、帽子、头盔或护目镜。镜架115包括用于搁置在佩戴者的每一耳部的镜腿或侧臂。镜腿102代表右镜腿的实施例，并且包括显示设备2的控制电路136。镜架的鼻梁104包括用于记录声音并向处理单元4传送音频数据的话筒110。
图1B是描绘透视显示设备的另一实施例的示例组件的框图。在一些实施例中，处理单元4是可佩戴在佩戴者的身体(例如腰)上的单独单元，或者可以是诸如移动设备(例如，智能电话)等单独设备。处理单元4可通过通信网络50与无论位于附近还是位于远程位置的一个或多个计算系统12有线地或无线地通信(例如，WiFi、蓝牙、红外、RFID传输、无线通用串行总线(USB)、蜂窝、3G、4G或其它无线通信装置)。在其他实施例中，处理单元4的功能可被集成在显示设备2的软件和硬件组件中。
可以充分利用一个或多个远程的、网络可访问的计算机系统12来作为处理能力和远程数据访问。图16示出了计算系统12的硬件组件的示例。应用可以在计算机系统12上执行，其与在透视显示系统10中的一个或多个处理器上执行的应用进行交互或为其执行处理。例如，3D地图绘制应用可以在所述一个或多个计算机系统12和佩戴者的显示系统10上执行。
另外，在一些实施例中，在相同环境中或相互通信的其他透视、头戴式显示系统10上执行的应用在各设备间的对等配置中实时地共享数据更新(例如，对象标识和现实对象的遮挡体之类的遮挡数据)或将数据更新到在一个或多个网络可访问的计算系统中执行的对象管理服务。
在一些示例中共享的数据可相对于设备2可访问的一个或多个参照坐标系来被参考。在其他示例中，一个头戴式显示(HMD)设备可以从另一个HMD设备接收数据，包括图像数据或从图像数据导出的数据、发送HMD的位置数据(例如给出相对位置的GPS或IR数据)、及朝向数据。在HMD间共享的数据的示例是深度图数据，该深度图数据包括由其面向前的相机113捕捉到的图像数据和深度数据、对象标识数据以及深度图中各现实对象的遮挡体。现实对象可能仍是未被标识的，或者已被HMD设备上执行的软件或者支持计算机系统(例如，12或另一显示系统10)识别。
环境的一个示例是佩戴者所在的现实场所的360度可视部分。佩戴者可能在看其环境中作为其视野的子集。例如，房间是一环境。一人可能在家里，并且在厨房正看着冰箱的顶架。冰箱的顶架在他的显示器视野内，厨房是他的环境，但是他楼上的卧室并不是他当前环境的一部分，因为墙壁和天花板阻挡了他查看楼上的卧室。当然，随着他移动，他的环境改变。环境的一些其他示例可以是球场、街道场所、商店的一部分、咖啡店的顾客区域等。场所可以包括多个环境，例如家可以是一个场所。佩戴者及其朋友可能正佩戴着他们的显示设备系统玩游戏，这在家里的任何地方发生。随着每一玩家在家中到处移动，其环境改变了。类似地，围绕若干街区的周界可以是场所，并且在不同的十字路口进入视图时，不同的交叉路口提供不同的环境来查看。在一些实例中，场所还可以是取决于场所跟踪传感器或数据的精度的环境。
图2A是示出延伸到一定距离处的注视点并朝对准远瞳孔间距(IPD)的方向延伸的注视向量的示例的俯视图。图2A示出在注视点处相交的注视向量的示例，其中佩戴者的眼睛有效地聚焦在无限远处(例如五(5)英尺以外)，或换言之，示出了在佩戴者正看向正前方时的注视向量的示例。基于Gullstrand示意眼模型示出了每只眼睛的眼球160l、160r的模型。对于每只眼睛，眼球160被建模成具有旋转中心166的球，并且包括也被建模成球且具有中心164的角膜168。角膜随着眼球旋转，并且眼球的旋转中心166可被当作固定点。角膜覆盖虹膜170，瞳孔162处于虹膜170的中心。在这个示例中，在各个角膜的表面172上是闪光174和176。
在图2A所示的实施例中，传感器检测区域139(139l和139r)与眼镜架115内的每一显示光学系统14的光轴相对准。在该示例中，与该检测区域相关联的传感器是能够捕捉表示分别由镜架115左侧的照明器153a和153b生成的闪光174l和176l的图像数据以及表示分别由照明器153c和153d生成的闪光174r和176r的数据的相机。透过显示光学系统(眼镜架115中的14l和14r)，佩戴者的视野包括现实对象190、192和194以及虚拟对象182、184和186两者。
从旋转中心166穿过角膜中心164到瞳孔162而形成的轴178是眼睛的光轴。注视向量180有时被称为从小凹穿过瞳孔中心162延伸的视线或视轴。小凹是位于视网膜中大约1.2度的小的区域。在所计算的光轴和视轴之间的角度偏移具有水平和垂直分量。水平分量距光轴上达5度，并且垂直分量在2和3度之间。在许多实施例中，光轴被确定，并且通过佩戴者校准来确定小型校正以获得被选作注视向量的视轴。
对于每一佩戴者，虚拟对象可由显示设备在不同的水平和垂直位置处的多个预先确定的位置中的每一位置处来显示。在对象在每一位置处的显示过程中，可以计算每一眼睛的光轴，并且光线被建模成从该位置延伸到佩戴者眼睛中。具有水平和垂直分量的注视偏移角可以基于必须如何移动光轴以与所建模的光线相对准来确定。从不同的位置处，具有水平或垂直分量的平均注视偏移角可被选作要被应用于每一计算出的光轴的小型校正。在一些实施例中，水平分量被用于注视偏移角校正。
注视向量180l和180r并非完全平行，因为随着这些向量从眼球延伸到视野中的如符号181l和181r所指示的有效无限远处的注视点处，它们相互变得更近。在每一显示光学系统14处，注视向量180看起来与光轴相交，传感器检测区域139以这一交点为中心。在这一配置中，光轴与瞳孔间距(IPD)对准。在佩戴者看向正前方时，测得的IPD也被称为远IPD。
在标识供佩戴者聚焦以在一定距离处对准IPD的对象时，该对象可在沿每一显示光学系统的每一光轴的方向上被对准。一开始，光轴与佩戴者的瞳孔之间的对准是未知的。对于远IPD，该方向可以是正前方直通光轴。在对准近IPD时，所标识的对象可以在穿过光轴的方向上，然而由于眼睛在近距离处的转眼，该方向不是正前方，但它的中心处于各显示光学系统的各光轴之间。
图2B是示出延伸到一定距离处的注视点并朝对准近IPD的方向延伸的注视向量的示例的俯视图。在该示例中，左眼的角膜168l旋转到右侧或朝向佩戴者的鼻子，并且右眼的角膜168r旋转到左侧或朝向佩戴者的鼻子。两个瞳孔都在注视更近距离(例如，佩戴者前方两(2)英尺)处的现实对象194。始自每只眼睛的注视向量180l和180r进入现实对象194所处的Panum汇合区域195。Panum汇合区域是像人类视觉那样的双眼观察系统中的单视觉的区域。注视向量180l和180r的相交指示佩戴者正在看现实对象194。在这样的距离处，随着眼球向内旋转，它们瞳孔之间的距离减少到近IPD。近IPD通常少于远IPD 4毫米。近IPD距离准则，例如注视点处于小于四英尺处，可被用来将显示光学系统14的IPD对准切换或调整成近IPD的对准。对于近IPD，每一显示光学系统14可以朝佩戴者的鼻子移动，使得光轴以及检测区域139朝鼻子移动几毫米，如检测区域139ln和139rn所表示的。
用于自动地确定佩戴者的IPD和自动地调整STHMD以将IPD设定为供最佳佩戴者查看的技术在标题为“Gaze Detection In A See-Through,Near-Eye,Mixed Reality Display(透视、近眼、混合现实显示器的注视检测)”的共同美国专利申请13221739、标题为“Adjustment Of A Mixed Reality Display ForInter-Pupillary Distance Alignment(用于瞳孔间距离对准的混合现实显示器的调整)”的美国专利申请13221707以及标题为“Aligning Inter-Pupillary Distance InA Near-Eye Display System(在近眼显示系统中对准瞳孔间距离)”的美国专利申请13221662中被讨论，这些专利申请全部通过引用专门结合于此。
一般而言，图3A是用于将透视、近眼显示器与IPD对准的方法实施例300的流程图。在步骤301，控制电路136的一个或多个处理器自动地根据对准准则来确定透视、近眼显示设备是否与佩戴者的IPD对准。如果否，则在步骤302，该一个或多个处理器通过至少一个显示调整机构来引起对显示设备的调整，以使该设备与佩戴者IPD对准。如果确定透视、近眼显示设备与佩戴者IPD对准，则在步骤303存储该佩戴者的IPD数据集。在一些实施例中，显示设备2可以在每次任何人戴上显示设备2时自动确定是否存在IPD对准。然而，因为由于人类头骨的范围，IPD数据对成人而言通常是固定的，所以IPD数据集通常可被确定一次并被存储用于每个佩戴者。所存储的IPD数据集至少可被用作用来开始IPD对准检查的显示设备的初始设置。
图3B是用于调整显示设备以使该设备与佩戴者IPD对准的方法的实现示例的流程图。在该方法中，至少一个显示调整机构调整未对准的至少一个显示光学系统14的位置。在步骤407，为至少一个显示调整机构自动地确定一个或多个调整，以便满足至少一个显示光学系统的对准准则。在步骤408，基于一个或多个调整值来调整至少一个显示光学系统。该调整可在处理器的控制下自动地执行，或如下面进一步讨论的机械地执行。
图3C是示出可用于实现步骤408的至少一个显示调整机制所执行的机械或自动调整的不同示例选项的流程图。取决于对显示设备2中显示调整机构的配置，从步骤407(其中已经确定一个或多个调整值)，显示调整机构可以在步骤334中根据该一个或多个调整值来自动地(意味着在处理器的控制下)调整至少一个显示调整机构。替换地，与该系统相关联的一个或多个处理器可在每个步骤333电子地提供指令，以使佩戴者向至少一个显示调整机构应用该一个或多个调整值。可存在自动调整和根据指令的机械调整的组合的情况。
电子提供的指令的一些示例是由微显示器120、处理单元4显示的指令或通过显示设备2的扬声器130的语音指令。取决于佩戴者偏好或为了允许佩戴者进行一些附加控制，可存在具有自动调整和机械机构的设备配置。
图4A示出被实现为具有包括注视检测元件的可活动显示光学系统的眼镜的透视、近眼显示设备的示例性安排。表现为每个眼睛的镜片的是每个眼睛的显示光学系统14，例如14r和14l。显示光学系统包括透视镜片，例如图5A-5b中的118和116，如一副普通眼镜一样，但还包含用于将虚拟内容与透过镜片118、116看到的实际直接现实世界视图无缝地融合的光学元件(例如，反射镜、滤光器)。显示光学系统14具有一般处于透视镜片118、116的中心的光轴，其中光一般被校准来提供无失真视图。例如，在眼睛护理专业人员使一副普通眼镜适合于佩戴者的脸部时，目标是该眼镜在每一瞳孔与相应镜片的中心或光轴相对准的位置处落在佩戴者的鼻子上，从而通常使得校准光到达佩戴者的眼睛以得到清晰或无失真的视图。
在示例性显示设备2中，至少一个传感器的检测区域与其相应显示光学系统的光轴相对准，使得检测区域的中心捕捉沿着光轴的光。如果显示光学系统与佩戴者的瞳孔对准，则相应传感器的每一检测区域与佩戴者的瞳孔相对准。检测区域的反射光经由一个或多个光学元件传送到相机的实际图像传感器，在该示例中传感器由处于镜架内部的虚线示出。
在一个示例中，可见光相机(也通常称为RGB相机)可以是所述传感器。光学元件或光引导元件的示例是部分透射且部分反射的可见光反光镜。可见光相机提供佩戴者的眼睛的瞳孔的图像数据，而IR光电探测器152捕捉闪光，闪光是频谱的IR部分中的反射。如果使用可见光相机，则虚拟图像的反射可以出现在该相机所捕捉的眼睛数据中。图像过滤技术可被用于按需移除虚拟图像反射。IR相机对眼睛上的虚拟图像反射是不敏感的。
在其他示例中，至少一个传感器是IR辐射可被定向到的IR相机或位置敏感检测器(PSD)。例如，热反射表面可传递可见光，但反射IR辐射。从眼睛反射的IR辐射可以来自照明器、其他IR照明器(未示出)的入射辐射或者来自从眼睛反射的环境IR辐射。在一些示例中，传感器可以是RGB和IR相机的组合，并且光引导元件可包括可见光反射或转向元件和IR辐射反射或转向元件。在一些示例中，相机可以是小型的，例如2毫米(mm)乘2mm。
各种类型的注视检测系统适用于本系统中。在作为确定注视向量的一部分来计算角膜中心的一些实施例中，两个闪光并且因此两个照明器将是足够的。然而，其他实施例可在确定瞳孔位置并进而确定注视向量中使用附加的闪光。因为表示闪光的眼睛数据是重复地捕捉的，例如以每秒30帧或更大的帧率，所以一个闪光的数据可被眼睑或甚至被睫毛遮挡，但数据可由另一照明器所生成的闪光来收集。
图4A是透视显示设备的眼镜实施例中的镜架115的眼镜腿102的侧视图。在镜架115的前方是可捕捉视频和静止图像的面向物理环境的视频相机113。具体而言，在一些实施例中，面向物理环境的相机113可包括深度相机以及可见光或RGB相机。例如，该深度相机可包括IR照明器发射器和像处于可见图像传感器前方的热镜等热反射表面，该热反射表面使得可见光透过并将处于照明器所发射的波长范围内或预定波长周围的所反射的IR辐射定向到CCD或其他类型的深度传感器。可以使用其他类型的可见光相机(RGB相机)和深度相机。关于深度相机的更多信息可在2010年6月11日提交的美国专利申请12/813,675中找到，该申请的全部内容通过引用结合于此。来自传感器的数据可被发送到控制电路136的处理器210，或处理单元4、5，或者这两者，它们可以处理该数据但单元4也可发送到网络上的计算机系统或辅助计算系统以供处理。该处理通过图像分割和边检测技术来标识对象并将深度映射到佩戴者的现实世界视野中的对象。附加地，面向物理环境的相机113还可包括用于测量环境光的光计量器。
控制电路系统136提供支撑头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图6A和6B提供。处于镜腿102内部或安装在镜腿102处的有耳机130、惯性传感器132、GPS收发机144、以及温度传感器138。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C(参见图7A)。惯性传感器用于感测头戴式显示设备2的位置、朝向、以及突然加速。还可从这些移动中确定头部位置。
显示设备2提供可创建包括一个或多个虚拟对象的一个或多个图像的图像生成单元。在一些实施例中，微显示器可被用作图像生成单元。在该示例中，微显示器部件173包括光处理元件和可变焦点调整器135。光处理元件的一个示例是微显示器120。其他示例包括一个或多个光学元件，如透镜系统122的一个或多个透镜以及诸如图6A和6B中的反射元件124a和124b或图6C和6D中的124等一个或多个反射元件。透镜系统122可包括单透镜或多个透镜。
微显示器120安装在镜腿102上或处于镜腿102内部，它包括图像源并生成虚拟对象的图像。微显示器120在光学上与透镜系统122和反射元件124或以下附图中示出的反射元件124a和124b对准。光学对准可沿着包括一个或多个光轴的光学路径133。微显示器120透过透镜系统122来对虚拟对象的图像进行投影，这可将图像光引导到反射元件124上，反射元件124将该光引导到图5C和5D中的光导光学元件112中或引导到反射元件124a(例如，镜面或其他表面)上，反射元件124a将虚拟图像的光引导到部分反射元件124b，部分反射元件124b将沿着路径133的虚拟图像视图与图5A-5D中的沿着光轴142的自然或实际直接视图进行组合。各视图的组合被引导到佩戴者的眼睛。
可变焦调整器135改变微显示器部件的光学路径中的一个或多个光处理元件之间的位移或微显示器部件中的元件的光功率(optical power)。透镜的光功率被定义成其焦距的倒数，例如1/焦距，因而一个中的改变影响另一个。焦距的改变造成视野的区域的改变，例如特定距离处的区域，该区域对于由微显示器部件173生成的图像而言是焦点对准的。
在微显示器部件173作出位移改变的一个示例中，在电枢137内对位移改变进行引导，电枢137支承诸如该示例中的透镜系统122和微显示器120之类的至少一个光处理元件。电枢137帮助在各元件的物理移动期间稳定沿光学路径133的对准，以达到所选位移或光功率。在一些示例中，调整期135可移动一个或多个光学元件，诸如电枢137内的透镜系统122中的透镜。在其他示例中，电枢可在围绕光处理元件(例如，微显示器120)的区域中具有槽或空间，使得它在该元件上滑动而不需移动光处理元件。电枢中的另一元件(诸如透镜系统122)被附连，使得系统122或内部的透镜随着移动电枢137而滑动或移动。位移范围通常是几毫米(mm)的量级。在一个示例中，范围是1-2毫米。在其他示例中，电枢137可以向透镜系统122提供对涉及除位移之外的其他物理参数的调整的焦点调整技术的支持。这样的参数的示例是偏振。
至于与调整微显示器部件的焦距有关的更多信息，请参见2010年11月8日提交的、2012年5月10日公开的、公开号为2012-0113092-A1、题为“AutomaticVariable Virtual Focus for Augmented Reality Displays(用于扩充真实显示的自动可变虚拟焦点)”的美国专利第12/941,825号，并且其通过引用结合于此。
在一个示例中，调整器135可以是诸如压电马达之类的执行器。也可使用用于执行器的其他技术，并且这样的技术的一些示例是由线圈和永久磁铁、磁致伸缩元件、以及电致伸缩元件形成的音圈。
存在着可用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学有源材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理(DLP)、硅上液晶(LCOS)、以及来自Qualcomm有限公司的显示技术都是高效的反射技术的示例，因为大多数能量从已调制结构反射离开并且可用在本文描述的系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoPTM引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束(例如，激光)发射到眼睛。
图4B是显示设备的另一实施例中的提供对硬件和软件组件的支持和微显示器部件的三维调整的眼镜腿的侧视图。以上在图5A中示出的附图标记中的一些已被移除以避免附图中的混乱。在显示光学系统14在三个维度中的任一个维度上移动的实施例中，由反射元件124表示的光学元件和微显示器部件173的其他元件(例如，120、122)也可以移动以维持虚拟图像的光到该显示光学系统的光学路径133。在该示例中，由显示调整机构203和传动轴205所表示的在控制电路136的处理器210(参见图6A)的控制之下的一个或多个马达构成的XYZ传动机构控制微显示器部件173的各元件的移动。可被使用的马达的示例是压电马达。在所示出的示例中，一个马达被附连到电枢137并还移动可变焦点调整器135，并且另一显示调整机构203控制反射元件124的移动。
图5A是透视、近眼设备2的包括注视检测元件的安排的可活动显示光学系统14的实施例的俯视图。近眼显示设备2的镜架115的一部分将包围显示光学系统14并且为微显示器部件173的实施例的各元件提供支持，微显示器部件173如图所示包括微显示器120以及其附随元件。为了示出显示系统14(在该情况下是右眼系统的显示光学系统14r)的各个组件，在显示光学系统周围的镜架115的顶部部分未被描绘。附加地，鼻梁104上的话筒110在这个视图中未被显示以关注于显示调整机构203的操作。如在图4C的示例中，在该实施例中，通过移动内部镜架117r来移动显示光学系统14，内部镜架117r在该示例中也包围微显示器部件173。在该实施例中，显示调整机构203被实现为三轴马达，这些马达将它们的传动轴205附连到内部镜架117r以在三个维度中的任一个维度上将显示光学系统14进行平移(如指示移动的三(3)个轴的符号145所示)，在该实施例中显示光学系统14包括微显示器部件173。
在该实施例中，显示光学系统14具有光轴142并包括允许佩戴者对现实世界的实际直接查看的透视镜片118。在该示例中，透视镜片118是眼镜中使用的标准镜片，并且可根据任何处方(包括不根据处方)来制作。在另一实施例中，用可变处方镜片来替换透视镜片118。在一些实施例中，透视、近眼、头戴式显示设备2将包括附加镜片。
显示光学系统14还包括反射元件124a和124b。在该实施例中，来自微显示器120的光经由反射元件124a沿光学路径133引导到嵌入在镜片118中的部分反射元件124b，部分反射元件124b将沿光学路径133行进的虚拟物体图像视图与沿光轴142的自然或实际直接视图进行组合，使得经组合的视图在光轴的具有用于最清晰视图的最准直光的位置处被引导到佩戴者的眼睛(在该示例中是右眼)。
光传感器的检测区域也是显示光学系统14r的一部分。光学元件125通过捕捉来自佩戴者的眼睛的沿光轴142接收到的反射光来实现检测区域，并将捕捉到的光引导到传感器134r，在该示例中传感器134r位于内部镜架117r内的透镜118中。如显示的，该安排允许传感器134r的检测区域139将其中心与显示光学系统14的中心对准。例如，如果传感器134r是图像传感器，则传感器134r捕捉检测区域139，使得在图像传感器处捕捉到的图像以光轴为中心，因为检测区域139的中心是光轴。在一个示例中，传感器134r是可见光相机或RGB/IR相机的组合，并且光学元件125包括反射从佩戴者的眼睛反射的可见光的光学元件，例如部分反射镜。
在其他实施例中，传感器134r是诸如IR相机等IR敏感设备，并且元件125包括令可见光穿过它并将IR辐射反射到传感器134r的热反射表面。IR相机可不仅仅捕捉闪光，还可捕捉佩戴者眼睛的包括瞳孔的红外或近红外图像。
在其他实施例中，IR传感器134r是位置敏感设备(PSD)，有时被称为光学位置传感器。在图5A-5D中描绘的光检测元件(在这种情况下是反射元件)125、124、124a、以及124b是它们的功能的表示。这些元件可以采取任何数量的形式，并且可以用一个或多个光学组件按用于将光引导到其预期目的地(如相机传感器或佩戴者的眼睛)的一个或多个安排来实现。
如以上在图2A和2B中并在以下附图中讨论的，在佩戴者看向正前方并且在检测区域139或图像传感器134r实际上以显示器的光轴为中心时佩戴者的瞳孔的中心是所捕捉的佩戴者的眼睛的图像的中心的情况下，显示光学系统14r与瞳孔对准。当两个显示光学系统14与它们各自的瞳孔对准时，光学中心的距离与佩戴者的瞳孔间距离匹配或对准。在图6A的示例中，瞳孔间距离可在三维中与显示光学系统14对准。
在一个实施例中，如果传感器134捕捉到的数据指示瞳孔未与光轴对准，则处理单元4或控制电路136或这两者中的一个或多个处理器使用将距离或长度测量单元与图像的像素或其他分立单元或区域进行相关的映射准则来确定瞳孔的中心距光轴142有多远。基于所确定的距离，一个或多个处理器确定要将显示光学系统14r调整多少距离以及在哪一方向上移动来使光轴142与瞳孔对准。控制信号由一个或多个显示调整机构驱动器245应用到组成一个或多个显示调整机构203的各组件之一，例如显示调整机构203。在这个示例中是马达的情况下，马达移动它们的传动轴205以在至少一个由控制信号指示的方向上移动内部镜架117r。镜架115的可变形部分215a、215b处于内部镜架117r的镜腿一侧，它们的一端附连到内部镜架117r并且当显示光学系统14在三个方向中的任一方向上移动以相对于相应瞳孔来改变宽度、高度或深度时它们在镜腿架115内部的槽217a和217b内滑动以将内部镜架117锚定到镜架115。
除传感器之外，显示光学系统14还包括其他注视检测元件。在这一实施例中，至少两个(2)(但可以更多)红外(IR)照明器153在透镜118的侧面附连到镜架117r，它们将处于特定波长范围内或大约是预定波长的窄红外光束定向到佩戴者的眼睛以各自在相应角膜的表面上生成相应闪光。在其他实施例中，照明器和任何光电二极管可以处于镜片上，例如在角上或在边上。在这个实施例中，除了至少2个红外(IR)照明器153是IR光电检测器152。每一光电检测器152对它对应的IR照明器153的通过镜片118的特定波长范围内的IR辐射敏感，并且被定位来检测相应闪光。如在图4A-4C中所示，照明器和光电检测器由屏障154分开，使得来自照明器153的入射IR光不干扰在光电检测器152处接收到的反射IR光。在其中传感器134是IR传感器的情况下，光电检测器152可能不被使用或可以是附加闪光数据捕捉源。通过使用可见光相机，光电检测器152捕捉来自闪光的光并生成闪光强度值。
在图5A-5D中，例如检测区域139和照明器153和光电检测器152等注视检测元件的位置相对于显示光学系统14的光轴是固定的。这些元件在内部镜架上与显示光学系统14r一起移动，并且因此与显示光学系统14r的光轴一起移动，但它们与光轴142的空间关系不变。
图5B是透视、近眼设备的包括注视检测元件的安排的可活动显示光学系统的另一实施例的俯视图。在这个实施例中，光检测器134r可被实现成可见光相机(有时称为RGB相机)，或它可被实现成IR相机或能够处理可见光和IR范围内的光的相机，如深度相机。在这个示例中，图像传感器134r是检测区域139r。相机的图像传感器134垂直地位于显示光学系统的光轴142上。在一些示例中，相机可以在镜架115上位于透视镜片118上方或下方，或嵌入在镜片118中。在一些实施例中，照明器153向相机提供光，而在其他实施例中，相机使用环境光或来自其自己的光源的光来捕捉图像。捕捉的图像数据可被用于确定瞳孔与光轴的对准。可基于注视检测元件的几何排列形状来使用基于图像数据、闪光数据或两者的注视确定技术。
在这一示例中，鼻梁104中的显示调整机构203相对于佩戴者的眼睛在水平方向上移动显示光学系统14r，如方向符号145所示。在系统14被移动时，可变形的镜架部件215a和215b在槽217a和217b内滑动。在这一示例中，微显示器部件173实施例的反射元件124a是固定的。因为IPD通常只确定一次并被存储，所以可能做出的对微显示器120与反射元件124a之间的焦距的任何调整可由微显示器部件来实现，例如经由在电枢137内对微显示器元件的调整。
图5C是透视、近眼设备的包括注视检测元件的安排的可活动显示光学系统的第三实施例的俯视图。显示光学系统14具有注视检测元件的类似安排，包括IR照明器153和光检测器152、位于镜架115上或透镜118下方或光轴142上方的光传感器134r。在这一示例中，显示光学系统14包括作为用于将图像定向到佩戴者的眼睛的反射元件并且被置于附加的透视透镜116和透视透镜118之间的光导光学元件112。由于反射元件124处于光导光学元件内并且与元件112一起移动，在该示例中在镜腿102上，微显示器部件173的实施例被附连到显示光学系统14的显示调整机构203，该显示调整机构203被实现为一组具有传动轴205的三轴机构203，包括用于移动微显示器部件的至少一个三轴机构。鼻梁104上的一个或多个显示调整架构203表示提供三轴移动的显示调整机构230的其他组件。在另一实施例中，显示调整机构可用于经由它们的附连的传动轴205在水平方向上移动设备。微显示器部件173的机构203还将垂直地移动它以维持从微显示器120出射的光与反射元件124之间的对准。控制电路的处理器210(参见图7A)对它们的移动进行协调。
光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备2的佩戴者的眼睛。光导光学元件112还允许来自头戴式显示设备2的前方的光透过光导光学元件112传送到佩戴者的眼睛，从而除接收来自微显示器120的虚拟图像之外还允许佩戴者具有头戴式显示设备2的前方的空间的实际直接视图。因此，光导光学元件112的壁是透视的。光导光学元件112包括第一反射元件124(例如镜面或其他表面)。来自微显示器120的光穿过透镜系统122并入射在反射元件124上。反射元件124反射来自微显示器120的入射光，使得光通过内反射而被捕获在包括光导光学元件112的平面衬底内。
在衬底的表面上进行若干反射之后，所捕获的光波到达选择性反射表面126的阵列。注意，五个表面126中只有一个表面是防止附图太过拥挤。反射表面126将从衬底出射并入射在这些反射表面上的光波耦合到佩戴者的眼睛。光导光学元件的更多细节可以在于2008年11月20日公布的美国专利申请公开号2008/0285140、序列号12/214,366“Substrate-Guided Optical Devices(衬底导向的光学设备)中找到，其整体通过引用结合于此。”在一个实施例中，每只眼睛将具有其自己的光导光学元件112。
图5D是透视、近眼设备的包括注视检测元件的安排的可活动显示光学系统的第四实施例的俯视图。该实施例类似于图5C的实施例，包括光导光学元件112。然而，光检测器仅有IR光电检测器152，因此这一实施例仅依赖于闪光检测来用作注视检测，如在以下示例中讨论的。
在图5A-5D的实施例中，例如检测区域139和照明器153和光电检测器152等注视检测元件的位置相对于彼此是固定的。在这些示例中，它们还相对于显示光学系统14的光轴被固定。
在以上实施例中，所示出的具体数量的透镜只是示例。可以使用其他数目和配置的根据相同原理操作的透镜。另外，在以上示例中，只示出了透视、近眼、头戴式显示设备2的右侧。作为示例，完整的近眼显示设备将包括另一组透镜116和/或118、用于图5C和5D的实施例的另一光导光学元件112、另一微显示器120、另一透镜系统122、可能包括另一面向环境的相机113、用于图6A到6C的实施例的另一眼睛跟踪相机134、耳机130、以及温度传感器138。
图6A是可与一个或多个实施例一同使用的透视、近眼显示单元2的硬件和软件组件的一个实施例的框图。图7B是描述处理单元4的各组件的框图。在这一实施例中，近眼显示设备2接收来自处理单元4的关于虚拟图像的指令并向处理单元4提供传感器信息。可被体现在处理单元4中并在图6B中被描绘的软件和硬件组件将接收来自显示设备2(参见图1A)的传感器信息。基于这一信息，处理单元4将确定在何处以及在何时向佩戴者提供虚拟图像并相应地将指令发送给显示设备2的控制电路136。
注意，图6A的各组件中的一些(例如，面向物理环境的相机113、眼睛传感器134、可变虚拟焦距调整器135、检测区域139、微显示器120、照明器153、耳机130、温度传感器138、显示调整机构203)以阴影示出，以指示这些设备中的每一个至少有两个——头戴式显示设备2的左侧至少一个以及右侧至少一个。图6A显示与电源管理单元202通信的控制电路200。控制电路200包括处理器210、与存储器214(例如D-RAM)进行通信的存储器控制器212、相机接口216、相机缓冲区218、显示驱动器220、显示格式化器222、定时生成器226、显示输出228、以及显示输入接口230。在一个实施例中，驱动器220的所有组件都通过一个或多个总线的专用线路彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。
相机接口216提供到两个面向物理环境的相机113和每一眼睛传感器134的接口，并且将从相机113、传感器134接收到的相应图像存储在相机缓冲区218中。显示驱动器220将驱动微显示器120。显示格式化器222可以向执行该增现实系统的处理的一个或多个计算机系统的一个或多个处理器(例如4、210)提供与被显示在微显示器120上的虚拟图像有关的信息。定时生成器226被用于向该系统提供定时数据。显示输出228是用于将来自面向物理环境的相机113和眼睛传感器134B的图像提供给处理单元4的缓冲区。显示输入230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲区。显示输出228和显示输入230与作为到处理单元4的接口的带接口232进行通信。
电源管理单元202包括电压调节器234、眼睛跟踪照明驱动器236、可变调整器驱动器237、光电检测器接口239、音频DAC及放大器238、话筒前置放大器和音频ADC 240、温度传感器接口242、显示调整机构驱动器245、以及时钟生成器244。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他组件。照明驱动器236例如经由驱动电流或电压来控制照明器153以大约预定波长或在某一波长范围内操作。音频DAC和放大器238接收来自耳机130的音频信息。话筒前置放大器和音频ADC 240提供用于话筒110的接口。温度传感器接口242是用于温度传感器138的接口。一个或多个显示调整驱动器245向组成每一显示调整机构203的一个或多个马达或其他设备提供控制信号，这些控制信号表示三个方向中的至少一个方向上的移动调整量。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。电源管理单元202还向GPS收发机144提供电能并从中接收数据和向其发送数据。在一个实施例中，包括例如心跳传感器的生物测定传感器140可被提供。
可变调整器驱动器237向调整器135提供例如驱动电流或驱动电压等控制信号以移动微显示器部件173的一个或多个元件来达到通过在控制电路13的处理器210或处理单元4中执行的软件计算得到的聚焦区域的位移。在扫过一定范围的位移并且因此扫过一定范围的聚焦区域的实施例中，可变调整器驱动器237从定时生成器226、或者可替代地从时钟生成器244接收定时信号，以便以所编程的速率或频率来操作。
光电检测器接口239执行来自每一光电检测器的电压或电流读数所需的任何模数转换，经由存储器控制器212以处理器可读的格式来将该读数存储在存储器中，并且监视光电检测器152的操作参数，如温度和波长准确度。
图6B是与透视、近眼显示单元相关联的处理单元4的硬件和软件组件的一个实施例的框图。处理单元4可包括硬件和软件组件的这一实施例以及执行类似功能的类似组件。图6B示出与电源管理电路307进行通信的控制电路306。控制电路304包括中央处理单元(CPU)320，图形处理单元(GPU)322，高速缓存324，RAM 326，与存储器330(例如，D-RAM)进行通信的存储器控制器328，与闪存335(或其他类型的非易失性存储)进行通信的闪存控制器332，经由带接口302和带接口232与透视、近眼、头戴式显示设备2进行通信的显示输出缓冲区336，经由带接口302和带接口232与近眼显示设备2进行通信的显示输入缓冲区338，与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340，用于连接到无线通信组件346的PCI express接口，以及USB端口348。
在一个实施例中，无线通信组件346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端口可以用于将处理单元4对接到辅助计算设备12，以便将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向佩戴者的视野内插入图像的主负荷设备。
电源管理电路306包括时钟生成器360，模数转换器362，电池充电器364，电压调节器366，透视、近眼、头戴式显示器电源376，以及与温度传感器374进行通信的温度传感器接口372(位于处理单元4的腕带上)。到模数转换器362的交流电连接到充电插座370以用于接收AC供电并为该系统产生DC供电。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电能时对电池368进行充电(通过电压调节器366)。设备电源接口376向显示设备2提供电能。
上述系统可被用于将虚拟图像添加到佩戴者的视图，使得虚拟图像与佩戴者看到的现实图像相混合。在一个示例中，虚拟图像是以它们看上去为原始场景的一部分的方式被添加。添加虚拟图像的示例可在2011年5月20日提交的美国专利申请13/112919、“Event Augmentation With Real-Time Information”(具有实时信息的事件增强)；以及2010年10月15日提交的美国专利申请12/905952、“Fusing Virtual Content Into Real Content”(将虚拟内容合并到现实内容中)中找到；两个申请都通过被引用而完整结合于此。
通过以上描述的设备2，本技术实现用于向设备2的佩戴者在消费之前、期间和之后提供关于对佩戴者可用的食物项的反馈。在佩戴者遇到任何涉及食物的情况时，该佩戴者可被提供营养和/或社交反馈。
本技术将在以下参考在涉及消费食物项的情况中向佩戴者提供反馈中使用来被描述。应当理解，本技术在使用食物项来准备餐食时和购买食物项时存在等效适用性。
图7是示出根据本技术的总体方法的流程图。在702，在透视头戴式显示设备2的佩戴者被服务之前，对该佩戴者做出关于什么食物项对该佩戴者可用的确定。如以下描述的，对可用于佩戴者的食物的确定可通过任意数量的方式来执行。例如，当佩戴者在家并且将要准备餐食时，该确定发生。在这个示例中，佩戴者可在他们的家中存有从可用于处理单元4的列表或从设备所跟踪的项中提供的不同类型的食物。例如，如果已知佩戴者位于具有菜单的特定餐馆，访问菜单上各项的信息并基于佩戴者注视着该菜单来标识各项，该确定可发生。替换地，通过从设备2可用的传感器数据，可通过将外观和与已知食物项相关联的图像和深度数据进行匹配来标识食物项。在704，一旦食物已被确定，就可在消费之前向佩戴者提供反馈。反馈可具有营养信息、基于佩戴者饮食顾虑的特定佩戴者警报或来自朋友的社交信息的形式。例如，如果佩戴者的朋友以前在该特定位置处，则显示佩戴者的朋友吃过并喜爱的食物类型的推荐可被显示。类似地，如果佩戴者对吃坚果过敏，则系统可基于可能包括坚果的已知或可能的食谱来提供警报。
在706，当食物被呈现给佩戴者(并且在佩戴者附近)时，该系统可确定哪些食物项当前在佩戴者之前。在分析菜单时，佩戴者可具有多个选择。在一个示例中，基于来自系统2的话筒的经由语音识别的输入来确定佩戴者选择了哪个项是可能的。替换地，当盘子置于佩戴者之前并且食物在佩戴者附近时，关于该食物的图像数据可被用于在706确定在佩戴者之前呈现的实际食物。
在706，可立即在消费餐食之前提供反馈。该反馈可类似于在704提供的反馈或可以更加具体，诸如卡路里信息或基于佩戴者饮食顾虑的警报。在710，该技术接着可监视在佩戴者消费在佩戴者附近的食物时，该佩戴者正在吃什么或吃了什么。在712，可随着每顿餐、天、月或更长的时间来跟踪佩戴者消费以提供关于食物类型的佩戴者反馈和佩戴者的营养信息。
图8示出了包括本地处理单元4和实现反馈服务870的远程、网络连接的处理环境871的处理环境的功能组件。图8是用于在透视头戴式显示器中提供营养和食物消费反馈的系统的从软件的角度的框图。图8示出了可用个人计算装置结合与一个或多个与处理单元4通信的远程计算系统870来实现的计算环境。经由通信网络50的网络连接性允许充分利用远程系统870上的可用计算资源来提供反馈服务。
如在图8的实施例中显示的，驻留在处理单元4中的软件组件包括操作系统802、眼部跟踪引擎804、图像和音频处理引擎820、反馈应用850A和佩戴者简档数据存储868。操作系统802提供底层结构以允许处理单元4中的硬件元件与图8中显示的功能组件的较高级功能进行交互。
眼部跟踪引擎804相对于眼睛相对于设备2的移动来跟踪佩戴者注视。眼部跟踪引擎804可标识注视方向，并且结合图像和音频处理引擎820，可基于眼睛位置、眼睛移动以及图像和音频处理引擎820所识别的对象来标识佩戴者外部的注视点。图像和音频处理引擎820接收来自以上描述的在设备2上提供的一个或多个传感器的传感器输入数据，包括视频和图像数据、深度数据和音频数据。图像和深度信息可来自面向外的传感器，在佩戴者移动他的或她的头部和身体时捕捉。
图像和音频处理引擎820包括姿势识别引擎806、视觉渲染引擎828、音频引擎862以及声音识别引擎864。姿势识别引擎806标识由佩戴者作出的向执行中的应用(诸如反馈应用850A)指示控制、命令或其他被识别的移动的动作。动作可由佩戴者的身体部位(诸如手或手指)来作出，但还可包括眼睛眨眼序列。在一个实施例中，姿势识别引擎806包括姿势过滤器的集合，每个姿势过滤器都包括关于可由骨架模型的至少一部分作出的姿势的信息。姿势识别引擎806将骨架模型和从被添加到姿势过滤器中的所捕捉的图像数据中导出的与其相关联的移动与姿势库进行比较以标识出佩戴者何时作出了一个或多个姿势。在一些示例中，将图像数据与食物项数据进行匹配包括例如，可使用姿势期间佩戴者的手或手指的图像模型而非对于识别的姿势的骨架跟踪。图像和音频处理引擎820处理从给定位置处可用的一个或多个捕捉设备中接收的图像深度数据和音频数据。
用于标识来自图像数据的食物项的数据可由场景映射引擎808提供。显示设备2的显示器视野的3D映射可以由场景映射引擎808基于该显示器视野的捕捉到的图像数据和深度数据来确定。深度图可以表示该捕捉到的图像数据和深度数据。视图相关的坐标系可被用于根据佩戴者的视角对象之间的碰撞如何被呈现给佩戴者来映射显示器视野。视图相关的坐标系的示例是X、Y、Z坐标系，其中Z轴或深度轴垂直地或者作为法线从透视显示设备2的前面延伸。在一些示例中，在显示器视野中呈现的深度图的图像和深度数据从显示设备2前面的相机113处接收。可远程地来确定显示器视野或使用基于使用场景映射引擎808的先前映射在先前提供的一组环境数据来确定显示器视野。被场景映射引擎标识的各项可被反馈应用850a用来确定显示器视野中的食物项。
视觉渲染引擎828在佩戴者显示器中渲染显示元素，其可包括三维全息虚拟对象、二维图像、色彩和显示设备2的显示器内的其他信息的实例。视觉渲染引擎828与应用850a一起工作来在显示器中渲染元素。音频引擎862解释来自音频输入(诸如话筒110)的输入。
反馈应用850A在佩戴者与食物项进行交互之前、期间和之后向佩戴者提供与食物有关的反馈。该反馈可以是饮食、营养、个人和/或社交。在一些实例中，反馈可考虑佩戴者的位置、第三方信息和个人信息，并在设备2的佩戴者的视野内提供反馈。应用850A包括食物识别引擎852、消费输入确定引擎854、消费跟踪引擎856、营养数据858和本地数据存储860。食物识别引擎852包括文本处理和解析组件以及食物项识别组件。文本－解析组件可解析来自设备2的图像输入数据以辨别写在其上的各项，例如，解析在已知位置处的餐馆菜单以在佩戴者注视菜单上的一个或多个项时确定对佩戴者可用的项。随着佩戴者将他的注视停留在特定项上时，一旦设备确定佩戴者正在看的项，就可提供反馈。食物项识别组件评估图像数据来确定食物项是否与食物项的已知图案匹配。食物识别引擎852还可将输入数据(诸如图像和深度数据)与不同类型的食物的已知简档进行匹配。某些类型的食物相比于其他类型的食物更加容易识别。例如，相比于简单的鸡胸，汉堡包通常被更充分地定义。汉堡包具有将它们标识为特定项的多个分量。简单的鸡胸能用多种方式来准备，但是鸡肉上的纹理能向食物识别引擎提供关于如何作菜的一些线索。如一般理解的，食物通常包括由多于一种的原料组成的菜肴。如将在以下描述的，食物可通过数种方式中的一种来被标识，并且特定菜肴中的原料可从第三方(诸如餐馆或食物生产者、佩戴者自己的个人食谱数据存储)提供的数据中查到或从反馈服务870提供的通用食谱数据的数据存储中查到。
应用850A包括消费输入引擎854。消费输入引擎确定佩戴者可能何时消费以及消费多少食物。可基于姿势、声音或将触发消费输入事件的其他指示器来确定佩戴者对食物项的实际消费，该消费输入事件告诉系统佩戴者当前正在进餐并且允许该系统通过参照食物识别引擎标识的食物来标识佩戴者正在吃哪些食物。输入引擎854确定哪些事件标识消费以及佩戴者何时在实际摄取食物。消费跟踪引擎856计算消费输入和识别引擎852识别的或标识的消费的食物之间的关系以确定佩戴者在特定时间段期间消费了多少。时间段可根据应用提供者的目标来变化，或可由佩戴者设定。消费－跟踪引擎856允许佩戴者确定佩戴者在时间段上消费了多少并能向设备的佩戴者提供有价值的反馈。营养数据858包括诸如以上描述的食谱等信息以及组成食谱的原料的共同理解且公知的数据。营养数据858可被用于构建食谱并确定可能的营养值，即使第三方不提供具体的营养值。例如，如果食物识别引擎确定汉堡包在佩戴者附近并且佩戴者现在正在消费该汉堡包，营养数据可包括基于以下的数据：组成汉堡包的各个成分、已知或通用食谱以及汉堡包的可能的营养值和汉堡包的成分是什么的计算。
本地数据存储860包括特定于佩戴者的食谱、第三方营养信息、通用食谱以及原料营养信息。在存储860中可用的信息可以是从反馈服务870可用的较大集的这类信息的子集。如以上提到的，这类信息可包括由第三方提供的针对它们的菜单上具体菜肴的食谱。这类信息还可包括例如由生产商提供的食谱，使得佩戴者知晓如果食谱根据生产商指导来创建，那么营养值可被准确地计算。佩戴者可经由设备2或例如通过处理环境或反馈服务提供的佩戴者界面输入的佩戴者个人食谱到另一处理环境。
用户简档数据存储868包括佩戴者消费历史、佩戴者偏好(诸如药物信息和喜爱以及不喜爱菜肴)以及允许反馈应用850a向佩戴者提供数据的其他信息。用户简档数据中附加的信息可用反馈服务870来存储，但是存储在用户简档存储868中和本地数据存储860中允许反馈应用更迅速地访问信息和向设备2的佩戴者提供有价值的反馈。
反馈服务870可在管理员控制下的多个处理设备871上提供。服务870可包括允许一个或多个设备2经由网络50连接到该服务的用户通信和共享组件874。第三方提供者44和显示设备2的其他用户448可向反馈服务贡献数据。佩戴者简档存储876包括佩戴者简档数据(诸如存储在用户简档数据存储868中的佩戴者简档数据)以及其他佩戴者448的简档。可经由用户共享组件874来启用共享以允许各个佩戴者在社交共享组件中共享信息。用户历史872可包括各个用户的可与其他佩戴者共享的佩戴者历史。例如，如果佩戴者访问特定餐馆并且社交朋友也访问过该餐馆，那么可向佩戴者提供对该社交朋友的在该餐馆的先前体验的访问，从而允许佩戴者享用相同的餐点或避免具体地令人不愉快的菜肴。共享数据882可包括由其他用户448提供的具体共享的信息。这可包括可经由佩戴者共享组件874与类似设备的其他佩戴者共享的评论、强调和评价。共享组件允许佩戴者创建与其他佩戴者共享的典型社交网络，包括创建对反馈服务870的其他佩戴者可用的公共和私有信息存储。基于服务的反馈应用850A包括应用850A中显示的、但可作为计算服务870的一部分来运行的组件。
还在反馈服务870中显示了通用食谱数据869和第三方提供者食谱数据873。通用食谱数据可包括各种类型的菜肴的营养值。例如，如果食物识别引擎852确定佩戴者正坐在小牛肉前面，但是没有可用于该具体菜肴的食谱数据，则通用食谱数据可提供针对小牛肉的典型食谱的样本清单、在佩戴者附近的“典型”菜肴的营养信息的范围。
第三方提供者食谱数据873是特定于生产者、菜馆和/或场所的数据。例如，如果连锁餐厅希望向反馈服务870提供其第三方食谱数据，则访问餐馆中的任一餐馆的佩戴者将访问该连锁店的信息。类似地，各个餐馆可由位置标识并向反馈服务870提供特定的第三方食谱数据。
图9是表示用于实现本技术的方法的更详细方法的流程图。当佩戴者将要消费食物时，诸如当佩戴者正在访问餐馆和/或正要开始食物消费体验时，图9的方法发生。在步骤902，检索佩戴者简档。在一个实施例中，不使用佩戴者简档，并且信息在不知晓特定于佩戴者信息的情况下被呈现给佩戴者。在图9的实施例中，佩戴者简档可包括佩戴者消费历史、营养顾虑和佩戴者偏好。偏好可包括对佩戴者消费的各种类型的菜肴的佩戴者典型的喜爱和不喜爱、佩戴者希望在设备中接收的反馈的类型的指示、社交朋友以及用于定制对设备2的佩戴者的反馈体验的其他信息。
在步骤904，在906确定佩戴者的位置朝向和注视。位置提供可被用于标识食物项和提供关于食物项的信息两者的佩戴者和第三方数据的参考。朝向和注视可被用于确定对什么食物项佩戴者感兴趣并可能喜欢关于其的反馈。对位置朝向和注视的确定向系统提供佩戴者是在餐馆、在家或在其中系统可从佩戴者数据或第三方数据中标识食谱的某个其他位置的指示。
步骤906和910提供用于确定对佩戴者可用的食物项的机制。步骤906和908可在图9的序列中按逆序、或单独地提供－在不使用对方的情况下各自使用。
在906，佩戴者可被提示来确定该佩戴者是否希望手动地输入该佩戴者将要消费的食物的类型。如果佩戴者确实希望输入食物的类型，则佩戴者可在907处提供佩戴者输入。佩戴者输入可通过从在设备2中呈现给佩戴者的佩戴者界面驱动的预先填充的选择菜单中进行选择来提供。佩戴者界面可从基于佩戴者的位置的第三方信息或由食物识别引擎识别的食物项(例如，通过使用以下图10中针对步骤908描述的技术)驱动的菜单中得到。
一旦佩戴者输入了食物或如果佩戴者不希望提供手动佩戴者输入，则在步骤908，作出关于什么类型的食物可用并在佩戴者附近的确定。步骤908在以下被进一步详细描述，但可包括首先基于位置来确定是否第三方或特定于佩戴者的数据可用。例如，如果佩戴者在家，那么佩戴者食谱数据在确定可用的食物类型中可能是有用的。如果佩戴者在餐馆，则系统可解析在该餐馆处可用的菜单。以下关于图10来讨论关于步骤908的附加信息。
一旦食物项在步骤908被识别，就在910将营养信息与识别的并可用的食物项进行匹配。
一旦在912确定了可用食物项的营养信息，佩戴者就可被提示来查明佩戴者希望看到什么类型的反馈。应当理解，反馈类型在图9中可能不是可选择的。即，佩戴者可被提供无需佩戴者输入并仅由应用850A的开发者确定的社交和营养反馈。
在912，佩戴者可被提示关于该佩戴者是否希望他的社交或历史反馈。社交反馈可用来自设备的佩戴者与其是社交媒体朋友的其他佩戴者的推荐的形式来提供。如果佩戴者确实希望在912接收社交反馈，则社交反馈可在914根据图14-19中呈现的示例来提供。在915，佩戴者可决定佩戴者是否希望接收营养反馈。如果是，则所检测到的食物项的营养反馈可在916被呈现给佩戴者。呈现给佩戴者的反馈的示例在图14-19中显示。
类似地，如果消费监视在步骤918是希望的，则对佩戴者消费的监视在920发生并且反馈在922被提供。历史消费反馈可被提供，其指示佩戴者至今消费了多少顿餐、或佩戴者在特定的时间段(诸如一天、一周或一月)上吃了多少的营养记录。任选地，在步骤924，佩戴者消费历史可被存储以供日后在向佩戴者提供关于他们的消费的反馈时使用。
图10示出用于执行图9的识别对佩戴者可用的食物项的步骤908的一个示例性方法。在步骤1002，检索位置数据。如以上提到的，位置数据在确定当用户在已知位置处时什么项可能对用户可用时有用。在一个替换中，位置数据不被利用并且第三方数据可按不同方式(诸如通过QR码或其他扫描标签)与食物项相关联。在步骤1004，如果佩戴者在已知位置中(或数据可通过其他方式关联)，则在步骤1006，访问与该位置或标识事件相关联的已知食物项的数据，诸如菜单和营养数据。如果位置不是已知的或在访问已知数据后，来自设备2的传感器数据在1008被访问。在1010，传感器识别被执行来确定是否能查明对用户可用的食物项。这包括执行图像、文本或其他类型的数据识别中的所有或一种来标识佩戴者视野中的各项。已知食物类型的数据－原料、食谱和演示－可被存储在本地存储860中，并在步骤1012与传感器数据进行匹配，来确定佩戴者视野中的项是否被识别。如果项被识别，则在1020食物和准备的类型可被用于营养信息。如果食物不能被匹配，则可在步骤1014作出最佳猜测。例如，在不完美匹配发生的情况下，看上去像汉堡包的一项还可呈现为像鸡肉三明治、火鸡汉堡或蔬菜汉堡。在步骤1014，如果在1012发生关于匹配的开发者确定的不确定性等级，则可在1014提供一个或多个替换。如果佩戴者处于未知位置中并且系统确定看上去类似于汉堡包的项处于佩戴者的视野内并在佩戴者的附近，则系统可向佩戴者提示指示，该指示表明它认为该项是“汉堡包”，但还可以是鸡肉三明治、蔬菜汉堡或火鸡汉堡中的一个。
在发生关于匹配的低等级的不确定性的情况下，用户可在1016被提供机会来标识食物项。如果佩戴者选择来选择项，则佩戴者将要在1018提供手动输入。如果佩戴者不标识食物，则在1020利用最佳猜测。
图11是用于执行图9的确定在佩戴者视野中可用的食物项的营养信息的步骤910的方法。再次，在步骤1102，作出关于佩戴者是否处于已知位置(诸如餐馆或家)的初始确定。再次，可利用用于将数据与对营养信息的确定相关联的其他方法。在这种情况下，位置或数据关联被用于访问关于所标识的食物的营养信息的数据，而非用于标识食物项本身。
如果佩戴者在已知位置(或信息以其他方式可与事件关联)，则在1104，可检索已知佩戴者食谱、共享食谱或第三方食谱。在1106，如果食物匹配发生(例如在步骤1012)，则在1110针对所检测到的食物的一个或多个第三方提供的或佩戴者提供的食谱被匹配到食物项并且在1125提供用于营养反馈的数据。如果食物在1106没被匹配，但是佩戴者在1108标识食物(诸如例如，通过步骤1018)，则该方法再次行进到步骤1110。如果佩戴者没有标识食物并且食物不能在1106被匹配，则在1112使用最佳猜测数据来用于营养数据。如果佩戴者不在已知位置(或没有附加数据可用)，则如果食物可在1114被匹配，则该方法在1120基于该匹配来检索所检测到的食物的可能的一个或多个食谱，或基于识别出的原料来计算最有可能可用的营养成分，并在1125返回这个数据。如果食物不能被匹配，则佩戴者在1116被提供机会来标识食物并且如果佩戴者希望标识食物，则在1118佩戴者可被提示佩戴者能视觉上查明的所准备的餐食和/或感知到的原料。一旦佩戴者在1118提供这个信息，则该系统可在1120访问所检测到的食物的可能的一个或多个食谱。如果佩戴者不希望标识食物并且食物不能被匹配，则该系统基于图10的食物识别过程来检索最佳猜测数据并在1120访问所检测到的食物的可能的一个或多个食谱。
应当意识到，在图9或图10中，如果最佳猜测数据不可用，则该方法可简单地向用户指示食物项不可被标识。
图12是示出用于提供关于吃什么的佩戴者反馈的方法的流程图，其可以是执行图9中步骤916的一个方法。在步骤1202，当佩戴者开始进食事件时－当用户坐下来进食或翻阅菜单时，该方法开始。可通过在设备2的视野内由佩戴者、声音和其他动作作出的姿势来确定用户是否正在进食。一旦佩戴者开始了进食事件，在1204就作出关于佩戴者是否在翻阅菜单的确定。如果佩戴者在翻阅菜单，在1206对于佩戴者在菜单上注视的每个项，可在1208提供具体的佩戴者反馈或其他相关营养信息。一旦佩戴者结束翻阅菜单，该系统就在1210等待要在佩戴者附近的食物。在本申请的上下文中，在佩戴者附近的食物项是在佩戴者的触及或视野内的食物项。例如，如果佩戴者的注视停留在他前方的食物上，则在步骤1212，作出一项在佩戴者进食位置的附近的确定并且在1214，可提供对于佩戴者的注视停留或暂停在其的项的具体反馈或其他相关营养信息。一旦佩戴者在1216开始消费食物，在随机或预定的反馈点1218处，能在1220向佩戴者提供反馈。反馈点可根据时间、佩戴者消费的速率、佩戴者所处于的环境类型(家或餐馆)或其他由应用提供者具体确定的数据来确定。
图13是示出用于在图9中的步骤920监视佩戴者对食物的消费的方法的流程图。在步骤1302，确定消费事件。消费事件可以是例如，将佩戴者识别为将食物放入佩戴者的口中的姿势、佩戴者正在咀嚼食物的检测、或其他向系统指示佩戴者实际上在消费食物的声音或姿势。在1304，审阅视野以确定是否存在指示消费的数据。例如，如果已经从在佩戴者附近的汉堡包咬了一口，那么可作出佩戴者实际上在消费食物的确定，从而在902验证消费事件。如果消费实际上发生在906，则可在908扫描在佩戴者附近的区域。在910作出关于消费事件是否完成的确定。一旦消费事件完成，就可在912输出反馈。应当理解，反馈可以在消费事件完成之前任意数量的不同时间处输出。
图14-19示出可被提供给佩戴者的以上描述的各种类型的反馈。图14-19表示显示设备2中通过例如透镜118、116的佩戴者视图的一侧。虽然仅示出了显示的一侧，但是可以理解，该显示在两个透镜中等同。
在图14中，在佩戴者的视图中，显示具有菜单项1482的菜单1411。在图14显示的示例中，特餐项1482被设备2识别。这可通过将已知餐馆数据匹配到所识别的菜单项来执行。显示警报屏幕1420，该警报屏幕1420向佩戴者指示佩戴者不应该消费“小牛肉特餐”，因为小牛肉特餐被已知为具有坚果。餐馆拥有者可将关于“小牛肉特餐”的准备的信息在第三方数据中提供，而用户对坚果的顾虑可在用户简档数据中被识别。
图15是类似的指示佩戴者的角度的视图，其显示可被提供的社交数据的反馈。查看相同菜单1411的设备2的佩戴者被提供社交反馈1425，该社交反馈1425指示佩戴者的朋友“Marsha”上周消费过小牛肉特餐并喜欢它。位置或其他标记关联可触发来自佩戴者朋友“Marsha”的社交共享信息。
图16是类似的指示基于佩戴者自己的历史数据来提供给佩戴者的反馈的视图。在图16中，反馈1510指示佩戴者在上次该佩戴者在这个特定餐馆进食时不喜欢小牛肉特餐。
图17是消费反馈能如何被提供给佩戴者的示例。在图17中，佩戴者正在查看汉堡包并且系统通过警报1520向佩戴者指示“这是你今天的第二顿大餐；你确定你要这么做吗”，从而提示佩戴者考虑该佩戴者是否希望消费额外的大餐，因为系统跟踪到他今天已经消费了一顿大餐的事实。
图18是示出当系统不能确定在佩戴者的视野内可用的食物类型1818时可被提供给佩戴者的反馈的类似透视图。提示1824指示该系统不能确定食物类型并询问佩戴者该佩戴者是否想要标识它。佩戴者可被提供如图18中显示的选择菜单，其向佩戴者询问来选择该系统已经确定的该项可能是的各种食物类型之一。
图19示出了在其中系统不确定正被呈现给佩戴者的食物项或食谱的类型的情况下营养反馈的一个示例。在这个情况中，佩戴者被呈现系统的“最佳猜测”1830以及指示该类型的“典型”项可能具有的营养数据的一组信息。应当理解，在此示出的各种示例仅仅是示例性的，具有变化的细节、颜色、声音和其他信息的多种不同类型的反馈可被提供给佩戴者。
如以上提到的，本技术已经参考在涉及消费食物的情况中向佩戴者提供反馈中使用来被描述。应当理解，本技术可被用在对餐食的准备中。在用户正在准备食物项的情况下，原料数据可被识别并且在准备过程期间营养信息被提供给佩戴者。类似地，在佩戴者正在购买食物的情况下，关于对食物的选择以及具体项的营养信息的信息可被提供给佩戴者。
此外，社交信息可被扩展到涉及对食物的准备的情境。例如，如果某人正在为社交朋友准备餐食并且该朋友的共享信息指示食物过敏或顾虑，则可在餐食准备过程期间通过反馈应用来提供这样的反馈。
图20是可以在本技术的各实施例中操作的示例性移动设备的框图(例如，处理单元4)。描绘了典型移动电话的示例性电子电路。设备2000包括一个或多个微处理器2012，以及存储由控制处理器2012的一个或多个处理器执行来实现此处所述的功能的处理器可读代码的存储器2010(例如，诸如ROM等非易失性存储器和诸如RAM等易失性存储器)。
移动设备2000可包括例如处理器2012、包括应用和非易失性存储的存储器2050。处理器2012可实现通信以及任何数量的应用，包括本文中所描述的交互应用。存储器2050可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。设备操作系统来处理移动设备2000的不同操作，并可包含用于操作的佩戴者界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用2030可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、其他多媒体应用、闹钟应用、其他第三方应用、本文中讨论的交互应用等。存储器2010中的非易失性存储组件2040包含诸如web高速缓存、音乐、照片、联系人数据、时间安排数据、以及其他文件等数据。
处理器2012还与RF发射/接收电路2006进行通信，该电路2006进而耦合到天线2002，它还与红外发射器/接收器2008、与像Wi-Fi或蓝牙等任何附加通信信道2060、以及与像加速度计等移动/朝向传感器2014通信。加速计被包括到移动设备中，以启用诸如让佩戴者通过姿势输入命令的智能佩戴者界面之类的应用，在与GPS卫星断开联系之后计算设备的移动和方向的室内GPS功能，并检测设备的朝向，并且，当旋转电话时自动地将显示从纵向变为横向。可以，例如，通过微机电系统(MEMS)来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械器件(微米尺寸)。可以感测加速度方向、以及朝向、振动和震动。处理器2012还与响铃器/振动器2016、佩戴者界面键区/屏幕、生物测定传感器系统2018、扬声器2020、话筒2022、相机2024、光传感器2026以及温度传感器2028进行通信。
处理器2012控制无线信号的发射和接收。在发射模式期间，处理器2012向RF发射/接收电路2006提供来自话筒2022的语音信号或其他数据信号。发射/接收电路2006将该信号发射到远程站(例如固定站、运营商、其他蜂窝电话等)来通过天线2002进行通信。响铃器/振动器2016被用于向佩戴者发传入呼叫、文本消息、日历提醒、闹钟提醒或其它通知等信号。在接收模式期间，发射/接收电路2006通过天线2002接收来自远程站的语音或其他数据信号。所接收到的语音信号被提供给扬声器2020，同时所接收到的其它数据信号也被适当地处理。
另外，物理连接器2088可被用来将移动设备2000连接到外部电源，如AC适配器或加电对接底座。物理连接器2088还可被用作到计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。
为这样的服务启用使用基于卫星的无线电导航来中继佩戴者应用的位置的GPS收发机2065。
图21是描绘可用于实现网络可访问计算系统或伴随处理模块的计算系统一个实施例的框图。图21是计算系统的一个实施例的框图，该计算系统可用于实现一个或多个网络可访问的计算系统871或处理单元4，所述处理单元4可以主控计算环境中的至少一些软件组件或者图8中所描绘的其他元件。参考图21，示例性系统包括计算设备，诸如计算设备2100。在大多数基本配置中，计算设备2100通常包括一个或多个处理单元2102，包括一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。计算设备2100还包括存储器2104。取决于计算设备的确切配置和类型，存储器2104可以包括易失性存储器2105(如RAM)、非易失性存储器2107(如ROM、闪存等)或是两者的某种组合。该最基本配置在图21中由虚线2106来示出。另外，设备2100还可具有附加特征/功能。例如，设备2100还可包含附加存储(可移动和/或不可移动)，包括但不限于磁盘、光盘或磁带。这样的附加存储在图16中由可移动存储2108和不可移动存储2110示出。
设备2100还可以包含允许该设备与其他设备通信的通信连接2112，比如一个或多个网络接口和收发器。设备2100也可具有输入设备2114，诸如键盘、鼠标、笔、语音输入设备、触摸输入设备等。还可包括输出设备2116，诸如显示器、扬声器、打印机等。所有这些设备在本领域是众知的并且不必在此详细讨论。
附图中示出的示例计算机系统包括计算机可读存储设备的示例。计算机可读存储设备也是处理器可读存储设备。这样的设备包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任意方法或技术来实现的易失性和非易失性、可移动和不可移动存储器设备。处理器或计算机可读存储设备的一些是RAM、ROM、EEPROM、高速缓存、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、记忆棒或卡、磁带盒、磁带、媒体驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储信息且可以由计算机访问的任何其他设备。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述特定特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (20)

1.一种透视头戴式显示装置，包括：
透视、头戴式显示器；
检测所述装置的视野中视觉信息的多个传感器；
与显示器和所述传感器通信的一个或多个处理设备，所述一个或多个处理设备自动地：
标识在所述装置附近的食物项；
确定与所述装置的佩戴者相关的反馈信息；以及
在所述显示器中渲染反馈信息。
2.如权利要求1所述的装置，其特征在于，所述一个或多个处理设备确定所述装置的位置，并且其中所述一个或多个处理设备使用所述装置的位置来标识在所述装置附近的食物项。
3.如权利要求1所述的装置，其特征在于，所述一个或多个处理设备访问数据以将传感器数据匹配到食物类型，并且其中所述一个或多个处理设备使用传感器数据来标识在所述装置附近的匹配传感器数据的食物项。
4.如权利要求3所述的装置，其特征在于，所述一个或多个处理设备访问佩戴者简档信息，并且其中所述一个或多个处理设备基于佩戴者消费历史来标识食物项。
5.如权利要求1所述的装置，其特征在于，所述一个或多个处理器访问由第三方提供的食谱信息，并且其中所述一个或多个处理器基于所述食谱信息在所述显示器中提供营养反馈。
6.如权利要求1所述的装置，其特征在于，所述一个或多个处理设备访问佩戴者简档信息，并且其中所述一个或多个处理设备提供结合与所标识的食物项有关的佩戴者健康信息的佩戴者反馈。
7.如权利要求1所述的装置，其特征在于，所述食物项包括以下之一：在菜单上标识的项、在产品包装上标识的项或在所述装置附近的被标识的可吃的食物项。
8.如权利要求1所述的装置，其特征在于，到所述显示器的反馈是被标识的至少一个食物项的营养内容的视觉指示。
9.如权利要求1所述的装置，其特征在于，所述一个或多个处理设备通过提供佩戴者界面并接收来自所述装置的佩戴者的对食物项的标识来标识食物项。
10.一种包括可在处理设备上操作以执行一方法的指令的计算机可读介质，所述方法包括以下步骤：
接收来自安装在透视头戴式显示设备上的多个传感器的输入，所述传感器被安装来检测所述透视头戴式显示设备的视野中的图像数据以及所述透视头戴式显示设备的佩戴者注视；
基于所述图像数据和所述佩戴者注视来标识在所述设备附近的食物项；
访问所述食物项的反馈信息，所述反馈信息；以及
在所述显示设备中提供所述反馈，所述反馈信息用所述食物项中的一个或多个来标识。
11.如权利要求10所述的计算机可读介质，其特征在于，所述反馈信息包括以下之一：
所述一个或多个食物项的营养信息；
所述一个或多个食物项的佩戴者健康信息；以及
关于所述一个或多个食物项的社交朋友推荐。
12.如权利要求10所述的计算机可读介质，其特征在于，所述识别包括：
确定所述显示设备的位置；
访问与所述位置相关联的食物项数据；
评估所述图像数据以基于所述位置和所述食物项数据来确定食物项。
13.如权利要求12所述的计算机可读介质，其特征在于，其中标识包括评估所述图像数据和所述佩戴者注视以解析与所述位置相关联的菜单上的项，将所述菜单上的项与与所述位置相关联的食物项数据进行匹配，以及其中提供反馈包括提供针对所述食物项的特定于位置的反馈。
14.如权利要求10所述的计算机可读介质，其特征在于，其中标识包括评估所述图像数据和所述佩戴者注视，将所述图像数据中的项与与具有与位置相关联的食物项数据的菜单上已知食物相关联的数据进行匹配，并且其中提供反馈包括提供针对所述食物项的特定于位置的反馈。
15.一种用于提供针对透视头戴式显示系统的视野中的食物项的营养反馈的方法，包括：
确定所述系统的位置、朝向和视野；
确定第三方数据是否可用于所述位置并且如果是，则将第三方数据与所述位置相关联，所述第三方数据包括食物标识数据和营养信息；
评估来自所述透视头戴式显示器的传感器数据以标识在所述系统附近的食物项，所述评估在所述第三方数据可用的情况下使用所述第三方数据；
确定与所述食物项匹配并与所述系统的佩戴者相关的营养反馈信息；以及
在所述显示器中向所述佩戴者提供针对所述食物项中的至少一个的营养反馈。
16.如权利要求15所述的方法，其特征在于，确定包括访问指示特定于佩戴者的营养数据的用户简档信息，这样的数据确定与所述佩戴者相关的营养反馈信息。
17.如权利要求16所述的方法，其特征在于，所述评估步骤包括将食物项数据与传感器数据进行匹配来标识所述视野中的食物项。
18.如权利要求17所述的方法，其特征在于，所述确定步骤包括将第三方营养数据与所标识的食物项进行匹配。
19.如权利要求18所述的方法，其特征在于，进一步包括检测佩戴者注视并基于被标识为佩戴者注视的焦点的食物项来提供反馈。
20.如权利要求19所述的方法，其特征在于，提供反馈包括渲染指示对所述佩戴者的可能损害的至少一个营养警报的视觉指示。
CN201380062474.2A 2012-11-29 2013-11-29 可佩戴的食物营养反馈系统 Active CN104838326B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/689,293 2012-11-29
US13/689,293 US9189021B2 (en) 2012-11-29 2012-11-29 Wearable food nutrition feedback system
PCT/US2013/072488 WO2014085764A1 (en) 2012-11-29 2013-11-29 Wearable food nutrition feedback system

Publications (2)

Publication Number Publication Date
CN104838326A true CN104838326A (zh) 2015-08-12
CN104838326B CN104838326B (zh) 2019-03-08

Family

ID=49885390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380062474.2A Active CN104838326B (zh) 2012-11-29 2013-11-29 可佩戴的食物营养反馈系统

Country Status (6)

Country Link
US (3) US9189021B2 (zh)
EP (1) EP2926209A1 (zh)
JP (1) JP6328133B2 (zh)
KR (2) KR102179142B1 (zh)
CN (1) CN104838326B (zh)
WO (1) WO2014085764A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569334A (zh) * 2015-10-07 2017-04-19 财团法人资讯工业策进会 头戴式装置以及导览方法
CN106599602A (zh) * 2016-12-29 2017-04-26 太仓红码软件技术有限公司 展示制定组合标识物虚拟信息的增强现实装置及其方法
CN107870710A (zh) * 2016-09-26 2018-04-03 宏达国际电子股份有限公司 模拟环境中提供演示信息的方法以及模拟系统
CN109145010A (zh) * 2018-08-30 2019-01-04 Oppo广东移动通信有限公司 信息查询方法、装置、存储介质及穿戴式设备
CN109584226A (zh) * 2018-11-26 2019-04-05 深圳龙图腾创新设计有限公司 一种质检系统以及方法

Families Citing this family (241)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US20160321253A1 (en) 2005-10-26 2016-11-03 Cortica, Ltd. System and method for providing recommendations based on user profiles
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US8266185B2 (en) 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US20140093844A1 (en) * 2005-10-26 2014-04-03 Cortica, Ltd. Method for identification of food ingredients in multimedia content
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US9529984B2 (en) 2005-10-26 2016-12-27 Cortica, Ltd. System and method for verification of user identification based on multimedia content elements
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US9339691B2 (en) 2012-01-05 2016-05-17 Icon Health & Fitness, Inc. System and method for controlling an exercise device
US20130273509A1 (en) * 2012-04-16 2013-10-17 Christopher M. MUTTI Method of Monitoring Nutritional Intake by Image Processing
US20210249116A1 (en) * 2012-06-14 2021-08-12 Medibotics Llc Smart Glasses and Wearable Systems for Measuring Food Consumption
US10130277B2 (en) 2014-01-28 2018-11-20 Medibotics Llc Willpower glasses (TM)—a wearable food consumption monitor
US10772559B2 (en) 2012-06-14 2020-09-15 Medibotics Llc Wearable food consumption monitor
US9449340B2 (en) * 2013-01-30 2016-09-20 Wal-Mart Stores, Inc. Method and system for managing an electronic shopping list with gestures
US20160005329A1 (en) * 2013-02-28 2016-01-07 Sony Corporation Information processing device and storage medium
JP6024515B2 (ja) * 2013-02-28 2016-11-16 ソニー株式会社 情報処理装置および記憶媒体
EP2969058B1 (en) 2013-03-14 2020-05-13 Icon Health & Fitness, Inc. Strength training apparatus with flywheel and related methods
US9092954B2 (en) * 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
US9990034B2 (en) * 2013-11-15 2018-06-05 Lg Electronics Inc. Transparent display device and control method therefor
EP3974036A1 (en) 2013-12-26 2022-03-30 iFIT Inc. Magnetic resistance mechanism in a cable machine
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9532715B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9659225B2 (en) 2014-02-12 2017-05-23 Microsoft Technology Licensing, Llc Restaurant-specific food logging from images
JP6630465B2 (ja) * 2014-03-05 2020-01-15 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ 可変焦点および／または物体認識を備えたウェアラブル３ｄ拡張現実ディスプレイ
WO2015138339A1 (en) 2014-03-10 2015-09-17 Icon Health & Fitness, Inc. Pressure sensor to quantify work
US20150262429A1 (en) * 2014-03-13 2015-09-17 Gary Stephen Shuster Systems, devices and methods for sensory augmentation to achieve desired behaviors or outcomes
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US20150278455A1 (en) * 2014-03-31 2015-10-01 Elwha Llc Quantified-self machines and circuits reflexively related to big-data analytics systems and associated fabrication machines and circuits
US10318123B2 (en) 2014-03-31 2019-06-11 Elwha Llc Quantified-self machines, circuits and interfaces reflexively related to food fabricator machines and circuits
US10127361B2 (en) 2014-03-31 2018-11-13 Elwha Llc Quantified-self machines and circuits reflexively related to kiosk systems and associated food-and-nutrition machines and circuits
US9922307B2 (en) 2014-03-31 2018-03-20 Elwha Llc Quantified-self machines, circuits and interfaces reflexively related to food
US20150309534A1 (en) 2014-04-25 2015-10-29 Osterhout Group, Inc. Ear horn assembly for headworn computer
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
WO2015191445A1 (en) 2014-06-09 2015-12-17 Icon Health & Fitness, Inc. Cable system incorporated into a treadmill
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
WO2015195965A1 (en) 2014-06-20 2015-12-23 Icon Health & Fitness, Inc. Post workout massage device
WO2016049090A2 (en) * 2014-09-22 2016-03-31 Alexander Petrov System and method to assist a user in achieving a goal
US10671657B2 (en) 2014-10-13 2020-06-02 Under Armour, Inc. System and method for food categorization
US9881518B2 (en) * 2014-11-19 2018-01-30 Empire Technology Development Llc Food intake controlling devices and methods
EP3221679A4 (en) 2014-11-21 2018-11-14 Mutti, Christopher M. Imaging system for object recognition and assessment
US20160148536A1 (en) * 2014-11-26 2016-05-26 Icon Health & Fitness, Inc. Tracking Nutritional Information about Consumed Food with a Wearable Device
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US9881422B2 (en) * 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US9858676B2 (en) * 2015-01-08 2018-01-02 International Business Machines Corporation Displaying location-based rules on augmented reality glasses
US20160217620A1 (en) 2015-01-23 2016-07-28 Stephen Constantinides Virtual work of expression within a virtual environment
US10146998B2 (en) * 2015-02-13 2018-12-04 Halliburton Energy Services, Inc. Distributing information using role-specific augmented reality devices
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10391361B2 (en) 2015-02-27 2019-08-27 Icon Health & Fitness, Inc. Simulating real-world terrain on an exercise device
CN112130329B (zh) * 2015-03-17 2022-08-23 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US9690119B2 (en) 2015-05-15 2017-06-27 Vertical Optics, LLC Wearable vision redirecting devices
IL244255A (en) 2016-02-23 2017-04-30 Vertical Optics Llc Wearable devices for deflecting vision
US10135777B2 (en) 2015-05-27 2018-11-20 International Business Machines Corporation Leveraging an internet of things to initiate a physical object to perform a specific act that enhances an interaction of a user with the physical object
US10136852B2 (en) 2015-06-14 2018-11-27 Facense Ltd. Detecting an allergic reaction from nasal temperatures
US10113913B2 (en) 2015-10-03 2018-10-30 Facense Ltd. Systems for collecting thermal measurements of the face
US10085685B2 (en) 2015-06-14 2018-10-02 Facense Ltd. Selecting triggers of an allergic reaction based on nasal temperatures
US11589193B2 (en) 2015-06-22 2023-02-21 You Map Inc. Creating and utilizing services associated with maps
US11138217B2 (en) 2015-06-22 2021-10-05 YouMap, Inc. System and method for aggregation and graduated visualization of user generated social post on a social mapping network
US11356817B2 (en) 2015-06-22 2022-06-07 YouMap, Inc. System and method for location-based content delivery and visualization
US11436619B2 (en) 2015-06-22 2022-09-06 You Map Inc. Real time geo-social visualization platform
US10616727B2 (en) 2017-10-18 2020-04-07 YouMap, Inc. System and method for location-based content delivery and visualization
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US10699595B2 (en) * 2015-08-07 2020-06-30 International Business Machines Corporation Monitoring and status detection for consumable items
IL241033B (en) * 2015-09-02 2021-12-01 Eyeway Vision Ltd Projector system and method for ocular projection
US10614502B2 (en) 2015-10-16 2020-04-07 International Business Machines Corporation In-store real-time food item selection recommendations
KR102359359B1 (ko) 2015-11-25 2022-02-08 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
US11037015B2 (en) 2015-12-15 2021-06-15 Cortica Ltd. Identification of key points in multimedia data elements
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US10272317B2 (en) 2016-03-18 2019-04-30 Icon Health & Fitness, Inc. Lighted pace feature in a treadmill
US10625137B2 (en) 2016-03-18 2020-04-21 Icon Health & Fitness, Inc. Coordinated displays in an exercise device
US10493349B2 (en) 2016-03-18 2019-12-03 Icon Health & Fitness, Inc. Display on exercise device
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
WO2017181017A1 (en) 2016-04-15 2017-10-19 Wal-Mart Stores, Inc. Partiality vector refinement systems and methods through sample probing
US10592959B2 (en) 2016-04-15 2020-03-17 Walmart Apollo, Llc Systems and methods for facilitating shopping in a physical retail facility
US10614504B2 (en) 2016-04-15 2020-04-07 Walmart Apollo, Llc Systems and methods for providing content-based product recommendations
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10168555B1 (en) * 2016-06-30 2019-01-01 Google Llc Wiring in a head-mountable device
US10373464B2 (en) 2016-07-07 2019-08-06 Walmart Apollo, Llc Apparatus and method for updating partiality vectors based on monitoring of person and his or her home
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
US10671705B2 (en) 2016-09-28 2020-06-02 Icon Health & Fitness, Inc. Customizing recipe recommendations
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
GB2555602B (en) * 2016-11-02 2020-02-12 Swimar Ltd Heads-up display for eyewear
USD857694S1 (en) * 2016-11-16 2019-08-27 Magic Leap, Inc Pad for head mounted audio-visual display system
USD845296S1 (en) * 2017-10-03 2019-04-09 Magic Leap, Inc. Head mounted audio-visual display system
USD862464S1 (en) 2016-11-16 2019-10-08 Magic Leap, Inc. Head mounted audio-visual display system
US11094017B1 (en) 2016-12-01 2021-08-17 Wells Fargo Bank, N.A. Visualizing investment changes using augmented reality
US20180189636A1 (en) * 2016-12-30 2018-07-05 Suggestic, Inc. Deep Learning Ingredient and Nutrient Identification Systems and Methods
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
US11568356B1 (en) * 2017-01-09 2023-01-31 Blue Yonder Group, Inc. System and method of augmented visualization of planograms
US20180232498A1 (en) * 2017-02-15 2018-08-16 At&T Intellectual Property I, L.P. Providing stimuli to regulate eating habits
EP3612914A1 (en) 2017-04-17 2020-02-26 Akonia Holographics, LLC Skew mirror auxiliary imaging
US20180349837A1 (en) * 2017-05-19 2018-12-06 Hcl Technologies Limited System and method for inventory management within a warehouse
WO2019008581A1 (en) 2017-07-05 2019-01-10 Cortica Ltd. DETERMINATION OF DRIVING POLICIES
US11899707B2 (en) 2017-07-09 2024-02-13 Cortica Ltd. Driving policies determination
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10398855B2 (en) 2017-11-14 2019-09-03 William T. MCCLELLAN Augmented reality based injection therapy
US10896545B1 (en) * 2017-11-29 2021-01-19 Facebook Technologies, Llc Near eye display interface for artificial reality applications
US10528793B2 (en) * 2017-12-22 2020-01-07 International Business Machines Corporation Automatic identification of food substance
US11887719B2 (en) 2018-05-21 2024-01-30 MyFitnessPal, Inc. Food knowledge graph for a health tracking system
WO2020013802A1 (en) * 2018-07-09 2020-01-16 Google Llc Visual menu
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
JP7135653B2 (ja) 2018-09-21 2022-09-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JPWO2020071057A1 (ja) * 2018-10-01 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US11181911B2 (en) 2018-10-18 2021-11-23 Cartica Ai Ltd Control transfer of a vehicle
US11126870B2 (en) 2018-10-18 2021-09-21 Cartica Ai Ltd. Method and system for obstacle detection
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US11700356B2 (en) 2018-10-26 2023-07-11 AutoBrains Technologies Ltd. Control transfer of a vehicle
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US11488290B2 (en) 2019-03-31 2022-11-01 Cortica Ltd. Hybrid representation of a media unit
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US10789527B1 (en) 2019-03-31 2020-09-29 Cortica Ltd. Method for object detection using shallow neural networks
US10796444B1 (en) 2019-03-31 2020-10-06 Cortica Ltd Configuring spanning elements of a signature generator
US10667073B1 (en) * 2019-06-10 2020-05-26 Bose Corporation Audio navigation to a point of interest
US11138714B2 (en) 2019-09-04 2021-10-05 International Business Machines Corporation Augmented reality pattern overlays to facilitate waste reduction
JP7364686B2 (ja) * 2019-11-15 2023-10-18 マクセル株式会社 表示装置、および表示方法
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US10748022B1 (en) 2019-12-12 2020-08-18 Cartica Ai Ltd Crowd separation
US11348373B2 (en) * 2020-02-21 2022-05-31 Microsoft Technology Licensing, Llc Extended reality gesture recognition proximate tracked object
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
US11756424B2 (en) 2020-07-24 2023-09-12 AutoBrains Technologies Ltd. Parking assist
US11409113B2 (en) 2020-11-13 2022-08-09 GlaiveRF, Inc. Wearable accessory with phased array antenna system
EP4248261A1 (en) * 2020-11-17 2023-09-27 Bose Corporation Wearable with eye tracking
WO2023076231A1 (en) * 2021-10-29 2023-05-04 Snap Inc. Adding graphical representation of real-world object
KR102404729B1 (ko) * 2021-12-15 2022-06-02 박준 가상현실, 증강현실 및 혼합현실 상황에서의 인공 미각 적용 방법
KR102385834B1 (ko) * 2021-12-15 2022-04-12 박준 오감 하드웨어 전달 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
CN102566756A (zh) * 2010-12-16 2012-07-11 微软公司 用于扩展现实显示的基于理解力和意图的内容
US20120179665A1 (en) * 2011-01-07 2012-07-12 Access Business Group International Llc Health monitoring system
US20120229624A1 (en) * 2011-03-08 2012-09-13 Bank Of America Corporation Real-time image analysis for providing health related information
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6030342A (en) 1996-06-12 2000-02-29 Seiko Epson Corporation Device for measuring calorie expenditure and device for measuring body temperature
JP3356745B2 (ja) 1999-12-07 2002-12-16 ヤーマン株式会社 カロリー計算機
US6513532B2 (en) 2000-01-19 2003-02-04 Healthetech, Inc. Diet and activity-monitoring device
JP2001344661A (ja) 2000-05-30 2001-12-14 Sharp Corp 情報提供装置
US20060122474A1 (en) 2000-06-16 2006-06-08 Bodymedia, Inc. Apparatus for monitoring health, wellness and fitness
US7693702B1 (en) 2002-11-01 2010-04-06 Lockheed Martin Corporation Visualizing space systems modeling using augmented reality
US20040162702A1 (en) 2003-02-19 2004-08-19 Pandipati Radha K. C. Diet/exercise monitor
US20050113649A1 (en) 2003-07-28 2005-05-26 Bergantino Paul V. Method and apparatus for managing a user's health
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
CA2559590C (en) 2004-03-12 2014-06-10 Joy World Pacific Co., Ltd. Method of measuring calorie of object and device of measuring calorie of object
US7917401B2 (en) 2005-04-04 2011-03-29 Trent Baker Systems and methods for obtaining health and financial information with a handheld device
JP4759304B2 (ja) * 2005-04-07 2011-08-31 オリンパス株式会社 情報表示システム
US20060230123A1 (en) 2005-04-07 2006-10-12 Simmons Bonnie J Online Shopping and Item Selection System and Method
CN102710976B (zh) 2005-07-22 2014-12-10 袋鼠传媒股份有限公司 用于增强观众参与现场体育赛事的体验的设备和方法
JP5119612B2 (ja) 2006-06-02 2013-01-16 株式会社日立製作所 代謝量モニタリング装置及び代謝量モニタリングシステム
US20080073430A1 (en) 2006-09-22 2008-03-27 Sickenius Louis S Sense and Respond Purchase Restriction Management System
US20080082465A1 (en) 2006-09-28 2008-04-03 Microsoft Corporation Guardian angel
JP2008217702A (ja) * 2007-03-07 2008-09-18 Fujifilm Corp 撮影装置および撮影方法
US20090144081A1 (en) 2007-10-08 2009-06-04 Harlan Timothy S Methods and systems for dynamic meal plan generation
US20110218839A1 (en) 2007-10-22 2011-09-08 Ravi Vijay Shamaiengar Methods and systems for enabling the purchase of deliverable goods & services
US20090176526A1 (en) 2007-11-11 2009-07-09 Altman Peter A Longitudinal Personal Health Management System Using Mobile Data Capture
US8234124B2 (en) 2008-04-16 2012-07-31 International Business Machines Corporation Allergy prevention
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US20100238161A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US20100257252A1 (en) 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
JP2011055250A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム
US20110112904A1 (en) 2009-11-12 2011-05-12 Steven Elliot Stupp Providing a recommendation based on a dietary preference
US20110270135A1 (en) 2009-11-30 2011-11-03 Christopher John Dooley Augmented reality for testing and training of human performance
JP5728159B2 (ja) 2010-02-02 2015-06-03 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN102906623A (zh) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US20110318717A1 (en) 2010-06-23 2011-12-29 Laurent Adamowicz Personalized Food Identification and Nutrition Guidance System
US9292565B2 (en) 2010-06-30 2016-03-22 International Business Machines Corporation Template-based recognition of food product information
US20120053426A1 (en) 2010-08-31 2012-03-01 General Electric Company System and method for measuring calorie content of a food sample
US8296194B2 (en) 2010-09-21 2012-10-23 Microsoft Corporation Method, medium, and system for ranking dishes at eating establishments
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US20120178065A1 (en) * 2011-01-10 2012-07-12 Morteza Naghavi Advanced Button Application for Individual Self-Activating and Monitored Control System in Weight Loss Program
US20120233002A1 (en) 2011-03-08 2012-09-13 Abujbara Nabil M Personal Menu Generator
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US8629815B2 (en) 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
US9053483B2 (en) * 2011-09-30 2015-06-09 Microsoft Technology Licensing, Llc Personal audio/visual system providing allergy awareness

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
CN102566756A (zh) * 2010-12-16 2012-07-11 微软公司 用于扩展现实显示的基于理解力和意图的内容
US20120179665A1 (en) * 2011-01-07 2012-07-12 Access Business Group International Llc Health monitoring system
US20120229624A1 (en) * 2011-03-08 2012-09-13 Bank Of America Corporation Real-time image analysis for providing health related information

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569334A (zh) * 2015-10-07 2017-04-19 财团法人资讯工业策进会 头戴式装置以及导览方法
CN106569334B (zh) * 2015-10-07 2019-10-01 财团法人资讯工业策进会 头戴式装置以及导览方法
CN107870710A (zh) * 2016-09-26 2018-04-03 宏达国际电子股份有限公司 模拟环境中提供演示信息的方法以及模拟系统
CN107870710B (zh) * 2016-09-26 2020-08-14 宏达国际电子股份有限公司 模拟环境中提供演示信息的方法以及模拟系统
CN106599602A (zh) * 2016-12-29 2017-04-26 太仓红码软件技术有限公司 展示制定组合标识物虚拟信息的增强现实装置及其方法
CN106599602B (zh) * 2016-12-29 2019-08-27 上海德鋆信息科技有限公司 展示制定组合标识物虚拟信息的增强现实装置及其方法
CN109145010A (zh) * 2018-08-30 2019-01-04 Oppo广东移动通信有限公司 信息查询方法、装置、存储介质及穿戴式设备
CN109145010B (zh) * 2018-08-30 2020-09-29 Oppo广东移动通信有限公司 信息查询方法、装置、存储介质及穿戴式设备
CN109584226A (zh) * 2018-11-26 2019-04-05 深圳龙图腾创新设计有限公司 一种质检系统以及方法
CN109584226B (zh) * 2018-11-26 2021-02-05 浙江瑞度新材料科技有限公司 一种质检系统以及方法

Also Published As

Publication number Publication date
US20160027329A1 (en) 2016-01-28
JP6328133B2 (ja) 2018-05-23
US9189021B2 (en) 2015-11-17
CN104838326B (zh) 2019-03-08
JP2016506562A (ja) 2016-03-03
KR102300390B1 (ko) 2021-09-08
KR102179142B1 (ko) 2020-11-16
KR20200129187A (ko) 2020-11-17
US9646511B2 (en) 2017-05-09
WO2014085764A1 (en) 2014-06-05
KR20150090092A (ko) 2015-08-05
US20170270821A1 (en) 2017-09-21
US20140147829A1 (en) 2014-05-29
EP2926209A1 (en) 2015-10-07

Similar Documents

Publication Publication Date Title
CN104838326A (zh) 可佩戴的食物营养反馈系统
CN104919398B (zh) 可佩戴的基于行为的视觉系统
CN103091843B (zh) 透视显示器亮度控制
CN102928979B (zh) 调整混合现实显示器以供瞳孔间距对准
US9645394B2 (en) Configured virtual environments
US10223832B2 (en) Providing location occupancy analysis via a mixed reality device
US9519640B2 (en) Intelligent translations in personal see through display
US9285871B2 (en) Personal audio/visual system for providing an adaptable augmented reality environment
US20160196603A1 (en) Product augmentation and advertising in see through displays
US20130083007A1 (en) Changing experience using personal a/v system
CN103076875A (zh) 具有全息对象的个人音频/视频系统
CN105103082A (zh) 由人触发的全息提醒
US20130342571A1 (en) Mixed reality system learned input and functions
US20130083008A1 (en) Enriched experience using personal a/v system
CN103033936A (zh) 具有虹膜扫描剖析的头戴式显示器
CN105009039A (zh) 使用imu的直接全息图操纵
CN108139806A (zh) 相对于可穿戴设备跟踪穿戴者的眼睛
JP6705124B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
CN105431763A (zh) 在佩戴移动设备时跟踪头部移动
CN102445756A (zh) 用于扩展现实显示的自动焦点改善
US20230068730A1 (en) Social connection through distributed and connected real-world objects
US20230060838A1 (en) Scan-based messaging for electronic eyewear devices
WO2023034032A1 (en) Snapshot messages for indicating user state

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190211

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant