CN105190578A - 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备 - Google Patents

用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备 Download PDF

Info

Publication number
CN105190578A
CN105190578A CN201480010862.0A CN201480010862A CN105190578A CN 105190578 A CN105190578 A CN 105190578A CN 201480010862 A CN201480010862 A CN 201480010862A CN 105190578 A CN105190578 A CN 105190578A
Authority
CN
China
Prior art keywords
processor
signal
wearable electronic
band
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480010862.0A
Other languages
English (en)
Inventor
斯蒂芬·莱克
马修·贝利
亚伦·格兰特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North Inc
Original Assignee
Thalmic Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thalmic Labs Inc filed Critical Thalmic Labs Inc
Publication of CN105190578A publication Critical patent/CN105190578A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Abstract

在此披露了一种用于和可控的已连接设备一起使用的可穿戴电子设备。该可穿戴电子设备包括一个条带，该条带例如被穿戴在使用者的前臂上，并且该条带携带至少一个肌肉活动传感器、至少一个惯性传感器、以及偶联至这些传感器的一个处理器。该机载处理器可操作用于基于由肌肉活动传感器所检测的肌肉活动和由惯性传感器所检测的运动标识由使用者做出的多个手势。响应于标识手势，该可穿戴电子设备无线地传输一个或多个信号以便与可控的已连接设备进行交互。

Description

用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
技术领域
本方法和设备总体上涉及人-电子器件界面，并且更具体地涉及组合肌肉活动传感器信号和惯性传感器信号以提供电子设备的基于手势的控制的可穿戴电子设备。
背景技术
可穿戴电子设备
在当今遍布世界的大多数地方，电子设备是司空见惯的。集成电路技术的进步已使小且轻得足够让使用者携带的电子设备的发展成为可能。此类“便携式”电子设备可以包括机载电源(如电池或其他电力存储系统)并且可以被设计成用于在没有与其他电子系统的任何有线连接的情况下运行；然而，小且轻的电子设备即使在其包括与另一电子系统的有线连接时仍然可以被认为是便携式的。例如，麦克风可以被认为是便携式电子设备而无论其是无线地还是通过有线连接被操作。
由电子设备的便携性所提供的便利已培育了巨大的产业。智能电话、音频播放器、膝上型计算机、平板计算机、和电子书阅读器全是便携式电子设备的示例。然而，能够携带便携式电子设备的便利还引起了设备自身防碍了人手的不便。通过制作不仅是便携式、并且还是可穿戴的电子设备解决这个问题。
可穿戴电子设备是使用者可以不用物理抓紧、抓住、或用其手以其他方式握持设备而携带的任何便携式电子设备。例如，可以由一个或多个带、一个或多个条带、一个或多个夹子、粘合剂、销和扣子、衣着物品、张紧或弹性支撑件、干涉配合、人体工程学形式等将可穿戴电子设备附接或偶联至使用者。可穿戴电子设备的示例包括数字腕表、电子臂章、电子环、电子踝镯或“脚链”、头盔式电子显示单元、助听器等。
肌电图设备
肌电图(“EMG”)是用于检测并处理由肌肉活动所生成的电信号的工艺。EMG设备采用响应于肌肉活动中涉及的电势范围(典型地μV-mV)的EMG传感器。EMG信号可以用在各种各样的应用中，包括：医疗监测和诊断、肌肉复原、锻炼和训练、假肢控制、和甚至在控制电子设备的功能中。
人-电子器件界面
可穿戴电子设备可以为使用者提供直接功能性(如音频回放、数据显示、计算功能等)或其可以提供电子器件以实现人-电子器件界面，该人-电子器件界面使使用者能够与另一电子设备进行交互、从其接收信息、或对其进行控制。贯穿本说明书和所附权利要求书，人-计算机界面(“HCI”)被用作人-电子器件界面的示例。本方法和设备可以应用于HCI，但也可以应用于任何其他形式的人-电子器件界面。
近年来，对人-计算机界面、或HCI用在各种控制应用中需求不断增加。已受到一些关注的用于HCI的技术的一个示例是通过皮肤表面对肌肉活动进行感测(被称作sEMG，表面肌电图)以检测使用者所执行的手和/或臂手势。例如，可将包含EMG传感器的设备穿戴在使用者的腕部或前臂上并且用于检测肌肉活动所生成的电信号。使用模式识别算法来分析电子数据以标识使用者已执行的物理手势。在美国专利号8,170,656中存在对这种技术及其局限性的综合概述。
为了使手势感测设备具有商业利益，这些设备必须具有非常高的手势检测速率和相对低的建造费用。一种局限性是基于sEMG的传感器在操作条件下非常容易受到变化的影响，并且由sEMG传感器所生成的信号可能受到此类变量(如皮肤汗水、毛发量、和皮肤中的脂肪含量)的影响。由于此，仅单独使用sEMG传感器非常难以达到高手势识别速率。
因此，需要一种克服现有技术的这些局限性的有效HCI设备。
发明内容
本披露涉及人-计算机界面设备，并且更具体地涉及一种基于可穿戴肌肉控制传感器的人-计算机界面(HCI)。
在一个实施例中，该可穿戴肌肉控制设备被穿戴在使用者的前臂上，并且包括多个电容性肌电图(cEMG)传感器。有利地，这些cEMG传感器不需要与使用者的皮肤直接接触，并且因此不易受到是对于在现有技术中使用的表面肌电图(sEMG)传感器而言特有的信号变化的影响。该肌肉控制设备进一步包括一个惯性测量单元(IMU)，该惯性测量单元具有一个加速度计以测量使用者手臂的加速度。该肌肉控制设备可以进一步包含一个滤波模块以对从传感器所采集的信号进行滤波和处理、一个模拟数字转换器用于将模拟信号转换成数字、以及一个处理单元，该处理单元被配置成用于根据所处理的cEMG和IMU信号识别使用者正在做的手势。
在一个实施例中，该设备可以通过电线连接至从该肌肉控制设备接收控制输入的已连接设备。可替代地，该肌肉控制设备包含一个或多个电池和用于无线连接至已连接设备的一个无线收发器模块。
优选地，该设备采取能够在使用者的前臂上停留到位的可扩展条带的形式。该设备还可以包含一个振动马达，该振动马达可以用于向使用者提供触觉反馈以确认事件、或请求输入。
在另一个实施例中，各种其他类型的传感器可以与cEMG传感器组合使用以检测由使用者做出的手势。这可以包括例如肌动图(MMG)传感器以检测在收缩期间肌肉做出的振动。
在另一个实施例中，该肌肉界面设备包括一个具有例程的校准模块用于校准该肌肉界面设备以用于和已连接设备或HCI一起使用。
一种可穿戴电子设备可以被概括为包括一个在使用时由一个使用者所穿戴的条带；由该条带所携带的至少一个肌肉活动传感器，该至少一个肌肉活动传感器在使用时响应于该使用者执行一个物理手势检测肌肉活动并且响应于所检测的肌肉活动提供至少一个信号；由该条带所携带的至少一个惯性传感器，该至少一个惯性传感器在使用时响应于该使用者执行一个物理手势检测运动并且响应于所检测的运动提供至少一个信号；以及一个由该条带所携带的处理器，该处理器通信联络地偶联至该至少一个肌肉活动传感器并偶联至该至少一个惯性传感器，并且该处理器在使用时基于以下任一项或两项标识由该使用者所执行的一个物理手势：由该至少一个肌肉活动传感器所提供的至少一个信号；以及由该至少一个惯性传感器所提供的至少一个信号。该可穿戴电子设备可以进一步包括由该条带所携带并且通信联络地偶联至该处理器的一个非瞬态计算机可读存储介质，其中，该非瞬态计算机可读存储介质存储多个处理器可执行指令，当被该处理器执行时，这些指令引起该处理器基于以下任一项或两项标识由该使用者所执行的一个物理手势：由该至少一个肌肉活动传感器所提供的至少一个信号；以及由该至少一个惯性传感器所提供的至少一个信号。该非瞬态计算机可读存储介质可以多个存储处理器可执行指令，当被该处理器执行时，这些指令引起该处理器执行一种机器智能方法从而基于以下任一项或两项标识由该使用者所执行的一个物理手势：由该至少一个肌肉活动传感器所提供的至少一个信号；以及由该至少一个惯性传感器所提供的至少一个信号。在该非瞬态计算机可读存储介质中所存储的这些处理器可执行指令可以包括多个处理器可执行指令，当被该处理器执行时，这些处理器可执行指令引起该处理器实现以下各项中的至少一项：分类器、隐马尔可夫模型、和/或长短期神经网络。
该可穿戴电子设备可以进一步包括由该条带所携带的一个无线传输器，该无线传输器通信联络地偶联至该处理器以在使用时响应于该处理器标识由该使用者所执行的一个物理手势而无线地传输至少一个信号。该至少一个肌肉活动传感器可以包括从由以下各项组成的组中选择的至少一个肌肉活动传感器：肌电图(EMG)传感器和肌动图(MMG)传感器。该至少一个肌肉活动传感器可以包括多个肌电图(EMG)传感器。
该可穿戴电子设备可以进一步包括由该条带所携带的一个触觉反馈模块，该触觉反馈模块在使用时为该使用者提供触觉反馈。该触觉反馈模块可以包括一个振动马达。
该可穿戴电子设备的条带可以是可扩展的。
该可穿戴电子设备可以进一步包括由该条带所携带的至少一个附加组件，该至少一个附加组件选自由以下各项组成的组：通信联络地偶联至该至少一个肌肉活动传感器的放大电路、通信联络地偶联至该至少一个肌肉活动传感器的滤波电路、通信联络地偶联至该至少一个肌肉活动传感器的模数转换电路、和电偶联至该处理器的电池。该至少一个惯性传感器可以包括从由以下各项组成的组中选择的至少一个惯性传感器：加速度计、陀螺仪、和惯性测量单元(IMU)。
一种操作可穿戴电子设备的方法，其中，该可穿戴电子设备包括由一个使用者所穿戴的一个条带、由该条带所携带至少一个的肌肉活动传感器、由该条带所携带的至少一个惯性传感器、以及一个由该条带所携带的处理器，该处理器通信联络地偶联至该至少一个肌肉活动传感器并且偶联该至少一个惯性传感器，该方法可以被概括为包括：响应于该使用者执行一个物理手势，由该可穿戴电子设备的该条带所携带的至少一个肌肉活动传感器检测肌肉活动；响应于所检测的该肌肉活动，提供来自至少一个肌肉活动传感器的至少一个信号至该处理器；响应于该使用者执行一个物理手势，由该可穿戴电子设备的该条带所携带的至少一个惯性传感器检测运动；响应于所检测的该运动，提供来自至少一个惯性传感器的至少一个信号至该处理器；由该可穿戴电子设备的该条带所携带的该处理器处理由至少一个肌肉活动传感器所提供的该至少一个信号和由至少一个惯性传感器所提供的该至少一个信号；并且由该可穿戴电子设备的该条带所携带的该处理器基于以下各项中的至少一项标识由该使用者所执行的一个物理手势：由至少一个肌肉活动传感器所提供的该至少一个信号；以及由至少一个惯性传感器所提供的该至少一个信号。
由该可穿戴电子设备的该条带所携带的该处理器标识由该使用者所执行的一个物理手势可以包括由该可穿戴电子设备的该条带所携带的该处理器基于由至少一个肌肉活动传感器所提供的该至少一个信号和由至少一个惯性传感器所提供的该至少一个信号二者标识由该使用者所执行的一个物理手势。由该可穿戴电子设备的该条带所携带的该处理器标识由该使用者所执行的一个物理手势可以包括：由该可穿戴电子设备的该条带所携带的该处理器基于由至少一个肌肉活动传感器所提供的该至少一个信号标识由该使用者所执行的一个第一物理手势；以及由该可穿戴电子设备的该条带所携带的该处理器基于由至少一个惯性传感器所提供的该至少一个信号标识由该使用者所执行的一个第二物理手势。
由该可穿戴电子设备的该条带所携带的该处理器处理由至少一个肌肉活动传感器所提供的该至少一个信号和由至少一个惯性传感器所提供的该至少一个信号可以包括利用分类器、隐马尔可夫模型、长短期神经网络中的一项或多项、或另一种机器智能方法来处理由至少一个肌肉活动传感器所提供的该至少一个信号和由至少一个惯性传感器所提供的该至少一个信号。
该可穿戴电子设备可以进一步包括由该条带所携带并且通信联络地偶联至该处理器的一个无线传输器，并且该方法可以进一步包括响应于该处理器标识由该使用者所执行的一个物理手势而无线地传输至少一个信号。
该可穿戴电子设备可以进一步包括由该条带所携带并且通信联络地偶联至至少一个肌肉活动传感器的一个放大电路，并且该方法可以进一步包括在提供来自至少一个肌肉活动传感器的该至少一个信号至该处理器之前由该放大电路放大来自至少一个肌肉活动传感器的该至少一个信号。
该可穿戴电子设备可以进一步包括由该条带所携带并且通信联络地偶联至至少一个肌肉活动传感器的一个滤波电路，并且该方法可以进一步包括在提供来自至少一个肌肉活动传感器的该至少一个信号至该处理器之前由该滤波电路对来自至少一个肌肉活动传感器的该至少一个信号进行滤波。
该可穿戴电子设备可以进一步包括由该条带所携带并且通信联络地偶联至至少一个肌肉活动传感器的一个模数转换电路，并且该方法可以进一步包括在提供来自至少一个肌肉活动传感器的该至少一个信号至该处理器之前由该模数转换电路将来自至少一个肌肉活动传感器的该至少一个信号从模拟信号转换成数字信号。
该至少一个肌肉活动传感器可以包括多个肌电图(EMG)传感器，并且：响应于该使用者执行一个物理手势，由该可穿戴电子设备的该条带所携带的至少一个肌肉活动传感器检测肌肉活动可以包括响应于该使用者执行一个物理手势，由该可穿戴电子设备的该条带所携带的该多个EMG传感器中的至少一个EMG传感器检测肌肉活动；并且响应于所检测的该肌肉活动，提供来自至少一个肌肉活动传感器的至少一个信号至该处理器可以包括响应于所检测的该肌肉活动，提供来自该多个EMG传感器中的至少一个EMG传感器的至少一个信号至该处理器。
该可穿戴电子设备可以进一步包括由该条带所携带的一个触觉反馈模块，该触觉反馈模块包括通信联络地偶联至该处理器的一个振动马达，并且该方法可以进一步包括响应于该处理器标识由该使用者所执行的一个物理手势，由该振动马达将触觉反馈提供给该使用者。
本方法和设备的其他特征和优点将从以下详细描述和附图变得明了。然而，应当理解详细描述和特定示例是通过说明而不是限制的方式给出。本方法和设备的范围内的许多修改和改变可以在不偏离其精神的情况下做出，并且本方法和设备包括所有此类修改。
附图说明
在这些附图中，相同的参考号标识相似的元件或者动作。附图中元件的尺寸和相对位置不一定是按比例绘制的。例如，不同元件的形状以及角度不一定按比例绘制，并且这些元件中的一些被任意地放大和定位以提高附图的易读性。另外，所绘出的这些元件的特定形状并非旨在传递与这些特定元件的实际形状有关的任何信息，并且选取它们只是为了方便在图中识别。
图1展示了根据本方法和设备的穿戴已连接设备和可穿戴电子设备的使用者。
图2A展示了根据本方法和设备的可穿戴电子设备的详细视图。
图2B展示了与由EMG传感器所检测的电子信号相对应的数据图。
图3展示了根据本方法和设备的已连接设备和可穿戴电子设备之间的无线通信。
图4展示了被可穿戴电子设备处理为控制信号的使用者的手和腕手势用于与已连接设备上所显示的内容进行交互。
图5展示了根据本方法和设备的可穿戴电子设备的示意性系统架构。
图6展示了根据本方法和设备的利用具有重叠的滑动窗口的样本的手势训练模块。
图7展示了根据本方法和设备的具有分层决策树的模式识别系统，其中每个节点表示一个不同的分类器。
图8展示了针对超过某个阈值的RMS值监测信号信道以发起手势识别。
图9展示了根据本方法和设备操作可穿戴电子设备的方法的示意性流程图。
图10是示出了根据本方法和设备的另一种操作可穿戴电子设备的方法的流程图。
在附图中，通过举例来说明本方法和设备的实施例。应明确理解，说明书和附图仅用于说明的目的且作为对理解的帮助，而不旨在限定本方法和设备的限制。
具体实施方式
在以下说明中，列举了某些特定的细节以便提供对所披露的不同实施例的全面理解。然而，相关领域的技术人员将会意识到，多个实施例可以无需这些具体细节中的一个或多个细节来实践，或者可以使用其他方法、部件、材料等来实践。在其他实例中，并未详细示出或者描述与电子设备、并且尤其是便携式电子设备(如可穿戴电子设备)相关联的公知结构，以避免对这些实施例的不必要的晦涩说明。
除非上下文另有要求，否则贯穿说明书和所附权利要求书，“包括(comprise)”一词及其多种变体(诸如，“包括(comprises)”和“包括(comprising)”)将以一种开放式的和包含性的意义来进行解释，即作为“包括，但不限于”。
贯穿本说明书对“一个实施例”或“一种实施例”的引用意味着可以将特定特征、结构、或特性以任何适合的方式在一个或多个实施例中进行组合。
如在本说明书和所附权利要求书中所使用的，除非文中另外明确指明，否则单数形式的“一种”、“一个”以及“该”包括复数对象。还应注意，除非内容另外明确指明，否则通常以其最广泛的意义采用术语“或者”，也就是说如意味着“和/或”。
在此提供的本披露小标题以及摘要只是为了方便起见，而并非解释这些实施例的范围或含义。
本方法和设备总体上涉及人-计算机界面设备，并且更具体地涉及组合了来自机载肌肉活动传感器和机载惯性传感器的信号以便提供基于手势的人-计算机界面(HCI)的可穿戴电子设备。
贯穿本说明书和所附权利要求书，使用术语“手势”来总体指代由使用者所执行或以其他方式所产生的物理动作(例如，移动、伸展、屈曲、姿势)。涉及可检测肌肉活动(例如，可以由至少一个适当定位的EMG传感器所检测)和/或可检测运动(例如，可以由至少一个适当定位的惯性传感器(如加速度计和/或陀螺仪)所检测)的由使用者所执行或以其他方式所产生的任何物理动作可以构成在本方法和设备中的手势。
该可穿戴电子设备包括被穿戴在使用者的手臂(例如，前臂)上的条带。该条带携带多个肌肉活动传感器，如在美国临时专利申请序号61/771,500、美国临时专利申请序号61/903,238、和/或美国临时专利申请序号61/909,786中所描述的肌电图(EMG)传感器，这些申请中的每个申请以其全文通过引用结合在此。
EMG信号是在频率和振幅都变化的振荡波形，并且大多数信号信息可以被包含在例如5Hz至250Hz的频段内。有利地，在此所描述的可穿戴电子设备中所使用的EMG传感器是主动式的，因为它们具有位于传感器板自身上的提供放大等级的放大电路。因此，来自EMG传感器的信号可以在其被发送至可穿戴电子设备上的主逻辑板(即，至处理器)之前被放大以最小化传输线路干扰。
在某些应用中，cEMG传感器(即，电容性EMG传感器)可以通过电容性地偶联至在cEMG电极中引起电荷的肌肉活动来感测肌肉活动，由此消除对与皮肤的直接电连接的需要。因此，通过避免直接电连接，信号较不易受到由直接连接引起的变化的影响。
除了一个或多个肌肉活动传感器以外，在此所描述的可穿戴电子设备还包括一个或多个惯性传感器(其可以包括例如加速度计)来测量使用者的手臂的运动(例如，加速度)。该或这些惯性传感器可以包括感测三个自由度(x、y、z方向)中的加速度的一个或一组加速度计，并且可以感测可穿戴电子设备在使用者的身体(例如，前臂)上的位置。由该或这些惯性传感器所提供的信号可以与由肌肉活动传感器所提供的信号进行组合以便改善手势可由可穿戴电子设备进行标识的质量和/或数量。
在此所描述的可穿戴电子设备可以进一步包括一个滤波电路用于对由肌肉活动传感器和/或由惯性传感器所提供的信号进行滤波和处理、和/或一个模数转换电路用于将由肌肉活动传感器和/或惯性传感器所提供的模拟信号转换成数字信号。在此所描述的可穿戴电子设备包括一个处理器用于处理由肌肉活动传感器和惯性传感器所提供的信号并且基于以下任一项或两项标识由使用者所执行的物理手势：由至少一个肌肉活动传感器所提供的至少一个信号和由至少一个惯性传感器所提供的至少一个信号。
在此所描述的可穿戴电子设备可以通过电线连接至从其中接收控制输入(即，基于由使用者所执行并且由可穿戴电子设备所标识的物理手势)的已连接设备，和/在此所描述的可穿戴电子设备可以包括一个或多个电池和一个无线收发器模块(例如，无线传输器)用于无线连接至已连接设备。
除了EMG传感器以外或代替EMG传感器，在此所描述的可穿戴电子设备中所采用的肌肉活动传感器可以包括肌动图(MMG)传感器。
如先前所描述，采用肌肉活动传感器以在HCI中实现基于手势的控制的方法和设备已在本领域中进行了描述(例如，在前述的美国专利8,170,656中)。然而，如果出于手势检测和标识的目的单独使用，肌肉活动传感器具有显著局限性和缺点。根据本方法和设备，在HCI中的基于手势的控制可以通过实现可穿戴电子设备来增强，这些可穿戴电子设备将来自至少一个机载肌肉活动传感器的信号与来自至少一个机载惯性传感器的信号进行组合以便捕获由使用者正执行的物理手势的更完整和/或更易辨别的信息。现在对肌肉活动传感器的局限性和缺点中的某些局限性和缺点进行描述。
例如，可以将表面肌电图(sEMG)用于测量前臂肌肉活动。sEMG传感器典型地要求与使用者的皮肤进行直接接触以便测量来自底层肌肉通过脂肪和皮肤所进行的电活动，或以便足够贴近底层肌肉从而电容性地偶联至其上。由于所采集的信号质量与皮肤状况(如阻抗、汗水、手臂毛发量、脂肪含量、以及许多其他属性)直接相关，所以sEMG存在一些固有局限性。皮肤状况的变化的影响可以通过使用保湿和导电凝胶、对皮肤剃毛、或其他皮肤准备实践来缓和以便获得来自此类型传感器的可靠的和可重复的信号，但是这在供典型消费者使用的可穿戴电子设备中是不希望的。
为了在不援引不切实际的解决方案(如剃毛和导电凝胶)的情况下容纳肌肉活动传感器的局限性，在此所描述的各实施例提供了一个或多个惯性传感器(例如，一个或多个加速度计传感器)可以被包括在可穿戴电子设备中并且用于提供表示例如由使用者做出的更大手势(例如，涉及使用者的肘部或甚至肩膀)的信号。当与肌肉活动传感器一起使用来检测更精细的手势(例如，由手和/或例如腕部所做出)时，来自惯性传感器的信息可以显著提高手势标识算法的准确性和/或扩展可穿戴电子设备能够标识的手势的数量。例如，惯性传感器可以提供相对速度和定向数据与来自肌肉活动传感器的肌肉活动数据组合以提高与任何具体手势相关联的数据的数量和种类。
已在本领域中提出了对由肌肉活动传感器所提供的信号和由惯性传感器所提供的信号进行组合以实现改善的手势标识的系统和方法，如在例如熊(Xiong)等人的“基于EMG和IMU的新颖HCI(ANovelHCIBasedonEMGandIMU)”，2011年IEEE机器人和仿生学国际会议论文集，2011年12月中。然而，所有此类提案都涉及将来自分别将信号提供到常见非机载计算系统(即，不是可穿戴的或没有被使用者穿戴的计算系统)的物理上不相干的传感器系统(例如，在使用者的身体上的第一位置处所穿戴的第一装置中的一个或多个EMG传感器和在使用者的身体上的第二位置处所穿戴的第二装置中的一个或多个加速度计，其中，该第一装置和该第二装置物理地并通信联络地彼此分离)的信号进行组合以进行处理。作为至少许多到非机载系统的分开的有线连接和由物理上不相干的计算系统所提供的非机载处理的结果，此类提案存在针对通常人-电子器件界面来说对于一般消费者使用是笨重的且不切实际的、以及严重限制了其可操作用于控制的电子/计算设备的种类的缺点。本方法和设备通过将肌肉活动传感器、惯性传感器、和处理器都结合至检测、处理、和标识所有手势的单个可穿戴电子设备中都机载在设备自身上克服了这些缺点。
现在将参照附图对结合了本方法和设备的教导的可穿戴电子设备的说明性示例进行描述。
图1中示出了穿戴了具有已连接设备控制件300的已连接设备310、和根据本方法和设备的可穿戴电子设备200的说明性使用者100。在此说明性示例中，可穿戴电子设备200包括可以如所示被穿戴在使用者100的前臂上的灵活的、可伸展的、和/或弹性的(即，“可扩展的”)条带。该条带携带(即，物理地偶联至)可穿戴电子设备200的其他组件。
图2A展示了根据本方法和设备的图1的可穿戴电子设备200的详细视图。如所示，可穿戴电子设备200包括一个可扩展条带201，该可扩展条带携带：一个中央处理单元(即，“处理器”)210、一个或多个电池220(其可以是可再充电的，并且其可以被以常规方式同时地或顺序地利用)、肌肉活动传感器230(当包括一个以上传感器230时，其可以围绕条带201的圆周被径向定位，这样使得肌肉活动传感器230可以响应于由使用者100所执行的物理手势检测肌肉活动)、至少一个惯性传感器260、和一个无线传输器250。肌肉活动传感器230、惯性传感器260、和无线传输器250都通信联络地偶联至机载可穿戴电子设备200的处理器210。可穿戴电子设备200可以进一步包括一个触觉反馈机构(如振动马达或致动器240)以提供触觉反馈，如以下进一步所描述的。
处理器210可以是任何类型的处理器，包括但不限于：数字微处理器或微控制器、特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、图形处理单元(GPU)、可编程门阵列(PGA)、可编程逻辑单元(PLU)等。
可以包括在本方法和设备(其中可穿戴电子设备200是说明性示例)的可穿戴电子设备中的进一步特征和细节至少在以下申请中进行了描述：美国临时专利申请序号61/857,105；美国临时专利申请序号61/860,063；美国临时专利申请序号61/822,740；美国临时专利申请序号61/866,960；美国临时专利申请序号61/869,526；美国临时专利申请序号61/874,846；美国临时专利申请序号61/881,064；美国临时专利申请序号61/894,263；美国临时专利申请序号61/915,338；和/或美国临时专利申请序号61/940,048，这些申请中的每个申请以其全文通过引用结合在此。
在某些应用中，为了简洁，可穿戴电子设备200可以被标记为穿戴在手臂上的适当位置和定向上。例如，可穿戴电子设备200上的标记可以示出前臂的顶部中心和应当穿戴可穿戴电子设备200的方向。在其他应用中，当第一次被穿戴时，在用于手势标识的操作之前，可穿戴电子设备200可以执行校准例程，这样使得肌肉活动传感器230的定位被标识并且不需要取决于前臂中的具体肌肉的位置。
作为示例，肌肉活动传感器230可以包括被适配成用于检测使用者100的前臂中的电信号以生成控制信号的至少一个或多个电容性EMG(cEMG)传感器。cEMG典型地不要求像较早所描述的其他sEMG传感器那样与皮肤直接接触。cEMG传感器而是电容性地偶联至通过收缩肌肉所生成的电信号，并且可以在离开皮肤远达3mm的距离处操作。举例来讲，cEMG信号可以是频率和振幅都变化的振荡波形，并且大多数信号信息可以被包含在例如5Hz至250Hz的频段内。在图2B中示出了cEMG信号的说明性示例。
作为另一个示例，肌肉活动传感器230可以包括一个或多个MMG传感器，该一个或多个MMG传感器包括压电传感器用于测量当收缩时由底层肌肉所产生的皮肤表面处的振动。举例来讲，所生成的MMG信号可以是频率和振幅都变化的振荡波形，并且大多数信号信息可以被包含在例如5Hz至250Hz的频段内。因为通过机械手段采集了MMG信号，所以像皮肤阻抗的电振动对信号没有影响。MMG信号与图2B中所示的cEMG信号的说明性示例非常类似。
在某些应用中，由于皮肤汗水和保湿改变通常不影响信号，所以cEMG或MMG其中任一者或二者可以提供可以在全天期间获得的可靠的控制信号。
惯性传感器260可以包括一个或多个加速度计传感器和/或一个或多个陀螺仪传感器用于检测由使用者100在三个自由度上做出的手势的附加方面。惯性传感器可以由数据的三个数字信道组成，每个数字信道表示x、y、或z方向中的任一方向上的加速度。惯性传感器260可以经受使用者的手臂经受的所有加速度，并且可以进一步作为整体结合身体运动。作为示例，惯性传感器260可以包括惯性测量单元(IMU)，如美国应美盛公司(InvenSense)的包括多个惯性传感器(包括多个加速度计和多个陀螺仪)的MPU-9150九轴MEMS运动跟踪TM设备。
现在参照图3，示出了可穿戴电子设备200和已连接设备310及已连接设备控制件300之间的无线通信(例如，蓝牙)的图示。在此示例中的说明性已连接设备是可穿戴抬头显示器。然而，将认识到已连接设备可以是任何数量的可以接收控制输入的设备中的一个设备，包括但不限于通用计算机、机器人、电子消费者设备、移动电话等。
响应于可穿戴电子设备200的处理器210标识由使用者100所执行的物理手势，利用此无线通信将至少一个信号从可穿戴电子设备200传输至已连接设备控制件300。这是通过举例方式在图4中说明的，其中，使用者100的手和腕部手势由肌肉活动传感器230和/或由惯性传感器260检测，其中二者或其中的每个传感器提供由处理器210所处理的至少一个信号以标识由使用者所执行的手势，并且，响应于标识手势，由发送器250对至少一个信号进行无线传输用于和在已连接设备310上所显示的内容进行交互。
在此具体示例中，由使用者100所执行的物理手势410涉及延展食指，这由可穿戴电子设备200的肌肉活动传感器230检测，并且做出腕部弯曲运动420，这由可穿戴电子设备200的惯性传感器260检测。响应于所检测的肌肉活动和所检测的运动，肌肉活动传感器230和惯性传感器260分别提供信号至可穿戴电子设备200的机载处理器210。处理器210处理这两种信号、基于这两种信号标识由使用者100所执行的物理手势、并且将至少一个控制信号提供至无线传输器250，该无线传输器传输控制信号至已连接设备310用于引起出现在显示器310上的菜单向下滚动。
作为另一个示例，由使用者100所执行的类似手势可能涉及延展食指，这由可穿戴电子设备200的肌肉活动传感器230所检测，并且做出腕部延展运动，这由可穿戴电子设备200的惯性传感器260检测。响应于所检测的肌肉活动和所检测的运动，肌肉活动传感器230和惯性传感器260分别提供信号至可穿戴电子设备200的机载处理器210。处理器210处理这两种信号、基于这两种信号标识由使用者100所执行的物理手势、并且将至少一个控制信号提供至无线传输器250，该无线传输器传输控制信号至已连接设备310用于引起出现在显示器310上的菜单向上滚动。
作为又另一个示例，由使用者100所执行的另一个手势可能涉及延展食指，这由可穿戴电子设备200的肌肉活动传感器230检测，并且做出涉及肘部和肩膀的轻微移动的捅戳运动，这由可穿戴电子设备200的惯性传感器260检测。响应于所检测的肌肉活动和所检测的运动，肌肉活动传感器230和惯性传感器260分别提供信号至可穿戴电子设备200的处理器210。处理器210处理这两种信号、基于这两种信号标识由使用者100所执行的物理手势、并且将至少一个控制信号提供至无线传输器250，该无线传输器传输控制信号至已连接设备310用于引起选择出现在显示器310上的高亮显示的菜单项。
在以上所描述的三个示例中的每个示例中，由至少一个肌肉活动传感器230所提供的至少一个信号和由至少一个惯性传感器260所提供的至少一个信号都由处理器210同时进行处理以便标识由使用者100所执行的物理手势。在每种情况下，至少一个肌肉活动传感器230检测使用者100的食指的延展并且至少一个惯性传感器260检测唯一运动：腕部弯曲、腕部延展、和捅戳。使用者100的食指的延展和运动(即，腕部弯曲、腕部延展、或捅戳动作)可以被处理为单个物理手势的多个分量或作为两个分开的手势。作为由处理器210同时处理来自肌肉活动传感器230的至少一个信号和来自惯性传感器260的至少一个信号的替代方案，这些信号可以依次或连续地被处理。例如，来自肌肉活动传感器230的至少一个信号可以首先由处理器210进行处理以标识使用者100已执行了第一手势(即，延展食指)并且然后来自惯性传感器260的至少一个信号可以由处理器210进行处理以标识使用者100已执行了第二手势(即，腕部弯曲、腕部延展、或捅戳动作)。在此情况下，当处理器210标识(基于来自肌肉活动传感器230的至少一个信号)使用者100已执行了其食指延展时，可以将第一信号从发送器250传输以例如向已连接设备310指示菜单导航命令即将来临。然后，当处理器210标识(基于来自惯性传感器260的至少一个信号)使用者100已执行了由运动所表征的第二手势(即，腕部弯曲、腕部延展、或捅戳动作)时，可以将相应的第二信号从发送器250传输以产生相应的菜单导航动作。
如果使用者延展了除了食指以外的不同手指，则肌肉活动传感器230将对此进行检测并且将引起有待由处理器210标识的不同手势，这可能引起生成不同控制信号。例如，延展小拇指而不是食指可以引起可穿戴电子设备200将使用者的手势解读为具有类同于在常规鼠标使用者界面中点击鼠标右键而不是鼠标左键的功能。同时延展食指和小拇指二者可以引起可穿戴电子设备200将使用者的手势解读为仍是类同于在常规鼠标使用者界面中点击第三鼠标键的其他功能。
根据本方法和设备，可穿戴电子设备200将肌肉活动传感器230和惯性传感器260结合以识别比通常单独使用肌肉活动传感器所能实现的更广范围的使用者手势(和/或提供在识别手势时增强的准确性)。
有利地，可穿戴电子设备200自身被适配成用于根据如所描述的所检测信号标识手势。然而，在替代实施方式中，可以将所检测的信号传输至已连接设备310和已连接设备控制件300以便被解读为在已连接设备控制件300处的手势。无论所检测的信号被解读为在设备200处还是在已连接设备控制件300处，所检测的信号首先被解读为所识别的手势以便与在显示器310上所显示的内容进行交互。
在某些实施方式中，在解读手势时，可穿戴电子设备200可以包括一个触觉反馈模块以在手势被识别时向使用者100提供反馈。此触觉反馈向使用者提供对使用者的手势已被识别并已被成功地转换成控制信号以与例如在显示器310上所显示的内容进行交互的确认。该触觉反馈模块可以包括例如一个振动机构，如内置于可穿戴电子设备200中的振动马达240或致动器。
可替代地，可以由听觉反馈而不是由可穿戴电子设备200所提供的触觉反馈提供对手势识别的确认，该听觉反馈或者由在可穿戴电子设备上的扬声器生成，或者操作地连接至已连接设备310。
在又另一个示例中，还可以视觉地在显示器310自身上提供对手势识别的确认。如果存在可以从所检测的信号进行解读的一个以上可能的手势而不是提供可能错误的信号，可穿戴电子设备200和/或已连接设备控制件300可以提供两个或更多个可能的手势的选择作为可能解读，并且可以提示使用者从它们之一选择(例如，通过执行选择手势)以确认意图的手势和相应的控制。
现在参照图5，示出了根据本方法和设备的可穿戴电子设备(例如，可穿戴电子设备200)的说明性示意性系统架构500。如所示，系统架构500包括一个CPU或“处理器502、一个非瞬态计算机可读存储介质或存储器504、一个系统时钟506、一个无线通信模块508(例如，蓝牙TM、紫蜂TM等)、和一个直接存储器存取(DMA)控制器510。如所示，DMA控制器510被适配成用于从包括一个或多个EMG(即，肌肉活动)传感器520、MMG传感器530和加速度计(即，惯性)传感器540的各传感器接收输入。
在架构500的示例中，通过信号滤波电路522对来自一个或多个EMG传感器520的所检测的模拟信号进行处理。可以在例如10Hz至500Hz之间对该或这些信号进行带通滤波，并且可以被放大电路放大总计例如约1000至4000倍。然而，此滤波和放大可以由软件和/或由硬件进行改变至基于EMG传感器520所生成的模拟信号的无论任何要求。还可以使用在60Hz、或在任何其他相关频率的陷波滤波器来移除电力线噪声。
可以由模数转换电路(ADC)524例如在12位分辨率下将信号从模拟信号转换成数字信号，并且然后由DMA控制器510记录时间至机载存储器504中以便稍后由CPU/处理器502进行处理。一旦已累积了数据，CPU/处理器502醒来并且处理在存储器504中所存储的此数据。在CPU502醒来之前累积的数据点的数量是可调整的，并且在此被称作特征窗口大小。
如果还使用了一个或多个MMG传感器530，则通过信号滤波器532对来自MMG传感器530的所检测的信号进行处理并且由ADC534从模拟信号转换成数字信号。还可以通过信号滤波器542处理并由DMA控制器510接收来自一个或多个加速度计传感器540的数字信号。
手势训练
在某些应用中，可穿戴电子设备200可以配备有一组已经存储在其存储器中的预定义的手势，设备200在使用者执行来自该组预定义的手势的手势时可操作用于标识。或者代替预定义的手势或者除了其以外，可以对可穿戴电子设备200进行训练以识别多种使用者定义的手势。例如，使用者可以首先输入使用者想要设备200能够识别的手势的名称，并且当设备200准备好记录该手势时，设备200将提示使用者做出该手势。然后肌肉活动传感器和/或惯性传感器用于在足够长以覆盖执行手势的时长的时间内采集在条带上(例如，在1000Hz)所采样的数据信道。
然后可以将所采集的数据分割成具有预先确定的长度的窗口，其中每个窗口与先前窗口重叠预先确定的长度(包括预先确定的零长度)。然后根据数据的每个信道上的每个窗口计算肌肉活动信号和/或惯性传感器信号的特征。选择这些特征以从原始传感器数据提取最相关的信息以便对手势进行分类。例如，如果存在八个cEMG信道，并且窗口大小是100个样本，则原始窗口矢量的大小是100×8。例如，如果选择15个特征以表示原始cEMG数据，则从该窗口所计算的结果特征矢量将是1×(8×15)、或1×120。
在一个说明性示例中，可以为窗口大小使用100个样本并且手势训练模块可以利用重叠(例如，50％)的滑动窗口。这由图6中的示例所展示，其中，W1表示窗口大小，W2表示相同大小的第二窗口，并且这二者之间存在重叠。
因此，矢量采集频率可以是例如采样频率(sampleFreq)/窗口大小(windowSize)。这些特征可以包括但不限于小波分解系数、RMS值、斜率符号改变、波长自回归系数等。
除了从EMG传感器所采集的数据以外，从IMU(加速度计)所采集的数据也可以被分割成可以例如对应于相同时刻的EMG数据的窗口。从IMU数据所提取的特征可以包括但不限于RMS值、信号的平均值和标准偏差。
为了训练模式识别系统，手势训练模块可以使用两组数据，包括至系统的示例输入、和系统的相应输出。至手势训练和模式识别系统的输入是已根据窗口所计算的特征，这些窗口根据原始EMG数据、以及IMU(加速度计)数据被分割。此系统的输出是所检测的特征。
在使用者在系统的手势训练阶段中的同时，使用者告诉系统他正在执行什么手势。这个使用者定义的手势是当其进入实时分类模式时将变成系统的输出的那个手势。尽管系统现在知道了哪些数据段对应于什么手势(由于使用者对其进行了定义)，但是系统仍不知道在那个数据段内手势在何处开始和结束(由于使用者不总是将要在每次迭代的相同时刻开始和结束手势)。因此，手势的开始和结束必须被标识并且与使用者不执行手势的时间区分开。
作为示例，可以通过EMG数据确定手势的开始和结束。假设使用者已经执行了“开(on)“手势来打开可穿戴电子设备200，则系统可以监测具有超过某个阈值的RMS值的信号信道，如在图8中的示例所展示的。一旦已超过了那个阈值，则系统开始根据时间窗口计算特征并且尝试对手势进行分类。
作为示例，可以通过对EMG和/或IMU数据信号的RMS值进行分析来计算特征。更具体地，当例如EMG数据的任何信道的RMS值变得大于在没有执行手势的时候的信道的平均值加上在没有执行手势时的数据的三倍标准偏差时，则系统可以标识正在执行手势。在正为手势记录数据时可以同步创建分开的标签矢量。此标签矢量可以包含告诉机器学习算法何时特征矢量表示手势和那个手势是什么、和何时手势矢量表示无输入的数据。此信息对于在以下所描述的下一个阶段中的模式识别算法的监督学习是有用的。
模式识别引擎
一旦使用者已结束了记录每个手势的多次迭代，对于它们想要识别无论怎样多的手势，可穿戴电子设备开始模式识别阶段。作为示例，可穿戴电子设备可以将所有所记录的特征矢量及其相应的标签矢量聚集至表示所有这些手势和其所有迭代的大矩阵中。
如图7中所示，在说明性示例中，模式识别系统的层级可以包括分类器(例如，决策树)700，其中每个节点表示一个不同的分类器。来自每个分类器的结果将确定遍历哪个分支来向下到达下一个节点。
作为示例，分类器700的第一节点可以确定手势是静态的还是动态的。这可以根据加速度计信号的标准偏差来确定。
分类器700的第二节点可以确定手势是长还是短时长手势。这可以通过EMG信号的RMS值的已激活段的长度确定。例如，打响指手势或轻弹手势可以是几乎是瞬间的短手势。长手势可以是花费比短的实例更长的时间来完成的手势。
分类器700的第三节点可以根据IMU的平均值(包括例如来自加速度计的三个轴的数据)确定手的手势的定向。
分类器700的最后节点可以使用或者隐马尔可夫模型、长-短期神经网络、或其他机器智能方法中的任何一种来在剩余手势间进行分类。
可以使用训练数据来训练此分类器700的节点中的每个节点，这样使得可穿戴电子设备将能够正确地标识由其传感器所检测的未知手势数据。
实时分类
一旦训练了可穿戴电子设备，并且建立了模式识别引擎，设备被配置成用于对其已被训练成用于识别的手势的实时分类和识别。
作为示例，从可穿戴电子设备中的肌肉活动传感器和惯性传感器收集数据并将其存储在该设备的机载非瞬态计算机可读存储器中。该设备可以等待(即，在不尝试标识由使用者所执行的手势的情况下继续收集数据)直到已将预先确定的数量的样本记录为每特征窗口大小。当到达了该预先确定的数量的样本时，可穿戴电子设备中的处理器根据那个数据块计算所有特征，并且将包含这些特征的矢量传递至分类器。
可以通过如以上所描述的决策树的不同节点传递数据，并且然后传递至其中识别/标识手势的最终分类器。一旦识别了手势，手势及其属性化数据被发送至收发器模块(例如，无线传输器)以被发送至已连接设备。
如果所识别的手势被确定为是利用手臂的加速度作为位置控制输入的那个手势，则还可以根据由IMU所检测的加速度计算手臂的速度，并且还通过收发器将那项数据送出至已连接设备。
在成功识别手势时，可穿戴电子设备中的振动马达/致动器可以被触发振动一段持续时间以向使用者指示已成功地识别/标识了手势。可以用其他方式使用振动马达以向使用者传达信息。例如，可以在动态手势过程期间激活精细振动，振动可以用于指示设备已醒来，振动可以用于指示设备需要被重新校准或存在问题等。
说明性方法
现在参照图9，示出了根据本方法和设备的操作可穿戴电子设备(例如，可穿戴电子设备200)的说明性方法900的示意性流程图。
如所示，方法900在框902处开始，其中方法900以从多个肌肉活动(例如，EMG)传感器和至少一个惯性(例如，IMU)传感器采集信号(例如，数据窗口)开始。
接下来，在决策框904，方法900确定信号的RMS是否高于预先确定的阈值，以便确定使用者是否已执行或正执行物理手势。如果不是，则方法900返回至框902。如果是，则方法900继续进行至框906，其中方法900根据所采集的数据计算特征。然后方法900继续进行至框908，其中方法900对特征矢量进行模式识别以确定执行了或正执行手势。
在本示例中，然后方法900继续进行至决策框910，其中方法900确定已连接设备是否要求位置数据。如果是，方法900继续进行至框912，其中方法900将所标识的手势和位置IMU数据(例如，相对速度和/或定向)一起发送至已连接设备。如果不是，则方法900继续进行至框914，其中方法900在没有位置IMU数据的情况下将所标识的手势发送至已连接设备。可以通过有线连接、或可替代地通过无线通信协议将所标识的手势和位置IMU数据发送至已连接设备。
在图9中所展示的方法900是根据本方法和设备的方法的示例。在图10中提供了另一个示例。
图10是示出了根据本方法和设备的操作可穿戴电子设备的方法1000的流程图。该可穿戴电子设备(例如，200)包括由使用者所穿戴的一个条带(例如，201)、由该条带(例如，201)所携带的至少一个肌肉活动传感器(例如，230)、由该条带(例如，201)所携带的至少一个惯性传感器(例如，260)、和一个由该条带(例如，201)所携带的处理器(例如，210)，该处理器通信联络地偶联至该至少一个肌肉活动传感器(例如，230)并且偶联至该至少一个惯性传感器(例如，260)。方法1000包括四个行动1001、1002、1003、和1004，行动1001和1002都被分解成两个并行部分：分别为1001a/b和1002ab/s。然而，本领域技术人员将认识到在替代性实施例中可以省略某些行动和/或可以添加额外的行动。本领域技术人员还将认识到所示出的行动的所展示的顺序仅出于示例性目的并且可以在替代性实施例中改变。为了举例说明方法1000的行动与在此所描述的可穿戴电子设备的元件之间的关系，贯穿对方法1000的描述在括号中包括了对来自图2A的设备200的元件的引用。然而，本领域技术人员将认识到可以使用与设备200不同的硬件来以类似方式实施方法1000。
在1001a，响应于使用者执行物理手势，由可穿戴电子设备(200)的条带(201)所携带的至少一个肌肉活动传感器(230)检测使用者的(例如，使用者的手臂的)肌肉活动。该至少一个肌肉活动传感器(230)可以包括多个EMG传感器并且多个EMG传感器中的任何数量的EMG传感器可以取决于每个具体EMG传感器相对于在执行手势时活动的肌肉的位置检测肌肉活动。
在1002a，响应于所检测的肌肉活动，提供来自至少一个肌肉活动传感器(230)的至少一个信号至由可穿戴电子设备(200)的条带(201)所携带的处理器(210)。该至少一个肌肉活动传感器(230)与该处理器(210)之间的通信路径可以包括以下各项中的任何一项或全部：滤波电路，用于对提供至该处理器(210)的至少一个信号进行滤波；放大电路，用于对提供至该处理器(210)的至少一个信号进行放大；和/或模数转换电路，用于将提供至该处理器(210)的至少一个信号从模拟信号转换成数字信号。
可以分别与行动1001a和1002a基本并行、或与行动1001a和1002a近似同时地、分别或与行动1001a和1002a错开/偏移执行行动1001b和1002b。
在1001b，响应于使用者执行物理手势，由可穿戴电子设备(200)的条带(201)所携带的至少一个惯性传感器(260)检测该使用者(例如，使用者的手臂的)的运动。该至少一个惯性传感器(260)可以包括可以被封装在IMU中的至少一个加速度计和/或至少一个陀螺仪。如在下文更详细地描述，涉及在1001b由至少一个惯性传感器(260)所检测的运动的物理手势可以是涉及在1001a由至少一个肌肉活动传感器(230)所检测的肌肉活动的相同物理手势，或者涉及在1001b由至少一个惯性传感器(260)所检测的运动的物理手势可以是与涉及在1001a由至少一个肌肉活动传感器(230)所检测的肌肉活动的不同物理手势。
在1002b，响应于所检测的运动，提供来自至少一个惯性传感器(260)的至少一个信号至由可穿戴电子设备(200)的条带(201)所携带的处理器(210)。该至少一个惯性传感器(260)和该处理器(210)之间的通信路径可以包括以下各项中的任何一项或全部：滤波电路，用于对提供至该处理器(210)的至少一个信号进行滤波；放大电路，用于对提供至该处理器(210)的至少一个信号进行放大；和/或模数转换电路，用于将提供至该处理器(210)的至少一个信号从模拟信号转换成数字信号。
在1003，在1002a由至少一个肌肉活动传感器(230)所提供的至少一个信号和在1002b由至少一个惯性传感器(260)所提供的至少一个信号都由可穿戴电子设备(200)的条带(201)所携带的处理器(210)进行处理。取决于应用和由至少一个肌肉活动传感器(230)所提供的至少一个信号和由至少一个惯性传感器(260)所提供的至少一个信号响应于相同物理手势还是不同物理手势，在1002a由至少一个肌肉活动传感器(230)所提供的至少一个信号和在1002b由至少一个惯性传感器(260)所提供的至少一个信号可以由处理器(210)进行依次/连续处理，或者它们可以由处理器(210)或者组合或者并行地同时处理。例如，如果由至少一个肌肉活动传感器(230)所提供的至少一个信号和由至少一个惯性传感器(260)所提供的至少一个信号都响应于单个物理手势被基本同时提供，则在1002a由至少一个肌肉活动传感器(230)所提供的至少一个信号和在1002b由至少一个惯性传感器(260)所提供的至少一个信号可以由处理器(210)一起组合进行处理以便标识该物理手势。可替代地，如果由至少一个肌肉活动传感器(230)所提供的至少一个信号和由至少一个惯性传感器(260)所提供的至少一个信号各自响应于两种分开的物理手势被分开提供(例如，连续被执行)，则在1002a由至少一个肌肉活动传感器(230)所提供的至少一个信号和在1002b由至少一个惯性传感器(260)所提供的至少一个信号可以由处理器(210)连续处理以便标识这两种分开的手势。
在1004，由可穿戴电子设备(200)的条带(201)所携带的处理器(210)基于以下各项中的至少一项标识由使用者所执行的物理手势：i)由至少一个肌肉活动传感器(230)所提供的至少一个信号；和ii)由至少一个惯性传感器(260)所提供的至少一个信号。返回至包括食指延展和腕部弯曲运动的手势的示例以便控制虚拟菜单的导航(即，先前在图4的背景下所描述的)，每行动1001a食指延展可以涉及由肌肉活动传感器(230)所检测的肌肉活动并且每行动1002a可以将相应的信号提供至机载处理器(210)。或者同时或者在其之后很短时间(取决于使用者怎样执行手势)，每行动1001b腕部弯曲可以涉及由惯性传感器(260)所检测的运动并且每行动1002b可以将相应的信号提供至机载处理器(210)。每动作1003可以由处理器(210)处理来自肌肉活动传感器(230)的信号和来自惯性传感器(260)的信号二者。取决于具体实施方式，可以将物理手势定义为包括食指延展和腕部弯曲运动的单个手势，在该情况下每行动1004可以基于来自肌肉活动传感器(230)的信号和来自惯性传感器260的信号二者标识手势，或者可以将物理手势定义为具有分开标识的两个分量：每行动1004由处理器(210)基于由至少一个肌肉活动传感器(230)所提供的信号所标识的包括食指延展的第一手势；和每行动1004由处理器(210)基于由至少一个惯性传感器(260)所提供的信号所标识的包括腕部弯曲的第二手势。在任一种情况下，响应于标识由使用者所执行的手势，可以由处理器(210)将一个或多个信号(例如，控制信号)提供至由可穿戴电子设备(200)的条带(201)所携带的无线传输器(250)并且将其无线传输至任何其他电子设备以便产生其他电子设备的动作、功能、控制、或与其的交互。以此方式，可穿戴电子设备(200)提供通用人-电子器件界面。
尽管已将可穿戴抬头显示器设备用作已连接设备的说明性示例，但是如将认识到的，本披露的可穿戴电子设备和方法可以用于和许多其他类型的已连接设备在其中考虑了已连接设备的任何虚拟应用中进行交互。
因此作为示例性方面，提供了一种用于检测和分析用于手势控制的信号的装置，包括：多个电容性肌电图(cEMG)传感器，这些电容性肌电图传感器被配置成用于通过在每个cEMG传感器中测量由肌肉活动在cEMG传感器的电极中所引起的电荷所产生的电信号来检测手势；以及一个处理器，该处理器被配置成用于从该多个cEMG传感器接收一个或多个电信号作为所采集的数据、通过计算表示所采集的数据的窗口的特征矢量对所采集的数据进行处理、以及通过分析结果特征矢量来检测手势以识别模式。
在本示例中，该装置进一步包括一个或多个惯性测量单元(IMU)传感器，该一个或多个惯性测量单元传感器被配置成用于通过测量该装置的相对速度和定向来检测手势的运动和定向；并且其中，该处理器被进一步配置成用于从IMU接收所采集的数据、处理所采集的IMU数据来确定该装置的位置和定向、以及通过分析该装置的相对速度和定向与所分析的特征矢量一起来检测手势。
在本示例中，该处理器可以被进一步配置成用于利用隐马尔可夫模型、长-短期神经网络中的一种或多种、或另一种机器智能方法来对手势进行分类。
在此示例中，该处理器可以被进一步配置成用于根据分析所采集的IMU数据与所分析的特征矢量一起检测静态手势或动态手势。
在本示例中，该处理器可以被进一步配置成用于通过测量cEMG信号的RMS值的已激活段的长度来确定手势是长还是短时长手势。
在本示例中，该处理器可以被进一步配置成用于通过记录结果特征矢量、以及在手势期间该装置的位置和定向来记录一个或多个使用者定义的手势。
在本示例中，该装置可以进一步包括一个或多个肌动图(MMG)传感器，该一个或多个肌动图传感器被配置成用于通过在每个MMG传感器中测量由肌肉活动所产生的电信号来检测由手势所产生的肌肉活动。
在本示例中，该装置可以进一步包括一个用于向使用者提供反馈的触觉反馈模块。
在本示例中，该触觉反馈模块可以提供对手势识别的确认。
在本示例中，该触觉反馈模块可以包括一个振动马达和/或致动器。
在另一个示例性方面，提供了一种用于检测和分析用于手势控制的信号的方法，该方法包括：在装置上提供多个电容性肌电图(cEMG)传感器，这些电容性肌电图传感器被配置成用于通过在每个cEMG传感器中测量在cEMG传感器的电极中所引起的电荷所产生的电信号来检测由手势所产生的肌肉活动；从这些cEMG传感器接收一个或多个电信号作为所采集的数据；通过计算表示所采集的数据的窗口的特征矢量来对所采集的数据进行处理；以及通过分析结果特征矢量来检测手势以识别模式。
在本示例中，该方法进一步包括：从一个或多个惯性测量单元(IMU)传感器接收所采集的数据；处理所采集的IMU数据来确定该装置的相对速度和定向；以及通过分析该装置的位置和定向与所分析的特征矢量一起来检测手势。
在本示例中，该方法可以进一步包括利用隐马尔可夫模型、长-短期神经网络中的一种或多种、或另一种机器智能方法来对手势进行分类。
在本示例中，该方法可以进一步包括根据分析所采集的IMU数据与所分析的特征矢量一起检测静态手势或动态手势。
在本示例中，该方法可以进一步包括通过测量cEMG信号的RMS值的已激活段的长度来确定手势是长还是短时长手势。
在本示例中，该方法可以进一步包括通过记录结果特征矢量、以及在手势期间该装置的位置和定向来记录一个或多个使用者定义的手势。
在本示例中，该方法可以进一步包括提供一个或多个肌动图(MMG)传感器，该一个或多个肌动图传感器被配置成用于通过在每个MMG传感器中测量由肌肉活动所产生的电信号来检测由手势所产生的肌肉活动。
在本示例中，该方法可以进一步包括提供一个用于向使用者提供反馈的触觉反馈模块。
在本示例中，该触觉反馈可以提供对手势识别的确认。
在本示例中，触觉反馈可以包括由振动马达和/或致动器所提供的振动反馈。
贯穿本说明书和所附权利要求书，如在“通信路径”、“通信偶联”中及在如“通信联络地偶联”的变体中的术语“通信”通常用于指代用于传递和/或交换信息的任何安排。示例性通信路径包括但不限于：导电路径(例如，导电电线、导电迹线)、磁性路径(例如，磁性介质)、和/或光路(例如，光纤)，并且示例性通信偶联包括但不限于：电偶联、磁性偶联、和/或光偶联。
贯穿本说明书和所附权利要求书，术语“提供(provide)”及如“提供(provided)”和“提供(providing)”的变体经常用在信号背景下。例如，肌肉活动传感器被描述成“提供至少一个信号”并且惯性传感器被描述成“提供至少一个信号”。除非具体上下文另有要求，术语“提供”以其最一般的意义被使用以覆盖提供信号的任何形式，包括但不限于：中继信号、输出信号、生成信号、路由信号、创建信号、转换信号等。例如，表面EMG传感器可以包括电阻性或电容性偶联至来自肌肉活动的电信号的至少一个电极。这种偶联引起该至少一个电极的电荷或电势改变，该改变然后通过传感器电路进行中继并且由传感器输出、或“提供”。因此，表面EMG传感器可以通过将来自肌肉(或多个肌肉)的电信号中继至输出端(或多个输出端)来“提供”电信号。与此相反，惯性传感器可以包括用于将物理运动转换成电信号的组件(例如，压电式、压阻式、电容性等)。惯性传感器可以通过检测运动并响应于该运动生成电信号来“提供”电信号。
贯穿本说明书和所附权利要求书，通常使用不定式动词形式。示例包括但不限于：“以检测”、“以提供”、“以传输”、“以传达”、“以处理”、“以路由”等。除非具体上下文另有要求，以开放的、包容性意义使用此类不定式动词形式，即如“以至少检测”、“以至少提供”、“以至少传输”等。
对所展示的实施例的以上说明(包括在摘要中所描述的)并非旨在是穷尽的或者旨在把这些实施例限定于所披露的这些确切的形式。尽管出于说明性目的在此描述了多个具体的实施例和示例，但是相关领域的技术人员将认识到，可以做出不同的等价修改而不脱离本披露的精神与范围。各实施例的在此所提供的教导可以应用于其他便携式和/或可穿戴电子设备，而不必一定是以上总体所描述的示例性可穿戴电子设备。
例如，前述详细描述已经通过使用框图、示意图、和示例阐述了设备和/或过程的各实施例。在此类框图、示意图、和示例包含一项或多项功能和/或操作的情况下，本领域技术人员将理解到，此类框图、流程图、或示例内的每项功能和/或操作均能够由广泛范围的硬件、软件、固件、或其任何虚拟组合来单独地和/或共同地实现。在一个实施例中，可以由特定用途集成电路(ASIC)实现本主题。然而，本领域技术人员将认识到，在此所披露的实施例整体地或部分地可以在标准集成电路中等效地实现，作为由一个或多个计算机所执行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为由一个或多个控制器(例如，微控制器)所执行的一个或多个程序，作为由一个或多个处理器(例如，微处理器、中央处理单元、图形处理单元)所执行的一个或多个程序，作为固件，或作为其任何虚拟组合，并且认识到根据本披露的教导，设计电路和/或编写用于软件和/或固件的代码将在本领域普通技术人员的技术范围内。
当将逻辑实现为软件并且存储在存储器中时，可以将逻辑或信息存储在任何计算机可读介质上以供任何处理器相关系统或方法使用或与其结合使用。在本披露的上下文中，存储器是包含或存储计算机和/或处理器程序的电子、磁性、光学、或其他物理设备或装置的计算机可读介质。逻辑和/或信息可以被实施在任何计算机可读介质中以供指令执行系统、装置、或设备(如基于计算机的系统、包含处理器的系统、或可以从指令执行系统、装置、或设备取出指令并且执行指令的与逻辑和/或信息相关联的其他系统)使用或与其结合使用。
在本说明书的上下文中，“非瞬态计算机可读存储介质”可以是能够存储与逻辑和/或信息相关联的程序以供指令执行系统、装置、和/或设备使用或与其结合使用的任何元件。计算机可读介质可以是例如但不限于：电子、磁性、光学、电磁、红外、或半导体系统、装置或设备。计算机可读介质的更具体的示例(非穷举列表)将包括以下各项：便携式计算机软盘(磁性、压缩闪存卡、安全数字等)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM、EEPROM、或闪存存储器)、便携式光盘只读存储器(CDROM)、数字磁带、以及其他非瞬态介质。
可将以上所描述的各实施例进行组合以提供进一步实施例。在它们不与在此的具体教导和定义不一致的意义上，包括但不限于提交于2013年2月22日提交的美国临时专利申请序列号61/768,322、美国临时专利申请序列号61/771,500、美国临时专利申请序列号61/903,238、美国临时专利申请序列号61/909,786、美国临时专利申请序列号61/857,105；美国临时专利申请序列号61/860,063；美国临时专利申请序列号61/822,740；美国临时专利申请序列号61/866,960；美国临时专利申请序列号61/869,526；美国临时专利申请序列号61/874,846；美国临时专利申请序列号61/881,064；美国临时专利申请序列号61/894,263；美国临时专利申请序列号61/915,338；和/或美国临时专利申请序列号61/940,048的在本说明书中所引用和/或在专利数据表中所列出的所有美国专利、美国专利申请出版物、美国专利申请、外国专利、外国专利申请和非专利出版物以其全文通过引用结合在此。如有必要，可以对实施例的方面进行修改，以利用各专利、申请和出版物中的系统、电路及概念来提供更进一步的实施例。
鉴于以上的详细说明，可以对实施例做出这些和其他改变。总之，在以下权利要求书中，所使用的术语不应当被解释为将权利要求书局限于本说明书和权利要求书中所披露的特定实施例，而是应当被解释为包括所有可能的实施例、连同这些权利要求有权获得的等效物的整个范围。相应地，权利要求书并不受到本披露的限制。
尽管以上已描述了各实施例和说明性示例，但是将认识到这些实施例和说明性示例不是限制性的，并且本发明的范围是由以下权利要求书限定的。

Claims (22)

1.一种可穿戴电子设备，包括：
一个在使用时由一个使用者穿戴的条带；
由该条带所携带的至少一个肌肉活动传感器，该至少一个肌肉活动传感器用于在使用时响应于该使用者执行一个物理手势检测肌肉活动并且响应于所检测的该肌肉活动来提供至少一个信号；
由该条带所携带的至少一个惯性传感器，该至少一个惯性传感器用于在使用时响应于该使用者执行一个物理手势而检测运动并且响应于所检测的该运动来提供至少一个信号；以及
一个由该条带所携带的处理器，该处理器通信联络地偶联至该至少一个肌肉活动传感器并偶联至该至少一个惯性传感器，并且该处理器用于在使用时基于以下任一项或两项来标识由该使用者所执行的一个物理手势：
由该至少一个肌肉活动传感器所提供的至少一个信号；以及
由该至少一个惯性传感器所提供的至少一个信号。
2.如权利要求1所述的可穿戴电子设备，进一步包括由该条带所携带并且通信联络地偶联至该处理器的一个非瞬态计算机可读存储介质，其中，该非瞬态计算机可读存储介质存储多个处理器可执行指令，当被该处理器执行时，这些指令引起该处理器基于以下任一项或两项标识由该使用者所执行的一个物理手势：
由该至少一个肌肉活动传感器所提供的至少一个信号；以及
由该至少一个惯性传感器所提供的至少一个信号。
3.如权利要求2所述的可穿戴电子设备，其中，该非瞬态计算机可读存储介质存储多个处理器可执行指令，当被该处理器执行时，这些指令引起该处理器执行一种机器智能方法从而基于以下任一项或两项标识由该使用者所执行的一个物理手势：
由该至少一个肌肉活动传感器所提供的至少一个信号；以及
由该至少一个惯性传感器所提供的至少一个信号。
4.如权利要求3所述的可穿戴电子设备，其中，在该非瞬态计算机可读存储介质中所存储的这些处理器可执行指令包括多个处理器可执行指令，当被该处理器执行时，这些处理器可执行指令引起该处理器实现以下各项中的至少一项：分类器、隐马尔可夫模型、和/或长短期神经网络。
5.如权利要求1所述的可穿戴电子设备，进一步包括由该条带所携带的一个无线传输器，该无线传输器通信联络地偶联至该处理器以在使用时响应于该处理器标识由该使用者所执行的一个物理手势而无线地传输至少一个信号。
6.如权利要求1所述的可穿戴电子设备，其中，该至少一个肌肉活动传感器包括从由以下各项组成的组中选择的至少一个肌肉活动传感器：肌电图(EMG)传感器和肌动图(MMG)传感器。
7.如权利要求1所述的可穿戴电子设备，其中，该至少一个肌肉活动传感器包括多个肌电图(EMG)传感器。
8.如权利要求1所述的可穿戴电子设备，进一步包括由该条带所携带的一个触觉反馈模块，该触觉反馈模块用于在使用时为该使用者提供触觉反馈。
9.如权利要求8所述的可穿戴电子设备，其中，该触觉反馈模块包括一个振动马达。
10.如权利要求1所述的可穿戴电子设备，其中，该条带是可扩展的。
11.如权利要求1所述的可穿戴电子设备，进一步包括由该条带所携带的至少一个附加组件，该至少一个附加组件选自由以下各项组成的组：通信联络地偶联至该至少一个肌肉活动传感器的放大电路、通信联络地偶联至该至少一个肌肉活动传感器的滤波电路、通信联络地偶联至该至少一个肌肉活动传感器的模数转换电路、和电连接至该处理器的电池。
12.如权利要求1所述的可穿戴电子设备，其中，该至少一个惯性传感器包括从由以下各项组成的组中选择的至少一个惯性传感器：加速度计、陀螺仪、和惯性测量单元(IMU)。
13.一种操作可穿戴电子设备的方法，其中，该可穿戴电子设备包括一个由使用者穿戴的条带、由该条带所携带的至少一个肌肉活动传感器、由该条带所携带的至少一个惯性传感器、以及一个由该条带所携带的处理器，该处理器通信联络地偶联至该至少一个肌肉活动传感器并且偶联至该至少一个惯性传感器，该方法包括：
响应于该使用者执行一个物理手势，由该可穿戴电子设备的该条带所携带的至少一个肌肉活动传感器检测肌肉活动；
响应于所检测的该肌肉活动，提供来自至少一个肌肉活动传感器的至少一个信号至该处理器；
响应于该使用者执行一个物理手势，由该可穿戴电子设备的该条带所携带的至少一个惯性传感器检测运动；
响应于所检测的该运动，提供来自至少一个惯性传感器的至少一个信号至该处理器；
由该可穿戴电子设备的该条带所携带的该处理器处理由至少一个肌肉活动传感器所提供的该至少一个信号和由至少一个惯性传感器所提供的该至少一个信号；以及
由该可穿戴电子设备的该条带所携带的该处理器基于以下各项中的至少一项标识由该使用者所执行的一个物理手势：
由至少一个肌肉活动传感器所提供的该至少一个信号；以及
由至少一个惯性传感器所提供的该至少一个信号。
14.如权利要求13所述的方法，其中，由该可穿戴电子设备的该条带所携带的该处理器标识由该使用者所执行的一个物理手势包括由该可穿戴电子设备的该条带所携带的该处理器基于由至少一个肌肉活动传感器所提供的该至少一个信号和由至少一个惯性传感器所提供的该至少一个信号二者标识由该使用者所执行的一个物理手势。
15.如权利要求13所述的方法，其中，由该可穿戴电子设备的该条带所携带的该处理器标识由该使用者所执行的一个物理手势包括：
由该可穿戴电子设备的该条带所携带的该处理器基于由至少一个肌肉活动传感器所提供的该至少一个信号标识由该使用者所执行的一个第一物理手势；以及
由该可穿戴电子设备的该条带所携带的该处理器基于由至少一个惯性传感器所提供的该至少一个信号标识由该使用者所执行的一个第二物理手势。
16.如权利要求13所述的方法，其中，由该可穿戴电子设备的该条带所携带的该处理器处理由至少一个肌肉活动传感器所提供的该至少一个信号和由至少一个惯性传感器所提供的该至少一个信号包括利用分类器、隐马尔可夫模型、长短期神经网络中的一项或多项、或另一种机器智能方法来处理由至少一个肌肉活动传感器所提供的该至少一个信号和由至少一个惯性传感器所提供的该至少一个信号。
17.如权利要求13所述的方法，其中，该可穿戴电子设备进一步包括由该条带所携带并且通信联络地偶联至该处理器的一个无线传输器，该方法进一步包括：
响应于该处理器标识由该使用者所执行的一个物理手势而无线地传输至少一个信号。
18.如权利要求13所述的方法，其中，该可穿戴电子设备进一步包括由该条带所携带并且通信联络地偶联至至少一个肌肉活动传感器的一个放大电路，该方法进一步包括：
在提供来自至少一个肌肉活动传感器的该至少一个信号至该处理器之前由该放大电路放大来自至少一个肌肉活动传感器的该至少一个信号。
19.如权利要求13所述的方法，其中，该可穿戴电子设备进一步包括由该条带所携带并且通信联络地偶联至至少一个肌肉活动传感器的一个滤波电路，该方法进一步包括：
在提供来自至少一个肌肉活动传感器的该至少一个信号至该处理器之前由该滤波电路对来自至少一个肌肉活动传感器的该至少一个信号进行滤波。
20.如权利要求13所述的方法，其中，该可穿戴电子设备进一步包括由该条带所携带并且通信联络地偶联至至少一个肌肉活动传感器的一个模数转换电路，该方法进一步包括：
在提供来自至少一个肌肉活动传感器的该至少一个信号至该处理器之前由该模数转换电路将来自至少一个肌肉活动传感器的该至少一个信号从模拟信号转换成数字信号。
21.如权利要求13所述的方法，其中，该至少一个肌肉活动传感器包括多个肌电图(EMG)传感器，并且其中：
响应于该使用者执行一个物理手势，由该可穿戴电子设备的该条带所携带的至少一个肌肉活动传感器检测肌肉活动包括响应于该使用者执行一个物理手势由该可穿戴电子设备的该条带所携带的该多个EMG传感器中的至少一个EMG传感器检测肌肉活动；并且
响应于所检测的该肌肉活动提供来自至少一个肌肉活动传感器的至少一个信号至该处理器包括响应于所检测的该肌肉活动提供来自该多个EMG传感器中的至少一个EMG传感器的至少一个信号至该处理器。
22.如权利要求13所述的方法，其中，该可穿戴电子设备进一步包括由该条带所携带的一个触觉反馈模块，该触觉反馈模块包括通信联络地偶联至该处理器的一个振动马达，该方法进一步包括：响应于该处理器标识由该使用者所执行的一个物理手势，由该振动马达将触觉反馈提供给该使用者。
CN201480010862.0A 2013-02-22 2014-02-21 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备 Pending CN105190578A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361768322P 2013-02-22 2013-02-22
US61/768,322 2013-02-22
PCT/US2014/017799 WO2014130871A1 (en) 2013-02-22 2014-02-21 Methods and devices that combine muscle activity sensor signals and inertial sensor signals for gesture-based control

Publications (1)

Publication Number Publication Date
CN105190578A true CN105190578A (zh) 2015-12-23

Family

ID=51387561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480010862.0A Pending CN105190578A (zh) 2013-02-22 2014-02-21 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备

Country Status (7)

Country Link
US (2) US20140240103A1 (zh)
EP (1) EP2959394B1 (zh)
JP (3) JP2016507851A (zh)
KR (1) KR102330889B1 (zh)
CN (1) CN105190578A (zh)
CA (1) CA2902045A1 (zh)
WO (1) WO2014130871A1 (zh)

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718049A (zh) * 2016-01-14 2016-06-29 宇龙计算机通信科技(深圳)有限公司 控制方法、控制装置及其可穿戴智能设备和终端
CN105726048A (zh) * 2016-05-05 2016-07-06 郑州大学第一附属医院 一种骨科常见疾病的功能锻炼监测装置
CN107589782A (zh) * 2016-07-06 2018-01-16 可穿戴设备有限公司 用于可穿戴设备的姿势控制接口的方法和装置
CN107943283A (zh) * 2017-11-08 2018-04-20 浙江工业大学 基于手势识别的机械臂位姿控制系统
CN108431731A (zh) * 2015-12-24 2018-08-21 三星电子株式会社 用于执行基于生物计量信号的功能的方法、存储介质和电子设备
CN109314840A (zh) * 2016-06-27 2019-02-05 英特尔公司 使用机器学习优化可穿戴设备设置
CN109416589A (zh) * 2016-07-05 2019-03-01 西门子股份公司 交互系统与交互方法
US10409371B2 (en) 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
CN110312471A (zh) * 2016-07-25 2019-10-08 开创拉布斯公司 从神经肌肉活动测量中导出控制信号的自适应系统
US10460455B2 (en) 2018-01-25 2019-10-29 Ctrl-Labs Corporation Real-time processing of handstate representation model estimates
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US10496168B2 (en) 2018-01-25 2019-12-03 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
US10504286B2 (en) 2018-01-25 2019-12-10 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN111061368A (zh) * 2019-12-09 2020-04-24 华中科技大学鄂州工业技术研究院 一种手势检测方法及可穿戴设备
US10684692B2 (en) 2014-06-19 2020-06-16 Facebook Technologies, Llc Systems, devices, and methods for gesture identification
US10687759B2 (en) 2018-05-29 2020-06-23 Facebook Technologies, Llc Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
US10772519B2 (en) 2018-05-25 2020-09-15 Facebook Technologies, Llc Methods and apparatus for providing sub-muscular control
US10779740B1 (en) 2020-02-28 2020-09-22 Center For Quantitative Cytometry System and method to enhance self-recovery of nerve-muscle damage
US10817795B2 (en) 2018-01-25 2020-10-27 Facebook Technologies, Llc Handstate reconstruction based on multiple inputs
US10842407B2 (en) 2018-08-31 2020-11-24 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
US10921764B2 (en) 2018-09-26 2021-02-16 Facebook Technologies, Llc Neuromuscular control of physical objects in an environment
CN112424859A (zh) * 2018-05-08 2021-02-26 脸谱科技有限责任公司 使用神经肌肉信息改善语音识别的系统和方法
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
CN112585600A (zh) * 2018-06-14 2021-03-30 脸谱科技有限责任公司 使用神经肌肉标记进行用户识别和认证
US10970936B2 (en) 2018-10-05 2021-04-06 Facebook Technologies, Llc Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
CN112739254A (zh) * 2018-09-20 2021-04-30 脸谱科技有限责任公司 增强现实系统的神经肌肉控制
US11045137B2 (en) 2018-07-19 2021-06-29 Facebook Technologies, Llc Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
US11069148B2 (en) 2018-01-25 2021-07-20 Facebook Technologies, Llc Visualization of reconstructed handstate information
US11079846B2 (en) 2013-11-12 2021-08-03 Facebook Technologies, Llc Systems, articles, and methods for capacitive electromyography sensors
US11179066B2 (en) 2018-08-13 2021-11-23 Facebook Technologies, Llc Real-time spike detection and identification
CN113874814A (zh) * 2019-05-28 2021-12-31 德商人类解决介面(有限责任)公司 可穿戴的人机联接装置及可利用此联接装置执行的方法
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
US11337652B2 (en) 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
US11481031B1 (en) 2019-04-30 2022-10-25 Meta Platforms Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US11666264B1 (en) 2013-11-27 2023-06-06 Meta Platforms Technologies, Llc Systems, articles, and methods for electromyography sensors
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments

Families Citing this family (149)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9891718B2 (en) 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US10921886B2 (en) 2012-06-14 2021-02-16 Medibotics Llc Circumferential array of electromyographic (EMG) sensors
US10602965B2 (en) 2013-09-17 2020-03-31 Medibotics Wearable deformable conductive sensors for human motion capture including trans-joint pitch, yaw, and roll
US10321873B2 (en) 2013-09-17 2019-06-18 Medibotics Llc Smart clothing for ambulatory human motion capture
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US10716510B2 (en) 2013-09-17 2020-07-21 Medibotics Smart clothing with converging/diverging bend or stretch sensors for measuring body motion or configuration
US9588582B2 (en) 2013-09-17 2017-03-07 Medibotics Llc Motion recognition clothing (TM) with two different sets of tubes spanning a body joint
US9582035B2 (en) 2014-02-25 2017-02-28 Medibotics Llc Wearable computing devices and methods for the wrist and/or forearm
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US9234742B2 (en) 2013-05-01 2016-01-12 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
WO2014186370A1 (en) 2013-05-13 2014-11-20 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US9221170B2 (en) * 2013-06-13 2015-12-29 GM Global Technology Operations LLC Method and apparatus for controlling a robotic device via wearable sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US20150057770A1 (en) * 2013-08-23 2015-02-26 Thaimic Labs Inc. Systems, articles, and methods for human-electronics interfaces
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9841815B2 (en) * 2013-09-09 2017-12-12 Samsung Electronics Co., Ltd. Method for differentiation of touch input and visualization of pending touch input
US11071498B2 (en) 2013-09-17 2021-07-27 Medibotics Llc Smart clothing with inertial, strain, and electromyographic sensors for human motion capture
US11304628B2 (en) 2013-09-17 2022-04-19 Medibotics Llc Smart clothing with dual inertial sensors and dual stretch sensors for human motion capture
US11892286B2 (en) 2013-09-17 2024-02-06 Medibotics Llc Motion recognition clothing [TM] with an electroconductive mesh
US9541955B2 (en) * 2013-10-23 2017-01-10 Raphael Holtzman System for modular expansion of mobile computer systems
US9535505B2 (en) * 2013-11-08 2017-01-03 Polar Electro Oy User interface control in portable system
US20150153854A1 (en) * 2013-12-03 2015-06-04 Lenovo (Singapore) Pte. Ltd. Extension of wearable information handling device user interface
KR20150065336A (ko) * 2013-12-05 2015-06-15 삼성전자주식회사 전자 장치의 제스처 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9939934B2 (en) * 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
CA2939644A1 (en) 2014-02-14 2015-08-20 Thalmic Labs Inc. Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same
US10429888B2 (en) 2014-02-25 2019-10-01 Medibotics Llc Wearable computer display devices for the forearm, wrist, and/or hand
US9594443B2 (en) * 2014-02-26 2017-03-14 Lenovo (Singapore) Pte. Ltd. Wearable device authentication and operation
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
USD756359S1 (en) * 2014-05-15 2016-05-17 Thalmic Labs Inc. Expandable armband device
JP2015223220A (ja) * 2014-05-26 2015-12-14 株式会社東芝 バンド及び電子機器
US9600083B2 (en) * 2014-07-15 2017-03-21 Immersion Corporation Systems and methods to generate haptic feedback for skin-mediated interactions
JP6447917B2 (ja) * 2014-08-06 2019-01-09 パナソニックＩｐマネジメント株式会社 手首装着型の入力装置
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US9830783B1 (en) * 2014-09-24 2017-11-28 Apple Inc. Output devices for fabric-based electronic equipment
US10488936B2 (en) 2014-09-30 2019-11-26 Apple Inc. Motion and gesture input from a wearable device
CN104536558B (zh) * 2014-10-29 2019-01-25 三星电子（中国）研发中心 一种智能指环和控制智能设备的方法
CN107110965B (zh) * 2014-10-31 2021-02-09 西门子瑞士有限公司 用于检测对象的移动的方法、数字工具、设备和系统
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
US9380855B2 (en) * 2014-12-08 2016-07-05 Intel Corporation System and method for generating and using a wearable device profile
KR102131977B1 (ko) 2014-12-08 2020-07-08 로힛 세스 착용가능 무선 hmi 디바이스
WO2016093612A1 (en) * 2014-12-09 2016-06-16 Lg Innotek Co., Ltd. Band type sensor and wearable device having the same
CN104586390A (zh) * 2014-12-18 2015-05-06 中国科学院深圳先进技术研究院 一种信息处理方法及相关设备
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
US9612661B2 (en) 2015-01-02 2017-04-04 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
US9720515B2 (en) 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9338627B1 (en) 2015-01-28 2016-05-10 Arati P Singh Portable device for indicating emergency events
KR102288823B1 (ko) * 2015-02-06 2021-08-11 엘지이노텍 주식회사 웨어러블 디바이스
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
JP2017009573A (ja) * 2015-03-06 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 装着端末、及び、装着端末の制御方法
US20160282947A1 (en) * 2015-03-26 2016-09-29 Lenovo (Singapore) Pte. Ltd. Controlling a wearable device using gestures
WO2016168117A2 (en) * 2015-04-14 2016-10-20 John James Daniels Wearable electric, multi-sensory, human/machine, human/human interfaces
US10459524B2 (en) * 2015-04-14 2019-10-29 Northrop Grumman Systems Corporation Multi-sensor control system and method for remote signaling control of unmanned vehicles
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
US20160320850A1 (en) * 2015-04-29 2016-11-03 Samsung Electronics Co., Ltd. User interface control using impact gestures
US10289239B2 (en) 2015-07-09 2019-05-14 Microsoft Technology Licensing, Llc Application programming interface for multi-touch input detection
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10067564B2 (en) * 2015-08-11 2018-09-04 Disney Enterprises, Inc. Identifying hand gestures based on muscle movement in the arm
US9871546B2 (en) * 2015-09-11 2018-01-16 Panasonic Intellectual Property Corporation Of America Wearable terminal mountable on part of body of user
US10242252B2 (en) * 2015-09-25 2019-03-26 Intel Corporation Expression recognition tag
US9939899B2 (en) 2015-09-25 2018-04-10 Apple Inc. Motion and gesture input from a wearable device
US9809231B2 (en) 2015-10-28 2017-11-07 Honda Motor Co., Ltd. System and method for executing gesture based control of a vehicle system
CN105373785B (zh) * 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
US20170164890A1 (en) * 2015-12-11 2017-06-15 Intel Corporation System to facilitate therapeutic positioning for a body part
KR101685013B1 (ko) * 2015-12-17 2016-12-09 연세대학교 원주산학협력단 근진동 측정 센서를 이용한 전기자극기 및 전기자극 방법
TWI583357B (zh) 2015-12-17 2017-05-21 財團法人工業技術研究院 肌肉震動訊號處理系統與方法
WO2017107035A1 (en) * 2015-12-22 2017-06-29 Intel Corporation Time domain feature transform for user gestures
US11089146B2 (en) 2015-12-28 2021-08-10 The Mitre Corporation Systems and methods for rehabilitative motion sensing
US10503253B2 (en) * 2016-03-31 2019-12-10 Intel Corporation Sensor signal processing to determine finger and/or hand position
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
KR101675577B1 (ko) * 2016-05-03 2016-11-14 엘아이지넥스원 주식회사 근경도 센서 모듈
WO2017199356A1 (ja) * 2016-05-18 2017-11-23 日立マクセル株式会社 ジェスチャ認識装置、ジェスチャ認識パターン情報のキャリブレーション方法、及びそれを用いた通信端末
US10638316B2 (en) 2016-05-25 2020-04-28 Intel Corporation Wearable computer apparatus with same hand user authentication
DE202016003692U1 (de) * 2016-06-10 2017-09-12 Kuka Roboter Gmbh Haptische Rückmeldungsvorrichtungen für ein Manipulatorsystem
US11083404B2 (en) 2016-06-30 2021-08-10 Koninklijke Philips N.V. Processing apparatus for processing a physiological signal
US10478099B2 (en) * 2016-09-22 2019-11-19 Apple Inc. Systems and methods for determining axial orientation and location of a user's wrist
US10084612B2 (en) 2016-10-05 2018-09-25 International Business Machines Corporation Remote control with muscle sensor and alerting sensor
US9769166B1 (en) 2016-10-19 2017-09-19 International Business Machines Corporation Wearable sensor based system for person identification
JP2020516327A (ja) 2016-11-25 2020-06-11 キナプティック・エルエルシー 触覚ヒト／機械インターフェースおよび着用可能な電子機器の方法および装置
EP3548994B1 (en) * 2016-12-02 2021-08-11 Pison Technology, Inc. Detecting and using body tissue electrical signals
US10406971B2 (en) * 2017-01-09 2019-09-10 Christopher Troy De Baca Wearable wireless electronic signaling apparatus and method of use
KR101963694B1 (ko) * 2017-01-22 2019-03-29 계명대학교 산학협력단 동작 인식 및 제어를 위한 웨어러블 장치 및 이를 이용한 동작 인식 제어 방법
US10874347B1 (en) * 2017-03-02 2020-12-29 Focal Wellness, Inc. Multiple plane sensors
US10902743B2 (en) 2017-04-14 2021-01-26 Arizona Board Of Regents On Behalf Of Arizona State University Gesture recognition and communication
US10905374B2 (en) 2017-05-25 2021-02-02 Samsung Electronics Co., Ltd. Method and wearable device for performing actions using body sensor array
WO2019008497A1 (en) * 2017-07-04 2019-01-10 Moradi Ali SYSTEM AND METHOD FOR INCREASING DETECTION OF FLUORESCENCE
US10481699B2 (en) * 2017-07-27 2019-11-19 Facebook Technologies, Llc Armband for tracking hand motion using electrical impedance measurement
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
US10698492B2 (en) * 2017-09-28 2020-06-30 John James Daniels Wearable electronic, multi-sensory, human/machine, human/human interfaces
WO2019077625A1 (en) 2017-10-20 2019-04-25 Indian Institute Of Technology, Guwahati INTERVENTION POINT SYSTEM FOR DETECTION OF PHYSICAL STRESS AT DIFFERENT PARTS OF THE BODY
CA3082411A1 (en) * 2017-11-14 2019-05-23 Biointeractive Technologies, Inc. Apparatus and methods for detecting, quantifying, and providing feedback on user gestures
CN112041784A (zh) * 2017-11-30 2020-12-04 脸谱科技有限责任公司 用于离散和连续手势的同时检测的方法和装置
US10691180B2 (en) * 2017-12-19 2020-06-23 North Inc. Wearable electronic devices having a multi-use single switch and methods of use thereof
US20200310541A1 (en) * 2019-03-29 2020-10-01 Facebook Technologies, Llc Systems and methods for control schemes based on neuromuscular data
CN108427479B (zh) * 2018-02-13 2021-01-29 腾讯科技（深圳）有限公司 可穿戴设备、环境图像数据的处理系统、方法及可读介质
US10438867B2 (en) 2018-03-08 2019-10-08 Northrop Grumman Systems Corporation Immersion cooling temperature control method, system, and apparatus
WO2019200487A1 (en) * 2018-04-19 2019-10-24 Peyman Servati Methods of and systems for estimating a topography of at least two parts of a body
US10852143B2 (en) 2018-06-27 2020-12-01 Rohit Seth Motion sensor with drift correction
US10802598B2 (en) * 2018-08-05 2020-10-13 Pison Technology, Inc. User interface control of responsive devices
WO2020033110A1 (en) * 2018-08-05 2020-02-13 Pison Technology, Inc. User interface control of responsive devices
US11099647B2 (en) 2018-08-05 2021-08-24 Pison Technology, Inc. User interface control of responsive devices
CN109917909B (zh) * 2019-02-01 2022-05-31 成都思悟革科技有限公司 基于非传播电磁场的多点接收阵列的动作捕捉装置及方法
RU193501U1 (ru) * 2019-02-05 2019-10-30 Раиса Юрьевна Будко Устройство замещения утраченных функций человека с использованием обратной связи
WO2020176106A1 (en) * 2019-02-28 2020-09-03 Facebook Technologies, Llc Methods and apparatus for unsupervised machine learning for classification of gestures and estimation of applied forces
TWI689859B (zh) 2019-03-19 2020-04-01 國立臺灣科技大學 由手腕偵測肌動訊號識別使用者手勢之系統及方法
US10684686B1 (en) * 2019-07-01 2020-06-16 INTREEG, Inc. Dynamic command remapping for human-computer interface
FR3099877A1 (fr) 2019-08-14 2021-02-19 Maxime Projetti Procédé et système pour l’analyse de l’activité biomécanique et l’exposition à un facteur de risque biomécanique sur un sujet humain dans un contexte d’activité physique
US11803246B2 (en) * 2019-08-22 2023-10-31 University Of Maryland, College Park Systems and methods for recognizing gesture
CN110624217A (zh) * 2019-09-23 2019-12-31 孙孟雯 一种基于多传感器融合的复健手套及其实现方法
EP4034227A4 (en) * 2019-09-26 2023-10-11 The Regents of The University of California PERIPHERAL BRAIN-MACHINE INTERFACE SYSTEM THROUGH VOLUNTARY CONTROL OF INDIVIDUAL MOTOR UNITS
US11243614B2 (en) * 2019-10-09 2022-02-08 Bose Corporation Modified force sensitive resistors
CN110826625B (zh) * 2019-11-06 2022-04-12 南昌大学 一种基于表面肌电信号的手指手势分类方法
US11157086B2 (en) 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
US11199908B2 (en) 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system
FR3111224B1 (fr) * 2020-06-04 2022-07-29 Safran Electronics & Defense Systeme de commande pour commander un dispositif distant du systeme.
EP4162346A1 (en) 2020-06-06 2023-04-12 Battelle Memorial Institute Non-verbal communications radio and non-verbal communication system using a plurality of non-verbal communication radios
GB2596800A (en) * 2020-07-03 2022-01-12 Imperial College Innovations Ltd A mechanomyography apparatus and associated methods
RU201260U1 (ru) * 2020-07-31 2020-12-08 Общество с ограниченной ответственностью "Био Диджитал Технолоджи" Устройство для распознавания жестов путём обнаружения и анализа мышечной активности методом электромиографии
US11231437B1 (en) * 2020-09-25 2022-01-25 United Arab Emirates University Arm motion sensor system
IT202000022933A1 (it) 2020-09-29 2022-03-29 Bionit Labs S R L Sistema integrato per la rilevazione ed elaborazione di segnali elettromiografici
US11467675B1 (en) * 2021-04-29 2022-10-11 Facebook Technologies, Llc Multi-component detection of gestures
TWI775524B (zh) * 2021-07-09 2022-08-21 華碩電腦股份有限公司 手勢判斷方法及電子裝置
SE2151399A1 (en) * 2021-11-17 2023-05-18 Idestam Almquist Peter A communications system and a method for communicating information
US11960655B2 (en) 2021-12-09 2024-04-16 Samsung Electronics Co., Ltd. Method of recognizing gesture by using wearable device and the wearable device
US20240061513A1 (en) * 2022-08-18 2024-02-22 Meta Platforms Technologies, Llc Multi-stage gestures detected based on neuromuscular-signal sensors of a wearable device to activate user-interface interactions with low-false positive rates, and systems and methods of use thereof
US20240061514A1 (en) * 2022-08-18 2024-02-22 Meta Platforms Technologies, Llc Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof
KR102595257B1 (ko) * 2023-03-17 2023-11-01 강윤 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040024312A1 (en) * 2002-08-01 2004-02-05 The Hong Kong Polytechnic University Method and apparatus for sensing body gesture, posture and movement
US20060121958A1 (en) * 2004-12-06 2006-06-08 Electronics And Telecommunications Research Institute Wearable mobile phone using EMG and controlling method thereof
CN101926722A (zh) * 2003-08-21 2010-12-29 国立大学法人筑波大学 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序
CN102246125A (zh) * 2008-10-15 2011-11-16 因文森斯公司 具有运动姿态识别的移动设备

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3620208A (en) 1969-11-03 1971-11-16 Atomic Energy Commission Ekg amplifying electrode pickup
US3880146A (en) 1973-06-04 1975-04-29 Donald B Everett Noise compensation techniques for bioelectric potential sensing
LU84250A1 (de) 1982-07-01 1984-03-22 Mardice Holding Verfahren und vorrichtung fuer das kontaktlose messen von spannungsunterschieden bei lebenden organismen
EP0301790A3 (en) 1987-07-24 1990-06-06 BioControl Systems, Inc. Biopotential digital controller for music and video applications
JPH07248873A (ja) * 1994-03-08 1995-09-26 Sharp Corp 筋電信号を用いた制御装置
US5482051A (en) 1994-03-10 1996-01-09 The University Of Akron Electromyographic virtual reality system
JPH09179842A (ja) * 1995-12-27 1997-07-11 Kansai Electric Power Co Inc:The 欠落値補正型ネットワーク及びその学習方法
JP3677149B2 (ja) * 1998-05-26 2005-07-27 日本電信電話株式会社 手首装着型入力装置
US6244873B1 (en) 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
US6807438B1 (en) 1999-08-26 2004-10-19 Riccardo Brun Del Re Electric field sensor
US6720984B1 (en) 2000-06-13 2004-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Characterization of bioelectric potentials
AU2002234125A1 (en) 2000-12-18 2002-07-01 Human Bionics Llc Method and system for initiating activity based on sensed electrophysiological data
WO2002065904A1 (en) 2001-02-23 2002-08-29 Cordless Antistatic Research Inc. Enhanced pickup bio-electrode
US6865409B2 (en) 2001-11-07 2005-03-08 Kinesense, Inc. Surface electromyographic electrode assembly
US7036077B2 (en) * 2002-03-22 2006-04-25 Xerox Corporation Method for gestural interpretation in a system for selecting and arranging visible material in document images
CA2379268A1 (en) 2002-03-26 2003-09-26 Hans Kolpin Skin impedance matched biopotential electrode
EP1408443B1 (en) 2002-10-07 2006-10-18 Sony France S.A. Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
US7809435B1 (en) 2006-01-11 2010-10-05 Iq Biolabs, Inc. Adjustable wireless electromyography sensor and system
US7558622B2 (en) * 2006-05-24 2009-07-07 Bao Tran Mesh network stroke monitoring appliance
US8437844B2 (en) 2006-08-21 2013-05-07 Holland Bloorview Kids Rehabilitation Hospital Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements
US8212859B2 (en) 2006-10-13 2012-07-03 Apple Inc. Peripheral treatment for head-mounted displays
US20080136775A1 (en) 2006-12-08 2008-06-12 Conant Carson V Virtual input device for computing
JP4934813B2 (ja) * 2007-02-06 2012-05-23 国立大学法人広島大学 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体
JP2008295867A (ja) * 2007-06-01 2008-12-11 Oisaka Denshi Kiki:Kk 生体信号計測装置
AU2008276078A1 (en) 2007-07-16 2009-01-22 Slp Ltd. Physiological data collection system
WO2009026289A2 (en) 2007-08-20 2009-02-26 Hmicro, Inc. Wearable user interface device, system, and method of use
US20090251407A1 (en) 2008-04-03 2009-10-08 Microsoft Corporation Device interaction with combination of rings
JP2010000283A (ja) 2008-06-23 2010-01-07 Shimadzu Corp リアルタイム同時計測システム、リアルタイム同時計測装置、リアルタイム同時計測方法、およびプログラム
US8447704B2 (en) * 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US9037530B2 (en) 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US8170656B2 (en) 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
AU2009267790B2 (en) 2008-07-07 2014-09-18 Heard Systems Pty Ltd A system for sensing electrophysiological signals
EP2236078A1 (en) 2009-04-02 2010-10-06 Koninklijke Philips Electronics N.V. Processing a bio-physiological signal
JP5271162B2 (ja) * 2009-06-11 2013-08-21 日本電信電話株式会社 設備計画作成装置及び設備計画作成方法
AU2009348759B2 (en) 2009-06-26 2013-10-03 T&W Engineering A/S EEG monitoring apparatus and method for presenting messages therein
JP4988016B2 (ja) * 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
KR20110022520A (ko) * 2009-08-27 2011-03-07 한국전자통신연구원 손가락 움직임 검출 장치 및 그 방법
KR101234111B1 (ko) * 2009-10-13 2013-02-19 한국전자통신연구원 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
US8421634B2 (en) 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
KR101708682B1 (ko) 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
WO2011070554A2 (en) * 2009-12-13 2011-06-16 Ringbow Ltd. Finger-worn input devices and methods of use
WO2011091856A1 (en) 2010-02-01 2011-08-04 Widex A/S Portable eeg monitor system with wireless communication
US9110505B2 (en) * 2010-04-16 2015-08-18 Innovative Devices Inc. Wearable motion sensing computing interface
US20130127708A1 (en) 2010-05-28 2013-05-23 The Regents Of The University Of California Cell-phone based wireless and mobile brain-machine interface
US8914075B2 (en) * 2010-09-17 2014-12-16 Blackberry Limited Electronic device including actuator and method of controlling same for providing tactile output
US10244988B2 (en) * 2010-12-16 2019-04-02 Nokia Technologies Oy Method, apparatus and computer program of using a bio-signal profile
TWI487505B (zh) * 2010-12-17 2015-06-11 Ind Tech Res Inst 肌動訊號輸入裝置、人機操作系統及其辨識方法
US20120265090A1 (en) 2011-04-13 2012-10-18 Fink Rainer J System and method of acquiring uterine emg signals and wirelessly transmitting the same
US8831794B2 (en) * 2011-05-04 2014-09-09 Qualcomm Incorporated Gesture recognition via an ad-hoc proximity sensor mesh for remotely controlling objects
US9330499B2 (en) 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
US8203502B1 (en) 2011-05-25 2012-06-19 Google Inc. Wearable heads-up display with integrated finger-tracking input sensor
US20130198694A1 (en) 2011-06-10 2013-08-01 Aliphcom Determinative processes for wearable devices
US9089270B2 (en) 2011-06-29 2015-07-28 Lg Electronics Inc. Terminal and control method thereof
TWI446896B (zh) 2011-12-23 2014-08-01 Ind Tech Res Inst 肌能參數感測器
US20130191741A1 (en) * 2012-01-24 2013-07-25 Motorola Mobility, Inc. Methods and Apparatus for Providing Feedback from an Electronic Device
US8922481B1 (en) 2012-03-16 2014-12-30 Google Inc. Content annotation
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
US9278453B2 (en) 2012-05-25 2016-03-08 California Institute Of Technology Biosleeve human-machine interface
US9536449B2 (en) 2013-05-23 2017-01-03 Medibotics Llc Smart watch and food utensil for monitoring food consumption
EP2698686B1 (en) 2012-07-27 2018-10-10 LG Electronics Inc. Wrist-wearable terminal and control method thereof
US20140049417A1 (en) 2012-08-20 2014-02-20 Playtabase, LLC Wireless motion activated command transfer device, system, and method
US20140198034A1 (en) 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
US9904356B2 (en) 2013-05-28 2018-02-27 The Boeing Company Tracking a user to support tasks performed on complex-system components
US9395810B2 (en) 2013-05-28 2016-07-19 The Boeing Company Ubiquitous natural user system
KR102131358B1 (ko) * 2013-06-17 2020-07-07 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 장치의 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040024312A1 (en) * 2002-08-01 2004-02-05 The Hong Kong Polytechnic University Method and apparatus for sensing body gesture, posture and movement
CN101926722A (zh) * 2003-08-21 2010-12-29 国立大学法人筑波大学 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序
US20060121958A1 (en) * 2004-12-06 2006-06-08 Electronics And Telecommunications Research Institute Wearable mobile phone using EMG and controlling method thereof
CN102246125A (zh) * 2008-10-15 2011-11-16 因文森斯公司 具有运动姿态识别的移动设备

Cited By (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11079846B2 (en) 2013-11-12 2021-08-03 Facebook Technologies, Llc Systems, articles, and methods for capacitive electromyography sensors
US11666264B1 (en) 2013-11-27 2023-06-06 Meta Platforms Technologies, Llc Systems, articles, and methods for electromyography sensors
US10684692B2 (en) 2014-06-19 2020-06-16 Facebook Technologies, Llc Systems, devices, and methods for gesture identification
CN108431731B (zh) * 2015-12-24 2021-07-20 三星电子株式会社 用于执行基于生物计量信号的功能的方法、存储介质和电子设备
CN108431731A (zh) * 2015-12-24 2018-08-21 三星电子株式会社 用于执行基于生物计量信号的功能的方法、存储介质和电子设备
CN105718049A (zh) * 2016-01-14 2016-06-29 宇龙计算机通信科技(深圳)有限公司 控制方法、控制装置及其可穿戴智能设备和终端
CN105726048A (zh) * 2016-05-05 2016-07-06 郑州大学第一附属医院 一种骨科常见疾病的功能锻炼监测装置
CN109314840A (zh) * 2016-06-27 2019-02-05 英特尔公司 使用机器学习优化可穿戴设备设置
CN109416589A (zh) * 2016-07-05 2019-03-01 西门子股份公司 交互系统与交互方法
CN107589782A (zh) * 2016-07-06 2018-01-16 可穿戴设备有限公司 用于可穿戴设备的姿势控制接口的方法和装置
CN110312471A (zh) * 2016-07-25 2019-10-08 开创拉布斯公司 从神经肌肉活动测量中导出控制信号的自适应系统
US10409371B2 (en) 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US11337652B2 (en) 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
CN110312471B (zh) * 2016-07-25 2022-04-29 脸谱科技有限责任公司 从神经肌肉活动测量中导出控制信号的自适应系统
US10656711B2 (en) 2016-07-25 2020-05-19 Facebook Technologies, Llc Methods and apparatus for inferring user intent based on neuromuscular signals
US11000211B2 (en) 2016-07-25 2021-05-11 Facebook Technologies, Llc Adaptive system for deriving control signals from measurements of neuromuscular activity
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
CN107943283B (zh) * 2017-11-08 2021-02-02 浙江工业大学 基于手势识别的机械臂位姿控制系统
CN107943283A (zh) * 2017-11-08 2018-04-20 浙江工业大学 基于手势识别的机械臂位姿控制系统
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
US11163361B2 (en) 2018-01-25 2021-11-02 Facebook Technologies, Llc Calibration techniques for handstate representation modeling using neuromuscular signals
US10460455B2 (en) 2018-01-25 2019-10-29 Ctrl-Labs Corporation Real-time processing of handstate representation model estimates
CN111902847A (zh) * 2018-01-25 2020-11-06 脸谱科技有限责任公司 手部状态表示模型估计的实时处理
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US10496168B2 (en) 2018-01-25 2019-12-03 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
US11587242B1 (en) 2018-01-25 2023-02-21 Meta Platforms Technologies, Llc Real-time processing of handstate representation model estimates
US11361522B2 (en) 2018-01-25 2022-06-14 Facebook Technologies, Llc User-controlled tuning of handstate representation model parameters
US10950047B2 (en) 2018-01-25 2021-03-16 Facebook Technologies, Llc Techniques for anonymizing neuromuscular signal data
US10504286B2 (en) 2018-01-25 2019-12-10 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US11127143B2 (en) 2018-01-25 2021-09-21 Facebook Technologies, Llc Real-time processing of handstate representation model estimates
US11069148B2 (en) 2018-01-25 2021-07-20 Facebook Technologies, Llc Visualization of reconstructed handstate information
US10817795B2 (en) 2018-01-25 2020-10-27 Facebook Technologies, Llc Handstate reconstruction based on multiple inputs
CN112424859A (zh) * 2018-05-08 2021-02-26 脸谱科技有限责任公司 使用神经肌肉信息改善语音识别的系统和方法
US11036302B1 (en) 2018-05-08 2021-06-15 Facebook Technologies, Llc Wearable devices and methods for improved speech recognition
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10772519B2 (en) 2018-05-25 2020-09-15 Facebook Technologies, Llc Methods and apparatus for providing sub-muscular control
US11129569B1 (en) 2018-05-29 2021-09-28 Facebook Technologies, Llc Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
US10687759B2 (en) 2018-05-29 2020-06-23 Facebook Technologies, Llc Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
CN112585600A (zh) * 2018-06-14 2021-03-30 脸谱科技有限责任公司 使用神经肌肉标记进行用户识别和认证
US10970374B2 (en) 2018-06-14 2021-04-06 Facebook Technologies, Llc User identification and authentication with neuromuscular signatures
US11045137B2 (en) 2018-07-19 2021-06-29 Facebook Technologies, Llc Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
US11179066B2 (en) 2018-08-13 2021-11-23 Facebook Technologies, Llc Real-time spike detection and identification
US10842407B2 (en) 2018-08-31 2020-11-24 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
US10905350B2 (en) 2018-08-31 2021-02-02 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
CN112996430A (zh) * 2018-08-31 2021-06-18 脸谱科技有限责任公司 神经肌肉信号的相机引导的解释
CN112739254A (zh) * 2018-09-20 2021-04-30 脸谱科技有限责任公司 增强现实系统的神经肌肉控制
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US10921764B2 (en) 2018-09-26 2021-02-16 Facebook Technologies, Llc Neuromuscular control of physical objects in an environment
US10970936B2 (en) 2018-10-05 2021-04-06 Facebook Technologies, Llc Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US11941176B1 (en) 2018-11-27 2024-03-26 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11481031B1 (en) 2019-04-30 2022-10-25 Meta Platforms Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
CN113874814A (zh) * 2019-05-28 2021-12-31 德商人类解决介面(有限责任)公司 可穿戴的人机联接装置及可利用此联接装置执行的方法
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
CN111061368B (zh) * 2019-12-09 2023-06-27 华中科技大学鄂州工业技术研究院 一种手势检测方法及可穿戴设备
CN111061368A (zh) * 2019-12-09 2020-04-24 华中科技大学鄂州工业技术研究院 一种手势检测方法及可穿戴设备
US10779740B1 (en) 2020-02-28 2020-09-22 Center For Quantitative Cytometry System and method to enhance self-recovery of nerve-muscle damage
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof

Also Published As

Publication number Publication date
CA2902045A1 (en) 2014-08-28
JP2021072136A (ja) 2021-05-06
EP2959394B1 (en) 2021-05-12
JP2016507851A (ja) 2016-03-10
JP2019023941A (ja) 2019-02-14
US20140240223A1 (en) 2014-08-28
EP2959394A1 (en) 2015-12-30
WO2014130871A1 (en) 2014-08-28
US9299248B2 (en) 2016-03-29
KR102330889B1 (ko) 2021-11-26
KR20150123254A (ko) 2015-11-03
EP2959394A4 (en) 2017-02-08
US20140240103A1 (en) 2014-08-28

Similar Documents

Publication Publication Date Title
CN105190578A (zh) 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
CN103654774B (zh) 穿戴式移动手环
US9367139B2 (en) Systems, articles, and methods for gesture identification in wearable electromyography devices
CN1320419C (zh) 用户输入装置
CN104834907A (zh) 手势识别方法、装置、设备以及基于手势识别的操作方法
US20120157886A1 (en) Mechanomyography Signal Input Device, Human-Machine Operating System and Identification Method Thereof
CN104238736A (zh) 利用抓握对象识别运动的装置、方法和系统
CN105117003A (zh) 智能穿戴设备及其工作方法
CN117687477A (zh) 用于可穿戴设备的姿势控制接口的方法和装置
EP2839774B1 (en) Biosignal interface apparatus and operation method of biosignal interface apparatus
CN106020490B (zh) 基于三轴重力加速度传感器的多触点数据手套系统
CN105014676A (zh) 一种机器人运动控制方法
Chang et al. A hierarchical hand motions recognition method based on IMU and sEMG sensors
Van Murugiah et al. Wearable IOT based Malaysian sign language recognition and text translation system
CN203552178U (zh) 腕带式手部运动识别装置
Aggelides et al. A gesture recognition approach to classifying allergic rhinitis gestures using wrist-worn devices: a multidisciplinary case study
CN202397452U (zh) 一种人体日常行为信息物联网采集装置
CN109283998A (zh) 三维电容式穿戴人机互动装置及方法
CN112380943B (zh) 一种基于电阻抗的多部位肢体动作捕捉方法
CN204748634U (zh) 一种机器人运动控制系统
CN111766941B (zh) 一种基于智能戒指的手势识别方法及系统
Li et al. A single smartwatch-based segmentation approach in human activity recognition
Mekruksavanich et al. Placement effect of motion sensors for human activity recognition using LSTM network
Wang et al. Subtle finger motion recognition based on the cots smartwatch
Panduranga et al. Sensors for virtual musical environment: A short survey

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151223

WD01 Invention patent application deemed withdrawn after publication