CN102037451B - 多模态控制器 - Google Patents

Abstract

通过以某些可识别模式对移动计算设备进行移动来向该移动计算设备提供控制输入。控制输入可以执行应用中的各种功能，诸如开始或停止音频播放或导航菜单。数字地捕捉用户使用智能笔设备在书写表面上做出的书写姿势。这一姿势例如可以是智能笔设备在书写表面上的敲击或者笔划。标识书写表面上的控件，其中该控件至少部分对应于该书写姿势在书写表面上的位置。基于标识的控件和书写姿势来确定控制输入。响应于控制输入，在运行于智能笔设备或附接的计算系统上执行应用中的命令。

Description

多模态控制器

相关申请的交叉参考

本申请要求2008年4月3日递交的美国临时申请No.61/042,207的权益，通过参考而将其整体并入。

技术领域

本申请总体上涉及基于笔的计算系统，并且更具体地，涉及扩展针对基于笔的计算系统的输入范围。

背景技术

期待移动计算设备能够支持大量应用，并期待其几乎能在任何环境中使用。然而，归因于移动计算设备的大小或形状因数，移动计算设备可能具有有限的输入设备。例如，移动计算设备可能仅具有单个用户可访问按钮和成像设备作为其输入设备。移动计算设备还可能具有有限的输出设备来辅助用户输入，诸如，仅具有单个小型液晶显示器(LCD)。尽管输入设备和输出设备有限，用户可能仍希望执行多种任务，诸如，选择功能、启动应用、查看和响应用户对话框、容易地访问用于各种特征的实时控件，以及浏览移动计算设备的内容。为了支持新应用和特征(包括随着时间推移向设备添加的新输入方法)，该设备还应当是灵活的和可扩展的。

因此，需要可以扩展移动计算设备用户可用的输入范围的技术。

发明内容

本发明的实施方式给出了一种用户通过以某些可识别模式对移动计算设备(例如，智能笔)进行移动来向运行于该移动计算设备上的应用提供控制输入的新方式。控制输入可以执行应用中的各种功能，诸如开始或停止音频播放，或经由菜单导航。在一个实施方式中，数字地捕捉用户使用数字笔设备在书写表面上做出的书写姿势。这一姿势例如可以是数字笔设备在书写表面上的敲击或者笔划。标识书写表面上的控件，其中该控件至少部分对应于该书写姿势在书写表面上的位置。基于标识的控件和书写姿势来确定控制输入。响应于控制输入，在运行于数字笔设备或附接的计算系统上的应用中执行命令。

控件可以预先印刷在书写表面上，或者可以已由用户创建。在一个实施方式中，可以通过数字地捕获使用数字笔设备在书写表面上做出的书写姿势来初始化用户创建的控件。基于书写姿势的模式，识别出书写姿势包括控件。控件的类型是基于书写姿势的模式确定的。控件的位置是基于姿势在书写表面上的位置确定的。确定的控件位置和类型存储在数字笔设备的存储器中。

附图说明

图1为根据本发明一个实施方式的基于笔的计算系统的示意图。

图2为根据本发明一个实施方式的在该基于笔的计算系统中使用的智能笔的示意图。

图3示出了向基于笔的计算系统提供控制输入的方法的实施方式。

图4示出了用于对用户创建的控件进行识别和初始化的方法的实施方式。

图5示出了用于通过控件接收控制输入的点使能纸张的示例。

描述本发明各种实施方式的附图仅用于说明目的。本领域技术人员根据下列讨论容易理解，可以在不脱离这里描述的本发明的精神的前提下，认识到这里说明的方法和结构的备选实施方式。

具体实施方式

基于笔的计算系统的概述

本发明的实施方式可以实施在基于笔的计算系统的各种实施方式中，以及其他计算系统和/或记录系统中。在图1中示出了基于笔的计算系统的一个示例。在这个实施方式中，基于笔的计算系统包括书写表面50、智能笔100、插接站(docking station)110、客户端系统120、网络130以及web服务系统140。智能笔100包括板上处理能力以及输入/输出功能，从而允许基于笔的计算系统将传统计算系统中基于屏幕的交互扩展到用户能够书写的其他表面。例如，智能笔100可以用于捕获书写的电子表征以及在书写期间记录音频，而且智能笔100还可以能够向用户输出视觉信息和音频信息。利用智能笔100上用于各种应用的适当软件，基于笔的计算系统由此向用户提供了用于与电子领域和纸张领域二者中的软件程序和计算服务进行交互的新平台。

在基于笔的计算系统中，智能笔100为计算系统提供输入和输出能力，而且执行该系统的部分或全部计算功能。因此，智能笔100支持用户使用多个模态来与基于笔的计算系统进行交互。在一个实施方式中，智能笔100利用多个模态(例如，捕获用户的书写或其他手势或者记录音频)接收来自用户的输入，并使用各种模态(例如显示视觉信息或播放音频)向用户提供输出。在其他实施方式中，智能笔100包括诸如运动感测或姿势捕获的附加输入模态，和/或诸如振动反馈的附加输出模态。

在图2中示出了智能笔100的一个特定实施方式的组件，在下文中对其进行更详细描述。虽然智能笔100的整体形状可以存在某些变化以适应该笔的其他功能，或者甚至可以是交互多模态的非书写工具，但是智能笔100优选地具有充分形似于笔或其他书写工具的形状因数。例如，智能笔100可以比标准笔略厚，从而使其可以容纳附加组件，或者智能笔100除了具有形成笔形形状因数的结构特征之外，还可以具有附加结构特征(例如，平板显示器)。另外，智能笔100还可以包括用户能够借以向智能笔计算系统提供输入或命令的任何机构，或者可以包括用户能够借由其从智能笔计算系统接收或者以其他方式观察信息的任何机构。

智能笔100被设计用于与书写表面50一起工作，从而使智能笔100能够捕获在书写表面50上产生的书写。在一个实施方式中，书写表面50包括纸张(或能够在其上书写的任何其他合适材料)，而且利用能够被智能笔100阅读的模式进行编码。这种书写表面50的一个例子是所谓的“点使能纸”，其可从瑞典的Anoto集团AB(马萨诸塞州沃尔瑟姆的Anoto本地子公司)获得，在美国专利No.7,175,095中进行了描述，这里通过参考将其并入。这种点使能纸具有编码在纸张上的点模式。设计用于与这种点使能纸一起工作的智能笔100包括成像系统以及能够确定智能笔的书写端相对于已编码点模式的位置的处理器。智能笔100的位置可以使用预定“点空间”中的坐标来参考，而且该坐标既可以是局部的(例如，在书写表面50的页内部的位置)也可以是绝对的(例如，在书写表面50的多页中的唯一位置)。

在其他实施方式中，可以使用除已编码纸张以外的机构来实现书写表面50，以允许智能笔100捕获姿势和其他书写输入。例如，书写表面可以包括对智能笔100所做出的书写进行检测的输入板或其他电子介质。在另一实施方式中，书写表面50包括电子纸张，或称e纸张。可以完全由书写表面50或者由书写表面50结合智能笔100来执行该检测。即使书写表面50的角色仅仅是被动的(如已编码纸张的情形)，但可以意识到，智能笔100的设计通常也将取决于基于笔的计算系统针对其进行设计的书写表面50的类型。而且，书写的内容可以机械地(例如，使用智能笔100在纸张上着墨)、电子地(例如，在书写表面50上显示)显示在书写表面50上，或者根本不显示(例如，仅仅保存在存储器中)。在另一实施方式中，智能笔100配备有用于对笔端的移动进行检测的传感器，从而在不需要书写表面50的情况下便能够检测书写姿势。这些技术中的任何一个都可以用于并入到智能笔100中的姿势捕获系统。

在各种实施方式中，为了基于笔的计算系统的各种有用应用，智能笔100可以与诸如个人计算机之类的通用计算系统120进行通信。例如，由智能笔100捕获的内容可以传输到计算系统120，以供该系统120进一步使用。例如，计算系统120可以包括允许用户存储、访问、查看、删除或者以其他方式来管理由智能笔100获取的信息的管理软件。将智能笔100获取的数据下载到计算系统120还释放了智能笔100的资源，从而使其能够获取更多数据。反过来，也可以将内容从计算系统120向回传送给智能笔100。除了数据之外，计算系统120提供到智能笔100的内容还可以包括可由智能笔100执行的软件应用。

智能笔100可以经由包括有线通信和无线通信的许多已知通信机制中的任何机制来与计算系统120通信。在一个实施方式中，基于笔的计算系统包括耦合到计算系统的插接站110。插接站110在机械上和电子上配置用于容纳智能笔100，而且当智能笔100被插接时，插接站110可以支持计算系统120和智能笔100之间的电子通信。插接站110还可以提供电功率，以向智能笔100中的电池充电。

图2示出了在例如上述实施方式的基于笔的计算系统中使用的智能笔100的一个实施方式。在图2示出的实施方式中，智能笔100包括标记器205、成像系统210、落笔传感器215、一个或多个麦克风220、扬声器225、音频插头230、显示器235、I/O端口240、处理器245、板上存储器250和电池255。然而，应当理解，并非上述组件的全部都是智能笔100所必需的，而且这也不是智能笔100的所有实施方式的组件或上述组件的所有可能变体的穷举一览表。例如，智能笔100还可以包括诸如电源按钮或音频记录按钮之类的按钮和/或状态指示灯。而且，正如这里在说明书和权利要求中所使用的，除了明确记载的那些特征之外，术语“智能笔”并不表示笔设备具有这里针对特定实施方式而描述的任何特定特征或功能。智能笔可以具有少于这里描述的所有能力和子系统的任何组合。

标记器205支持将智能笔用作在任何适当表面上进行书写的传统书写装置。标记器205因此可以包括任何合适的标记机构，包括基于墨水或基于石墨的任何标记设备或可以用于书写的任何其他设备。在一个实施方式中，标记器205包括可更换的圆珠笔元件。标记器205耦合到落笔传感器215，例如压力传感元件。因此，当标记器205按压表面时，落笔传感器215产生输出，从而指示智能笔100在何时被用于在表面上进行书写。

成像系统210包括足够的光学器件和传感器，用于对标记器205附近的表面区域进行成像。成像系统210可以用于捕获用智能笔100做出的手写和/或姿势。例如，成像系统210可以包括红外线光源，其照亮标记器205附近的书写表面50，其中书写表面50包括已编码模式。通过处理已编码模式的图像，智能笔100可以确定相对于书写表面50标记器205处于何处。成像系统210的成像阵列随后对标记器205附近的表面进行成像，而且捕获已编码模式在其视场中的部分。由此，成像系统210允许智能笔100使用至少一个输入模态来接收数据，例如接收书写输入。包含用于查看书写表面50一部分的光学器件和电子器件的成像系统210仅仅是可以包含在智能笔100中的、用于电子地捕获利用该笔做出的任何书写姿势的一种类型的姿势捕获系统，而智能笔100的其他实施方式可以使用实现相同功能的任何其他恰当装置。

在一个实施方式中，成像系统210捕获的数据随后被处理，从而允许将诸如字符识别的一个或多个内容识别算法应用于接收的数据。在另一实施方式中，可以使用成像系统210来扫描和捕获已经存在于书写表面50上的书写内容(例如，不是使用智能笔100书写的)。成像系统210还可以与落笔传感器215结合使用，以确定标记器205何时接触书写表面50。随着标记器205在表面上移动，成像阵列捕获的模式发生变化，用户的手写因此可被智能笔100中的姿势捕获系统(例如，图2中的成像系统210)确定和捕获。这种技术还可以用于捕获姿势，诸如当用户在书写表面50的特定位置上敲击标记器205时，从而允许利用运动检测的其他输入模态的数据捕获或姿势捕获。

智能笔100上的另一数据捕获设备是一个或多个麦克风220，其允许智能笔100使用其他输入模态(音频捕获)来接收数据。麦克风220可以用于记录音频，这可以与上述手写捕获进行同步。在一个实施方式中，一个或多个麦克风220耦合到由处理器245或信号处理器(没有示出)执行的信号处理软件，该信号处理软件消除标记器205在书写表面上移动所产生的噪声和/或当智能笔100向下接触书写表面或从书写表面上移开时所产生的噪声。在一个实施方式中，处理器245对捕获的书写数据与捕获的音频数据进行同步。例如，在利用麦克风220记录会议的对话同时，用户做着还可以由智能笔100捕获的笔记。对记录的音频和捕获的手写进行同步允许智能笔100向用户对之前捕获数据的请求提供经协调的响应。例如，响应于用户请求，例如书写的命令、命令参数、用智能笔100做出的姿势、说出的命令或书写命令和说出命令的结合，智能笔100向用户提供音频输出以及视觉输出二者。智能笔100还可以向用户提供触觉反馈。

扬声器225、音频插头230和显示器235向智能笔100的用户提供输出，从而允许经由一个或多个输出模态来向该用户呈现数据。音频插头230可以与耳机耦合，与使用扬声器225不同，用户在不打扰周围人的情况下便能收听该音频输出。耳机还可以允许用户在立体声或利用空间特性进行了增强的全三维音频中收听该音频输出。因此，通过收听由扬声器225或音频插头230播放的音频，扬声器225和音频插头230允许用户使用输出模态的第一类型从智能笔接收数据。

显示器235可以包括用于提供视觉反馈的任何适当显示器系统，例如有机发光二极管(OLED)显示器，从而允许智能笔100通过在视觉上显示信息而使用第二输出模态来提供输出。在使用中，智能笔100可以使用这些输出组件中的任何一个来传达音频或视觉反馈，从而允许使用多个输出模态来提供数据。例如，扬声器225和音频插头230可以根据运行在智能笔100上的应用来传达音频反馈(例如，提示、命令和系统状态)，而显示器235可以显示单词短语、静态或动态图像，或由这个应用所指导的提示。另外，扬声器225和音频插头230还可以用于播放已经使用麦克风220记录的音频数据。

如上所述，输入/输出(I/O)端口240允许在智能笔100和计算系统120之间的通信。在一个实施方式中，I/O端口240包括与插接站110上的电触点相对应的电触点，从而当智能笔100放置在插接站110中时，会产生用于数据传送的电气连接。在另一实施方式中，I/O端口240简单地包括用于容纳数据线缆的插头(例如，小型USB或微USB)。备选地，可以在智能笔100中的用无线通信电路来代替I/O端口240，从而允许与计算系统120进行无线通信(例如，经由蓝牙、WiFi、红外或超声波)。

处理器245、板上存储器250和电池255(或任何其他合适的电源)支持在智能笔100上执行至少部分的计算功能。处理器245耦合到输入和输出设备以及上述其他组件，从而使得在智能笔100上运行的应用能够使用这些组件。在一个实施方式中，处理器245包括ARM9处理器，而且板上存储器250包括少量的随机访问存储器(RAM)和较大量的闪存或其他永久性存储器。结果，可以在智能笔100上存储和执行可执行应用，而且可以在智能笔100上存储记录的音频和手写，该存储可以是无限期的，也可以到从智能笔100上卸载到计算系统120中为止。例如，智能笔100可以本地存储一个或多个内容识别算法，例如字符识别或语音识别，从而允许智能笔100本地识别来自智能笔100所接收的一个或多个输入模态的输入。

在一个实施方式中，智能笔100还包括操作系统或者支持一个或多个输入模态(诸如手写捕获、音频捕获或姿势捕获)或输出模态(诸如音频回放或视觉数据的显示)的其他软件。操作系统或其他软件可以支持输入模态和输出模态的组合并对输入模态(例如，捕获书写的和/或说出的数据作为输入)和输出模态(例如，呈现音频或视觉数据作为对用户的输出)之间的组合、定序和转换进行管理。例如，输入模态和输出模态之间的这个转换允许用户在收听智能笔100播放的音频的同时，同步地在纸张或其他表面上书写，或者当用户在用智能笔100书写的同时，智能笔100还可以捕获用户说出的音频。输入模态和输出模态的各种其他组合也是可能的。

在一个实施方式中，处理器245和板上存储器250包括一个或多个可执行应用，其支持和启用菜单结构和在文件系统或应用菜单中的导航，从而允许启动应用或应用的功能。例如，菜单项目之间的导航包括在用户和智能笔100之间的对话，其涉及该用户说出的和/或书写的命令和/或姿势，以及来自智能笔计算系统的音频和/或视觉反馈。因此，智能笔100可以接收输入，以导航来自多种模态的菜单结构。

例如，书写姿势、说出的关键字或物理运动可以指示：随后的输入与一个或多个应用命令相关联。例如，用户可以连续两次快速按压智能笔100的表面，接着写单词或词组，例如“解决”、“发送”、“翻译”、“电子邮件”、“语音电子邮件”或其他预定义单词或词组，以触发与书写的单词或词组相关联的命令，或者接收同与预定单词或词组相关联的命令相关联的附加参数。这一输入可以具有空间分量(例如，并排的点)和/或时间分量(例如，一个点在另一个点之后)。因为可以通过不同的格式来提供这些“快速启动”命令，因此菜单的导航或应用的启动得以简化。在传统的写和/或读中，“快速启动”命令优选地易于辨别。

备选地，智能笔100还包括物理控制器，例如小型控制杆、滑块控件、跷板、电容性(或其他非机械)表面或接收用于导航由智能笔100执行的应用或应用命令的菜单的输入的其他输入机制。

扩展的输入技术概述

本发明的实施方式给出了一种用户通过以某些可识别模式对移动计算设备进行移动来向该移动计算设备提供控制输入的新方式。当用户利用智能笔100在点使能纸上做出姿势时，该用户创建的姿势通常作为数据输入而向运行在智能笔100中的应用提供。例如，在记笔记应用中，用户在点使能纸50上写笔记，并且该笔记由智能笔的成像系统记录，并由记笔记应用进行存储。智能笔100也可以在记笔记时记录并存储音频。除了数据输入之外，记笔记应用还可以接受用户做出的某些控制输入。例如，用户可以提供控制输入以告诉应用开始记录。其他控制输入可以允许用户例如停止记录、播放记录的音频、使音频倒带或快进，或者切换到另一应用。控制输入还可以用于在菜单中导航或者访问各种智能笔特征。

在一个实施方式中，控件预先印刷在书写表面50上的已知位置。用户可以做出至少部分位于控件中的姿势。姿势可以涉及在控件中的特定点处敲击智能笔100、将智能笔放置在控件中的特定点处并将其保持在该处，或者利用智能笔在控件内一划。各种其他类型的姿势也是可能的。基于控件和姿势，智能笔100确定用户提供的特定控制输入。智能笔100继而执行适当动作，诸如执行由控制输入指定的命令。在一个实施方式中，用户可以使用智能笔在书写表面50上的任意地方绘制控件。智能笔100可以自动识别用户绘制的控件(也称为用户创建的控件)，或者用户可以提供用以向智能笔标识该控件的另一输入。

以下参照附图来讨论本发明的各种实施方式。图1是用于向智能笔计算系统提供控制输入的示例性架构的框图。图1示出了一张点使能纸50和可以结合纸张50一起使用的智能笔100。以下描述的操作可以由运行在笔100的处理器上的应用、运行在附接的计算系统120上的应用或二者的组合来执行。

图3示出了用于向基于笔的计算系统提供控制输入的方法的实施方式。在此方法中，基于笔的计算系统的智能笔100接收302用户在点使能纸50上做出的姿势。这一姿势由智能笔的成像系统210接收，并且该姿势相对于点模式的位置被确定。基于笔的计算系统确定304该姿势的位置是否在控件(诸如，预先印刷的控件或用户创建的控件)的部分中。智能笔100或附接的计算系统120存储各种控件相对于点模式的位置，并且可以将姿势的位置与各种控件的位置进行比较，以确定该姿势是否至少部分位于特定控件中。

如果确定姿势的位置并未位于控件中，则智能笔100可以将该姿势作为数据输入向目前运行的应用传递(例如，对该姿势进行存储的记笔记应用)。如果确定该姿势的位置位于控件中，则智能笔基于该姿势和该控件来确定306控制输入。这一控制输入可以基于在该处做出姿势的控件的部分来确定。控制输入也可以基于姿势的运动(诸如，沿着控件(诸如，滑块控件)上下滑动智能笔100的成像系统210)来确定。控制输入可以部分由落笔传感器215来确定，该落笔传感器215可以指示例如用户在控件上的特定位置处敲击或双敲击。控制输入也可以基于其他源针对该笔的输入来确定，诸如，用户按压笔上的按钮或者通过麦克风220提供音频输入。

在一个实施方式中，智能笔确定308与控制输入相关联的特定应用。某些控制输入可以应用于任何应用，而其他控制输入则特定于一个或几个应用。在一个实施方式中，基于笔的计算系统存储与每个控件相关联的应用指示。以下进一步描述专用控件的使用。控件还可以如下所述与特定内容相关联。基于笔的计算系统继而处理310控制输入。这可以涉及执行针对特定应用的命令，诸如，开始播放存储的音频或者在基于笔的菜单中选择项。命令执行的结果(例如，成功或失败的指示)可以显示在笔的显示设备上。

图4示出了用于对用户创建的控件进行识别和初始化的方法的实施方式。在此过程中，用户利用智能笔100在点使能纸50上做出姿势以形成控件。在做出姿势时，用户可以利用标记器205在纸张50上绘制控件，使得其将是将来的用户可识别的。示例性控件是包括两个垂直线段的十字(其他控件类型会在以下进行描述)。智能笔100接收402这些姿势。在一个实施方式中，智能笔100自动将姿势识别为控件。在一个实施方式中，用户在绘制了控件之后做出附加的信令姿势，以向智能笔100发信令示意之前的姿势包括控件。例如，信令姿势可以包括在新绘制的控件中心处双敲击智能笔100。

基于笔的计算系统在接收的姿势的位置处对该控件进行初始化404。系统基于姿势的形状或性质来识别控件的类型。将该控件与应用(诸如，目前执行的智能笔应用)或某个内容(诸如在控件的某页上记载的笔记)相关联406。各种控件信息继而被存储408，其包括控件的类型、控件在点模式中的位置，以及与该控件相关联的任何应用或内容的指示。如上所述，控件信息可以存储在智能笔100或附接的计算设备120上。用户创建的控件继而可以在用户需要的时候激活并使用(例如，如图3中描述的)。

在一个实施方式中，与控件关联的控件信息存储在基于笔的计算系统中的存储器内(诸如，板上存储器205或附接的计算系统120的存储器)。与控件关联的控件信息可以包括控件在点空间或点模式中所处的位置。控件信息还可以包括与控件关联的可能功能集合和控件中与每个功能关联的姿势集合。这些功能也称为控制输入。

例如，控件可以具有这样的功能，开始音频播放、停止音频播放、快进音频播放和将音频播放倒带。为了开始音频播放，用户敲击控件内的特定按钮。控件信息可以包括用于启动音频播放的功能和相关联的姿势的指示。在这种情况下，相关联的姿势是在用于开始音频播放的按钮所处的控件内的特定位置处进行敲击。与功能相关联的姿势还可以包括将智能笔的成像设备从控件中的一个位置向控件中的另一位置拖动。例如，控件可以包括滑块条(例如，连接两个点的线)，而姿势可以包括从滑块条内的一个位置拖动到另一位置，以指定特定量的增大或减小，或者移动到流中的特定位置。

如上所述，在确定304姿势是否位于控件中时以及确定306控制输入时，可以访问控件信息。处理310控制输入可以包括执行与控件相关联的功能。在一个实施方式中，针对预先印刷控件的控件信息预先加载至基于笔的计算系统的存储器内。这一控件信息也可以向基于笔的计算系统下载。可以基于用于创建该控件的姿势而在步骤404中创建针对用户创建控件的控件信息。基于笔的计算系统可以基于接收的姿势来识别控件类型，并存储408与该控件类型相关联的各种功能。

由于用户创建的控件在绘制上可能与相同类型的预先印刷控件稍有不同，所以与该控件的每个功能相关联的姿势可能与该控件的预先印刷版本的相关联姿势稍有不同。各种模式识别算法可以用于比较用户创建的控件与示例性预先印刷的控件，以及确定与用户创建的控件的各种功能相关联的适当姿势。例如，在控件的预先印刷版本中，特定功能可以与“敲击控件中心偏左20厘米处”相关联，但是在用户创建的绘制上稍有不同的控件版本中，特定功能可以与“敲击控件中心偏左30厘米处”相关联。

控件的示例

图5示出了用于通过控件接收控制输入的一张点使能纸502的示例。点使能纸502包括内容部分504和控件部分506。内容部分504通常针对用户创建的、以供智能笔应用存储的内容而预留，而控件部分506通常为控件预留(但有下文所述的例外)。如果用户利用智能笔100在内容部分504中进行书写，则书写数据通常向目前活跃的智能笔应用提供。在图5的示例中，用户在内容部分504中做了关于“要做的事”项的笔记。这些笔记由运行在智能笔上的笔记记载应用记录并存储。

在一个实施方式中，控件部分506包括预先印刷在点使能纸502上的控件，诸如，控件508和510A。控件部分中的点模式使得智能笔能够确定304该智能笔是否定位于控件部分506中的特定控件处。如上所述，智能笔之前可能已经具备了关于控件的控件信息。关于控件的控件信息可以包括该控件相对于点模式的位置。

如上所述，用户可以通过在控件内做出姿势来提供控制输入。例如，如果智能笔100正在播放音频记录，则用户可以通过在音频控件508上的“停止按钮”上利用智能笔敲击来停止记录。用户可以例如敲击音频控件的其他部分来暂停、快进或倒带音频。

控件的另一实施方式是五路控制器510A，其在纸张上由十字代表(两个垂直的线)。十字的末端对应于用于上移、下移、左移和右移的控制输入，而十字的中心对应于选择命令或确认命令。用户可以通过敲击十字的这些部分来发布这些控制输入。智能笔成像系统210和落笔传感器215提供了针对智能笔100的输入，以确定敲击的位置。控件的线可以是黑实线，使得当用户敲击或拖动控件时，来自标记器205的墨水标记不会改变控件的外观。用于表示控件活跃部分的黑线由此将频繁使用后留下的墨水标记隐藏起来。

控件的另一实施方式是计算器控件514。计算器控件514包括用于通过在计算器按钮上敲击智能笔便能输入算术运算的各种按钮。算术运算的结果例如可以显示在智能笔的显示器235上，或者可以通过智能笔的扬声器225以音频格式输出。

在一个实施方式中，一起提供多张点使能纸502，诸如以笔记本或记事本的形式。在这种实施方式中，纸张502的内容部分504可以印刷有不同的点模式，以允许笔在笔记本的不同页之间进行区分。但是如果纸张的控件部分506针对每个纸张502包括相同的预先印刷控件，则在每个页面上，这一控件部分506可以印刷有相同的点模式。以此方式，控件部分506中的控件针对整个笔记本可以仅与点模式的一个小区域相关联，而不是针对笔记本的每个页面与模式的不同区域相关联。

控件还可以印刷在可以附接至书写表面50的张贴物(sticker)上，其中这些张贴物是点使能的。在这种情况下，每个张贴物具有智能笔可识别的其自己的控制区域。控件可以印刷或嵌入在计算设备的屏幕上，诸如个人计算机或移动电话的屏幕上，其中屏幕还可以包括点模式。控件还可以位于智能笔100的外壳上、插接站110或其他外设上。

用户创建的控件

如上文所述，用户可以创建控件。如果用户期待的特定控件不是预先印刷的，则这样可以是有用的。例如，用户可以通过画出十字然后双敲击该十字的中心来创建五路控制器510。智能笔100接收402对应于十字的姿势和双敲击，并继而将该十字初始化404为五路控制器。

在一个实施方式中，用户创建的控件需要在为控件预留的点纸或屏幕的部分(诸如，区域506)中绘制。在其他实施方式中，用户可以能够在任何地方(包括通常包含内容的纸张或屏幕的区域(诸如，区域504))创建控件。其示例是五路控制器510B。当用户在内容区域504中绘制十字时，智能笔100可以试验性地向目前运行的应用(诸如，记笔记应用)发送接收到的包括十字的姿势。当用户双敲击十字的中心时，智能笔100知道该姿势包括控件。智能笔100继而可以初始化404该控件，并通知记笔记应用忽略该十字，以及避免将该控件作为用户笔记的一部分进行存储。

用户还可以创建其他控件，诸如计算器控件514或音频播放控件508。

五路控制器

在一个实施方式中，增强上述五路控制器510来提供来自用户的更大范围的控制输入。如上所述，用户可以敲击四个臂之一的端点或敲击控制器的中心。控制器的中心可以具有各种依赖于应用的含义，诸如选择或确认。

用户可以通过沿着控件的任意轴敲击来跳转到相对设置。例如，敲击水平轴的点512(即，线段距左端距离的2/3处)可以设置相对值。这样可以将音频播放音量设置为最大音量的2/3，或者可以跳转到在按字母表顺的序列表中位于第一个条目到最后一个条目之间2/3处的电话号码条目。

在一个实施方式中，用户可以在控件的位置处敲击并保持住，以重复或增大通过敲击该位置达到的效果。例如，用户在控制器的端点处敲击并保持住，以便发布沿对应端点方向进行移动的重复命令。用户还可以沿着轴拖动，以在流或列表中往复移动。为了沿着轴拖动，用户将智能笔的点至于轴上的位置处，将保持其与纸张的接触，并沿着轴移动该智能笔。用户可以例如擦除音频文件或者在项目列表中移动。

控制器510的两个轴形成了用户可以敲击以便选择位置的二维空间。这在某些游戏中是有益的，或者对于一次性设置两个变量的值而言是有益的。例如，两个变量可以对应于用户的敲击距两个轴的距离。用户可以顺次在若干位置中敲击或拖动，例如以便输入私密口令或者触发预定快捷方式或宏。

智能笔还可以被“轻打(flick)”，其中该智能笔被施加至纸张、在特定方向移动，并继而从纸张被释放。用户沿着控制器的轴轻打智能笔可以指示运动通过较长列表或矩阵的速度。用户可以轻打并保持住，其中用户沿着控制器的轴轻打该笔，以便开始沿着列表的快速滚动，并继而住笔，以在目前位置处停止滚动。轻打以及智能笔的其他移动可以通过智能笔的各种输入得以检测，诸如，成像设备或落笔传感器。

五路控制器在不同模式中的使用

如上所述，五路控制器510可以用于根据当前应用和当前应用的状态来指定各种控制输入。以下描述在智能笔处于各种应用状态或模式中时，通过五路控制器提供的控制输入的示例。

主菜单模式：在此模式中，五路控制器用于浏览智能笔上可用文件和应用的菜单。在控制器的端点处敲击可以在菜单选项中导航。在控制器的中心处敲击可以选择当前菜单选项。一旦选择，文件或应用便可以启动、删除、共享、上传或针对诸如文件的创建日期、类型或大小的元数据进行查询。可能的文件操作可以通过在选择文件时出现的次级菜单进行选择，或者通过已知的智能笔命令(诸如，双敲击)来选择。

应用菜单模式：在应用中，五路控制器可以用于导航向该应用施加的菜单和选项。选项和特征可以被触发和取消。五路控制器用于向对话框或其他应用查询输入用户响应。

控制器模式：在某些应用中，五路控制器可以用作实时控制器。例如，在侧卷轴游戏中，五路控制器的臂可以用于在显示器上上下移动玩家的船只，或者开火或布雷。移动可以通过用户敲击端点实现，或者使用上述其他方法(诸如，敲击并保持或者敲击并拖动)来实现。又例如，在音频播放期间，用户可以使用五路控制器来暂停音频、继续音频、在音频内前后跳转、设置书签或者开启或关闭快速播放。

五路控制器可以在智能笔和计算机或移动电话的上述模式中使用。例如，具有连接至计算机或移动电话的无线智能笔的用户可以使用预先印刷的控制器或用户创建的控制器来参与上述模式中的任何一个，以访问、启动、删除、共享或上载计算机或移动电话上的应用，其他使用也是可能的。预先印刷的控制器或用户创建的控制器可以位于计算机、移动电话或其他计算设备的屏幕上。该控制器可以用于在基于屏幕的任何设备上进行导航，诸如在列表或页面中滚动或者在地图或游戏上导航。

在二维空间中进行导航

五路控制器可以用于在应用内的分级菜单中进行导航。使用控制器上移或下移可以在菜单层级中位于同一层的特征、选择或选项的列表中进行导航。右移会在特定区域中进入得更深，即，在层级中向下移动。这可以启动应用、打开文件夹或触发特征。左移会向上离开菜单层级，诸如，离开应用、移动到包含文件夹或者停止特征运行。响应于在任何方向的移动，智能笔100可以向用户提供反馈，诸如在笔的显示器中的视觉反馈和/或经由笔的扬声器的音频反馈。

例如，在文件系统浏览器应用中，用户可以使用五路控制器在文件系统层级中移动。假设用户处于包含文件和子文件夹的特定文件夹中。通过控制器发布的向上命令和向下命令允许用户改变目前在文件夹中选择的项。向右命令会进入选择的项。如果该项是应用，则该应用启动。如果该项是子文件夹，则该子文件夹被打开。向左命令会关闭当前文件夹并上移一层，从而打开包含当前文件夹的文件夹。

利用五路控制器的导航可以类似地用于对用户查询做出响应。例如，假定查询“你确定要删除此文件吗？”，向右命令的意思是“是”或者“继续”或者“触发此特征”，而向左命令的意思是“不”或者“取消”或者“把我带回前一选项分支”。

控件与应用的关联

在一个实施方式中，通过控件提供的控制输入(诸如，通过五路控制器提供的“导航向左”输入)应用至当前运行的应用，而不考虑在控件创建或首次使用时运行的应用。例如，如果五路控制器是在用户处于音频播放应用时创建或首次使用的，同一五路控制器稍后可以用在记笔记应用中(尽管该控件在两个应用中可以不同地使用)。在一个实施方式中，如果存在用户可用的多个五路控制器(在点使能纸上的不同位置)，则任何控制器都可以与当前应用一起使用。

在一个实施方式中，一些或所有控件基于该控件何时创建或首次使用和/或基于其位置，而保持与特定应用或内容的关联。控件可以基于这些或其他因素与特定应用相关联406。例如，如果在某个应用运行时控件被创建，则该控件保持与该应用的关联。如果在另一应用运行时使用该控件，则接收自该控件的任何控制输入都可以被忽略，或者控制输入可以引起与该控件相关联的应用开始运行。控件还可以与特定内容相关联。例如，位于笔记页面上的控件可以在使用该控件时开始播放与该页面相关联的音频。与控件相关联的内容可以与其他控件信息一起存储(步骤408)。

在另一变体中，控件保持来自其上次使用时的信息。当用户返回控件时，用户带回与该控件相关联的最近菜单或上下文，使得用户不需要导航回前一菜单或上下文。在此实施方式中，存储在步骤408中的控件信息还包括控件的最近使用上下文的指示。

总结

为了阐述目的，已经提供了本发明实施方式的上述描述；并不意指它是穷举的或将本发明限制到所公开的精确形式。相关领域的技术人员可以理解，根据上述公开的许多修改和变化是可能的。

本描述的一些部分就信息操作的符号化表征和算法方面描述了本发明的实施方式。这些算法描述和表征通常被数据处理领域的技术人员所使用，以将他们工作的实质有效地传递给该领域其他技术人员。虽然在功能上、计算上或逻辑上描述了这些操作，不过能够理解：可以由计算机程序或等同的电子电路、微代码等来实施这些操作。此外，已经证明的是，在不失一般性的前提下，将这些操作的布置作为模块进行参考有时是方便的。所描述的操作及其相关联的模块可以在软件、固件、硬件或其任意组合中被具体化。

可以利用一个或多个硬件或软件模块，单独或与其他设备相结合地执行或实施这里描述的任意步骤、操作或处理。在一个实施方式中，用包括计算机可读介质的计算机程序产品实施软件模块，该计算机可读介质包含可以被计算机处理器执行以实施描述的任何或全部步骤、操作或过程的计算机程序代码。

本发明实施方式还涉及用于执行这里的操作的装置。该装置可以针对所需的目的而专门构建，和/或可以包括由存储在计算机中的计算机程序有选择地激活或重配置的通用计算机。这种计算机程序可以存储在有形的计算机可读存储介质中，其可以包括用于存储电子指令的任何类型的有形介质，并且每个存储介质都与计算机系统总线耦合。此外，说明书中所称的计算系统可以包括单个处理器或者可以是使用了用于提高计算能力的多处理器设计的架构。

本发明的实施方式还可以涉及包含在载波中的计算机数据信号，这些计算机数据信号包括计算机程序产品的任何实施方式或这里描述的其他数据结合。计算机数据信号是有形介质或载波中呈现的产品，而且被调制或者以其他方式编码在载波中，它是有形的而且根据任何的恰当传播方法被传播。

最后，说明书中使用的语言原则上是出于可读性和指导目的而选择的，而不是用来约束和限制本发明的主题。因此，期望本发明的范围不局限于这里的详细描述，而是基于在此申请所提出的任何权利要求。因此，本发明实施方式的公开意在说明，而非限定由所附权利要求记载的发明范围。

Claims (10)

1.一种用于通过控件接收输入的方法，所述方法包括：

数字地捕获使用智能笔设备在书写表面上做出的书写姿势；

标识所述书写表面上的五路控制器，所述五路控制器至少部分对应于所述书写姿势在所述书写表面上的位置，其中所述五路控制器在纸张上由包括两个线的十字代表，并且其中所述十字的末端对应于用于上移、下移、左移和右移的控制输入，并且其中所述十字的中心对应于选择命令；以及

使用所述五路控制器来在基于笔的分级菜单中进行导航，其中使用所述控制器上移或下移在基于笔的菜单层级中位于同一层的选项的列表中进行导航，并且其中右移在所述基于笔的菜单层级中向下移动，并且其中左移在所述基于笔的菜单层级向上移动。

2.如权利要求1的方法，其中使用所述五路控制器来在基于笔的分级菜单中进行导航包括轻打所述智能笔，其中所述智能笔被施加至所述纸张，沿着所述控制器的轴移动，并继而从所述纸张被释放。

3.一种初始化用户创建的控件的方法，所述方法包括：

数字地捕获使用智能笔设备在书写表面上做出的书写姿势，所述书写姿势对应于十字；

识别出所述书写姿势包括五路控制器，所述识别基于所述书写姿势的模式，其中所述十字的末端对应于用于上移、下移、左移和右移的控制输入，并且其中所述十字的中心对应于选择命令；

基于所述姿势在所述书写表面上的位置来确定所述五路控制器的位置；以及

在所述智能笔设备的存储器中存储所述五路控制器的所述位置。

4.如权利要求3的方法，进一步包括使用所述五路控制器来在基于笔的分级菜单中进行导航，其中：

使用所述控制器上移或下移在基于笔的菜单层级中位于同一层的选项的列表中进行导航，

右移在所述基于笔的菜单层级中向下移动，以及

左移在所述基于笔的菜单层级向上移动。

5.如权利要求3的方法，其中识别出所述书写姿势包括五路控制器进一步包括：

将信令姿势标识为所述书写姿势的一部分。

6.如权利要求5的方法，其中所述信令姿势包括在所述十字的所述中心的双敲击。

7.一种初始化用户创建的控件的装置，所述装置包括：

用于数字地捕获使用智能笔设备在书写表面上做出的书写姿势的装置，所述书写姿势对应于十字，

用于识别出所述书写姿势包括五路控制器的装置，所述识别基于所述书写姿势的模式，其中所述十字的末端对应于用于上移、下移、左移和右移的控制输入，并且其中所述十字的中心对应于选择命令，

用于基于所述书写姿势在所述书写表面上的位置来确定所述五路控制器的位置的装置，以及

用于在所述智能笔设备的存储器中存储所述五路控制器的所述位置的装置。

8.如权利要求7的装置，其中用于识别出所述书写姿势包括五路控制器的装置进一步包括：

用于将信令姿势标识为所述书写姿势的一部分的装置。

9.如权利要求8的装置，其中所述信令姿势包括在所述十字的所述中心的双敲击。

10.如权利要求7的装置，进一步包括用于使用所述五路控制器来在基于笔的分级菜单中进行导航的装置，其中：

使用所述控制器上移或下移在基于笔的菜单层级中位于同一层的选项的列表中进行导航，

右移在所述基于笔的菜单层级中向下移动，以及

左移在所述基于笔的菜单层级向上移动。