CN1862470A - 计算机实施用户接口 - Google Patents

计算机实施用户接口 Download PDF

Info

Publication number
CN1862470A
CN1862470A CNA2006100574410A CN200610057441A CN1862470A CN 1862470 A CN1862470 A CN 1862470A CN A2006100574410 A CNA2006100574410 A CN A2006100574410A CN 200610057441 A CN200610057441 A CN 200610057441A CN 1862470 A CN1862470 A CN 1862470A
Authority
CN
China
Prior art keywords
interface area
mark
interface
user
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006100574410A
Other languages
English (en)
Other versions
CN100555195C (zh
Inventor
詹姆斯·马格拉夫
特蕾西·L·埃奇库姆
特雷莎·卡梅伦
尼科尔·弗吕贝尔
史蒂夫·巴尔迪齐科沃斯奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leapfrog Enterprises Inc
Knowledge Kids Enterprises Inc
Original Assignee
Knowledge Kids Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Knowledge Kids Enterprises Inc filed Critical Knowledge Kids Enterprises Inc
Publication of CN1862470A publication Critical patent/CN1862470A/zh
Application granted granted Critical
Publication of CN100555195C publication Critical patent/CN100555195C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Abstract

本文献公开了一种用于形成与用户的接口的计算机实施的方法和设备。识别由书写设备在表面上形成的标记。识别该标记的位置和大小。计算与该标记相邻的第一接口区域，和相关计算机功能与该第一接口区域。

Description

计算机实施用户接口
技术领域
在此的实施例涉及用户交互设备领域。本文献教导用于通过与书写表面的动态生成接口区域交互来调用计算机功能的方法和系统
背景技术
在过去二十年内，个人计算设备的使用已经非常普及，例如台式计算机系统、便携式计算机系统、手持计算机系统和输入板计算机系统。这些个人计算设备给用户提供多种多样的交互应用、商业应用、通信性能和娱乐能力。
当前的个人计算设备通过用户接口提供到这些交互应用的访问。典型的计算设备具有在屏幕上的图形接口，使用诸如监视器或显示屏等显示设备向用户显示信息，和使用诸如鼠标、键盘、操纵杆或输入笔等输入设备接收用户的信息。
即便如此，与计算系统相比，使用笔和纸张在人文社会中更为普遍。虽然当前计算设备的图形用户接口提供与多种计算应用的有效交互，但是屏幕上的图像用户接口通常难以模仿普通使用的钢笔或铅笔和纸张。例如，台式和便携式计算机系统通常没有类似于笔的接口。而且，输入到计算机的内容在电子显示器上显示，而不象在纸张或物理表面上书写的信息一样是有形和易于修改的。
最后，使用笔类接口在纸张表面上绘制的图像和书写的文章具有便利性、持久性和有形性，但是一旦使用笔类接口书写，就不允许轻易地重复使用在纸张表面上的标记。换句话说，一些笔类计算机系统提供在纸张上某些用户书写项目的识别，并且，一旦识别出，该笔类计算机系统可以采取一些即时动作。然而，如果用户希望再次执行同一计算机功能，则需要在纸张上再次书写该该项目。具体地，这些笔类计算机用户接口并不允许用户与在纸张上的书写项目直接交互(例如通过笔轻敲选择—非常类似于鼠标点击)以自动地调用所期望的计算机功能。
发明内容
因此，所描述的是一种用于交互设备的用户接口，其中通过用户与动态生成的与书写表面相关的接口区域的交互来调用计算机功能。计算机系统识别在书写表面上书写的标记或者识别用户与现有书写标记的交互。在标记附近，计算机系统自动生成与该标记相关的一个或多个接口区域。相对于书写表面的空间坐标在计算机存储器内定义接口区域，该接口区域是用户不可见的。用户与这些区域之一的交互调用与交互区域相关而且与标记相关的指定计算机功能。可以由每个接口区域调用不同的计算机功能。根据相关标记的位置(和大小)，计算机系统动态地定位并可以动态地调整接口区域的大小。多个标记生成多个区域，不同的区域与相应的标记相关。在一种实施例中，在书写单词之前和/或之后建立这些区域。例如，还可以在书写单词上部和/或下部建立这些区域。在另一种实施例中，计算机系统是基于交互笔的计算机系统。
在一个具体例子中，可以使用基于交互笔的计算机系统识别在表面上的书写单词。在一种应用中，基于笔的计算机系统提供从一种语言向另一种语言的单词转换。在书写单词之后(或者如果单词存在并被选择)，则计算机系统自动地在存储器内生成空间上在该单词之前的表面上的第一接口区域和空间上在该单词之后的表面上的第二接口区域。与第一区域的用户交互调用与第一区域和该单词相关的第一计算机功能(例如由计算机以声音方式提供该单词的转换)。与第二区域的用户交互调用与第二区域和该单词相关的第二计算机功能(例如以声音方式逐字母地拼写出该单词的转换形式)。显然地，接口区域可以位于与该书写单词相邻的任一位置内，在此描述的具体位置仅是示例性的。在一种实施例中，调整区域大小，以便它们的高度类似于书写单词的高度，它们的宽度可以是固定的或者是与该书写单词的大小或形状相关的。
本发明的实施例还包括用于解决在不同标记的交互区域之间的干扰的处理。这些处理可以包括共享模型、超时模型、弹出模型和/或警告模型。本发明的实施例还包括用于根据需要自动地计算交互区域以便通过不始终在存储器内持久存储每个交互区域而节省计算机资源的有效处理。
更具体地，本发明的实施例涉及一种形成与用户的接口的计算机实施方法，该方法包括：识别已经由书写设备在表面上形成的标记；识别该标记在表面上的位置和识别该标记的大小；自动地计算第一接口区域的位置和大小，其中第一接口区域与该标记相邻；相关第一计算机功能与第一接口区域；和响应于第一接口区域的用户选择，对与该标记相关的数据执行第一计算机功能。实施例包括上述和其它步骤，包括：自动地计算该表面的第二接口区域的位置和大小，其中第二接口区域与该标记相邻且与第一接口区域不重叠；相关第二计算机功能与第二接口区域；和响应于第二接口区域的用户选择，对数据执行第二计算机功能。实施例包括上述步骤，和其中第一接口区域在空间上位于标记左侧，和其中第二接口区域在空间上位于标记右侧。
实施例还包括一种形成与用户的接口的计算机实施方法，该方法包括：识别用户已经选择书写标记，其中该书写标记位于书写表面上；从存储器访问与书写标记相关的接口区域；自动地计算第一接口区域的位置和大小，其中第一接口区域与书写标记相邻；相关第一计算机功能与第一接口区域；和响应于第一接口区域的用户选择，对与该书写标记相关的数据执行第一计算机功能。实施例还包括上述和其它步骤，包括：自动地计算该表面的第二接口区域的位置和大小，其中第二接口区域与该标记相邻且与第一接口区域不重叠；相关第二计算机功能与第二接口区域；和响应于第二接口区域的用户选择，对数据执行第二计算机功能。实施例还包括上述步骤，和其中第一接口区域在空间上位于该书写标记的左侧和其中第二接口区域位于该书写标记的右侧。
实施例还涉及根据上文编程的交互设备。
附图说明
图1是笔计算机系统的用户接口图。
图2是在其上可以实施本发明的各种实施例的电子交互设备的方框图。
图3是在其上可以实施本发明的各种实施例的另一种电子交互设备的方框图。
图4图示提供有根据本发明一种实施例的标记模式的示例纸张。
图5图示在根据本发明一种实施例的示例纸张上的标记模式的放大图。
图6A图示在其上书写有标记的书写表面，包括用于根据本发明一种实施例的笔计算机设备的用于自动地生成活动区域的用户接口。
图6B图示在其上书写有示例标记的书写表面，包括用于根据本发明一种实施例的基于笔的计算机设备的用户接口。
图7A图示根据本发明实施例的在其上书写有两个示例标记的书写表面，每个标记分别与活动区域相关，其中活动区域根据它们相应的标记确定高度和宽度。
图7B图示根据本发明实施例的在其上书写有两个示例标记的书写表面，每个标记分别与活动区域相关，其中活动区域根据它们的相应标记确定高度并固定宽度。
图8图示在空间上相互影响的两个不同标记的活动区域。
图9图示在其上书写有标记和根据本发明实施例自动地生成的四个示例活动区域的书写表面。
图10A是根据本发明实施例的计算机实施处理的流程图，用于响应于用户书写标记，自动地生成与该书写相关的接口区域。
图10B是根据本发明实施例的计算机实施处理的流程图，用于响应于用户选择现有书写，自动地生成与该书写相关的接口区域。
图11是根据本发明实施例的计算机实施处理的流程图，用于解决在接口区域之间的空间干扰。
图12是根据本发明实施例的计算机实施处理的流程图，用于在确定最靠近用户动作的边界之后计算边界“on-the-flow(流动中)”的接口区域。
具体实施方式
将详细描述根据本发明的各种实施例，其例子在附图中图示。虽然将结合各种实施例描述本发明，但是将理解这些实施例将不是为了限制本发明。相反，本发明将涵盖如根据权利要求书解释的本发明保护范围内可以包括的替代、修改和等同物。此外，在下面对根据本发明的各种实施例的详细描述中，将阐述各种具体细节以提供对本发明的全面理解。然而，对于本领域的普通技术人员来说，显然可以在没有这些具体细节的情况下实施本发明。在其它的例子中，将不详细描述公知的方法、程序、组件和电路，从而使本发明的特征更为清楚。
                            符号和术语
在下文中，将以程序、步骤、逻辑框、处理和可以在计算机存储器上执行的对数据比特的操作的其它符号表示来介绍详细描述的一部分。例如，处理500、550、600和700。这些描述和表示是由数据处理领域的技术人员用于最有效地将它们的工作实质传送给本领域的其它技术人员。在此和普遍地，将程序、计算机执行步骤、逻辑块和处理等表示为实现期望结果的相互一致的步骤或指令序列。这些步骤是需要物理量的物理处理的步骤。通常，尽管不是必需的，这些量值采取在计算机系统内能够存储、传输、组合、比较以及处理的电信号或磁信号的形式。已经证明将这些信号视为比特、数值、单元、符号、字符、术语、编号等有时是很方便的，主要因为这是通常的用法。
然而，应当理解所有这些和类似的项目将与适当的物理量相关，并且仅仅是应用于这些量值的便利标签。除非详细描述和根据下述讨论显而易见地，将理解在本发明中，讨论使用诸如“识别”或“初始化”或“传输”或“内嵌”或“耦合”或“访问”或“识别”或“接收”或“输出”或“生成”或“确定”或“相关”或“存储”等术语来指计算机系统或类似的电子计算设备的动作和处理，将表示为计算机系统寄存器和存储器内的物理(电)量值的数据处理和转换成类似地表示为在计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内的物理量的其它数据。
                       示例的绘制用户接口
图1图示构成基于笔的计算机系统的用户接口的例如在可书写表面上的示例用户书写标记。在该例子中，已经指示计算机系统执行语言转换应用程序，例如从一种语言(英语)转换成另一种语言(西班牙语)。在这个例子中，可以通过用户绘制专用标记2来调用这个应用，所述专用标记2是带有圆圈的“T”。还可以使用紧邻这个标记2的可选择检查标记来选择该应用的参数；响应于用户使用笔计算机的笔尖在标记2上的用户轻敲，可以滚动这些参数(例如通过顺序音频再现)。在已经通知期望参数之后，用户可以绘制检查标记以进行选择。
响应于用户书写一个单词，例如“cat(猫)”4，应用程序自动地通知西班牙翻译“gato”。对于书写单词“dog(狗)”，同样如此，例如计算机通知“perro”。在该应用中，如果用户希望重复该转换，则需要在纸面上书写用户书写接口项目10。当用户使用笔尖选择这个项目10时，计算机将通知最新选择的单词，例如cat 4或dog 6的转换。如果用户希望获得以字母拼写的转换单词，则书写项目8的选择将执行此功能。再次，将拼写出最新选择的单词。
不幸的是，对于频繁执行的或核心的功能而言，用户选择单词可能变得很乏味，随后转到该纸张的其它部分和选择独立的绘制功能项目，例如项目8或10以应用于该单词。在这种情况下，用户可以发现他/她自己经常在纸面上敲击以执行转换和/或拼写功能。而且，如果用户仅希望转换一个或两个单词，则用于执行图1的例子的用户接口开销可能看起来非常大。例如，用户需要绘制项目2以调用转换应用，随后书写转换项目10，然后可选择地书写拼写项目8，随后绘制将要转换的单词，例如cat 4和在项目8或10上敲击。提供实现相同的功能但是需要更少的用户绘制项目的用户接口将是有利的。最后，具有在计算机系统内持续性的在纸张上绘制的每个项目将耗费计算机资源。提供并不需要将专门绘制的项目8和10的用户接口以便它们并不需要耗费计算机系统存储器，将是有利的。
如在下文中进一步描述的，本发明的实施例提供一种有利的用户接口，用于绘制避免上述缺点的项目。
               用于本发明的实施例的示例设备平台
图2是可以在其上实施本发明各种实施例的电子交互设备100的方框图。通常，可以将设备100称作笔状、基于笔的或者笔类计算机系统或光设备，或者更具体地，称作光读取器、光笔或数字笔或笔计算机。
在图2的实施例中，设备100包括在外壳62内部的处理器32。在一种实施例中，外壳62具有笔或其它书写用具或书写工具的普通形式和形状。处理器32可操作地处理用于实现设备100的功能的信息和指令，如下文所述。此外，处理器32可操作地处理用于实现与耦合到设备100的任一存储器或功能夹头(例如28)相关的功能的信息和指令。
在一种实施例中，设备100可以包括音频输出设备36、显示设备40，或者音频设备和显示设备都可以耦合到处理器32。在其它实施例中，音频输出设备和/或显示设备是可选择的或者是与设备100物理分离的，但是通过有线和/或无线连接与设备100通信。对于无线通信而言，设备100可以包括发射机或收发信机33。音频输出设备36可以包括扬声器或音频插孔(例如用于耳机或头戴式受话器)。显示设备40可以是液晶显示器(LCD)或一些其它的合适类型的显示器。
在图2的实施例中，设备100可以包括耦合到处理器32的输入按钮38，用于启动和控制设备100。例如，输入按钮38允许用户向设备100输入信息和命令或者将设备100打开或关闭。设备100还可以包括诸如电池的电源34，但是并不限制于此。
设备100还可以包括耦合到处理器32的光源或光发射机44和光传感器或光检测器42。光发射机44例如可以是发光二极管(LED)，光检测器42例如可以是电荷耦合设备(CCD)或互补型金属氧化物半导体(CMOS)成像器阵列。光发射机44照明表面70或其一部分。可以在光检测器42上接收和记录从表面70反射的光。
在一种实施例中，在表面70上打印标记模式以结合设备100使用。表面70可以是在其上可以打印(或形成或存放)标记模式的任一合适的表面，例如纸张或其它类型的表面。可以固定光发射机44和光检测器42的设备100的底部39相对于表面70放置或者放置在表面70附近。因为设备100相对于表面70移动，所以可以由光发射机44和光检测器42读取、记录和识别标记模式。如在下文中更详细地讨论的，在一种实施例中，使用在表面70上的标记以确定设备100相对于表面70的位置(例如参见图3和图4)。在另一种实施例中，可以使用在表面70上的标记编码信息；可以由设备100分析(处理)表面70的捕获图像以解码标记和恢复编码信息。
图2的设备100还可以包括耦合到处理器32的存储器单元48。在一种实施例中，存储器单元48是实施为存储夹头或存储卡的可拆除存储单元。在另一种实施例中，存储器单元48可以包括用于存储用于处理器32的信息和指令的易失性存储器和/或非易失性存储器。例如，存储器单元48可以包括但是并不限制于用于存储处理器32的信息和指令的随机访问存储器(RAM)和/或只读存储器(ROM)。
在图2的实施例中，设备100可以包括作为光检测器42和光发射机44位于设备100的同一端(例如39)上的书写单元52。书写单元52例如可以是笔、铅笔、标记器、指示笔、等等，并可以是可收缩或者不可收缩的。在某些应用中，不需要书写单元52。在其它应用中，用户可以使用书写单元52在表面70上做标记，所述表面70包括诸如字母、数字、符号和图案等字符。可以由设备100根据它们在表面70上的位置扫描(例如成像)和解释这些用户生成的标记。可以使用在表面70上打印的标记模式确定用户生成标记的位置(例如在下文中参考图4和图5的讨论)。在一种实施例中，可以由设备100使用识别手写字符的光学字符识别(OCR)技术来解释用户生成的标记。
表面70可以是纸张，尽管也可以使用由纸张之外的材料组成的表面。表面70可以是平板式显示屏(例如LCD)或电子纸(例如使用电子墨水的可重新配置的纸张)。而且，表面70可以是平面的，也可以不是。例如，可以将表面70实施为球表面。此外，表面70可以小于或大于常规的纸张(例如8.5×11英寸)。通常，表面70可以是在其上可以打印或沉淀标记(例如字母、数字、符号、字符、等等)的任一种表面。可选择地，表面可以是这样一种类型的表面，其中表面的特性响应于设备100在表面上的动作而改变，以便标记变得可见。
图2还图示可以与根据本发明各种实施例的设备100组合使用的示例性夹头28。具体而言，通过将夹头28耦合(或连接)到设备100，通过支持将一个或多个应用程序的复本从其存储器30到可以与表面70的特定部分结合使用的设备100的存储器48的下载，夹头28可以扩展设备100的功能。因此，设备100能够使用它从夹头28接收的一个或多个应用程序。
具体而言，根据本发明的一种实施例，夹头28可以包括存储器30、功能逻辑、接口35以及可选外围设备41，全部都可以位于夹头外壳31内部。在一种实施例中，夹头外壳31可以具有笔帽或者用于书写工具或用具(例如设备100)的帽子的形式。例如，在一种实施例中，可以设计夹头外壳31以安全可靠地装配在设备100的外壳62的顶部37和底部39。因此，夹头28的外壳31可以如此造型，以便可以以类似于将笔帽安全可靠地装配到笔上时的方式，将其安全可靠地装配到设备100上。具体而言，可以设计夹头28的外壳31以安全可靠地安装到设备100的外壳62的顶部37上。此外，也可以设计夹头28的外壳31以安全可靠地将其安装到设备100的外壳62的底部39上，从而支持将夹头28用作设备100的帽子(或盖子)，用于覆盖和/或保护书写单元52、光检测器42和/或光发射机44。显然地，当安全可靠地安装到设备100的底部39上时，可以被动地存储夹头28。
在图2中，设备100可以包括用于支持将夹头(例如28)耦合到设备100的接口37。显而易见地，当将夹头28的外壳31安全可靠地安装到设备100的外壳62的顶部37上时，夹头28的接口35可以电耦合到设备100的接口37。当以这种方式耦合时，夹头28可以耦合到设备100的处理器32、电源34和存储器单元48。因此，在一种实施例中，设备100的处理器32可以自动地从夹头28的存储器30将任一驻留应用程序的复本下载到将在其上存储的设备100的存储器48。将理解可以将由存储器30存储的上述信息的全部(或部分)的复本下载到将在其上存储的设备100的存储器48内。在一种实施例中，在已经将一个或多个应用程序以及任何其它信息从夹头28的存储器下载到设备100的存储器48时，可以从设备100拆除(或解除耦合)夹头28。应当指出即使将夹头28从设备100解除耦合，设备100依然可以使用从夹头28下载的一个或多个应用程序以及任何其它信息。
夹头28还可以选择地包括一个或多个外围设备(例如41)，它可以与由夹头28存储的一个或多个应用程序相关。例如，可以将可选外围设备41实施为，但是并不限制于振动组合件、发光二极管(LED)、升级显示器、升级扬声器、等等。外围设备41可以通过夹头28的接口35耦合到设备100。应当理解可以通过多种方式实现夹头28的存储器30。例如，存储器30可以使用下述方式实施但是并不限制与此：闪存、可编程只读存储器(PROM)、可擦写可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和/或在从电源断开连接很长时间之后可以存储数据的任何其它的非易失性存储器。
图3是在其上可以实施本发明的各种实施例的另一种电子交互设备200的方框图。设备200包括先前所述的处理器32、电源34、音频输出设备36、输入按钮38、存储器单元48、光检测器42、光发射机44、书写单元52和接口37。然而，在图2的实施例中，将光检测器42、光发射机44和书写单元52实施为在外壳62内的光设备201，将处理器32、电源34、音频输出设备36、输入按钮38、接口37和存储器单元48实施为包括外壳74的平台202。在当前的实施例中，通过电缆102将光设备201耦合到平台202；然而，也可以使用无线连接。组合上述单元之外的其它单元，在光设备201和平台200之间分配图3所示的单元。
此外，图3还图示可以包括先前所述的存储器30、接口35和可选外围设备41的夹头28。而且，夹头28还可以包括外壳31’，其形状支持将夹头28安装可靠地耦合到平台202的外壳74的侧面204。应当指出外壳31’具有不同于图1的外壳31的形状。在一种实施例中，如果将接口37实施为部分光设备201，则可以修改夹头28的外壳31’，以便它可以支持将夹头28安全可靠地耦合到光设备201。
图4图示根据本发明一种实施例的提供有标记模式的纸张15。在图4的实施例中，纸张15提供有包括标记模式18的光可读位置编码17形式的编码模式。为了清楚起见，极大地放大了图4中的标记18。实际上，标记18可能是人类视觉系统无法轻易识别出的，可以表现为纸张15上的灰度等级。在一种实施例中，将标记18实施为点；然而，本发明并不如此限制。标记18建立用于表面70的空间网格。一旦笔向下点击，交互设备(100或200)可以识别出在笔尖位置附近的标记18的唯一模式。该唯一模式还识别在笔尖所在表面70上的位置。
图5图示根据本发明一种实施例的图3的位置编码17的放大部分19。可以定位诸如设备100或200(图2和图3)等光设备以记录位置编码17的区域的图像。在一种实施例中，光设备将标记18适配到形式为带有在光栅点22上交叉的光栅线21的光栅的参考系统。每个标记18与光栅点22相关联。例如，标记23与光栅点24相关联。对于在图像/光栅内的标记而言，确定标记和与该标记相关的光栅点的位移。使用这些位移，比较在图像/光栅内的模式与在参考系统内的模式。在参考系统内的每个模式与在表面70上的特定位置相关联。因而，通过匹配在图像/光栅内的模式与在参考系统内的模式，可以确定模式在表面70上的位置，和因而光设备相对于表面70的位置。通过下述专利和专利申请提供其它信息，为了全部目的在此全文引用所述专利和专利申请作为参考：美国专利US 6,502,756；于2002年6月26日提交的美国专利申请No.10/179,966；WO 01/95559；WO 01/71473；WO 01/75723；WO 01/26032；WO 01/75780；WO 01/01670；WO 01/75773；WO 01/71475；WO 01/73983和WO 01/16691。还参考于2003年3月18日提交的专利申请No.60/456,053和于2004年3月17日提交的专利申请No.10/803,803，两份专利申请为了全部目的在此全文引用作为参考。
再次参考图2，用字母A、B、C和D表示在表面70上的四个位置或区域(应当指出并不在表面70上打印这些字符，但是在此用于表示在表面70上的位置)。在表面70上可能存在许多这样的区域。与表面70上的每个区域相关联的是标记的唯一模式。在表面70上的区域可以重叠，因为即使一些标记被共享在重叠区域之间，但是在区域内标记的模式对于该区域而言依然是唯一的。
在图2的例子中，使用设备100(具体而言，使用书写单元52)，用户可以建立一个字符，它例如包括在表面70的位置A上的圈内字母“M”(通常，用户可以在表面70的任一位置上建立字符)。用户可以响应于来自设备100的提示(例如声音提示)建立这样一个字符。当用户建立字符时，设备100记录在建立字符的位置上唯一地存在的标记模式。设备100使标记模式与刚建立的字符相关联。当将设备100随后定位在带圈“M”上时，设备100识别与之相关联的标记模式，并识别与带圈“M”相关联的位置。实际上，设备100使用在字符所处位置上的标记模式识别该字符，而不是通过识别该字符本身。
在一种实施例中，字符与特定命令相关联。在刚刚描述的例子中，用户可以建立(例如书写)标识特定命令的字符，并可以通过在所书写的字符上简单地定位设备100来重复地调用该命令。换句话说，用户并不必需在每次调用命令时重复书写用于该命令的字符；相反地，用户可以一次书写用于命令的字符，并通过使用，例如使用笔尖选择，同一书写字符，重复地调用该命令。
图5图示根据本发明一种实施例的可用于存储编码信息的在表面19上(例如在纸张上)的点区域。为了读取此信息，将基于笔的计算机100放置在该区域的任一部分之下，尽管图5的例子图示纸张，但是也可以在如上所述的各种类型的材料组成的其它类型和形状的表面上实施根据本发明的实施例。
区域包括诸如点的标记模式。在该实施例中，解码模式以获得在更大映射区域内的唯一位置。该位置可以是(x，y)坐标对。该区域的表面可以包括其它信息。例如，该表面可以包含结合点模式在其上打印的基于文本或基于图像的信息。作为具体的例子，该表面可以是可包含一个或多个图片以及可以结合由夹头28存储的一个或多个应用程序使用的上文所述的标记模式的页面。可以通过多种不同的方式使用在该区域内的标记模式编码的信息。例如，可以使用解码的位置信息来识别与该位置相关联的应用程序。
                    根据本发明的绘制用户接口
图6A图示根据本发明实施例的示例性书写用户接口。如上所述的交互设备可以用于建立图6A所示的标记。例如，为了调用应用程序，用户可以绘制带有可选择的相邻检查标记315的标记310(圆圈“T”)。在一种实施例中，这调用转换或转换器应用程序。在另一种实施例中，该应用程序可以是字典应用程序，或者接收用户绘制输入的任何其它应用程序。根据本发明的实施例，随后，允许用户使用书写设备绘制或书写标记或单词，例如cat 330。响应于此，交互计算机生成围绕书写单词330的空间边界335，例如在这个例子中的矩形。通过计算该书写单词的空间区域的最大坐标(x，y)到最小坐标(x，y)定义的矩形，可以执行上述操作。结果是长度L(x的最大值减去x的最小值)和高度h(y的最大值减去y的最小值)的边界335。边界335也称作“单词区域”、“单词接口区域”或“空间边界”。
根据本发明的实施例，交互计算机随后在存储器内自动地生成与边界335相邻(因此与书写单词330相邻)的可视接口区域320a和320b。每个接口区域320a和320b的宽度是w和高度是h。在该例子中，将每个接口区域的高度定义为与边界335相同的高度。在一种实施例中，宽度可以是固定宽度，或者它可以取决于边界335的宽度和/或高度。应当理解同一书写单词的接口区域在空间上相互不重叠，也不与它们相关的边界重叠。
将理解已经将每个接口区域分配给特定的计算机功能。例如，在一种实施例中，当由用户选择时，接口区域320a使相关单词330被转换。在该例子中，转换意味着cat的转换的声音通知，例如西班牙语的“gato”(英语到西班牙语的转换)。在一种实施例中，接口区域的用户选择意味着在该区域内用户敲击交互设备的尖端。选择还可以意味着该区域内用户双击和/或书写符号或其它标记。此外，当用户选择区域320b时，这使得将拼写出相关单词330，例如声音通知的“g”、“a”、“t”和“o”。因此，转换功能与接口区域320a相关联，拼写功能与接口区域320b相关联。此外，两个计算机功能自动地操作这两个接口区域的相关单词330。还理解不同单词的类似定位的接口区域通常与同一计算机功能相关联，但是操作它们的相关单词。
边界或单词接口区域335也是活动区域。换句话说，如果书写单词330具有多个转换，则用户可以通过在接口区域335内敲击而逐一地旋转通过转换列表来选择合适的转换。在该实施例中，每次敲击产生以循环方式的下一个转换的通知。在这种情况下，接口区域320a和320b将操作由用户选择的最后一次转换。
将理解任一功能可以与接口区域相关联，任一应用程序可以使用此功能。例如，并非转换应用程序，也可以使用字典应用程序。在这种情况下，活动区域可以调用定义相关单词的计算机功能，或者提供用于该相关单词的反义单词、同义单词或同源单词、等等，可以通过任一方式将这些功能分配给接口区域320a和320b。
将理解不仅在用户书写相关单词330时生成接口区域320a和320b，而且也可以在每次用户选择该单词330，例如通过在边界335内敲击时自动地生成接口区域320a和320b。
使用自动生成的接口区域320a和320b的一个优点在于用户并不需要分别地绘制转换和/或拼写标记(如图1所示)。而且，一旦已经绘制目标单词330，则用户仅在该单词之前或之后敲击以调用预期功能。
图6B图示书写单词330可以是特殊型号的，例如字母可以是不规则大小的。在这种情况下，最后一个字母t大于该书写单词的其余字母。在这种情况下，单词活动区域或空间边界335在高度上延伸以覆盖最后一个字母t。而且，应当指出还使接口区域320a和320b的高度h匹配边界335的高度h。再次，接口区域320a和320b的宽度w可以是固定宽度的(例如英寸等)，或者可以取决于边界335的高度h或宽度L。
如图7A所示，为用户书写的每个书写单词定义新的接口区域。图7A图示两个书写单词，cat 330和dog 350。为书写单词330图示图6A的同一接口区域320a和320b。然而，一旦用户书写单词dog 350，则交互计算机自动地定义单词边界355，还自动地在它们的相关单词350的每一侧上生成接口区域340a和340b。如上面讨论的，每个接口区域的高度h2与边界355的高度相同。而且，每个接口区域的宽度w2可以是固定的，或者它可以取决于相关边界355的高度h2或宽度12。
将理解通常在同一应用程序内，不同标记的同一空间位置的接口区域具有相同的计算机功能。换句话说，接口区域320a和340a都具有相同的计算机功能，但是操作它们相应的标记330和350。更具体地，根据一种实施例，在同一应用程序内，将同一计算机功能分配给如参考图6A讨论的接口区域340a和340b。换句话说，假设转换器应用程序是操作的，则将转换功能分配给接口区域340a，和将拼写功能分配给接口区域340b。在此，不同在于每个相应的计算机功能将可以操作相关的单词dog 350，当由用户选择接口区域340a时，则计算机通知dog的西班牙语转换即“perro”。而且，如果由用户选择接口区域340b，则拼写dog的转换，例如“p”、“e”、“e”、“r”和“o”。
将理解在图7A中，接口区域的宽度取决于它们的相关单词的大小。换句话说，书写单词dog 350的大小小于书写单词cat 330的大小。因此，接口区域340a和340b的宽度w2小于接口区域320a和320b的宽度w1。根据本发明的实施例，接口区域的宽度可以取决于相关单词的宽度和/或高度或者其功能。而且，设置接口区域的高度以匹配它们的相关单词的高度。
图7B图示类似于图7A的例子，除了接口区域的宽度是固定的，并且不取决于相关单词的大小。在此，接口区域320a的宽度与接口340a的宽度相同，尽管书写单词cat大于书写单词dog 350。然而，设置接口区域的高度以匹配它们的相关单词的高度，如用h1和h2表示的。固定宽度可以是任何适当大小的，在一种实施例中，宽度是大约0.25到1.0英寸，但是也可以是用户可轻易选择的带有标准的书写工具笔尖大小的任何尺寸。
本发明的实施例可以永久地在计算机存储器内存储单词边界335和355，但是可以或不可以在存储器内永久地存储接口区域(320a、320b、340a、340b)以节省计算机资源，例如存储器和处理能力。换句话说，一旦已知和存储单词边界，当需要时可以快速地计算接口区域，因此，并不需要将其永久地存储在存储器内，同时它们的目标应用程序是活动的。在一种实施例中，仅为所使用的最后一个单词存储(例如在存储器内保存)相关单词的活动区域，和当用户与该单词交互时，快速地计算与并非所使用的最后一个单词的另一个单词相关的接口区域。以这种方式，在任何时候，仅一些接口区域需要是活动的。
图8图示不同书写单词的接口区域相互重叠的情况。这是应当避免的情况，因为当用户在重叠区域内选择时可能出现在预期计算机功能相关的不确定性。如果允许出现这些类型的重叠，则可能出现不期望的结果。本发明的实施例提供多种解决方案以避免接口重叠。首先，当检测到将第二书写单词(例如dog 350)书写得过于靠近现有的书写单词(例如cat 330)时，一种实施例向用户通知第二单词过于靠近，例如，“请将你的单词书写得远离现有单词”或者“请将新单词书写得距右侧更远”，等等。在这种情况下，绝不会实际地生成重叠的接口区域340a，因为指示用户再一次书写dog 350以避免重叠。这是“警示”实施例。
在另一种实施例中，交互计算机允许用户完成书写第二单词dog 350，仅仅在宽度上(或如在一些例子中可能存在的情况，在高度上)调整(例如收缩)接口区域320b和340a，以便它们不再重叠，例如它们共享在边界335和355之间的空间。这是“共享”实施例。
在另一种实施例中，交互计算机允许接口区域重叠，因为仅最后一个书写和/或选择的单词的接口区域在任一时间上是活动的。这称作“弹出”接口区域。例如，一旦用户书写dog 350，则生成和激活接口区域340a和340b。然而，随后禁止现有的接口区域320a和320b。因此，在活动的接口区域之中，在区域320b和340a之间没有重叠，因为接口区域320b当前在该点上不是活动的。因此，在区域340a的任一点内的选择将不会导致不期望的计算机功能，因为将执行与区域340a相关联的功能。而且，如果用户接着在边界335内选择，则接口区域320a和340a将变得活动(例如“弹出”到表面)和接口区域340a和340b将变得不活动，再次，不存在重叠情况。
在另一种实施例中，如果出现重叠情况，则最后绘制(最新的)接口区域控制和其它的接口区域变得不活动。这是“Z-排序”实施例，其中当相互重叠时具有最大Z值的接口区域(类似于计算机图形处理)保持活动。在图8的情况下，接口区域340a将控制，接口区域320b将是不活动的，因为在cat 330之后书写dog 350。
在另一种实施例中，接收区域在时间周期之后“超时”。因此，假设书写cat 330，则接口区域320a和320b生成和保持活动。定义超时周期。如果在超时周期内未出现与接口区域320a和320b或者与边界355的交互，则接口区域320a和320b变得不活动。如果在由于超时导致区域320b变得不活动之后生成区域340a，则不存在重叠情况。
图9图示还可以为在书写单词之上和之下的区域定义接口区域。在这个例子中，在书写单词“white”410之上和之下定义接口区域430a和430b。在这种情况下，接口区域430a和430b的宽度与为书写单词410定义的边界415的宽度相同。接口区域430a和430b的高度可以是固定大小的，或者可以取决于相关书写单词410的高度和/或宽度。如上文所讨论的，还可以为左侧和右侧定义接口区域，例如接口区域420a和420b。
在这个具体的例子中，相对于书写单词410自动地定义四个接口区域。在这种情况下，应用程序可以是具有以任意顺序分别分配给接口区域430a、430b和420a、420b的诸如1)定义；2)反义词；3)同义词；和4)同源词等计算机功能的字典应用程序。
将理解尽管已经给出了放置接口区域的具体例子，但是本发明的实施例非常适合于临近书写单词和因而是与该单词相关可见的接口区域的任何空间放置。左侧、右侧、上侧和下侧的接口区域的放置仅是示例性的。而且，接口区域的大小还可以在本发明的范围内改变。接口区域可以是固定宽度、可变宽度或者两者的组合。而且，已经将矩形区域描述为接口区域的形状。然而，这些仅是示例性的，也可以采用其它公知的几何形状，例如圆形、三角形、不规则形状、等等。而且，已经使用书写单词作为用于触发生成接口区域的例子。然而，可以使用任意书写项目触发接口区域生成，例如数字、字母、等式、图形、名称、图表、等等。最后，在此已经描述了诸如转换器和字典等示例性的应用程序。这些仅是示例性的。在本发明的范围内，可以使用任一应用程序提供采用书写项目的含义(解释)作为输入的计算机功能。
图10A图示用于生成在此所述的用户接口区域的计算机实施处理500。可以在参考图2和图3描述的交互设备上实施处理500。在一种实施例中，可以将处理500实施为在交互设备的存储器单元内存储和在其处理器上执行的计算机编码。处理500的重点在于响应于用户撰写书写单词而生成接口区域。
在步骤510，计算机检测用户在诸如纸张等书写表面上书写诸如单词等标记。随后，计算该单词的空间边界(或“单词边界”)，例如包含该单词的矩形。随后，在步骤515将该书写单词的空间边界记录在存储器内。在步骤520，与空间边界相邻地自动地生成接口区域(活动区域)。接口区域定位在空间边界附近，因此，接口区域的位置取决于空间边界的位置。而且，在一种实施例中，接口区域的高度匹配空间边界的高度，因而，接口区域的大小取决于空间边界的大小，因此，还取决于书写单词的大小。每个接口区域具有与之相关的取决于当前操作应用程序的特定计算机功能。
在步骤525，检查用户是否与接口区域之一交互(例如敲击或双击或在接口区域之一内书写)。如果没有，则进入步骤530，但是如果有，则在步骤535，针对与选定接口区域相关的书写单词，执行与选定接口区域相关的计算机功能。随后，在步骤530针对书写单词的空间边界检查用户交互。如果是，则针对相关的书写单词执行与空间边界相关的计算机功能。随后，该处理在525重复，直到书写另一个书写单词，此时响应于正在书写的新单词进入步骤510。
图10B图示用于生成在此所述的用户接口区域的计算机实施处理550。可以在参考图2和图3描述的交互设备上实施处理550。在一种实施例中，可以将处理550实施为在交互设备的存储器单元内存储和在其处理器上执行的计算机代码。处理550的重点在于响应于用户选择现有的书写单词而生成接口区域。在这种情况下，假设已经生成一个或多个书写单词(例如通过图10A的处理500的功能)。随后，在存储器内存储与这些书写单词相关的空间边界。在此与图10B相关的假设是书写单词的接口区域可以不全部持久地存储在存储器内。然而，一旦选定书写单词，则快速地计算其相应的接口区域。
在步骤560，检查用户是否已经选择现有和存储的空间边界(例如用户敲击或双击或在空间边界内书写东西)。如果是，则在步骤520，自动地生成用于选定空间边界的接口区域。步骤520-540类似于图10A，其中可以使用该接口区域调用特定的计算机功能。
图11图示由本发明的实施例用于检测和解决在书写表面上空间重叠的接口区域的本发明的实施例使用的普通程序600。可以在参考图2和图3描述的交互设备上实施处理600。在一种实施例中，处理600可以实施为在交互设备的存储器单元内存储和在其处理器上执行的计算机代码。在步骤610，交互设备检测到用户书写第一标记，和根据该第一标记的大小和位置自动地生成与该第一标记相关的接口区域。在步骤615，接口设备检测到用户在书写表面上书写第二标记，并记录该第二标记的位置和大小。
在步骤620，交互设备计算与该第二标记相关的交互区域的位置和大小。随后，该设备检测这些交互区域是否与任何其它的交互区域重叠，例如第一标记的交互区域。在一种实施例中，通过比较交互区域的空间坐标检测重叠。一旦坐标匹配，则检测到重叠。如果未检测到重叠，则在步骤630，交互设备生成和激活与该第二标记相关的接口区域。
然而，在步骤625，进入重叠解决处理以解决在重叠接口区域之间的空间不确定性。如上所述，可以执行若干解决处理之一。在一种实施例中，在步骤625，交互设备可以向用户警示第二标记过于靠近第一标记。这是警示模型。在该实施例中，不进入步骤630，因为并未建立第二标记的接口区域。随后，鼓励用户在并不重叠现有书写的位置内绘制第二标记。在第二实施例中，可以使用共享模型。在这种情况下，在步骤625，交互设备确定在第一和第二标记之间是否存在足够的空间以共享在重叠交互区域之间的空间。如果是，则缩小重叠区域的宽度(或者高度，如果可能的话)，直到避免了重叠。随后，步骤630建立用于第二标记的新的接口区域，如果不存在允许共享的足够空间，则不进入步骤630。
在第三实施例即超时模型中，在步骤625，交互设备首先检查与第一交互区域相关联的标记是否已经超时。换句话说，如果尚未使用第一标记执行用户交互，或者任一个其相关联的接口区域已经经过规定的超时周期，则假设这些目标不再活动。如果第一标记已经超时，则进入步骤630以生成第二接口区域。如果第一标记依然活动，则可以尝试共享。如果不存在允许共享的足够空间，则不进入步骤630。
在第四实施例中，使用弹出模型。在该模型中，允许重叠接口区域，只要区域之一当前是不活动的。因此，在步骤625，确定与第一标记相关联的接口区域是否是活动的。如果不是，则进入步骤630。如果这些接口区域是活动的，则可以尝试共享。如果不存在允许共享的足够空间，则不进入步骤630。
图12图示可以由本发明的实施例用于节省保存接口区域的计算机资源的程序700。通常，根据该实施例，接口区域并不永久地存储在存储器内，而是在需要时计算和使用。可以在参考图2和图3描述的交互设备上实施处理700。在一种实施例中，可以将处理700实施为在交互设备的存储器内存储和在其处理器上执行的计算机代码。
在步骤710，交互设备检测到用户例如通过在书写表面上笔敲击、双击或书写而与书写表面的坐标(x，y)的用户交互。在步骤715，该交互设备随后扫描其存储器存储的空间边界(对应于书写标记)以确定最靠近(x，y)位置的空间边界。随后，在步骤720，该交互设备计算与步骤715确定的空间边界相关联的接口区域。在步骤725，该交互设备随后确定(x，y)坐标是否落入在步骤720计算的任一接口区域内。如果是，则进入步骤730，它在与在步骤715确定的空间边界相关的标记上执行与(x，y)坐标的接口区域相关联的计算机功能。
如果(x，y)坐标并未落入接口区域，则从步骤725进入步骤735。在步骤735，接口设备检查(x，y)坐标是否落入在步骤715确定的空间边界内。如果是，则在步骤740执行与该空间边界相关联的计算机功能。随后，重复该处理。
处理700的优点在于不需要在存储器内持久地存储接口区域，而是在需要时计算。持久地存储与每个标记相关联的空间边界。将理解可以将该区域交互处理700实施为根据一种实施例的图10A和图10B的步骤525。
总之，本文献公开了一种设备用户接口，其中通过与书写表面的动态生成接口区域的用户交互调用计算机功能。计算机系统识别在书写表面上的书写的标记或者现有书写标记的用户选择。在标记附近，计算机系统自动地生成与该标记相关的一个或多个接口区域。与这些区域之一的用户交互自动地调用与该交互区域相关的计算机功能。通过每个区域可以调用不同的功能。计算机系统动态地定位并可以根据标记的位置(和大小)动态地调整接口区域的大小。多个标记生成多个区域，具有与相应标记相关联的不同区域。在一种实施例中，在书写单词之前和/或之后建立区域。例如，还可以在书写单词之上和/或之下建立区域。在另一种实施例中，计算机系统是基于笔的交互计算机系统。
为了说明和描述的目的，上文已经介绍了根据本发明的各种具体实施例的描述。它们将不是穷举的，或者将本发明限制为所公开的具体形式，显而易见地，在上述教导之下可以进行多种修改和变化。本发明可以根据权利要求书及其等同物来解释。

Claims (38)

1.一种形成与用户的接口的计算机实施方法，所述方法包括：
识别已经由书写设备在表面上形成的标记；
识别所述标记在所述表面上的位置和识别所述标记的大小；
自动地计算第一接口区域的位置和大小，其中所述第一接口区域与所述标记相邻；
相关第一计算机功能与所述第一接口区域；和
响应于所述第一接口区域的用户选择，对与所述标记相关的数据执行所述第一计算机功能。
2.如权利要求1所述的方法，还包括：
自动地计算所述表面的第二接口区域的位置和大小，其中所述第二接口区域与所述标记相邻，且与所述第一接口区域不重叠；
相关第二计算机功能与所述第二接口区域；和
响应于所述第二接口区域的用户选择，对所述数据执行所述第二计算机功能。
3.如权利要求2所述的方法，其中所述第一接口区域在空间上位于所述标记左侧，和其中所述第二接口区域在空间上位于所述标记右侧。
4.如权利要求2所述的方法，其中所述第一接口区域在空间上位于所述标记上侧，和其中所述第二接口区域在空间上位于所述标记下侧。
5.如权利要求1所述的方法，其中通过用户使用所述书写设备的尖端接触位于所述第一接口区域内的所述表面的区域来执行所述用户选择。
6.如权利要求1所述的方法，其中第一接口区域的所述位置和所述大小取决于所述标记的所述位置和所述大小。
7.如权利要求6所述的方法，其中所述第一接口区域的高度取决于所述标记的高度。
8.如权利要求7所述的方法，其中所述第一接口区域的宽度取决于所述标记的所述高度。
9.如权利要求7所述的方法，其中所述第一接口区域的宽度是固定的。
10.如权利要求1所述的方法，其中所述标记是单词和其中所述第一接口区域是不可见的。
11.一种形成与用户的接口的计算机实施方法，所述方法包括：
识别出用户已经选择书写标记，其中所述书写标记位于书写表面上；
从存储器访问与所述书写标记相关的接口区域；
自动地计算第一接口区域的位置和大小，其中所述第一接口区域与所述书写标记相邻；
相关第一计算机功能与所述第一接口区域；和
响应于所述第一接口区域的用户选择，对与所述书写标记相关的数据执行所述第一计算机功能。
12.如权利要求11所述的方法，还包括：
自动地计算所述表面的第二接口区域的位置和大小，其中所述第二接口区域与所述标记相邻，且与所述第一接口区域不重叠；
相关第二计算机功能与所述第二接口区域；和
响应于所述第二接口区域的用户选择，对所述数据执行所述第二计算机功能。
13.如权利要求12所述的方法，其中所述第一接口区域在空间上位于所述书写标记的左侧和其中所述第二接口区域在空间上位于所述书写标记的右侧。
14.如权利要求12所述的方法，其中所述第一接口区域在空间上位于所述标记上侧，和其中所述第二接口区域在空间上位于所述标记下侧。
15.如权利要求11所述的方法，其中通过用户使用所述书写设备的尖端接触位于所述第一接口区域内的所述表面的区域来执行所述用户选择。
16.如权利要求11所述的方法，其中第一接口区域的所述位置和所述大小取决于所述书写标记的所述接口区域的位置和大小。
17.如权利要求16所述的方法，其中所述第一接口区域的高度取决于所述书写标记的所述接口区域的高度。
18.如权利要求17所述的方法，其中所述第一接口区域的宽度取决于所述书写标记的所述接口区域的所述高度。
19.如权利要求17所述的方法，其中所述第一接口区域的宽度是固定的。
20.如权利要求11所述的方法，其中所述书写标记是单词和其中所述第一接口区域是不可见的。
21.一种形成与用户的接口的计算机实施方法，所述方法包括：
识别已经由书写设备在表面上形成的第一标记；
识别所述第一标记在所述表面上的位置和识别所述第一标记的大小；
自动地计算分别与所述第一标记相邻但是相互不重叠的第一组接口区域的相应位置和大小，和其中根据所述第一标记的所述大小确定所述第一组接口区域的每个接口区域的大小；
相关相应的计算机功能与所述第一组接口区域的每个接口区域；和
响应于所述第一组接口区域的第一接口区域的用户选择，对与所述第一标记相关的数据执行第一计算机功能，其中所述第一计算机功能与所述第一组接口区域的所述第一接口区域相关。
22.如权利要求21所述的方法，还包括：
识别已经由所述书写设备在所述表面上形成的第二标记；
识别所述第二标记在所述表面上的位置和识别所述第二标记的大小；
自动地计算分别与所述第二标记相邻但是相互不重叠的第二组接口区域的相应位置和大小，和其中根据所述第二标记的所述大小确定所述第二组接口区域的每个接口区域的大小；
相关相应的计算机功能与所述第二组接口区域的每个接口区域；和
响应于所述第二组接口区域的第一接口区域的用户选择，对与所述第二标记相关的数据执行所述第一计算机功能，其中所述第一计算机功能与所述第二组接口区域的所述第一接口区域相关。
23.如权利要求22所述的方法，其中所述第一组接口区域的计算机功能与所述第二组接口区域的计算机功能相同。
24.如权利要求21所述的方法，还包括响应于所述第一组接口区域的第二接口区域的用户选择，对与所述第一标记相关的数据执行第二计算机功能，其中所述第二计算机功能与所述第一组接口区域的所述第二接口区域相关。
25.如权利要求21所述的方法，其中所述第一组接口区域包括所述第一接口区域和第二接口区域，和其中所述第一接口区域在空间上位于所述第一标记左侧，和其中所述第二接口区域在空间上位于所述第一标记右侧。
26.如权利要求21所述的方法，其中所述第一组接口区域包括所述第一接口区域和第二接口区域，和其中所述第一接口区域在空间上位于所述第一标记上侧，和其中所述第二接口区域在空间上位于所述第一标记下侧。
27.如权利要求21所述的方法，其中通过用户使用所述书写设备接触位于所述第一接口区域内的所述表面的区域来执行所述用户选择。
28.如权利要求21所述的方法，其中所述第一组接口区域的每个接口区域的高度取决于所述第一标记的高度。
29.如权利要求21所述的方法，其中所述第一标记是单词和其中所述第一组接口区域的每个接口区域是不可见的。
30.一种电子设备，包括：
书写工具；
耦合到总线的处理器；
耦合到所述总线的存储器；和
光检测器，耦合到所述总线和配置在所述书写工具附近，其中所述存储器包括指令，当执行时使所述处理器实现形成与用户的接口的方法，所述方法包括：
识别已经由书写设备在表面上形成的标记；
识别所述标记在所述表面上的位置和识别所述标记的大小；
自动地计算第一接口区域的位置和大小，其中所述第一接口区域与所述标记相邻；
相关第一计算机功能与所述第一接口区域；和
响应于所述第一接口区域的用户选择，对与所述标记相关的数据执行所述第一计算机功能。
31.如权利要求30所述的电子设备，其中所述方法还包括：
自动地计算所述表面的第二接口区域的位置和大小，其中所述第二接口区域与所述标记相邻，且与所述第一接口区域不重叠；
相关第二计算机功能与所述第二接口区域；和
响应于所述第二接口区域的用户选择，对所述数据执行所述第二计算机功能。
32.如权利要求31所述的电子设备，其中所述第一接口区域在空间上位于所述标记左侧，和其中所述第二接口区域在空间上位于所述标记右侧。
33.如权利要求31所述的电子设备，其中所述第一接口区域在空间上位于所述标记上侧，和其中所述第二接口区域在空间上位于所述标记下侧。
34.如权利要求30所述的电子设备，其中通过用户使用所述书写设备的尖端接触位于所述第一接口区域内的所述表面的区域来执行所述用户选择。
35.如权利要求30所述的电子设备，其中第一接口区域的所述位置和所述大小取决于所述标记的所述位置和所述大小。
36.如权利要求35所述的电子设备，其中所述第一接口区域的高度取决于所述标记的高度。
37.如权利要求36所述的电子设备，其中所述第一接口区域的宽度取决于所述标记的所述高度。
38.如权利要求30所述的电子设备，其中所述标记是单词和其中所述第一接口区域是不可见的。
CNB2006100574410A 2005-11-01 2006-03-15 一种形成与用户的接口的计算机实施方法和设备 Expired - Fee Related CN100555195C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/265,001 US7936339B2 (en) 2005-11-01 2005-11-01 Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface
US11/265,001 2005-11-01

Publications (2)

Publication Number Publication Date
CN1862470A true CN1862470A (zh) 2006-11-15
CN100555195C CN100555195C (zh) 2009-10-28

Family

ID=36406188

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100574410A Expired - Fee Related CN100555195C (zh) 2005-11-01 2006-03-15 一种形成与用户的接口的计算机实施方法和设备

Country Status (7)

Country Link
US (1) US7936339B2 (zh)
EP (1) EP1780628A1 (zh)
JP (1) JP2007128484A (zh)
KR (1) KR100763456B1 (zh)
CN (1) CN100555195C (zh)
CA (1) CA2537164A1 (zh)
WO (1) WO2007055715A2 (zh)

Families Citing this family (195)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
WO2008150887A1 (en) 2007-05-29 2008-12-11 Livescribe, Inc. Self-addressing paper
US8265382B2 (en) * 2007-05-29 2012-09-11 Livescribe, Inc. Electronic annotation of documents with preexisting content
WO2008150912A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Organization of user generated content captured by a smart pen computing system
US8638319B2 (en) * 2007-05-29 2014-01-28 Livescribe Inc. Customer authoring tools for creating user-generated content for smart pen applications
WO2008150921A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Communicating audio and writing using a smart pen computing system
WO2008150916A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Enhanced audio recording for smart pen computing systems
US8416218B2 (en) * 2007-05-29 2013-04-09 Livescribe, Inc. Cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains
JP5451599B2 (ja) * 2007-05-29 2014-03-26 ライブスクライブ インコーポレイテッド マルチモーダルスマートペンのコンピューティングシステム
US8194081B2 (en) * 2007-05-29 2012-06-05 Livescribe, Inc. Animation of audio ink
WO2008150918A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Binaural recording for smart pen computing systems
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20090251440A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Audio Bookmarking
US7810730B2 (en) 2008-04-03 2010-10-12 Livescribe, Inc. Decoupled applications for printed materials
US20090251441A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Multi-Modal Controller
US20090251338A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Ink Tags In A Smart Pen Computing System
US8944824B2 (en) * 2008-04-03 2015-02-03 Livescribe, Inc. Multi-modal learning system
US8149227B2 (en) * 2008-04-03 2012-04-03 Livescribe, Inc. Removing click and friction noise in a writing device
US8446298B2 (en) * 2008-04-03 2013-05-21 Livescribe, Inc. Quick record function in a smart pen computing system
US8446297B2 (en) 2008-04-03 2013-05-21 Livescribe, Inc. Grouping variable media inputs to reflect a user session
US9058067B2 (en) * 2008-04-03 2015-06-16 Livescribe Digital bookclip
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8300252B2 (en) * 2008-06-18 2012-10-30 Livescribe, Inc. Managing objects with varying and repeated printed positioning information
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
WO2011008862A2 (en) * 2009-07-14 2011-01-20 Zoomii, Inc. Markup language-based authoring and runtime environment for interactive content platform
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
WO2011089450A2 (en) 2010-01-25 2011-07-28 Andrew Peter Nelson Jerram Apparatuses, methods and systems for a digital conversation management platform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR101373203B1 (ko) * 2012-06-05 2014-03-12 (주)펜제너레이션스 반사형 디스플레이 및 이를 이용한 전자펜 시스템
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
EP2954514B1 (en) 2013-02-07 2021-03-31 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
DE112014002747T5 (de) 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
PL3011415T3 (pl) * 2013-06-19 2019-05-31 Nokia Technologies Oy Wprowadzane elektroniczne trasowanie
CN103513771B (zh) * 2013-10-09 2017-02-08 深圳先进技术研究院 智能眼镜与交互笔配合使用的系统及方法
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9524428B2 (en) 2014-04-28 2016-12-20 Lenovo (Singapore) Pte. Ltd. Automated handwriting input for entry fields
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
AU2015266863B2 (en) 2014-05-30 2018-03-15 Apple Inc. Multi-command single utterance input method
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US20150347364A1 (en) * 2014-06-03 2015-12-03 Lenovo (Singapore) Pte. Ltd. Highlighting input area based on user input
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US11590726B2 (en) 2018-01-24 2023-02-28 Hewlett-Packard Development Company, L.P. Surfaces with embedded information
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10930177B2 (en) 2018-05-16 2021-02-23 Leapfrog Enterprises, Inc. Interactive globe
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction

Family Cites Families (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ131399A0 (en) 1999-06-30 1999-07-22 Silverbrook Research Pty Ltd A method and apparatus (NPAGE02)
US2182334A (en) 1939-02-18 1939-12-05 Crespo Joseph Panoramic device
US2932907A (en) 1956-01-16 1960-04-19 Joseph A Stieber Map projections demonstrator
US3304612A (en) 1963-12-23 1967-02-21 Union Oil Co Method and apparatus for converting cartograph coordinates to permanent digital form
US3292489A (en) 1964-07-09 1966-12-20 Ibm Hierarchical search system
US3466391A (en) 1966-09-07 1969-09-09 Marconi Co Ltd Electrical position resolver employing capacitive probe coupled to resistive layer containing two pairs of conductive strips energized by four different frequency signals
US3591718A (en) 1968-04-18 1971-07-06 Shintron Co Inc Graphical input tablet
US3657812A (en) 1970-09-28 1972-04-25 G & L Ind Inc Retractible tool holder
US3782734A (en) 1971-03-15 1974-01-01 S Krainin Talking book, an educational toy with multi-position sound track and improved stylus transducer
US3798370A (en) 1972-04-17 1974-03-19 Elographics Inc Electrographic sensor for determining planar coordinates
US3921165A (en) 1973-03-21 1975-11-18 Ibm High resolution graphic data tablet
US3888311A (en) 1973-10-01 1975-06-10 Exxon Production Research Co Hydraulic fracturing method
US3911215A (en) 1974-03-18 1975-10-07 Elographics Inc Discriminating contact sensor
US4079194A (en) 1976-08-09 1978-03-14 Victor Kley Graphical data entry pad
US4220815B1 (en) 1978-12-04 1996-09-03 Elographics Inc Nonplanar transparent electrographic sensor
NL7904469A (nl) 1979-06-07 1980-12-09 Philips Nv Inrichting voor het lezen van een gedrukte kode en het daarvan omzetten in een audio-signaal.
US4686332A (en) 1986-06-26 1987-08-11 International Business Machines Corporation Combined finger touch and stylus detection system for use on the viewing surface of a visual display device
US4318096A (en) 1980-05-19 1982-03-02 Xerox Corporation Graphics pen for soft displays
US4337375A (en) 1980-06-12 1982-06-29 Texas Instruments Incorporated Manually controllable data reading apparatus for speech synthesizers
US4464118A (en) 1980-06-19 1984-08-07 Texas Instruments Incorporated Didactic device to improve penmanship and drawing skills
JPS585611A (ja) 1981-07-01 1983-01-13 Toyota Motor Corp 走行案内装置
US4425099A (en) 1981-10-13 1984-01-10 Texas Instruments Incorporated Educational aid for use with workbook
US4604065A (en) 1982-10-25 1986-08-05 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
US4604058A (en) 1982-11-01 1986-08-05 Teledyne Industries, Inc. Dental appliance
US4492819A (en) 1982-12-30 1985-01-08 Kurta Corporation Graphic tablet and method
US4570149A (en) 1983-03-15 1986-02-11 Koala Technologies Corporation Simplified touch tablet data device
US4603231A (en) 1983-03-31 1986-07-29 Interand Corporation System for sensing spatial coordinates
JPS60157700A (ja) 1984-01-27 1985-08-17 日立造船株式会社 船舶衡突予防援助装置
US4650926A (en) 1984-10-26 1987-03-17 Scriptel Corporation Electrographic system and method
US4627819A (en) 1985-01-23 1986-12-09 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
US4739299A (en) 1986-01-17 1988-04-19 Interlink Electronics, Inc. Digitizer pad
US4972496A (en) 1986-07-25 1990-11-20 Grid Systems Corporation Handwritten keyboardless entry computer system
US5057024A (en) 1986-08-01 1991-10-15 Sprott Glenn C Computerized globe/almanac system
US4748318A (en) 1986-10-22 1988-05-31 Bearden James D Wand for a hand-held combined light pen and bar code reader
US4793810A (en) 1986-11-19 1988-12-27 Data Entry Systems, Inc. Interactive instructional apparatus and method
US5194852A (en) 1986-12-01 1993-03-16 More Edward S Electro-optic slate for direct entry and display and/or storage of hand-entered textual and graphic information
US4839634A (en) 1986-12-01 1989-06-13 More Edward S Electro-optic slate for input/output of hand-entered textual and graphic information
US4787040A (en) 1986-12-22 1988-11-22 International Business Machines Corporation Display system for automotive vehicle
GB8702728D0 (en) 1987-02-06 1987-03-11 Price Stern Sloan Publishers Teaching & amusement apparatus
JP2658039B2 (ja) 1987-03-20 1997-09-30 キヤノン株式会社 情報処理装置
GB2207027B (en) 1987-07-15 1992-01-08 Matsushita Electric Works Ltd Voice encoding and composing system
US5030117A (en) 1987-09-25 1991-07-09 Delorme David M Digital global map generating system
US4841387A (en) 1987-12-15 1989-06-20 Rindfuss Diane J Arrangement for recording and indexing information
GB2214635B (en) 1988-01-14 1992-06-10 Kwang Chien Fong Optical input device
US5113178A (en) 1988-01-29 1992-05-12 Aisin Seiki K.K. Position display apparatus
US4853498A (en) 1988-06-13 1989-08-01 Tektronix, Inc. Position measurement apparatus for capacitive touch panel system
US4924387A (en) 1988-06-20 1990-05-08 Jeppesen John C Computerized court reporting system
US4913463A (en) 1988-10-27 1990-04-03 Texas Instruments Incorporated Hinged case providing sectional cover with anti-pinch interleaving through
US5007085A (en) 1988-10-28 1991-04-09 International Business Machines Corporation Remotely sensed personal stylus
US4853499A (en) 1988-12-12 1989-08-01 Calcomp Inc. Ground switching technique for silkscreened digitizer grids
US5157384A (en) 1989-04-28 1992-10-20 International Business Machines Corporation Advanced user interface
US5167508A (en) 1989-08-21 1992-12-01 Mc Taggart Stephen I Electronic book
US5484292A (en) 1989-08-21 1996-01-16 Mctaggart; Stephen I. Apparatus for combining audio and visual indicia
US5209665A (en) 1989-10-12 1993-05-11 Sight & Sound Incorporated Interactive audio visual work
US5184003A (en) 1989-12-04 1993-02-02 National Computer Systems, Inc. Scannable form having a control mark column with encoded data marks
JP2784825B2 (ja) 1989-12-05 1998-08-06 ソニー株式会社 情報入力制御装置
US4991987A (en) 1990-01-23 1991-02-12 Risdon Corporation Cosmetic container
US5059126A (en) 1990-05-09 1991-10-22 Kimball Dan V Sound association and learning system
US5128525A (en) 1990-07-31 1992-07-07 Xerox Corporation Convolution filtering for decoding self-clocking glyph shape codes
US5168147A (en) 1990-07-31 1992-12-01 Xerox Corporation Binary image processing for decoding self-clocking glyph shape codes
JPH04121923A (ja) 1990-09-12 1992-04-22 Sony Corp 電子機器のスイッチ構造
US5053585A (en) 1990-10-12 1991-10-01 Interlink Electronics, Incorporated Multipurpose keyboard using digitizer pad featuring spatial minimization of a pressure contact area and method of making same
US5149919A (en) 1990-10-31 1992-09-22 International Business Machines Corporation Stylus sensing system
US5117071A (en) 1990-10-31 1992-05-26 International Business Machines Corporation Stylus sensing system
GB9024526D0 (en) 1990-11-12 1991-01-02 Eden Group Ltd Electronic display apparatus
US5260697A (en) 1990-11-13 1993-11-09 Wang Laboratories, Inc. Computer with separate display plane and user interface processor
US5301243A (en) 1990-12-21 1994-04-05 Francis Olschafskie Hand-held character-oriented scanner with external view area
GB9103768D0 (en) 1991-02-22 1991-04-10 King Reginald A Educational apparatus
JPH04274510A (ja) 1991-02-28 1992-09-30 Casio Comput Co Ltd データ入力処理装置
US5220649A (en) 1991-03-20 1993-06-15 Forcier Mitchell D Script/binary-encoded-character processing method and system with moving space insertion mode
US5848187A (en) 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
JP3120085B2 (ja) 1991-11-21 2000-12-25 株式会社セガ 電子装置及び情報担体
US5220136A (en) 1991-11-26 1993-06-15 Elographics, Inc. Contact touchscreen with an improved insulated spacer arrangement
US5221833A (en) 1991-12-27 1993-06-22 Xerox Corporation Methods and means for reducing bit error rates in reading self-clocking glyph codes
US5294792A (en) 1991-12-31 1994-03-15 Texas Instruments Incorporated Writing tip position sensing and processing apparatus
US5314336A (en) 1992-02-07 1994-05-24 Mark Diamond Toy and method providing audio output representative of message optically sensed by the toy
JPH05265633A (ja) 1992-03-18 1993-10-15 Gunze Ltd タッチパネル
US5217376A (en) 1992-03-20 1993-06-08 Marcel Gosselin Drawing aid
US5356296A (en) 1992-07-08 1994-10-18 Harold D. Pierce Audio storybook
US5401916A (en) 1992-09-29 1995-03-28 Ncr Corporation Method and apparatus for capturing handwritten information and providing visual feedback
US5217378A (en) 1992-09-30 1993-06-08 Donovan Karen R Painting kit for the visually impaired
US5409381A (en) 1992-12-31 1995-04-25 Sundberg Learning Systems, Inc. Educational display device and method
US5510606A (en) 1993-03-16 1996-04-23 Worthington; Hall V. Data collection system including a portable data collection terminal with voice prompts
US5474457A (en) 1993-06-09 1995-12-12 Bromley; Eric Interactive talking picture machine
US5413486A (en) 1993-06-18 1995-05-09 Joshua Morris Publishing, Inc. Interactive book
US5572651A (en) 1993-10-15 1996-11-05 Xerox Corporation Table-based user interface for retrieving and manipulating indices between data structures
US5835726A (en) 1993-12-15 1998-11-10 Check Point Software Technologies Ltd. System for securing the flow of and selectively modifying packets in a computer network
US5561446A (en) 1994-01-28 1996-10-01 Montlick; Terry F. Method and apparatus for wireless remote information retrieval and pen-based data entry
IL108566A0 (en) 1994-02-04 1994-05-30 Baron Research & Dev Company L Handwriting input apparatus using more than one sensing technique
US5466158A (en) 1994-02-14 1995-11-14 Smith, Iii; Jay Interactive book device
US5480306A (en) 1994-03-16 1996-01-02 Liu; Chih-Yuan Language learning apparatus and method utilizing optical code as input medium
US5636995A (en) 1995-01-17 1997-06-10 Stephen A. Schwartz Interactive story book and graphics tablet apparatus and methods for operating the same
FI99071C (fi) 1995-02-15 1997-09-25 Nokia Mobile Phones Ltd Menetelmä sovellusten käyttämiseksi matkaviestimessä ja matkaviestin
US5520544A (en) 1995-03-27 1996-05-28 Eastman Kodak Company Talking picture album
JPH08335134A (ja) 1995-06-07 1996-12-17 Canon Inc 情報処理装置
JP3111024B2 (ja) 1995-07-19 2000-11-20 キヤノン株式会社 カラーフィルタの製造装置及び製造方法及び表示装置の製造方法及び表示装置を備えた装置の製造方法
US5686705A (en) 1996-02-15 1997-11-11 Explore Technologies, Inc. Surface position location system and method
JP3061765B2 (ja) 1996-05-23 2000-07-10 ゼロックス コーポレイション コンピュータベースの文書処理方法
JP3378900B2 (ja) 1996-06-25 2003-02-17 富士通株式会社 オブジェクト編集方法，オブジェクト編集システム及び記録媒体
US5847698A (en) 1996-09-17 1998-12-08 Dataventures, Inc. Electronic book device
AU5069698A (en) 1996-11-12 1998-06-03 Carlos Landetta Chombo Electronic book
US5844483A (en) 1997-07-17 1998-12-01 Boley; Jeffrey V. Golf equipment inventory device
US6431439B1 (en) 1997-07-24 2002-08-13 Personal Solutions Corporation System and method for the electronic storage and transmission of financial transactions
US20030173405A1 (en) 2000-01-12 2003-09-18 Metrologic Instruments, Inc. Bar code symbol driven systems for accessing information resources on the internet
US5992817A (en) 1998-02-04 1999-11-30 Klitsner Industrial Design, Llc Keyboard interface device
US6456749B1 (en) 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
US6144371A (en) 1998-03-18 2000-11-07 International Business Machines Corporation Thinkscribe combined electronic and paper based scheduling
CN1173247C (zh) * 1999-01-13 2004-10-27 国际商业机器公司 具有文字分割用户接口的手写信息处理系统
US6529920B1 (en) 1999-03-05 2003-03-04 Audiovelocity, Inc. Multimedia linking device and method
AUPQ363299A0 (en) 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
JP4785310B2 (ja) 1999-05-28 2011-10-05 アノト アクティエボラーク 情報の記録に用いられる製品
DE60044458D1 (de) 1999-05-28 2010-07-08 Anoto Ab Positionsbestimmung
AU752626B2 (en) 1999-06-28 2002-09-26 Anoto Ab Recording of information
BR0014156A (pt) 1999-08-30 2002-05-14 Anoto Ab Bloco de anotações
SE517445C2 (sv) 1999-10-01 2002-06-04 Anoto Ab Positionsbestämning på en yta försedd med ett positionskodningsmönster
SE517984C2 (sv) 2000-03-21 2002-08-13 Anoto Ab Arrangemang för inmatning av information
SE516109C2 (sv) 2000-03-21 2001-11-19 Anoto Ab Förfarande, system och datorprogram för dokumenthantering med hjälp av positionskodningsmönster
SE516310C2 (sv) 2000-04-05 2001-12-17 Anoto Ab Produkt med två kodningsmönster, innefattande rasterpunkter; samt förfarande, datorprogram och anordning för att avläsa kodningsmönstren
SE517875C2 (sv) 2000-04-05 2002-07-30 Anoto Ab Förfarande och arrangemang för att associera en värdehandling med en delmängd av ett positionskodningsmönster
SE516281C2 (sv) 2000-04-05 2001-12-10 Anoto Ab Produkt och förfarande för informationshantering, där en löstagbar skrivyta med absolutpositionskodningsmönster skrivs på och avläses
SE516567C2 (sv) 2000-06-07 2002-01-29 Anoto Ab Förfarande och anordning för säker trådlös överföring av information
US20020077902A1 (en) 2000-06-30 2002-06-20 Dwight Marcus Method and apparatus for verifying review and comprehension of information
EP1352307A2 (en) 2000-09-22 2003-10-15 EDC Systems, Inc. Systems and methods for preventing unauthorized use of digital content
JP3871524B2 (ja) 2000-11-17 2007-01-24 富士通株式会社 座標入力装置
US6806869B2 (en) * 2001-03-02 2004-10-19 Seiko Epson Corporation Data processing system utilizing discrete operating device
US6641401B2 (en) 2001-06-20 2003-11-04 Leapfrog Enterprises, Inc. Interactive apparatus with templates
US7202861B2 (en) 2001-06-25 2007-04-10 Anoto Ab Control of a unit provided with a processor
US6966495B2 (en) 2001-06-26 2005-11-22 Anoto Ab Devices method and computer program for position determination
US20030071850A1 (en) 2001-10-12 2003-04-17 Microsoft Corporation In-place adaptive handwriting input method and system
US6584249B1 (en) 2001-10-17 2003-06-24 Oplink Communications, Inc. Miniature optical dispersion compensator with low insertion loss
EP1315085B1 (en) 2001-11-27 2006-01-11 Sun Microsystems, Inc. Automatic image-button creation process
TWI235926B (en) 2002-01-11 2005-07-11 Sonix Technology Co Ltd A method for producing indicators and processing system, coordinate positioning system and electronic book system utilizing the indicators
EP1479058A1 (en) * 2002-02-06 2004-11-24 Leapfrog Enterprises, Inc. Write on interactive apparatus and method
US7062090B2 (en) * 2002-06-28 2006-06-13 Microsoft Corporation Writing guide for a free-form document editor
US20040125075A1 (en) 2002-12-31 2004-07-01 Diercks Richard A. DVD remote control with interchangeable, title-specific interactive panels
WO2004075015A2 (en) 2003-02-14 2004-09-02 Ctb/Mcgraw-Hill System and method for creating, assessing, modifying, and using a learning map
US20040229195A1 (en) 2003-03-18 2004-11-18 Leapfrog Enterprises, Inc. Scanning apparatus
WO2004104770A2 (en) 2003-05-16 2004-12-02 Educational Testing Services Method and system for receiving responses utilizing digital pen and paper
US7456983B2 (en) 2003-07-02 2008-11-25 Hewlett-Packard Development Company, L.P. System and method for preventing comprehension of a printed document
US20050060644A1 (en) 2003-09-15 2005-03-17 Patterson John Douglas Real time variable digital paper
JP4150923B2 (ja) 2003-12-09 2008-09-17 富士ゼロックス株式会社 データ出力システムおよびその方法
US7111230B2 (en) 2003-12-22 2006-09-19 Pitney Bowes Inc. System and method for annotating documents
US7134606B2 (en) 2003-12-24 2006-11-14 Kt International, Inc. Identifier for use with digital paper
US7551187B2 (en) * 2004-02-10 2009-06-23 Microsoft Corporation Systems and methods that utilize a dynamic digital zooming interface in connection with digital inking
US20060066591A1 (en) * 2004-03-17 2006-03-30 James Marggraff Method and system for implementing a user interface for a device through recognized text and bounded areas
US7831933B2 (en) * 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US7453447B2 (en) 2004-03-17 2008-11-18 Leapfrog Enterprises, Inc. Interactive apparatus with recording and playback capability usable with encoded writing medium
US20060067576A1 (en) * 2004-03-17 2006-03-30 James Marggraff Providing a user interface having interactive elements on a writable surface
US9128653B2 (en) 2004-12-10 2015-09-08 Microsoft Technology Licensing, Llc Systems and methods for processing print jobs
US7639876B2 (en) 2005-01-14 2009-12-29 Advanced Digital Systems, Inc. System and method for associating handwritten information with one or more objects
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US20060242562A1 (en) 2005-04-22 2006-10-26 Microsoft Corporation Embedded method for embedded interaction code array

Also Published As

Publication number Publication date
WO2007055715A3 (en) 2008-05-08
KR20070047197A (ko) 2007-05-04
EP1780628A1 (en) 2007-05-02
CA2537164A1 (en) 2006-05-16
JP2007128484A (ja) 2007-05-24
KR100763456B1 (ko) 2007-10-05
CN100555195C (zh) 2009-10-28
US20070097100A1 (en) 2007-05-03
WO2007055715A2 (en) 2007-05-18
US7936339B2 (en) 2011-05-03

Similar Documents

Publication Publication Date Title
CN1862470A (zh) 计算机实施用户接口
CN1808361A (zh) 交互式设备和方法
CN1855013A (zh) 用于识别数据输入终止的系统和方法
CN1320506C (zh) 通用计算装置
CN1160649C (zh) 用于图象设计的方法与系统
CN1862471A (zh) 用来把用户笔迹和用户可写单元相关联的方法和设备
CN1589426A (zh) 电子笔以及用于记录手写信息的方法
CN101052940A (zh) 用于电子笔中的数据管理的方法和器件
CN1291316A (zh) 图像检测操作者输入装置
CN101657826B (zh) 笔记捕获装置
CN1862473A (zh) 在可写表面上提供具有交互式元素的用户接口
CN1418350A (zh) 信息结合的方法与系统
CN1862590A (zh) 使用识别文本处理交易的方法和系统
JP2007079943A (ja) 文字読取プログラム、文字読取方法および文字読取装置
CN1758205A (zh) 轻击手势
US11567590B2 (en) Electronic pen, electronic device, and method of controlling the same
JP2009516261A (ja) 電子ペン装置における情報管理
US7374087B1 (en) Method, apparatus and system for conveying cartridge notification
JP2009187235A (ja) 電子ペン及びそれに用いられるプログラム
JP4962338B2 (ja) 電子ペン及びプログラム
JP2014142854A (ja) コンピュータ装置、電子ペンシステム、及びプログラム
JP2012230722A (ja) 端末装置及びそのプログラム
US11853636B2 (en) Display apparatus, display method, medium, and display system
JP5440054B2 (ja) 操作シート作成システム、及びそのプログラム
JP4911056B2 (ja) 端末装置、それに用いられるプログラム及び情報処理システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091028

Termination date: 20110315