CN1855036A - 用于消费电子产品上的任务协调的方法和系统 - Google Patents

用于消费电子产品上的任务协调的方法和系统 Download PDF

Info

Publication number
CN1855036A
CN1855036A CNA2005101049497A CN200510104949A CN1855036A CN 1855036 A CN1855036 A CN 1855036A CN A2005101049497 A CNA2005101049497 A CN A2005101049497A CN 200510104949 A CN200510104949 A CN 200510104949A CN 1855036 A CN1855036 A CN 1855036A
Authority
CN
China
Prior art keywords
task
user
suggestion
description
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005101049497A
Other languages
English (en)
Other versions
CN1855036B (zh
Inventor
麦瑟·艾伦
库吉撒帕撒·纳吉撒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1855036A publication Critical patent/CN1855036A/zh
Application granted granted Critical
Publication of CN1855036B publication Critical patent/CN1855036B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093—Calendar-based scheduling for persons or groups
    • G06Q10/1097—Task assignment
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house

Abstract

一种在任务协调系统中表示将由多个电子装置的一个或多个执行的用户任务的方法。每一装置中包括指定装置可执行的功能的功能描述。功能描述被从一个或多个装置获得，描述某任务需要的装置功能的任务描述被获得，并且任务建议被基于获得的装置功能描述和任务描述产生。每一任务建议将用户任务表示为一个或多个获得的装置描述和任务描述的提取。任务建议被显示在显示器上以便用户从中选择，其中，用户选择的任务建议将基于使用在装置功能描述中描述的装置功能的任务描述通过一个或多个装置的协调(自动操作)执行。

Description

用于消费电子产品上的任务协调的方法和系统
                         技术领域
本发明总体上涉及提供一种用于装置的用户控制的用户界面，更特别地，涉及对一组消费电子产品(CE)装置呈现和表示用户任务。
                         背景技术
用于如CE装置(例如，电视、VCR、DVD播放器、CD播放器等)的装置的用户控制的典型用户界面的形式是在装置中并不描述用户任务。相反，向用户呈现一组装置功能并且用户选择这些装置功能的组合以执行任务。例如，要观看录像磁带需要用户选择输入(例如，磁带)，倒带和按下在VCR上的播放。结果，用户不能简单地指定他/她希望‘观看’‘录像磁带’以自动执行上述操作。用户不能表达要被执行的期望的任务(例如，‘看’‘录像磁带’)，而用户必须直基础控制装置以执行期望的功能(例如，选择输入、倒带和按下在VCR上的播放)。
这与传统的软件体系结构相似，其中，任务映射为应用的想法。例如，如果用户想写信，那么用户运行具有适当功能的文字处理器。然而，除了映射为公知的名称的公知的功能之外，其对用户表达得很有限。另一选择是以菜单的形式向用户提出一组选项。一些系统允许在菜单选项中(例如，拼写检查文档或在VCR上即时记录)列出公知的任务。然而，这样的系统仅向用户提供装置功能。
但是另一选择允许用户以图表的方式表达任务(例如，使用线条将一组被描述的装置连接在一起以执行期望的任务)。使用此方法的问题是不能对用户掩蔽使用装置的复杂度。其以图表的方式向用户简单地描述功能的选择并要求用户指定执行任务所必需的连接。
因而，需要一种允许用户表达任务而不是一组功能的方法和设备，从而可对自动操作该组功能的操作以执行任务的系统表达任务。还需要对如此允许以通用的方式表达任务的设备和方法，从而用户能够表达可由可用的装置的功能执行的任务。还需要如此允许在如消费电子产品的电子装置上的任务的协调的设备和方法。
                         发明内容
本发明针对上述需要。在本发明的一实施例中提供一种任务协调系统，用于实现表示要由网络中多个电子装置中的一个或多个执行的用户任务的方法。每一装置其中包括指定该装置可执行的功能的功能描述。功能描述被从一个或多个装置获得。另外，描述执行某任务所需要的用户任务和功能的任务描述。然后，获得的功能描述和任务描述被用于产生对用户的任务建议。每一任务建议抽象地将用户任务表示成伪语句，并且被从任务描述获得并可使用一个或多个获得的装置描述。任务建议被显示在显示器上以使用户从中选择，其中，由选择的任务建议表示的请求的任务由一个或多个装置执行。由此，任务建议对系统的用户掩蔽功能。
在一实施例中，使用被组织为一组具有各类型的术语的伪语言结构向用户描述任务建议，以将用户任务表示为任务描述和装置功能描述的提取。用户界面装置被用来将任务建议显示在显示器上以便用户从中选择，由此它们可被选择以在任务协调(自动操作)模块的控制下由一个或多个装置执行任务。
在从任务建议中选择时，允许用户选择伪语句元素/术语，由此用户选择的任务建议可在系统中的任务协调模块的控制下由装置执行。任务协调模块可以是系统的逻辑组件。
因而，在一实施例中，任务协调模块包括任务驱动控制器，其从一个或多个装置获得装置功能描述，获得描述被某任务需要的装置功能的任务描述，从任务描述和装置描述产生任务建议，并且一旦选择任务建议，则基于使用在获得的装置功能描述中描述的功能的任务描述来执行选择的任务建议。
参照以下描述、所附权利要求和附图，本发明的这些和其它特点，方面和优点将被理解。
                        附图说明
参照下面的描述、所附权利要求和附图，本发明的这些和其它特点、方面和优点将被理解，其中：
图1A示出根据本发明的任务协调系统的实施例的示例结构的方框图；
图1B示出根据图1A的系统的示例任务协调过程的流程图；
图2示出根据本发明的包括任务协调模块的任务协调系统的另一实施例的示例结构的方框图；
图3示出在图2的系统中使用伪语言的示例任务建议；
图4示出在图2的系统中从装置获得装置功能描述以产生任务建议的示例；
图5示出根据本发明的逻辑上分离的任务描述和装置描述的示例；
图6示出产生和显示任务建议中的示例步骤的流程图；和
图7示出向用户显示任务建议以便选择并由图2的系统中的任务协调模块执行中的示例步骤的流程图。
                        具体实施方式
在一实施例中，本发明提供一种用于在一组不同的装置间配置用户任务的系统，所述装置如家庭中的消费电子产品装置，其中，所述装置在网络中被相互连接。协调用户任务包括自动执行选择用于执行任务的装置的处理。在一示例中，其包括获得装置功能描述和任务描述、基于获得的装置功能描述和任务描述产生任务建议、排列任务建议、允许用户在任务建议中选择、和协调(自动操作)装置以执行选择的/请求的任务建议。例如，上文所述的任务建议可被描述为包括一组相互修饰的元素/术语的伪语句。
本发明允许通过使用也为人可读的伪语句以递增和灵活的方式来描述用户任务。因而，其不限定描述如何映射为装置的操作，相反集中在如何以可被用户解释的方式表达任务操作。伪语句提供脱离下层装置的提取层。可以以大概相似的方法使用伪语句来描述任务，其中，大概相似的方法如乱画手写识别符号接近于实际的罗马字母(例如，比作自然语言的用户任务的乱画和完全手写识别)。在一实现中，其允许简单的程序在无复杂的自然语言处理的情况下确定用户任务。
任务协调以高级的、面向任务的、遥控装置的方式来工作并对用户最小化选择和设置。因而，应用多种技术的组合来提供适合自动操作用户任务的协调的协调系统。
参照图1A和1B中的示例结构，根据本发明的任务协调系统10允许用户任务自动操作为具有最少的来自用户的输入的一组协调的装置动作。在一方案中，任务协调系统10包括三种类型逻辑装置：(1)客户端装置20，其包括显示用户界面的装置；(2)控制器装置30，其包括控制其他装置的装置；(3)被控制的装置40，其包括被控制器控制的装置。
每一逻辑装置可以具有能执行根据本发明的任务协调的特定功能。具体地，被控制的装置40包括使用如语义注记语言(不描述其界面，而抽象地描述其功能)的语言进行的其功能的增强描述。另外，为了描述装置功能，装置可包括一个或多个用户任务描述。任务描述可指定仅使用其功能的任务，使用其功能和其他装置的潜在的功能的任务，或者只是对其他装置的任务。
包括任务协调(TO)模块50组成的控制器装置30包括协调装置以执行用户选择的任务建议(即，任务请求)的功能。除了控制访问软件之外，控制器30在任务协调模块50中包括推理系统(例如，专家系统，规则系统等)，该系统可以推理用于执行任务请求的一组动作和装置。控制器30获取任务和装置功能描述并使用该信息来进行推理：(1)考虑到当前装置、它们的功能、和描述的任务的情况下，在系统中哪些任务是有效的；(2)哪些装置组合潜在地可用于实现请求的任务。
客户端装置20包括请求和向用户显示任务建议的功能。因而，它们包括与控制器30的任务协调模块50结合的用户界面以向用户显示任务。该结合能使用户界面(例如，GUI)仅显示考虑到当前装置40、任务和功能的情况下可行的任务建议。另外，如果任务建议的一部分已经被安排(即，任务请求的一部分已经被指定)，那么用户界面可使用控制器30来进一步减少可应用的用户选项。使用该功能，客户端装置20能够将可用的任务和选项列为使用伪语句的任务建议。用户选择任务建议，并且控制器30处理执行选择的任务建议的请求以执行选择的/请求的任务。允许控制器30以简化的方式确定期望的用户任务并且使其与任务描述匹配，并最终与装置选择和配置匹配以实现任务。如在哪个房间播放视频的用户的偏爱被指定为任务建议伪语句的部分作为修饰语(例如，伪语句播放视频‘在卧室’或播放视频‘使用耳机’)。下面通过描述使用单独的任务和装置的描述消费电子产品来进一步解释用于选择任务建议的这些搜索空间(即，伪语句的可用部分)的部分。
图2示出根据本发明的任务协调系统10的示例功能结构，其包括用户界面(GUI)模块60和包括作为在下层客户端装置40之上的上层的任务协调模块50的控制器30。中间件层/模块70在控制器30和客户端装置40之间。模块70提供能控制装置的中间层功能(例如，提供用于控制装置的API)。模块70的操作超过本发明的范围，因此，在这里不再进行详细描述。
通过用户界面60，任务协调模块50允许呈现和表示可由一组消费电子产品装置40执行的任务建议。因而，任务协调模块50掩蔽了那些任务建议如何与装置40映射，仅向用户描述任务建议。提供一种以递增和灵活的方式将任务描述为任务建议的方式，其也是人可读的。这样的方法不使用户集中在任务描述95如何被映射为装置40的操作，而是集中在以可由用户解释的方法(例如，作为被称为伪语句的任务建议)表达任务操作。
现在还参照图3，在一示例中，任务建议可被以表示伪语句的简化的语言结构200来描述。为了这里描述的简单，示例结构被组织为一组相互修饰的术语，其中，在该示例中，一组标准化的定义动作的‘动词’被用为等级语言树200的根。例如，“播放”、“显示”、“观看”、“调整”、“灌溉”等是一组‘动词’，在每一‘动词’之后是如“照片”、“草地”、“电影”等的‘对象’。‘对象’通过减小由‘动词’限定的动作的范围来修饰‘动词’。
在‘对象’之后，有如将范围进一步限定在特定动作的实例的‘修饰语’的组合。例如，“播放”“电影”“黑客帝国”添加“黑客帝国”作为特例。可指定如“在书房”或者“在下午8时”的其他‘修饰语’来控制任务。而其他修饰语可指定电影“黑客帝国”所在的介质。注意该结构指定任务，而不是装置动作。如改变音量或频道的装置动作不是其中的任务，而是关于现有任务的动作(例如，当“观看”“电视”时改变音量)。由位于装置40中的任务的标准化的描述来填充在该结构200中的文字组合，而不是由一组用于特定情况(例如家庭)的固定的术语。然后，询问这些装置以产生基于在系统中当前连接的或可获得的装置为可行的一组用于每一级别的术语和修饰语。因为大量不相关的词基础将使其难以确定正确的伪语句，所以该方法使指定用户任务更容易。
现在还参照图4中的示例图，装置40被询问以用于基于在家庭网络85(图2)中当前连接的或可获得的装置为可行的一组用于每一级别(即，在伪语句中的位置)的术语和修饰语，作为任务描述95。该方法简化指定任务建议，因为否则大量不相关的词基础将使其难以确定正确的伪语句。
对于本发明的该实施例的提高是仅确定基于其他术语或修饰语的当前选择可行的术语组或修饰语。例如，如果“播放”和“在CD播放器上”被选择，然后，即使“播放”“视频”是可行的任务，但是，因为视频不能在CD播放器上播放所以它不适合在系统中的装置任务描述。相反，如果其为基于当前装置40仅有选项，则仅“音乐”被向用户呈现。
对于本发明的该实施例的另一提高是允许任务被部分地指定(例如，“播放”“音乐”“歌曲名称”)。如果多个任务匹配，那么可通过确定选项来对用户例示该任务。这可通过随机选择，通过基于过去的请求的认知，或通过更多复杂的方法来完成。当知道少数的选择存在或者任务协调模块50基于目前为止用户的输入可确定对于用户合适的选项时，允许用户减少他们的决定和用户界面选项。因为任务协调模块50基于可用的装置和资源确定可用选项，所以任务协调模块50还可填充可用选项。例如，如果仅有一个音乐装置存在(CD播放器)，那么房间修饰语和装置选择在运行时间作为任何下层设备自动操作的部分被去除。
因此，本发明允许用户指定任务，而不是装置操作；允许应用或者装置指定它们执行什么功能；允许用户界面仅搜索可被表达/执行的任务而不是存在的所有任务；提供允许用户快速地表达任务的标准化词汇表；并且允许简单的程序在无需复杂的自然语言处理的情况下确定用户任务。
如上文所述，在本发明的另一方面中提供一种使用单独的任务描述和装置功能描述来描述消费电子产品装置的方法。因而，使用装置功能描述和提取的装置交互两者来表达装置交互。这样，装置描述(即，装置功能)和用户任务(即，装置用法)被逻辑上分成一组丰富的描述。使用那些描述，可描述一组消费电子产品(如在家庭中的那些)和通过其它们可进行交互的一组可行的方式。基于任务描述和装置描述的复杂性，复杂的顺序的、并行的和协调的交互可被表达以协调家庭装置的功能以执行用户任务。其提供：以灵活的描述而不是作为担当黑匣子的控制器程序描述的装置交互；更加接近地匹配家庭装置用法的用户感知的结构的装置交互；允许交互不被集中在一个单独装置(即，无进行任务映射的直接装置)上的任务描述；和作为允许共同操作的描述和描述的相互交换的任务建议的用户任务的描述。
参照图5，在一示例中，消费电子产品40的描述300被提供作为两个逻辑描述：任务描述310(即，用户任务)和装置描述320(即，装置功能)。这些描述310、320以这样的方式相互联系任务建议可允许控制器30了解在家庭网络85中可使用哪个可行的装置40基于任务描述310来完成任务建议。该类型描述310具有多种用途，但是主要地是其允许任务从家庭网络85中的装置40分离。还允许任务从以预置的和预定义的顺序对公知的现有的装置以程序执行任务的黑匣子控制器类型的应用分离。
如图5所示，任务描述310包括四部分：(1)任务外部描述330，(2)任务性质340，(3)任务功能350和(4)任务动作360。任务外部描述330概述伪语句(注意，在该示例中图2的任务描述95和图5的任务描述330相同)。任务性质340表达关于任务的有用的信息(例如，当DVD被播放时可随意地调暗灯光，或允许某些用户使用该任务)。任务功能350表达由完成目的的任务所需的功能。该功能被使用与装置描述320共享的术语所描述并描述装置40的提取的功能。例如，DVD播放器可以是“AVSource”。该功能被描述为功能的层次。另外，如果DVD播放器具有一些多功能操作的形式，那么它可以被描述为AV源。或者，被描述为作为描述DVD播放器的“AVSource”的子类“DVDAVSource”。最后，任务动作360描述实现所列功能的装置的先后顺序和组合。
另外，装置描述320具有与任务描述相似的结构并且共享功能描述。装置描述320可包括功能350A，其中，任务描述310中的任务功能350映射为在装置描述320中的功能350A。功能350A可包括功能描述370、装置基础380和装置属性(例如，屏幕大小，特征等)。功能描述370概述装置40的功能。例如，当代码转换机具有如MPEGAudioSink和MPEGAudioSource的功能时，CD播放器是AudioSink。装置基础380描述如何基于功能描述370来控制装置40。例如，可包括URL以调用来改变音量级，安装装置连接等。或者，其还可具有通过表达控制装置所必需的UPNP交互来控制UPNP装置的基础。正如本领域的技术人员将理解的那样，其他装置控制协议也可被使用。
在运行时间，任务描述310和装置描述320被任务协调模块50读出并且被分析以确定匹配任务功能350的一组装置40是否存在。如果存在，任务协调模块50将匹配任务功能350的装置作为对于任务的候选装置。任务协调模块50然后在可用装置40中循环来确定实现任务的功能350的装置40的组合。匹配任务/装置组合的组被从该搜索返回并且被呈现给用户作为在GUI 60(图2)的输出解决方案75。用户选择他喜欢的伪语句，其被映射到任务/装置组合并通过使用依次需要使用在装置描述320中的装置基础380的装置动作以完成任务的任务动作来例示任务。
因为在描述300中，装置描述320仅在逻辑上与任务描述310分离，并未阻止装置40将它的功能描述为除了参与更大任务之外的任务描述，并且描述可被物理地组合。可选择的实现是使用语义网技术的装置描述320和任务描述310的组合，以允许共享的语义的本体(语言)被用于以作为机器可读的语义的方式丰富地描述装置和任务的所有方面。尽管上面的描述是在家庭消费电子产品的情况中，但是如本领域的那些技术人员所认识到的，本发明可被用于如在移动装置、桌上计算、企业计算等的其他应用中。
因而，模块50组合任务描述和装置描述以确定装置是否可用于特定的任务。为了执行用户任务，模块50获得关于任务和装置描述的组合的信息以确定用于装置的基础信息，其中，任务描述包括模块50使用其协调装置动作的动作脚本的序列。另外，模块50将来自多个装置描述的基础信息与任务描述脚本组合以产生用于控制用于用户任务的装置的具体脚本。在来自装置描述的功能基础上指定装置基础信息。另外，装置基础信息指定交互和参数设置以确定装置的控制。可以以统一资源标识符(URI)的形式来指定装置基础以描述使用的动作和参数。另外，装置基础信息可包括将其组合以实现所需的功能的多个基础信息部分。另外，装置描述可包括映射为由控制或装置软件使用的不同协议的多个基础信息部分。
现在描述使用上面方法以提高下层装置40的功能和智能的根据本发明的实施例的任务协调系统10的示例实现。如图2所示，任务协调系统10实现对于用户向系统10请求任务建议的技术和解释和处理该任务建议的技术。在该实施例中，采用多个基于语义网的工具和技术来建立有效的系统，包括以语义的丰富标记语言开发用于实体(例如，装置)的本体。本体被构建以表示家庭装置40和用户任务请求95，并且下面将详细描述本体。
任务协调模块50向用户提供任务建议，并且从用户接收请求以协调由用户选择的任务建议的执行。任务协调模块50使用推理引擎65(图1B)与用户界面60(图2)结合作为上层以通过对其解析、发现可执行选择的任务建议的适当的装置40和将该信息传到用于执行的底层(例如，模块70)来处理选择的任务建议95。在一示例中，适当的标记语言与推理引擎65一起被用来在以该语言表达的内容中进行推论，因此实体相互通信和知晓。在一方案中，语义技术被用来描述装置功能和任务以促进以功能为中心的装置的连接。
例如，代表性地下面类型的装置40在家庭网络85中：
电视——显示音频/视频
DVD——播放音频/视频，显示照片
PC——显示音频/视频，显示照，玩游戏，AV源
接收器——将源与宿相连，播放音频，播放广播
冰箱——上网，播放音频/视频，控制
灯——控制
电话——播放音频，呼叫用户，用户数据库
PVR——记录音频/视频，暂停，播放，存储照片，显示照片
相机——记录音频/视频，播放音频/视频，流传输音频/视频等
在该家庭网络85中的可能的任务示例可包括：
“灌溉”“花园”
“播放”“电影”“黑客帝国”“环绕音效”
“显示”“照片”“巴西”
“同步”“MP3播放器”
“调暗”“灯光”
“播放”“我的音乐”“起居室”
以上示例(情况)使用例如伪语句语言来表达任务建议，而例如语义语言被用来描述装置和功能，并且推理引擎被用来在知识间进行推论并执行任务请求。在一示例中，选择的用来表达本体/规则的语言提供：语义级的协议、高度的灵活性和可表达性、对于类型和归类的支持、对于数据类型的支持、和限制和约束的表达。在任务协调模块50中包括知识库105(图2)。
在另一示例中，语义网技术可被用在任务协调模块50中。语义网是当前网的扩展，其中，信息被给予明确的意义，语义网能更好地使计算机和人协调工作。对语义网设计的标记语言提供在不同实体间的公共的理解。示例语义网技术包括对语义网开发的DAML+OIL、DAML-S、OWL等。在任务协调模块50的一示例中，装置和任务本体110通过使用DAML+OIL被构建并且被加载在其所在的知识库105中。装置40的多种属性和功能被识别并且构成本体，其还获得在属性间的关系。另外，基于本体构建在DAML+OIL中的装置实例115，其中，在界面和功能方面，它实质上是装置的语义描述。由图1B中的任务协调流程所示，用户选择的任务建议被分成一个或多个作为被需要并映射为可由可用装置执行的任务功能的任务。通过在以本体表达的信息间进行推理(推论)并执行关于装置/用户的状态/偏好的附加的规则使得映射成为可能。
现在参照图2和图4中的示例，任务协调模块50存在于控制器30中，该控制器与为任务协调模块50提供界面的模块进行交互以在每当需要时获得装置描述。在一实施例中，由现有的装置提供的DAML+OIL任务实例120被声明在知识库105中，写为Jess规则和/或DAML+OIL的预定义的用户偏好130也被加载到知识库105中。另外，关于请求的任务的装置偏好和关于用于任务所需的功能的属性偏好被合并。全部可行的‘动词’(例如，“播放”)和‘对象’(例如，“电影”)从被知识库105中检索并且被显示在GUI 60上。
因而，用户的任务请求作为一组字段135(例如，图2)通过GUI 60被获得并且作为任务协调模块50的知识库105的输入被提供。在一示例中，从用户获得的输入包括全部可选择字段。在另一示例中，从用户获得的输入包括：
a)强制的字段：动词，对象和内容，位置，终端装置
b)可选择字段：属性(例如，环绕音效，宽屏等)
在该示例中，在用户选择‘动词’和‘对象’之后，任务协调模块50与在模块70中的协议堆栈通信以获得在该‘对象’的情况中相关的全部可用内容。
一获得由用户选择的完整的任务建议，任务协调模块50即解析任务建议和相应的任务描述95并计算作为解决方案的可服务请求的装置40的全部可行的组合。然后，任务协调模块50在通过GUI 60调用作为对用户的输出75的显示之前应用偏好并排列解决方案。
如前所述，任务协调模块50通过GUI 60与用户交互，并且与推理引擎65(图1B)和规则引擎130(图2)交互。任务协调模块50还包括用于以事实的形式存储本体100的知识库105并对数据应用规则130。
现在还参照图6的流程图步骤，描述示例操作情况：
1.在步骤400中，在启动期间装置和任务本体110被声明到知识库105中，其中，本题内容被转换成以‘(Property Value subclass manperson)’格式的事实。
2.在步骤405中，装置实例115和任务实例120也被声明到知识库105中。在此示例中，对如电视、CD播放器、DVD播放器、IPAQ、扬声器、代码转换机等的视听(AV)装置执行本体110。
3.在步骤410中，在本体110和实例115、120被加载之后，从知识库105中的事实中提取‘动词’，与‘动词’相关的‘对象’，和由装置40支持的‘任务’。
4.在步骤415中，以相似的方式，执行上面识别的任务所需的‘功能’也被从知识库105中的事实提取并作为用于容易检索的新事实被存储。
5.在步骤420中，使用GUI 60，用户通过选择例如‘动词’，与‘动词’的情况相关的‘对象’，和相关的内容(哪个种类是所选择的对象)来指定/选择任务建议95。用户还可指定在其中将执行请求的/选择的任务建议的偏好的位置和/或终端装置40。
6.在步骤425中，执行任务所需要的装置功能被识别(优选地，该信息被预前计算并存储为易于检索的事实，由此在该步骤中消耗很少的时间)。
7.在步骤430中，任务协调模块50识别作为解决方案的处理需要的功能的装置40。如果任务需要许多功能，那么任务协调模块50识别可共同地执行/服务该任务的一组装置40。
8.在步骤435中，在识别可执行用户选择的任务建议的该组装置40之后，对该组解决方案应用用户偏好130并给出排列。
9.在步骤440中，最终以它们的排列的递增顺序向用户显示该组解决方案作为输出75。对于家庭网络的示例排列是家庭中的起居室外包括等离子电视、PC、扬声器和IPAQ。用户已设置偏好如：播放电影时选择大于40英寸的装置屏幕大小，和播放音频时，优选通过IPAQ作为扬声器。对于任务请求“在起居室中播放电影‘黑客帝国’”，任务协调模块50识别可执行请求的/选择的任务建议的装置的下列组合(解决方案)：PC&扬声器、PC&IPAQ和等离子电视。解决方案根据上面的用户的偏好被排列并且向用户显示为：(1)等离子电视，(2)PC&扬声器，(3)PC&IPAQ。
用户在解决方案中选择装置40的最偏好的组合，并通过使用依次需要使用在装置描述320(图5)中的装置基础380来完成任务的装置动作的任务动作来例示任务。如上所述，一旦用户选择一组装置40以执行请求的任务，那么任务协调模块50调用在任务所需的装置上的适当的接口。
参照图7的流程图步骤，在下文中，描述用户接口模块60的实施例的示例操作。用户可以以下面示例描述的四个步骤使用GUI模块来递增地组成任务请求：
1.在步骤500中，在GUI 60中显示全部有效的‘动词’的列表。用户可从列表选择‘动词’然后点击‘下一步’以继续下一步骤(即，步骤505)。在点击‘下一步’之前的任何时候，用户可改变选择的‘动词’。
2.在步骤505中，在GUI 60显示与选择的‘动词’相关的全部‘对象’的列表。用户可从列表选择‘对象’，然后点击‘下一步’以进入下一阶段(即，步骤510)。在点击‘下一步’之前的任何时候，用户可改变选择的‘对象’。用户还可点击‘返回’或者‘重启动’以转到先前的阶段(即，步骤500)并改变选择的‘动词’。
3.在步骤510中，显示与选择的‘对象’相关的全部‘内容’的列表。用户可从列表选择一些‘内容’，然后点击‘下一步’以进入下一步骤(即，步骤515)。在点击‘下一步’之前的任何时候，用户可改变选择的‘内容’。用户还可点击‘返回’以转到先前的步骤(即，步骤505)并改变选择的‘对象’，或者可点击‘重启动’以转到步骤500并改变选择的‘动词’。在任何以上步骤期间或在步骤510的结束，用户可设置用于任务执行的期望的位置和/或执行全部的任务或部分任务的终端装置。
4.在步骤515中，任务协调模块50在选择的‘动词’、‘对象’、‘内容’、用户偏好(如通过GUI设置的位置、终端装置和被指定为事实和规则的其他偏好)、和关于在知识库105中对其处理的现有的装置和任务的事实间进行内部推论。在推论之后，任务协调模块50确定可执行请求的任务的装置的全部可能的组合(即，解决方案)。获得的该组解决方案在任务协调模块50内部被排列并最终通过GUI 60向用户显示(例如，以递增的排列顺序)。下文描述在步骤515中的示例处理。任务协调模块50读入任务和装置描述，并将该信息作为事实存储在知识库105中。推理引擎65解释任务和装置描述，并推导出在任务和装置描述中未直接指定，而是以类和性质的形式指定的新的信息，和它们之间的关系。任务协调模块50可处理和操作该信息。
在一示例中，任务协调模块50中包括的基本步骤包括：
1.读入任务和装置描述。
2.对任务和装置描述应用语义。
3.使用解析器转换被加载到知识库105的任务和装置描述。
4.使用如上所述的其他规则和询问。
如上所述，本体110被构建为机制以描述任务、装置和用户偏好。通常，本体是概念化的规范；它是用于实体或实体集(例如，装置、用户等)而可存在的概念和关系的描述(如以程序的正式规范)。在该示例中，装置和任务被基于提供的或需要的它们的基本属性/性质和/或功能而描述。使用标记语言编码所述描述，其中，基于该描述用户的任务请求可被理解、处理和服务。
另外，在本体110中可包括‘功能+内容类型’属性。在此本体110的示例实现中，对于装置40提供的每一功能，还指定哪种类型数据被作为输入所接受(内容类型)、装置40可从哪些资源接受输入和哪种类型的数据被作为输出而产生(如果有)。其对于响应非常通用的和未指定内容类型的请求是充分的。然而，如果任务协调模块50将对装置40提供基于内容类型的查找，那么需要表示包括内容类型的功能(例如，mp3render)的方法，其不是作为单独的属性。可通过可在本体110中包括的‘功能+内容类型’属性来完成该方法。
另外，用于表达用户偏好130的本体可被使用。在此示例实现中，偏好130可被以相似于装置实例115和任务实例120被指定的方式的标记语言来表达。为了以标准的/通用的格式进行描述并且为了更好地表达在一组偏好的不同属性之间的关系，本地可被使用，基于此，用户偏好的实例可被构建。
还可实现用于理解偏好的机制。作为示例，任务协调模块50可理解如“当播放电影时选择具有较大屏幕大小的装置”的偏好。优选地，任务协调模块50可理解“等离子电视总是好于任何其他类型的电视，甚至具有最大屏幕大小的电视”。另外，可应用于所有类型装置，甚至在实现时间未知的装置的更多通用本体被包括。
尽管此示例与消费电子产品和家庭网络相关，但是如本领域的那些技术人员所认知的，本发明可被应用于如移动个人装置、桌上任务、复杂企业系统等的其他装置和体系结构。另外，即使在本描述中已结合消费电子产品描述任务协调系统的实施例，但是本领域的那些技术人员认识到在公知的一组实体相互作用为任务并需要用于用户协调那些实体的简单的方法(例如，用于指定多种操作的生产线或在组装自动机器上配置)的其他应用中本发明是有用的。另外，因为将逻辑装置分离，没有它们不能被组合成物理装置的原因。尽管通过示例在此描述的是单个的控制器/协调模块时，但是一组装置可参与控制器动作或确定装置的协调。
已参照本发明的某些优选方案对其进行的相当详细的描述；然而，其他方案也是可行的。因此，所附的权利要求的精神和范围不应该受限于包含在其中的优选方案的描述。

Claims (45)

1、一种在任务协调系统中将由多个电子装置的一个或多个执行的用户任务的任务协调方法，包括以下步骤：
(a)获得装置功能描述，其中，每一装置功能描述描述装置可执行的功能；
(b)获得任务描述，其中，每一任务描述描述某任务需要的装置功能；
(c)基于获得的任务描述和装置功能描述产生任务建议，其中，每一任务建议将用户任务表示为一个或多个获得的装置功能描述和任务描述的提取；
(d)将任务建议显示在显示器上，以便用户从中选择，其中，由一个或多个装置执行用户选择的任务建议；和
(e)使用任务和装置功能描述推理可由可以执行选择的任务建议的装置和装置组合执行的任务。
2、根据权利要求1所述的方法，其中，步骤(e)还包括使用推理引擎以基于任务和装置功能描述对可由可以执行选择的任务建议的装置和装置组合执行的任务进行推理的步骤。
3、根据权利要求1所述的方法，其中，步骤(e)还包括以下步骤：
构建装置功能描述为装置本体；
构建任务描述为任务本体；和
使用装置和任务本体将用户选择的任务建议映射为可由可用的装置执行的任务。
4、根据权利要求1所述的方法，其中，步骤(c)还包括以下步骤：
构建装置功能描述为装置本体；
构建任务描述为任务本体；
基于装置本体构建装置实例；
基于任务本体构建任务实例；和
使用装置和任务本体和实例将用户选择的任务映射为可由可用的装置执行的任务。
5、根据权利要求1所述的方法还包括步骤：控制装置组合执行选择的用户任务建议。
6、根据权利要求1所述的方法，其中，使用被组织为一组术语以将用户任务描述为获得的装置功能描述和任务描述的提取的语言结构来表示任务建议。
7、根据权利要求6所述的方法，其中，语言结构被以最接近地匹配自然语言的形式表示。
8、根据权利要求7所述的方法，其中，显示任务建议的步骤还包括显示描述任务建议的上述术语；和在选择任务建议中，允许用户选择术语由此用户选择的任务建议可被可用的装置执行的步骤。
9、根据权利要求7所述的方法，其中，显示任务建议的步骤还包括步骤：显示可由装置执行的任务建议。
10、根据权利要求8所述的方法，其中，选择的术语减少了任务建议的范围。
11、根据权利要求6所述的方法，其中，在语言结构中，一个或多个术语相互修饰。
12、根据权利要求11所述的方法，其中，修饰术语减小另一术语的范围。
13、根据权利要求11所述的方法，其中，术语包括组织的‘动词’和‘对象’，其中，‘对象’修饰‘动词’。
14、根据权利要求13所述的方法，其中，‘动词’定义用户任务动作。
15、根据权利要求11所述的方法，其中，术语包括‘动词’，‘对象’和‘修饰语’，其中，‘对象’修饰‘动词’并且‘修饰语’修饰‘对象’。
16、一种用于相互连接的装置的网络的任务协调系统，包括：
任务驱动控制器，其获得描述装置可执行的功能的装置功能描述并获得描述任务需要的装置功能的任务描述，并且基于获得装置功能和任务描述产生任务建议，其中每一任务建议将用户任务表示为一个或多个获得的装置功能和任务描述的提取；和
用户界面装置，其在显示器上显示任务建议以便用户从中选择，其中，由选择的任务建议表示的用户任务将由一个或多个装置执行；
其中，控制器还使用任务和装置功能描述对可由可以执行选择的用户任务建议的装置和装置组合执行的任务进行推理。
17、根据权利要求16所述的系统，其中，控制器包括推理引擎，用于基于任务和装置功能描述对可由可以执行选择的用户任务建议的装置和装置组合执行的任务进行推理。
18、根据权利要求16所述的系统，其中，控制器还：
构建装置功能描述为装置本体；
构建任务描述为任务本体；和
使用装置和任务本体将用户选择的任务建议映射为可由可用的装置执行的任务。
19、根据权利要求16所述的系统，其中，控制器还：
构建装置功能描述为装置本体；
构建任务描述为任务本体；
基于装置本体构建装置实例；
基于任务本体构建任务实例；和
使用装置和任务本体和实例将用户选择的任务建议映射为可由可用的装置执行的任务。
20、根据权利要求16所述的系统，其中，控制器还控制装置组合执行选择的用户任务建议。
21、根据权利要求16所述的系统，其中，与控制器结合，用户界面装置显示考虑到可用装置、任务和装置功能的情况下可行的任务建议。
22、根据权利要求16所述的系统，其中，与控制器结合，用户界面装置基于装置描述显示可用的任务建议和选项。
23、根据权利要求16所述的系统，其中，以本体语言表达每一任务描述，在本体语言中，装置向控制器表达任务，由此控制器确定期望的用户任务并将用户任务描述与用于执行用户任务的装置匹配。
24、根据权利要求23所述的系统，其中，控制器还从用户界面装置获得用户偏好以完成任务。
25、根据权利要求16所述的系统，其中，控制器包括：
任务协调模块；和
知识库；
其中：
装置功能描述被构建为装置本体并被存储在知识库中；
任务描述被构建为任务本体并被存储在知识库中；
任务协调模块使用来自知识库的装置和任务本体将用户选择的任务建议映射为可由装置执行的任务。
26、根据权利要求16所述的系统，其中，控制器通过使用术语的语言结构表示任务建议来产生任务建议以将用户任务描述为装置功能的提取。
27、根据权利要求16所述的系统，其中，在语言结构中，一个或多个术语相互修饰。
28、根据权利要求27所述的系统，其中，修饰术语减少另一术语的范围。
29、根据权利要求28所述的系统，其中，用户界面装置显示表示任务建议的所述术语，并在选择任务建议中，允许用户选择术语以修饰另一术语，由此用户选择的任务建议可由可用的装置执行。
30、根据权利要求16所述的系统，其中，任务建议对用户掩蔽装置功能。
31、根据权利要求16所述的系统，其中，装置包括消费电子产品。
32、根据权利要求16所述的系统，其中，装置功能描述包括装置功能描述和装置基础。
33、根据权利要求32所述的系统，其中，功能描述概述装置的功能。
34、根据权利要求32所述的系统，其中，装置基础基于功能描述来描述装置控制。
35、根据权利要求32所述的系统，其中，任务描述包括提供能共同操作的描述和描述的相互交换的语义本体。
36、根据权利要求32所述的系统，其中，控制器还使用顺序的、并行的和协同的装置相互作用以协调装置的功能来执行用户任务。
37、根据权利要求32所述的系统，其中，控制器将任务描述与装置描述组合以确定装置是否可被用于特定的任务。
38、根据权利要求32所述的系统，其中，为了执行用户任务，控制器获得关于任务和装置描述的组合的信息以确定用于装置的基础信息。
39、根据权利要求32所述的系统，其中，任务描述包括控制器用来协调装置动作的一系列动作脚本。
40、根据权利要求39所述的系统，其中，控制器将来自多个装置描述的基础信息与任务描述脚本组合以产生用于控制用于用户任务的装置的具体的脚本。
41、根据权利要求39所述的系统，其中，在来自装置描述的功能基础上指定装置基础信息。
42、根据权利要求39所述的系统，其中，装置基础信息指定交互作用和参数设置以确定装置的控制。
43、根据权利要求42所述的系统，其中，以统一资源标识符(URI)的形式来指定装置基础以描述将使用的动作和参数。
44、根据权利要求43所述的系统，其中，装置基础信息包括被组合以完成需要的功能的多个基础信息部分。
45、根据权利要求39所述的系统，其中，装置描述包括映射为由控制或装置软件使用的不同协议的多个基础信息部分。
CN2005101049497A 2004-09-22 2005-09-22 用于消费电子产品上的任务协调的方法和系统 Expired - Fee Related CN1855036B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/948,399 2004-09-22
US10/948,399 US8099313B2 (en) 2004-09-22 2004-09-22 Method and system for the orchestration of tasks on consumer electronics

Publications (2)

Publication Number Publication Date
CN1855036A true CN1855036A (zh) 2006-11-01
CN1855036B CN1855036B (zh) 2012-05-09

Family

ID=35744660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005101049497A Expired - Fee Related CN1855036B (zh) 2004-09-22 2005-09-22 用于消费电子产品上的任务协调的方法和系统

Country Status (5)

Country Link
US (1) US8099313B2 (zh)
EP (1) EP1647884A3 (zh)
JP (1) JP5027396B2 (zh)
KR (1) KR100727977B1 (zh)
CN (1) CN1855036B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016843A (zh) * 2008-04-30 2011-04-13 阿尔卡特朗讯公司 双模内容搜索、选择、传送和播出的方法和装置
CN102270221A (zh) * 2010-06-04 2011-12-07 微软公司 用于搜索的相关任务和小任务

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8185427B2 (en) * 2004-09-22 2012-05-22 Samsung Electronics Co., Ltd. Method and system for presenting user tasks for the control of electronic devices
US8099313B2 (en) 2004-09-22 2012-01-17 Samsung Electronics Co., Ltd. Method and system for the orchestration of tasks on consumer electronics
US8412554B2 (en) * 2004-09-24 2013-04-02 Samsung Electronics Co., Ltd. Method and system for describing consumer electronics using separate task and device descriptions
US8510737B2 (en) * 2005-01-07 2013-08-13 Samsung Electronics Co., Ltd. Method and system for prioritizing tasks made available by devices in a network
US8069422B2 (en) * 2005-01-10 2011-11-29 Samsung Electronics, Co., Ltd. Contextual task recommendation system and method for determining user's context and suggesting tasks
US8205013B2 (en) * 2005-05-02 2012-06-19 Samsung Electronics Co., Ltd. Method and system for aggregating the control of middleware control points
US8150857B2 (en) 2006-01-20 2012-04-03 Glenbrook Associates, Inc. System and method for context-rich database optimized for processing of concepts
US8028283B2 (en) * 2006-03-20 2011-09-27 Samsung Electronics Co., Ltd. Method and system for automated invocation of device functionalities in a network
US20070233287A1 (en) * 2006-03-30 2007-10-04 Samsung Electronics Co., Ltd. Dynamic generation of tasks in resource constrained devices
US20070261055A1 (en) * 2006-05-04 2007-11-08 Samsung Electronics Co., Ltd. Method and system for the generic and flexible access of available tasks through a user interface
US20070279389A1 (en) * 2006-05-31 2007-12-06 Samsung Electronics Co., Ltd. Method of task-oriented universal remote control user interface
US8332209B2 (en) * 2007-04-24 2012-12-11 Zinovy D. Grinblat Method and system for text compression and decompression
KR101362224B1 (ko) 2007-12-03 2014-02-13 연세대학교 산학협력단 태스크 기반 사용자 인터페이스 생성 장치 및 그 방법
US20100083150A1 (en) * 2008-09-30 2010-04-01 Nokia Corporation User interface, device and method for providing a use case based interface
US20120117456A1 (en) * 2010-11-05 2012-05-10 Nokia Corporation Method and apparatus for automated interfaces
US9300539B2 (en) * 2011-08-04 2016-03-29 International Business Machines Corporation Network computing management
US9654821B2 (en) 2011-12-30 2017-05-16 Sonos, Inc. Systems and methods for networked music playback
DE102012003837A1 (de) 2012-02-29 2013-08-29 Rwe Effizienz Gmbh Verfahren zum Betreiben eines Systems zur Heimautomatisierung sowie ein Heimautomatisierungssteuerungssystem
US9674587B2 (en) 2012-06-26 2017-06-06 Sonos, Inc. Systems and methods for networked music playback including remote add to queue
US9501533B2 (en) 2013-04-16 2016-11-22 Sonos, Inc. Private queue for a media playback system
US9247363B2 (en) 2013-04-16 2016-01-26 Sonos, Inc. Playback queue transfer in a media playback system
US9361371B2 (en) 2013-04-16 2016-06-07 Sonos, Inc. Playlist update in a media playback system
US10715973B2 (en) 2013-05-29 2020-07-14 Sonos, Inc. Playback queue control transition
US9703521B2 (en) 2013-05-29 2017-07-11 Sonos, Inc. Moving a playback queue to a new zone
US9953179B2 (en) 2013-05-29 2018-04-24 Sonos, Inc. Private queue indicator
US9684484B2 (en) * 2013-05-29 2017-06-20 Sonos, Inc. Playback zone silent connect
US9735978B2 (en) 2013-05-29 2017-08-15 Sonos, Inc. Playback queue control via a playlist on a mobile device
US9495076B2 (en) 2013-05-29 2016-11-15 Sonos, Inc. Playlist modification
US9798510B2 (en) 2013-05-29 2017-10-24 Sonos, Inc. Connected state indicator
KR102566171B1 (ko) * 2016-01-06 2023-08-11 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2017119663A1 (en) * 2016-01-06 2017-07-13 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
US10168988B2 (en) * 2016-05-24 2019-01-01 International Business Machines Corporation Identifying user preferences and changing settings of a device based on natural language processing
EP3521948A1 (en) * 2018-02-06 2019-08-07 Tata Consultancy Services Limited Systems and methods for auto-generating a control and monitoring solution for smart and robotics environments
KR102509465B1 (ko) * 2018-05-07 2023-03-14 구글 엘엘씨 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법, 시스템, 및 장치

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05197573A (ja) * 1991-08-26 1993-08-06 Hewlett Packard Co <Hp> タスク指向パラダイムによるタスク管理システム
US5410326A (en) * 1992-12-04 1995-04-25 Goldstein; Steven W. Programmable remote control device for interacting with a plurality of remotely controlled devices
JP3408850B2 (ja) * 1992-12-09 2003-05-19 三菱電機株式会社 クライアント・サーバシステムおよびその制御方法、並びにクライアント機装置
EP0626635B1 (en) 1993-05-24 2003-03-05 Sun Microsystems, Inc. Improved graphical user interface with method for interfacing to remote devices
US5555376A (en) * 1993-12-03 1996-09-10 Xerox Corporation Method for granting a user request having locational and contextual attributes consistent with user policies for devices having locational attributes consistent with the user request
US5812865A (en) * 1993-12-03 1998-09-22 Xerox Corporation Specifying and establishing communication data paths between particular media devices in multiple media device computing systems based on context of a user or users
JP3488525B2 (ja) * 1994-12-13 2004-01-19 富士通株式会社 ヘルプ画面表示方法およびヘルプ画面表示装置
US5910799A (en) * 1996-04-09 1999-06-08 International Business Machines Corporation Location motion sensitive user interface
JP3857388B2 (ja) * 1997-06-27 2006-12-13 富士通株式会社 移動通信端末
US6421069B1 (en) 1997-07-31 2002-07-16 Sony Corporation Method and apparatus for including self-describing information within devices
US6563430B1 (en) * 1998-12-11 2003-05-13 Koninklijke Philips Electronics N.V. Remote control device with location dependent interface
EP1060448A1 (en) 1998-11-10 2000-12-20 Koninklijke Philips Electronics N.V. Upgrading of synergetic aspects of home networks
KR20000033089A (ko) 1998-11-19 2000-06-15 윤종용 메뉴 기능 안내 방법
US7225229B1 (en) * 1998-12-18 2007-05-29 Tangis Corporation Automated pushing of computer user's context data to clients
US7046263B1 (en) * 1998-12-18 2006-05-16 Tangis Corporation Requesting computer user's context data
US6848104B1 (en) 1998-12-21 2005-01-25 Koninklijke Philips Electronics N.V. Clustering of task-associated objects for effecting tasks among a system and its environmental devices
WO2000039964A1 (en) 1998-12-29 2000-07-06 Koninklijke Philips Electronics N.V. Home control system with distributed network devices
US6957075B1 (en) * 1999-02-01 2005-10-18 Intel Corporation Method and apparatus for providing a location based appliance personality
JP4258585B2 (ja) 1999-03-19 2009-04-30 株式会社エクォス・リサーチ 目的地設定装置
US6256019B1 (en) * 1999-03-30 2001-07-03 Eremote, Inc. Methods of using a controller for controlling multi-user access to the functionality of consumer devices
AU4183600A (en) * 1999-03-30 2000-10-16 Sony Electronics Inc. A method and a device for managing resources in a network
US6567840B1 (en) 1999-05-14 2003-05-20 Honeywell Inc. Task scheduling and message passing
US20010032132A1 (en) * 2000-01-28 2001-10-18 Dan Moran System for message delivery in interactive communication networks
WO2001069380A2 (en) 2000-03-14 2001-09-20 Edapta, Inc. A system and method for enabling dynamically adaptable user interfaces for electronic devices
US7076255B2 (en) * 2000-04-05 2006-07-11 Microsoft Corporation Context-aware and location-aware cellular phones and methods
JP4576675B2 (ja) 2000-06-30 2010-11-10 ソニー株式会社 制御システム、制御機器及びサーバ
WO2002009456A2 (en) * 2000-07-20 2002-01-31 Aeptec Microsystems, Inc. Method, system, and protocol for location-aware mobile devices
JP2002049556A (ja) 2000-08-02 2002-02-15 Sharp Corp 家庭内メディア配信システム
JP2002063033A (ja) 2000-08-21 2002-02-28 Toko Seiki Co Ltd オントロジを備えた知識管理システム
CN1183463C (zh) * 2000-09-18 2005-01-05 海尔集团公司 网络家电控制中心装置
CN2457667Y (zh) * 2000-09-22 2001-10-31 海尔集团公司 网络家电控制装置
US6931630B1 (en) * 2000-09-27 2005-08-16 International Business Machines Corporation Method of, system for, and computer program product for providing automatic identification of a computer program code candidate for web deployment or a stored procedure
US20030046401A1 (en) * 2000-10-16 2003-03-06 Abbott Kenneth H. Dynamically determing appropriate computer user interfaces
US7290039B1 (en) * 2001-02-27 2007-10-30 Microsoft Corporation Intent based processing
US20020138327A1 (en) * 2001-03-26 2002-09-26 Mello Celso Luis System for remotely managing elevator mechanic service routine
KR100438696B1 (ko) * 2001-04-13 2004-07-05 삼성전자주식회사 홈네트워크 환경에서의 디바이스 제어 시스템 및 방법
GB0111431D0 (en) 2001-05-11 2001-07-04 Koninkl Philips Electronics Nv A real-world representation system and language
US7206559B2 (en) * 2001-10-16 2007-04-17 Hewlett-Packard Development Company, L.P. System and method for a mobile computing device to control appliances
US6954737B2 (en) * 2001-11-05 2005-10-11 Johnsondiversey, Inc. Method and apparatus for work management for facility maintenance
JP4164280B2 (ja) * 2002-04-11 2008-10-15 キヤノン株式会社 周辺機器およびジョブ管理方法およびコンピュータが読み取り可能な記憶媒体およびプログラム
US7170422B2 (en) * 2002-06-24 2007-01-30 Matsushita Electric Industrial Co., Ltd. Personal programmable universal remote control
US6792323B2 (en) * 2002-06-27 2004-09-14 Openpeak Inc. Method, system, and computer program product for managing controlled residential or non-residential environments
US7024256B2 (en) * 2002-06-27 2006-04-04 Openpeak Inc. Method, system, and computer program product for automatically managing components within a controlled environment
CN1242591C (zh) * 2002-08-19 2006-02-15 乐金电子(天津)电器有限公司 局域网络系统的家电产品的控制方法
JPWO2004019225A1 (ja) * 2002-08-26 2005-12-15 富士通株式会社 状況付情報を処理する装置および方法
CA2495038C (en) 2002-09-30 2012-11-06 Microsoft Corporation System and method for making user interface elements known to an application and user
US20040100505A1 (en) 2002-11-21 2004-05-27 Cazier Robert Paul System for and method of prioritizing menu information
US8561069B2 (en) * 2002-12-19 2013-10-15 Fujitsu Limited Task computing
JP2006513467A (ja) 2003-01-06 2006-04-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 多因子アプリケーション選択
US8607280B2 (en) * 2003-01-08 2013-12-10 Intel Corporation Resource and capability borrowing
US20040176118A1 (en) 2003-02-18 2004-09-09 Michael Strittmatter Service attribute based filtering system and method
JP2004266453A (ja) 2003-02-28 2004-09-24 Toshiba Corp ネットワークシステム、サーバ機器および通信方法
FR2852173B1 (fr) 2003-03-06 2005-05-27 France Telecom Systeme de creation d'ambiance et d'environnement de personnes a l'aide d'equipements electroniques multisensoriels
KR20040080663A (ko) 2003-03-12 2004-09-20 삼성전자주식회사 유비퀴터스 서비스 기능을 가지는 사설 네트워크 시스템및 그의 동작방법
US7064675B2 (en) * 2003-08-15 2006-06-20 Microsoft Corporation Context-sensitive remote controls
EP1526457B1 (en) * 2003-10-22 2013-03-13 Sony Deutschland GmbH Context-aware automatic service discovery and execution engine in mobile ad-hoc networks
KR100651729B1 (ko) 2003-11-14 2006-12-06 한국전자통신연구원 홈네트워크 환경에서의 멀티-모달 상황 인식어플리케이션을 위한 시스템 및 방법
US7526464B2 (en) * 2003-11-28 2009-04-28 Manyworlds, Inc. Adaptive fuzzy network system and method
US7761885B2 (en) * 2004-04-28 2010-07-20 Fujitsu Limited Task computing
US7496500B2 (en) 2004-03-01 2009-02-24 Microsoft Corporation Systems and methods that determine intent of data and respond to the data based on the intent
US7522549B2 (en) * 2004-04-16 2009-04-21 Broadcom Corporation Registering access device multimedia content via a broadband access gateway
US20050267770A1 (en) * 2004-05-26 2005-12-01 International Business Machines Corporation Methods and apparatus for performing task management based on user context
US8099313B2 (en) 2004-09-22 2012-01-17 Samsung Electronics Co., Ltd. Method and system for the orchestration of tasks on consumer electronics
US8185427B2 (en) * 2004-09-22 2012-05-22 Samsung Electronics Co., Ltd. Method and system for presenting user tasks for the control of electronic devices
US8412554B2 (en) 2004-09-24 2013-04-02 Samsung Electronics Co., Ltd. Method and system for describing consumer electronics using separate task and device descriptions
US7613285B2 (en) * 2004-12-07 2009-11-03 Electronics And Telecommunications Research Institute System and method for service-oriented automatic remote control, remote server, and remote control agent
KR100622303B1 (ko) 2004-12-07 2006-09-19 한국전자통신연구원 디지털 홈 네트워크 시스템의 지능형 관리 장치 및 관리방법
KR100682995B1 (ko) * 2004-12-16 2007-02-15 한국전자통신연구원 유비쿼터스 기반의 상황 정보 제공 서비스 시스템 및 그방법
US8510737B2 (en) * 2005-01-07 2013-08-13 Samsung Electronics Co., Ltd. Method and system for prioritizing tasks made available by devices in a network
US8069422B2 (en) 2005-01-10 2011-11-29 Samsung Electronics, Co., Ltd. Contextual task recommendation system and method for determining user's context and suggesting tasks
US8972872B2 (en) * 2006-03-27 2015-03-03 Fujitsu Limited Building computing applications based upon metadata
US20070233287A1 (en) * 2006-03-30 2007-10-04 Samsung Electronics Co., Ltd. Dynamic generation of tasks in resource constrained devices

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016843A (zh) * 2008-04-30 2011-04-13 阿尔卡特朗讯公司 双模内容搜索、选择、传送和播出的方法和装置
CN102016843B (zh) * 2008-04-30 2017-03-08 阿尔卡特朗讯公司 双模内容搜索、选择、传送和播出的方法和装置
CN102270221A (zh) * 2010-06-04 2011-12-07 微软公司 用于搜索的相关任务和小任务
CN102270221B (zh) * 2010-06-04 2016-10-05 微软技术许可有限责任公司 用于搜索的相关任务和小任务
US9916058B2 (en) 2010-06-04 2018-03-13 Microsoft Technology Licensing, Llc Related tasks and tasklets for search

Also Published As

Publication number Publication date
KR20060051203A (ko) 2006-05-19
CN1855036B (zh) 2012-05-09
EP1647884A2 (en) 2006-04-19
EP1647884A3 (en) 2012-04-04
JP5027396B2 (ja) 2012-09-19
KR100727977B1 (ko) 2007-06-13
US8099313B2 (en) 2012-01-17
JP2006092549A (ja) 2006-04-06
US20060064694A1 (en) 2006-03-23

Similar Documents

Publication Publication Date Title
CN1855036A (zh) 用于消费电子产品上的任务协调的方法和系统
CN1855037A (zh) 呈现用于电子装置的控制的用户任务的方法及系统
CN1855038A (zh) 使用分离的任务和装置描述来描述消费电子的方法和系统
CN1176427C (zh) 显示Web文件的方法以及系统
US20110060993A1 (en) Interactive Detailed Video Navigation System
WO2021103398A1 (zh) 一种智能电视以及服务器
US20090164946A1 (en) Hierarchical tag based browsing of media collections
CN1916894A (zh) 元数据编辑控制
CN1423194A (zh) 语法创建系统
CN1610346A (zh) 提供对话定位并且能够进行会话式通信的系统和方法
WO2022032916A1 (zh) 一种显示系统
CN1290370A (zh) 连接通用计算机与专用系统的方法和装置
US20230134235A1 (en) Applying a Visual Analytics Intent Language to Generate Data Visualizations
CN1290898A (zh) 在小型脚印尺寸装置上高速缓存缩减形式的网页
CN111949782A (zh) 一种信息推荐方法和服务设备
CN112380420A (zh) 一种搜索方法及显示设备
CN1859560A (zh) 一种提供媒体资源预览信息的方法
US20050004788A1 (en) Multi-level confidence measures for task modeling and its application to task-oriented multi-modal dialog management
US11561998B2 (en) Implementing a visual analytics intent language across multiple devices
CN111950288B (zh) 一种命名实体识别中的实体标注方法及智能设备
CN117882063A (zh) 应用可视化分析意图语言以生成数据可视化
CN117876522A (zh) 基于解耦自增强的细节可控个性化图像生成方法及系统
CN117951257A (zh) 一种对话数据的处理方法和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120509

Termination date: 20150922

EXPY Termination of patent right or utility model