CN103635915A - 控制信息显示装置、控制信息显示方法、以及控制信息显示系统 - Google Patents

Abstract

管理部(100)具备：需求计划生成部(106)，获得控制信息，该控制信息是与建筑物中设置的消耗能量的设备有关的控制信息，并且是用于满足针对建筑物的控制请求的控制信息；获得部(102x)，获得映出了设备的图像数据；图像数据保持部(102y)，保持获得部(102x)获得的图像数据；选择部(102z)，根据被指定的控制模式，从包含图像数据保持部(102y)保持的图像数据的选择候补中，选择提示图像数据；图像处理部(107x)，生成用于将与设备各自对应的控制信息提示给使用者的提示数据，并且将提示数据重叠在提示图像数据中的设备的位置的附近，所述设备是由选择部(102z)选择的提示图像数据中映出的设备；以及显示部(108)，显示提示数据被重叠的提示图像数据。

Description

控制信息显示装置、控制信息显示方法、以及控制信息显示系统

技术领域

本发明涉及控制信息显示装置、控制信息显示方法、以及控制信息显示系统。

背景技术

以往提出了控制器与各设备进行通信来收集能量的使用状况，并将各设备的能量使用的合理度提示给使用者的系统（例如，参考专利文献1）（参考专利文献1）。

(现有技术文献)

(专利文献)

专利文献1：日本专利第3888906号公报

专利文献2：国际公开第2011/052696号

然而，在被提示了用于满足针对建筑物的控制请求的控制请求的情况下，使用者不知道具体对哪个设备，怎么进行控制，才能达到被提示的控制请求。

发明内容

于是，本发明提供一种控制信息显示装置，向使用者提示为了达成被提示的控制请求所需要的控制信息。

为了解决所述以往的课题，本发明的一个实施例涉及的控制信息显示装置，具备：第一获得部，获得控制信息，该控制信息是与建筑物中设置的消耗能量的设备有关的控制信息，并且是用于满足针对所述建筑物的控制请求的控制信息；第二获得部，获得映出了所述设备的图像数据；图像数据保持部，保持所述第二获得部获得的所述图像数据；选择部，根据被指定的控制模式，从包含所述图像数据保持部保持的所述图像数据的选择候补中，选择提示图像数据；图像处理部，生成用于将与所述设备各自对应的所述控制信息提示给使用者的提示数据，并且将所述提示数据重叠在所述提示图像数据中的所述设备的位置的附近，所述设备是由所述选择部选择的所述提示图像数据中映出的设备；以及显示部，显示所述提示数据被重叠的所述提示图像数据。

另外，这些全体或具体的实施例，可以用系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等记录介质来实现，也可以任意组合系统、方法、集成电路、计算机程序以及记录介质来实现。

本发明的控制信息显示装置，能够向使用者提示为了达成被提示的控制请求所需要的控制信息。

附图说明

图1是实施例1的能量管理系统的系统构成图。

图2是实施例1的能量管理系统的工作说明用的时序图。

图3是实施例1的能量管理系统的智能信息重叠部的方框图。

图4是实施例1的用于说明提示与否判断处理的流程图。

图5是表示实施例1的提示数据被重叠的图像数据被输出到输出部的一例的图。

图6是实施例2的用于说明提示与否判断处理的流程图。

图7是表示实施例2的提示数据被重叠的图像数据被输出到输出部的一例的图。

图8是在实施例3的能量管理系统的系统构成图。

图9是实施例3的能量管理系统的工作说明用的时序图。

图10是实施例3的用于说明提示与否判断处理的流程图。

图11是表示实施例3的提示数据被重叠的图像数据被输出到输出部的一例的图。

图12A是实施例4的用于说明提示与否判断处理的第一流程图。

图12B是实施例4的用于说明提示与否判断处理的第二流程图。

图12C是实施例4的用于说明提示与否判断处理的第三流程图。

图13是表示实施例4的提示数据被重叠的图像数据被输出到输出部的一例的图。

图14是实施例5的能量管理系统的系统构成图。

图15是实施例5的能量管理系统的智能信息重叠部的方框图。

图16是实施例5的能量管理系统的工作说明用的时序图。

图17A是表示实施例5的提示数据被重叠的图像数据被输出到输出部的一例、并且表示切换到拍摄了起居室的图像数据的情况的图。

图17B是表示实施例5的提示数据被重叠的图像数据被输出到输出部的一例、并且表示切换到拍摄了卧室1的图像数据的情况的图。

图17C是表示实施例5的提示数据被重叠的图像数据被输出到输出部的一例、并且表示切换到拍摄了卧室2的图像数据的情况的图。

图18是实施例6的能量管理系统的系统构成图。

图19是实施例6的能量管理系统的智能信息重叠部的方框图。

图20是实施例6的能量管理系统的工作说明用的时序图。

图21A是表示实施例6的提示数据被重叠的图像数据被输出到输出部的一例，并且表示选择了“方案1”的需求计划的情况下的图。

图21B是表示实施例6的提示数据被重叠的图像数据被输出到输出部的一例，并且表示选择了“方案2”的需求计划的情况下的图。

图21C是表示实施例6的提示数据被重叠的图像数据被输出到输出部的一例，并且表示选择了“方案3”的需求计划的情况下的图。

图22是实施例7的能量管理系统的系统构成图。

图23是实施例7的能量管理系统的智能信息重叠部的方框图。

图24是实施例7的能量管理系统的工作说明用的时序图。

图25A是表示实施例7的提示数据被重叠的图像数据被输出到输出部的一例，并且表示选择了“方案1”的需求计划的情况下的图。

图25B是表示实施例7的提示数据被重叠的图像数据被输出到输出部的一例，并且表示选择了“方案2”的需求计划的情况下的图。

图25C是表示实施例7的提示数据被重叠的图像数据被输出到输出部的一例，并且表示选择了“方案3”的需求计划的情况下的图。

图26是实施例7的用于说明优先提示与被变更的能量消耗设备有关的提示数据的情况下的提示与否判断处理的流程图。

图27是实施例8的能量管理系统的系统构成图。

图28是实施例8的能量管理系统的设备内容数据部的方框图。

图29是实施例8的能量管理系统的工作说明用的时序图。

图30A是表示实施例8的提示数据被重叠的图像数据被输出到输出部的一例、并且表示在能量消耗设备(空调)适用了设备内容数据的情况的图。

图30B是表示实施例8的提示数据被重叠的图像数据被输出到输出部的一例、并且表示在能量消耗设备(电视机)适用了设备内容数据的情况的图。

图30C是表示实施例8的提示数据被重叠的图像数据被输出到输出部的一例、并且表示在能量消耗设备(照明灯)适用了设备内容数据的情况的图。

图31是实施例9的能量管理系统的系统构成图。

图32是实施例9的能量管理系统的设备内容数据部的方框图。

图33是实施例9的能量管理系统的工作说明用的时序图。

图34A是表示实施例9的提示数据被重叠的图像数据被输出到输出部的一例、并且表示提示数据被重叠的图像数据与能量消耗设备(空调)的工作同步地被输出到输出部的状态的模式图。

图34B是表示实施例9的提示数据被重叠的图像数据被输出到输出部的一例、并且表示能量消耗设备(空调)与提示数据被重叠的图像数据向输出部的输出同步地进行规定的工作的状态的模式图。

图35是表示管理部的图。

具体实施方式

（成为本发明的基础的见解）

本发明者在背景技术中记述的有关能量的提示系统中，发现了会产生如下问题。

为了减少CO2排出量，防止全球变暖，全世界都进行节能化工作，例如，国家对企业和家庭，提示具体的数字目标，推进节能化。

此外，日本因为电力供求的恶化，要求企业和家庭大幅度减少电力消耗。若不能实现减少电力消耗，则供给不能满足需求，可能会引起大停电，成为社会问题。

针对此，提出了下面的各个系统等。换言之，提出了测量在家庭中的电力消耗并在显示器等进行显示，从而催促使用者进行节能化的系统。此外提出了控制器与家中的设备进行通信，进行控制，以防止设备的徒劳使用，从而实现节能化的系统。

然而，例如家庭的功耗减少15％作为目标来提示时，在普通家庭首先出现如下问题，不知道怎样做才能减少15％。此外，通过各种媒体等，介绍了为了节能的有关各个设备的使用方法。但是，每个家庭使用的设备的构成不同。因此，不知道对哪个设备，用什么方法，怎样组合才能实现减少15％。因此，实际上没能实现15％的减少，或者实施了必要以上的节能，会产生明显失去舒适性，或有害于健康的情况。

此外，也提出了如下系统，控制器与各设备进行通信，收集能量的使用状况，向使用者提示各设备的能量的使用的合理度的系统（例如，参考专利文献1），不过，家中有很多不具备通信功能的设备。这些设备，因为不能成为合理度提示的对象，结果上来说，不知道怎样做才能实现15％。此外，假设为了实现在家庭中减少15％，即使获得了与各设备的使用方法有关的列表，也需要一个一个地搜索与该列表上的设备对应的实际的设备，并以指定的使用方法使用的繁杂的操作。

换言之，为了满足针对建筑物的控制请求的控制请求被提示的情况下，使用者不知道具体对哪个设备，怎样进行控制，才能达成被提示的控制请求。

于是，本发明提供一种控制信息显示装置，该装置向使用者提示为了达成被提示的控制请求所需要的控制信息。

为了解决这样的问题，本发明的一个实施例涉及的控制信息显示装置(管理部100)，具备：第一获得部(需求计划生成部106)，获得控制信息，该控制信息是与建筑物中设置的消耗能量的设备有关的控制信息，并且是用于满足针对所述建筑物的控制请求的控制信息；第二获得部(摄像机部102，设备确定部104)，获得映出了所述设备的图像数据；图像数据保持部，保持所述第二获得部获得的所述图像数据；选择部，根据被指定的控制模式，从包含所述图像数据保持部保持的所述图像数据的选择候补中，选择提示图像数据；图像处理部(提示数据生成部302，重叠处理部303)，生成用于将与所述设备各自对应的所述控制信息提示给使用者的提示数据，并且将所述提示数据重叠在所述提示图像数据中的所述设备的位置的附近，所述设备是由所述选择部选择的所述提示图像数据中映出的设备；以及显示部，显示所述提示数据被重叠的所述提示图像数据。另外，本控制信息显示装置中，可以具有包含摄像机部102和设备确定部104的获得部102x。此外，也可以具有包含提示数据生成部302和重叠处理部303的图像处理部107x(图35)。

例如可以是，所述第二获得部，将具有图像数据的属性信息的图像数据作为所述图像数据来获得，所述图像数据的属性信息是该图像数据的摄影位置的摄影位置信息，所述选择部，将所述摄影位置信息示出的所述摄影位置更接近所述控制信息显示装置的所在位置的所述选择候补，作为所述提示图像数据来选择。

例如可以是，所述控制信息显示装置，还具备：控制部，经由通信网络，控制所述设备；输入部，接受针对所述设备中的被控制设备的控制指示；以及遥控器应用，将所述输入部接受的控制指示发送到所述控制部，所述控制部，根据从所述遥控器应用接收的所述控制指示，控制所述被控制设备。

例如可以是，所述图像处理部，将与所述提示图像数据中映出的所述被控制设备对应的所述遥控器应用的活性化按钮，重叠在所述提示图像数据中的所述被控制设备的位置的附近，在所述遥控器应用的活性化按钮被按下的情况下，将所述遥控器应用从所述输入部接受的所述控制指示，发送到所述控制部，由所述控制部控制所述被控制设备。

例如可以是，所述第二获得部，还获得映出了所述设备的运动图像数据，所述选择部，从包含所述运动图像数据、以及所述图像数据保持部保持的所述图像数据的所述选择候补中，选择所述提示图像数据。

例如可以是，所述控制信息显示装置，还具备：第三获得部，获得所述设备各自的能量消耗量的实际值；以及提示与否判断部，在所述设备中判断将所述提示数据提示给所述使用者的规定的数M以下的设备，M为整数，所述提示与否判断部，在所述提示图像数据中映出的所述设备中，将实施了基于所述控制信息的控制的情况下的能量消耗量的估计值与所述能量消耗量的实际值的差越大的设备，越优先地判断为是所述规定的数M以下的设备，所述图像处理部，针对被判断为是将所述提示数据提示给所述使用者的设备，将所述提示数据重叠在所述提示图像数据。

例如可以是，所述控制信息显示装置，具备：控制部，根据由所述第一获得部获得的所述控制信息，针对在所述设备中经由通信网络能够控制的设备进行控制，所述提示与否判断部，在所述设备中，与经由所述通信网络能够控制的设备相比，优先地将经由所述通信网络不能控制的设备判断为是所述规定的数M以下的设备。

例如可以是，所述图像处理部，生成包含详细的信息的详细提示数据和包含简易的信息的简易提示数据，以作为所述提示数据，所述提示与否判断部，在判断所述规定的数M以下的设备时，在所述图像数据中映出的所述设备中，将实施了基于所述控制信息的控制的情况下的能量消耗量的估计值与所述能量消耗量的实际值的差越大的设备，越优先地判断为是提示所述详细提示数据的规定的数Md以下的设备，Md是满足Md≤M的整数，进一步，在没有被判断为是提示所述详细提示数据的所述规定的数Md以下的设备的设备中，将所述能量消耗量的估计值与所述能量消耗量的实际值的差越大的设备，越优先地判断为是提示所述简易提示数据的规定的数(M－Md)以下的设备。

例如可以是，所述第一获得部，从电力公司或公共机构，经由网络接收所述控制请求。

例如可以是，所述显示部具有画面，所述提示与否判断部，按照所述画面的尺寸来决定所述规定的数M。

例如可以是，所述控制信息显示装置，具备：操作部，接受来自所述使用者的指示，所述提示与否判断部，将所述规定的数M决定为在所述操作部被指定的数。

例如可以是，所述控制信息显示装置是便携式电话、智能手机、或者电视机。

例如可以是，所述第一获得部，获得与多个所述设备的每一个有关的所述控制信息，所述第二获得部，获得映出了多个所述设备的图像数据，以作为所述图像数据，所述图像处理部，生成用于提示所述控制信息的至少一个所述提示数据，所述控制信息是针对多个所述设备中的至少一个设备的控制信息，并且与在所述提示图像数据中的位置被确定的所述至少一个设备相对应地，将至少一个所述提示数据重叠在所述提示图像数据。

例如可以是，所述控制信息显示装置，还具备：提示优先级判断部，在所述提示图像数据中映出的所述设备中，针对实施了基于所述控制信息的控制的情况下的能量消耗量的估计值与所述能量消耗量的实际值的差越大的设备的所述提示数据，设定越大的提示优先级，所述提示数据是用于提示所述控制信息的数据，所述图像处理部，以所述显示部将所述提示优先级判断部设定的所述提示优先级越大的所述提示数据，就显示得越大的方式，来重叠所述提示数据。

例如可以是，所述控制请求，包含与所述建筑物中的能量的消耗量有关的控制请求。

例如可以是，所述控制请求，包含与室内环境参数有关的控制请求，所述室内环境参数至少包含所述建筑物的温度、湿度或照度。

例如可以是，所述控制请求，包含与所述建筑物中的室内空气质量有关的控制请求。

例如可以是，所述第二获得部，将被附加了所述设备的识别信息与确定信息的图像数据作为所述图像数据来获得，所述确定信息是确定所述设备在该图像数据中的位置的信息，所述图像处理部，在由所述确定信息被确定的、所述提示图像数据中的所述设备的位置的附近，重叠所述提示数据。

此外，本发明的一个实施例涉及的控制信息显示装置，具备：第一获得部，获得与建筑物中的能量的消耗量有关的控制请求；第二获得部，获得图像数据，该图像数据是映出了所述建筑物中设置的消耗能量的设备的图像数据，并且是被附加了所述设备各自的确定信息的图像数据；第三获得部，获得所述设备各自的能量消耗量的实际值；控制信息生成部，根据所述设备各自的能量消耗量的实际值，针对所述设备的每一个生成用于满足所述控制请求的控制信息；图像处理部，生成用于提示所述图像数据中映出的设备中的至少一个设备的所述控制信息的至少一个提示数据，并且与根据所述确定信息被确定的所述至少一个设备相对应地，将所述至少一个提示数据重叠在所述图像数据；以及显示部，显示所述至少一个提示数据被重叠的所述图像数据。

此外，本发明的一个实施例涉及的控制信息显示方法，包括：第一获得步骤，获得控制信息，该控制信息是与建筑物中设置的消耗能量的设备有关的控制信息，并且是用于满足针对所述建筑物的控制请求的控制信息；第二获得步骤，获得映出了所述设备的图像数据；图像数据保持步骤，保持在所述第二获得步骤获得的所述图像数据；选择步骤，根据被指定的控制模式，从包含在所述图像数据保持步骤保持的所述图像数据的选择候补中，选择提示图像数据；图像处理步骤，生成用于将与所述设备各自对应的所述控制信息提示给使用者的提示数据，并且将所述提示数据重叠在所述提示图像数据中的所述设备的位置的附近，所述设备是在所述选择步骤选择的所述提示图像数据中映出的设备；以及显示步骤，显示所述提示数据被重叠的所述提示图像数据。

此外，本发明的一个实施例涉及的控制信息显示系统，具备：建筑物中设置的消耗能量的设备、以及控制信息显示装置，在所述控制信息显示系统中，所述控制信息显示装置，具备：第一获得部，获得控制信息，该控制信息是与建筑物中设置的消耗能量的设备有关的控制信息，并且是用于满足针对所述建筑物的控制请求的控制信息；第二获得部，获得映出了所述设备的图像数据；图像数据保持部，保持所述第二获得部获得的所述图像数据；选择部，根据被指定的控制模式，从包含所述图像数据保持部保持的所述图像数据的选择候补中，选择提示图像数据；图像处理部，生成用于将与所述设备各自对应的所述控制信息提示给使用者的提示数据，并且将所述提示数据重叠在所述提示图像数据中的所述设备的位置的附近，所述设备是由所述选择部选择的所述提示图像数据中映出的设备；以及显示部，显示所述提示数据被重叠的所述提示图像数据。

根据所述的控制信息显示装置等，基于需求计划的提示数据，从输出部以在对应的能量消耗设备的附近重叠的形式输出，所以对于使用者而言，能够容易理解怎样使用各能量消耗设备才能满足需求控制请求。

在画面上映出的能量消耗设备多的情况下，在图像数据重叠的提示数据的数量，被限制为视觉确认性充分确保的数量，根据需求计划，针对与能量消耗设备的工作状况和现状的工作状况之间的差大的能量消耗设备有关的提示数据，换言之，对实施后的效果更高的提示数据优先地进行重叠。

因此，由使用者观看在输出部输出的数据上重叠的提示数据，有望实施对于达成需求控制请求上有效的、基于提示数据的内容的控制。换言之，能够对使用者进行催促，使用对于达成需求控制请求上有效的、能量消耗设备的使用方法。

此外，能够提供一种能量控制装置，该能量控制装置实现各设备的控制内容的高视觉确认性，以达成建筑物的能量消耗目标。

(实施例1)

图1是本实施例的能量管理系统的系统构成图。

本实施例的能量管理系统具备：n（n是1以上的整数）台的能量消耗设备151～15n、管理部100。

能量消耗设备151～15n的每一个设置在家中，消耗能量，对使用者提供固有功能。管理部100对能量消耗设备151～15n消耗的能量进行管理。

管理部100，具备设备观察部101、摄像机部102、设备信息保持部103、设备确定部104、输入部105、需求计划生成部106、智能信息重叠部107、输出部108。

设备观察部101，与能量消耗设备通过有线或无线进行通信，获得并存储各能量消耗设备消耗的能量的量、以及与各能量消耗设备的状态有关的设备工作状态信息。

摄像机部102拍摄设置在家中以及家的外部的能量消耗设备。

设备信息保持部103保持家中设置的能量消耗设备151～15n的制造厂和型号、功耗等设备性能信息、以及用于确定能量消耗设备的设备特征信息。

设备确定部104，确定摄像机部102拍摄的图像数据中映出的能量消耗设备（识别能量消耗设备、映出其能量消耗设备的位置）。另外，设备确定部104可以从外部设备(未图示)获得图像数据，确定在该图像数据中映出的能量消耗设备。那个情况下，不需要摄像机部102。

输入部105，输入需求控制请求，该需求控制请求是与家中被消耗的能量有关的请求。

需求计划生成部106，以满足从输入部105被输入的需求控制请求的方式，生成需求计划，该需求计划规定有针对能量消耗设备151～15n各自的控制内容。该需求计划生成部106生成对使用者提示的包含需求计划的信息（以后称为“提示信息”）（参考后述的图3）。

智能信息重叠部107将根据该提示信息生成的提示数据，重叠到能量消耗设备被确定的图像数据。

输出部108根据智能信息重叠部107，输出提示数据被重叠之后的图像数据。

能量消耗设备151～15n的各自，具体而言是例如空调和照明设备、电视机等家电设备。此外，也可以是热水器和太阳能发电装置，蓄电池装置等设备。另外，太阳能发电装置可以说是生成电能的设备，不过，作为能量的消耗为负的设备，包括在能量消耗设备中。

摄像机部102是可以拍摄静止图像以及动画的数字摄像机。

设备观察部101、设备信息保持部103、设备确定部104、输入部105、需求计划生成部106、智能信息重叠部107、以及输出部108，实际上由单个或多个CPU和多个存储装置所构成。换言之，CPU执行存储装置中存放的程序，在存储装置上的存储区域，以可读出的形式存放信息。因此，设备观察部101、设备信息保持部103、设备确定部104、需求计划生成部106、智能信息重叠部107各自的功能实现。

此外，输入部105的构成中包含触摸屏和声音麦克风。换言之，CPU执行存储装置中存放的驱动软件，以及软键盘和语言识别应用。这样，CPU接受来自上述的触摸屏的各种触摸输入，或者接受来自上述的声音麦克风的声音输入。

此外，输出部108的构成中包含液晶显示器和扬声器。CPU执行存储装置中存放的驱动软件、以及浏览程序等显示应用、声音再生应用。这样，CPU在上述的液晶显示器进行显示，或者从上述的扬声器输出声音。

另外，输入部105的触摸屏、输出部108的液晶显示器，构成相同的画面。输入部105例如接受针对输出到输出部108的信息的输入。具体而言，例如在输入部105的触摸屏上，敲击操作等操作进行的情况下，由CPU执行的浏览程序等显示应用，作为输入而接受该操作。该操作作为以下操作来接受，被敲击的位置等的位置上显示的按钮按下操作，或者该位置上显示的链接的选择操作。

设备观察部101、摄像机部102、设备信息保持部103、设备确定部104、输入部105、需求计划生成部106、智能信息重叠部107、输出部108，由单一的装置或者多个装置构成。由多个装置构成的情况下，那些装置以通过有线或无线能够通信的形式互相连接。

图2是表示本实施例的能量管理系统的工作的时序图。

首先，设备观察部101执行设备观察处理201。在该设备观察处理201中，与各能量消耗设备151～15n进行通信，获得与各能量消耗设备消耗的能量、以及各能量消耗设备的状态有关的信息（以后称为“设备工作状态信息”），在存储区域存储。设备观察部101定期地重复执行设备观察处理201。

另一方面，由使用者从输入部105输入需求控制请求203（输入处理202）。另外，需求控制请求203的一例是与家中被消耗的能量有关的需求请求。以后，针对需求控制请求203是与家中被消耗的能量有关的需求请求的情况进行说明。

于是，被输入的需求控制请求203，被发送到需求计划生成部106。在这里，需求控制请求203是例如“削减10％家整体的能量消耗量”，或者“削减10％因家中的能量消耗而产生的CO2排出量”，或者“削减10％因家中的能量消耗而产生的成本”等请求。在这里，为了方便说明，以后适当地针对需求控制请求203是“削减10％家整体的电力消耗量”这个请求的情况，进行详细说明。

接收需求控制请求203的需求计划生成部106，进行需求计划生成处理206。在需求计划生成处理206中，对设备观察部101进行存取，参考存储区域中存储的设备工作状态信息204。加之，参考设备信息保持部103中保持的设备性能信息205。参考这些，根据公知方法等方法，生成满足需求控制请求203的需求计划。

设备信息保持部103，保持能量消耗设备151～15n各自的设备性能信息205。具体而言，作为1个能量消耗设备的设备性能信息205，保持该能量消耗设备的与各种工作状态中的能量消耗有关的信息。另外，该保持是例如设备性能信息205与该能量消耗设备的识别信息相关联地进行保持。

需求计划生成部106，生成需求计划的公知方法(上述)例如有如下的方法。换言之，在专利文献2的[0078]段至[0106]段中记载的，由模拟实验执行部生成削减计划的方法等。本实施例的需求计划生成部106的情况下，作为例子示出了以下模拟实验方法。换言之，例如与现状的能量消耗设备的构成组合的控制模式。换言之，例如与多个控制模式的各自组合。需求计划生成部106分别对各个组合进行模拟实验。需求计划生成部106，评价该模拟实验的结果，导出得到满足需求控制请求203（相当于专利文献2中的削减目标）的结果的控制模式，将导出的控制模式的内容作为需求计划。

需求计划生成部106，将提示信息207发送到智能信息重叠部107，该提示信息207包含生成的需求计划和示出各能量消耗设备的现状的工作状况的设备工作状态信息204。

下面，由使用者使用摄像机部102，拍摄家中或家的外观（摄影处理211），被拍摄的图像数据212发送到设备确定部104。

接收了图像数据212的设备确定部104进行设备确定处理214。在这个处理中，参考在设备信息保持部中103保持的设备特征信息213(前述)，确定在接收的图像数据212中映出的能量消耗设备。

设备信息保持部103中保持有能量消耗设备151～15n各自的设备特征信息213。1个能量消耗设备的设备特征信息213是从映出了该能量消耗设备的图像数据212的图像中，根据图像分析，用来确定该能量消耗设备的信息。这个信息与该能量消耗设备的识别信息相关连地保持。

设备确定部104，对图像数据212进行图像处理，提取特征信息。设备确定部104，将该特征信息与设备信息保持部103中保持的设备特征信息213进行对照。这样，设备确定部104，能够确定在图像数据212中映出的能量消耗设备，就是与对照成功的设备特征信息对应的能量消耗设备。设备确定部104对智能信息重叠部107发送附确定信息图像数据215，该附确定信息图像数据215是针对摄像机部102拍摄的图像数据212，附加了确定的能量消耗设备的设备确定信息的数据。该设备确定信息中包含确定的能量消耗设备的识别信息、以及示出在图像数据212中的该能量消耗设备的影像的位置的信息。

下面，接收了提示信息207和附确定信息图像数据215的智能信息重叠部107，执行智能重叠处理216。在该处理中，基于后述的规定的算法，根据提示信息207，生成提示数据，该提示数据是实际对使用者提示的数据。而且，将生成的提示数据，在附确定信息图像数据215上的，能量消耗设备的位置(上述)的附近进行重叠。此时，在智能重叠处理216中，考虑使用者的视觉确认性，按照需要，限制重叠的提示数据的数量。这样，提示信息207的内容的显示形态，能够成为使用者比较容易观看的形态。另外，作为一例附确定信息图像数据215从设备确定部104发送到智能信息重叠部107。作为另外的一例，附确定信息图像数据215，可以从具有摄像机部102和设备确定部104的功能的外部设备，从设备确定部104发送到智能信息重叠部107。另外，“附近”是指从指定位置相隔规定距离的范围内。

此外，在智能重叠处理216中，进行生成图像数据217的处理，该图像数据217被重叠了由输出部108的显示应用、声音再生应用输出的附确定信息图像数据215和提示数据。具体而言，智能重叠处理216，生成下面的数据格式的数据。换言之，该数据是输出部108的显示应用和声音再生应用的输入数据，是那些显示应用和声音再生应用能够解释的数据格式的数据。这样的数据作为提示数据被重叠的图像数据217而生成。具体而言，智能重叠处理216生成附确定信息图像数据215与提示数据被重叠的超文本标记语言（HTML：Hyper Text Markup Language）数据等数据。换言之，例如，智能信息重叠部107，将生成的超文本标记语言数据、以及将包含了根据该超文本标记语言数据被参考的图像数据和声音数据的数据，作为提示数据被重叠的图像数据217来生成，发送到输出部108。

下面，输出部108，利用液晶显示器和扬声器输出提示数据被重叠的图像数据217（输出处理218）。输出部108的显示应用，根据超文本标记语言数据，在能量消耗设备的附近重叠提示数据，在液晶显示器显示。此外，输出部108的声音再生应用驱动扬声器，再生超文本标记语言数据参考的声音数据。

下面对智能信息重叠部107进行详细说明。

图3示出智能信息重叠部107的内部构成。

智能信息重叠部107具备提示与否判断部301和提示数据生成部302和重叠处理部303。提示与否判断部301，根据规定的算法来判断是否需要向使用者提示提示数据（提示与否判断处理）。提示数据生成部302，根据提示信息生成提示与否判断部301判断为需要提示的提示数据。重叠处理部303，将提示与否判断部301判断为需要提示的提示数据，重叠到通过能量消耗设备的确定而附加了设备确定信息的附确定信息图像数据215。

例如，考虑图像数据212中被确定的能量消耗设备的数量比较多的情况。在这个情况下，单纯地在各能量消耗设备上重叠提示数据，液晶显示器上会同时显示许多提示数据，变得难以确认，使用者的视觉确认性降低。于是，提示与否判断部301根据考虑使用者的视觉确认性的指定算法，来判断示出需求计划的内容的信息是否需要向使用者提示，从而限制进行重叠的提示数据的数量。

图4示出提示与否判断部301进行的提示与否判断处理的流程图。

首先，提示与否判断部301，以设备确定信息基础，对图像数据212中的，被确定的能量消耗设备的设备数N进行计数（N是0以上的整数）（步骤S401）。

下面，关于被确定的N台的能量消耗设备，对实施了需求计划的情况与现状之间的差进行定量化（步骤S402）。具体而言，例如需求计划示出的针对各个能量消耗设备的控制内容。需求控制请求是与能量消耗量有关的控制请求的事例中，算出实施了该控制内容的控制时，由该能量消耗设备消耗的能量的估计值Ep与在当前工作状况下被消耗的能量的实际值Er的差ΔE（=Er－Ep）。

此外，需求控制请求是与CO2排出量有关的控制请求的事例中，算出实施了该控制内容的控制时，基于由该能量消耗设备消耗的能量的CO2排出量的估计值Ep与基于在当前工作状况下被消耗的能量的CO2排出量的实际值Er的差ΔE（=Er－Ep）。

此外，需求控制请求是与成本有关的控制请求的事例中，算出实施了该控制内容的控制时，基于由该能量消耗设备消耗的能量的成本的估计值Ep与基于在当前工作状况下被消耗的能量的成本的实际值Er的差ΔE（=Er－Ep）。

下面，比较提示数据的最多提示数M（M是1以上的整数）与设备数N（步骤S403）。在这里，最多提示数M是在输出部108的液晶显示器上同时显示的提示数据的数量的上限值。换言之，该最多提示数M是预先被设定的值，该M是以液晶显示器的屏幕尺寸以及分辨率等为基础，即使同时显示提示数据，也能充分确保使用者的视觉确认性的值。

在N>M的情况下，在图像数据中被确定的能量消耗设备的数量比最多提示数M多。因此，按照步骤S402中算出的需求计划与现状之间的差ΔE从大到小的顺序，来选择M台的能量消耗设备，将与那些能量消耗设备有关的提示数据判断为需要提示，完成提示与否判断处理（步骤S404）。在这里ΔE也称为提示优先级。所述的处理也可以表现为下述，从具有提示优先级大的提示数据的设备开始，以从大到小的顺序选择M台的能量消耗设备，将与那些能量消耗设备有关的提示数据判断为需要提示。

此外，在N≤M的情况下，在图像数据中被确定的能量消耗设备的数量是最多提示数M以下。因此，将与在图像数据中被确定的N台的能量消耗设备有关的提示数据，判断为需要提示，完成提示与否判断处理（步骤S405）。

因此，根据以上的提示与否判断处理，进行下面的各个工作。

例如，通过稍微改变摄像机部102的朝向，从而在图像数据212中被确定的能量消耗设备的设备数N变多，则产生被判断为需要提示的能量消耗设备，变得不被判断为需要提示的情况。此外，相反稍微改变摄像机部102的朝向，在图像数据212中被确定的能量消耗设备的设备数N变少，则产生不被判断为需要提示的能量消耗设备，变得被判断为需要提示的情况。

加之，例如摄像机部102进行镜头拉远操作，在图像数据212中被确定的能量消耗设备的设备数N变多时，产生被判断为需要提示的能量消耗设备，变得不被判断为需要提示的情况。此外，相反摄像机部102进行镜头移近操作，在图像数据212中被确定的能量消耗设备的设备数N变少时，产生不被判断为需要提示的能量消耗设备，变得被判断为需要提示的情况。

换言之，通过操作摄像机，在图像数据212中被确定的能量消耗设备的设备数N变多时，产生被判断为需要提示的能量消耗设备，变得不被判断为需要提示的情况。这个情况下，关于该能量消耗设备的提示数据，不提示给使用者。此外，相反，通过操作摄像机部102，在图像数据中被确定的能量消耗设备的设备数N变少时，产生不被判断为需要提示的能量消耗设备，变得被判断为需要提示的情况。这个情况下，将关于该能量消耗设备的提示数据，提示给使用者。

另外，在提示与否判断处理中，可以仅对具备节能模式等特定功能的能量消耗设备、以及特定制造厂的能量消耗设备，判断上述的提示数据的提示与否。

在这个情况下，在设备确定部104中，参考在设备信息保持部103中保持的性能信息，仅对具备特定功能的能量消耗设备，或者特定制造厂的能量消耗设备，进行在图像数据附加设备确定信息的处理。

此外，提示数据生成部302，生成提示与否判断部301判断为需要提示的提示数据302a。被生成的提示数据302a包含图像数据、声音数据、文本数据、动画数据等中的1个以上。

提示数据生成部302，在步骤S402算出的需求计划与现状的差Er－Ep相对于需求计划的比例（Er－Ep）/Ep是规定的比例以上的情况下，进行下面的工作。在该工作中，将示出当前的工作状况的信息、催促执行需求计划示出的控制内容的劝告，作为提示数据302a来生成。

例如，在所述的规定的比例是10％的情况下，需求计划与现状的差相对于需求计划的比例（Er－Ep）/Ep是10％以上时，提示数据生成部302，将示出当前的工作状况的信息、催促执行需求计划示出的控制内容的劝告，作为提示数据302a来生成。

此外，在步骤S402算出的需求计划与现状的差相对于需求计划的比例（Er－Ep）/Ep是小于规定的比例的情况下，将示出现状的工作状况的信息以及示出在达成需求控制请求上接近理想状态的工作状况的信息，作为提示数据302a来生成。

例如，所述规定的比例是10％的情况下，在需求计划和现状的差相对于需求计划的比例（Er－Ep）/Ep小于10％时，提示数据生成部302，将示出现状的工作状况的信息和示出在达成需求控制请求上接近理想状态的工作状况的信息，作为提示数据302a来生成。

提示数据生成部302，预先保持了成为提示数据302a的部件的文本消息的模板、图像数据、声音数据、动画数据等的部件数据。提示数据生成部302，将提示信息207中包含的需求计划的设定值嵌入到模板，或者与元件数据的图像组合，从而生成提示数据302a。

部件数据包含：示出能量消耗设备的状态的图标的图像、似人的登场人物的图像数据或者动画数据等，将能量消耗设备的状态和有关使用的方法的劝告，以对使用者来说比较容易接受的形式来提示。

这样，通过以比较容易接受的形式来提示，提高了使用者对提示内容的关心，提高了使用者根据提示数据302a的劝告实际进行操作的可能性。

重叠处理部303进行如下处理：针对从设备确定部104被输入的设备确定信息被附加的附确定信息图像数据215，重叠提示数据生成部302生成的提示数据302a。

这时，在附确定信息图像数据215中的被确定的能量消耗设备的附近，重叠与该能量消耗设备对应的提示数据302a。

此时，在重叠处理部303，生成提示数据被重叠的图像数据217。通过由输出部108的显示应用和声音再生应用来使用该数据，从而图像数据215和提示数据302a被重叠后输出。换言之，这个数据是超文本标记语言（Hyper Text Markup Language）数据等的，显示应用等能够解释的数据格式的数据。

下面，图5示出提示数据302a被重叠的图像数据217，被输出到输出部108的一例。

图5是示出将便携式终端500的液晶显示器511、扬声器512、在便携式终端500的CPU上被执行的显示应用（未图示）以及声音再生应用（未图示）作为输出部108来构成的情况的一例的图。此外，图5示出在提示数据的最多提示数M是1的情况下，能量消耗设备(空调)152的提示数据被判断为需要提示的情况的一例。

在这个情况下，在液晶显示器511上，根据显示应用显示提示数据被重叠的图像数据217。该提示数据被重叠的图像数据217中，映出了家中的空间500R中存在的能量消耗设备(电视机)151、能量消耗设备(空调)152、能量消耗设备(照明灯)153。

加之，在液晶显示器511上，根据显示应用显示如下，作为能量消耗设备(空调)152的提示数据重叠了在视觉上强调能量消耗设备(空调)152的图像数据501、以及“请将设定温度提高到28℃！”的文本数据502，而进行显示。

此外，使用者在与液晶显示器511一体化的触摸屏上，敲击能量消耗设备(空调)152的影像152u时，根据声音再生应用，从扬声器512输出“请将设定温度提高到28℃！”的声音。

这样以将基于需求计划的提示数据重叠在对应的能量消耗设备的附近的形式，从输出部108输出。因此，使用者能够容易理解怎样使用各能量消耗设备，就能满足需求控制请求203。

在画面上映出的能量消耗设备比较多的情况下，在图像数据重叠的提示数据的数量，限制为视觉确认性能够充分确保的数量。具体而言，与基于需求计划的能量消耗设备的工作状况和现状的工作状况之间的差大的能量消耗设备有关的提示数据，换言之，被实施时效果大的提示数据优先被重叠。

因此，由使用者观看在输出部108输出的数据上重叠的提示数据，只有达成需求控制请求上比较有效的提示数据的内容被提示。这样，能够期待该提示数据的控制内容比较确实地实施。

换言之，能够只将在达成需求控制请求上，比较有效的能量消耗设备的使用办法，向使用者进行催促。

另外可以是，提示数据生成部302保持的部件数据中，包含假设是能量消耗设备的精灵的图像数据和动画数据，提示数据生成部302利用这些部件数据生成提示数据。

在这个情况下，好像是能量消耗设备的精灵，将与能量消耗设备的状态以及使用办法有关的劝告提示给使用者一样的印象，以使用者容易接受的形式，来提示提示数据。

加之，可以对能量消耗设备的精灵设定名字，使用者呼叫该名字，就进行与在触摸屏上敲击能量消耗设备(空调)152的情况相同的工作。

在这个情况下，对能量消耗设备的精灵设定的名字有关的信息，与性能信息和设备特征信息一起，保持在设备信息保持部103。输入部105的语言识别应用，参考保持在设备信息保持部103的该信息，对设定在能量消耗设备的精灵的名字被招呼进行识别。

例如，在图5示出的一例的情况下，招呼能量消耗设备(空调)152的精灵的名字时，根据声音再生应用，从扬声器512输出“请将设定温度提高到28℃！”的声音。

这样以容易接受的形式，提示提示数据，从而提高使用者对提示内容的关心，使用者基于提示数据的劝告实际进行操作的可能性变高。

另外，在上述说明中，设备观察部101与能量消耗设备，通过有线或无线进行通信，获得设备工作状态信息。另一方面，可以在配电盘上安装电力测量机来测量能量消耗设备消耗的能量，通过与电力测量机进行有线通信或无线通信，来获得各能量消耗设备消耗的能量。

此外，加之，可以通过分析能量消耗设备消耗的能量的推移，来获得与各能量消耗设备的状态有关的信息。

在这个情况下，即使能量消耗设备，没有具备与设备观察部101通信的通信功能，也能构成本实施例的能量管理系统。

另外，在上述说明中，需求控制请求是由使用者从输入部105进行输入，不过，也可以是通过电力公司或公共机构等，从外部经由安全的网络而输入。

在这个情况下，从外部能够对各个家庭催促需求控制请求，例如能够进行地区为单位的需求控制。

此外，最多提示数M，可以按照输出部108的液晶显示器的屏幕尺寸和分辨率自动地被设定。这个情况下，即使输出到屏幕尺寸和分辨率不同的液晶显示器的输出部时，因为最多提示数M自动地设定为与液晶显示器对应的值，所以即使同时显示提示数据，也能够充分地确保使用者的视觉确认性。

此外，最多提示数M，可以被设定为使用者从输入部105输入的值。因为同时显示多个提示数据的情况下的视觉确认性存在个人差，通过设定为由使用者输入的值，从而能够将最多提示数M，设定为与使用者对应的容易看的数量。

此外，最多提示数M，可以被自动地设定为与输出部108的液晶显示器和显示应用的显示能力对应的数量。在这个情况下，在输出到便携式电话等显示能力比较低的输出部的情况下，最多提示数M被自动地设定成与显示能力对应的数，所以即使同时显示提示数据，显示也不会变得极端慢，能够确保使用者的视觉确认性。

另外，在能量消耗设备151～15n，贴上用于确定设备的标记，设备信息保持部103，作为能量消耗设备的设备特征信息，将标记信息与能量消耗设备的识别信息相关连地保持。

这个情况下，能够以高精度确定设备。

另外，可以是这样的构成，设置多个摄像机部102，配置在家中的各处，由摄像机部102，针对输入到设备确定部104的图像数据，从在各处配置的多个摄像机部102所拍摄的多个图像数据中进行切换来选择。

在这个情况下，针对通过切换从摄像机部102被输入到设备确定部104的图像数据212，从而在拍摄各处的图像数据中所映出的家的各处的能量消耗设备，由提示与否判断部301判断为需要提示时，提示数据被重叠，从输出部108输出。

另外，具体而言，便携式终端500可以是便携式电话和智能手机、电视机以外，手表型的便携式终端，或者，眼镜型的便携式终端。例如，便携式终端500是眼镜型的便携式终端的情况下，在透镜部分的液晶显示器上显示被重叠了提示数据的图像。

另外，提示数据生成部302，可以与提示数据302a一起，生成该提示数据的提示形态。那时，提示数据生成部302，与提示数据的提示优先级对应地设定不同的提示形态。具体而言，以提示优先级越大，就越相对更大地显示作为提示数据302a的图像数据、文本数据或者动画数据分别示出的图像、文本或者动画的方式，来生成提示形态。此外，以提示优先级越大，就越以相对更大的音量来输出作为提示数据302a的声音数据示出的声音的方式，来生成提示形态。此外，换句话说，以提示优先级越小，就越相对更小地显示作为提示数据302a的图像数据、文本数据或者动画数据分别示出的图像、文本或者动画的方式，来生成提示形态。此外，提示优先级越小，就越以相对更小的音量来输出作为提示数据302a的声音数据示出的声音的方式，来生成提示形态。这样，管理部100可以具备执行如下功能的提示优先级判断部，按照提示数据的提示优先级，设定不同的提示形态。

根据所述，提示数据生成部302变更作为提示数据302a的图像数据、文本数据或者动画数据的显示的大小之后，重叠处理部303生成该提示数据302a被重叠的图像数据217，由输出部108（液晶显示器511）显示该图像数据217。之后，通过使用者指定该提示数据302a，从而提示数据生成部302，可以进一步变更该提示数据302a的提示形态。具体而言，提示数据生成部302可以进行变更，使被显示成比较大的提示数据302a显示成较小。此外，提示数据生成部302可以进行变更，使被显示成比较小的提示数据302a显示成较大。通过这样，使用者能够对同时被显示的提示数据，一边改变大小一边按顺序阅览。另外，由使用者指定提示数据302a通过以下操作来实现，例如使用者触碰液晶显示器511（触摸屏）上显示的提示数据302a的附近，或者针对包含液晶显示器511（触摸屏）上显示的提示数据302a的区域，进行展开或者缩小的操作。

另外，需求控制请求203可以是与家中的温度和湿度、示出亮度的照度等室内环境参数有关的需求请求。与室内环境参数有关的需求请求，例如是“温度控制为24度以上且28度以下，湿度控制为40%以上且60%以下，照度控制为500勒克司以上且1000勒克司以下”。与环境参数有关的需求请求，可以是只有关温度、或只有关湿度，或只有关照度的请求，也可以是温度和湿度和照度组合。在输入部105接受与室内环境参数有关的需求请求的情况下，需求计划生成部106，使用具有变更室内环境参数的功能的能量消耗设备（例如，空调、加湿器、除湿器、照明设备或者电动窗帘等），生成满足需求请求203的需求计划。此外，设备观察部101，通过与具有测量室内环境参数的功能的能量消耗设备（例如，空调、加湿器、除湿器、照度感应器或者感应摄像机等）进行通信，而获得与室内环境参数有关的信息，存储到存储区域。之后，通过进行与所述同样的处理，从而具有变更室内环境参数的功能的能量消耗设备的提示数据被重叠，输出提示图像数据。通过这样，基于与室内环境参数有关的需求请求203的提示数据，以在对应的能量消耗设备的附近重叠的形态，从输出部108输出。使用者能够容易理解，如何使用各能量消耗设备才能满足与室内环境参数有关的需求控制请求203。

另外，需求控制请求203，可以是与家中的室内空气质量有关的需求请求。室内空气质量是示出空气中包含的气体成分、化学物质、颗粒或者灰尘等的量，温度，或湿度等的指标。与室内空气质量有关的需求请求，例如是“空气中包含的物质A的浓度控制为○○ppm以下”的请求。在输入部105接受与室内空气质量有关的需求请求的情况下，需求计划生成部106，使用具有变更室内空气质量的功能的能量消耗设备（例如，空气净化器、空调或者排气扇等）生成满足需求请求203的需求计划。此外，设备观察部101，与具有测量室内空气质量的功能的能量消耗设备（空气净化器、空调或者空气质量感应器等）进行通信，获得室内空气质量有关的信息，存储到存储区域。之后，通过进行与所述同样的处理，从而具有变更室内空气质量的功能的能量消耗设备的提示数据被重叠，输出提示图像数据。通过这样，基于与室内空气质量有关的需求请求203的提示数据，以在对应的能量消耗设备的附近重叠的形态，从输出部108输出。使用者能够容易理解，如何使用各能量消耗设备才能满足与室内空气质量有关的需求控制请求203。

(实施例2)

本实施例的能量管理系统的特点是，按照提示数据的提示优先级，重叠详细级别不同的多个种类的提示数据。在本实施例中，越是与需求计划和现状的差大的能量消耗设备有关的提示数据，向使用者提示的提示优先级越高。

此外，本实施例中，提示数据的详细级别分为比较详细的信息被提示的“详细显示”和比较简单的信息被提示的“简易显示”的2个级别，“详细显示”的级别，优先地分配给针对使用者的提示优先级高的提示数据。

但是，本实施例的基本构成与实施例1相同，与实施例1相同的构成要素付上相同的符号，适当地省略图示以及详细说明。

图6示出本实施例的提示与否判断部301进行的提示与否判断处理的流程图。

首先，提示与否判断部301，对图像数据中被确定的能量消耗设备的设备数N（N是0以上的整数）进行计数（步骤S601）。

下面，关于被确定的N台的各能量消耗设备，对需求计划与现状的差进行定量化（步骤S602）。

下面，对提示数据的最多详细提示数Md（Md是1以上的整数）与设备数N进行比较（步骤S603）。在这里，最多详细提示数Md是向输出部108的液晶显示器同时以“详细显示”的级别进行显示的提示数据数的上限值。换言之，该最多详细提示数Md是预先设定的值，是以液晶显示器的大小和分辨率等为基础，将提示数据同时以“详细显示”的级别显示，也能充分确保使用者的视觉确认性的值。

N>Md的情况下，在图像数据中被确定的能量消耗设备的数量比最多详细提示数Md多。因此，按照在步骤S602算出的需求计划与现状之间的差ΔE从大到小的顺序，选择Md台的能量消耗设备，将与那些能量消耗设备有关的提示数据，判断为是需要详细提示（步骤S604），进入步骤S606。

此外，N≤Md的情况下，在图像数据中被确定的能量消耗设备的数量是最多详细提示数Md以下。因此，与在图像数据中被确定的N台的能量消耗设备有关的提示数据判断为需要详细提示，完成提示与否判断处理（步骤S605）。

在步骤S606中，对提示数据的剩余最多提示数M－Md(M是Md以上的整数，示出最多提示数)与剩余设备数N－Md进行比较。在这里，剩余最多提示数M－Md是从提示数据的最多提示数M，减去以“详细显示”的级别显示的数的数，示出能够以“简易显示”级别来显示提示数据的数。

此外，剩余设备数N－Md是从图像数据中被确定的能量消耗设备的设备数N减去以“详细显示”的级别显示的数的数，示出提示数据的成为“简易显示”级别的显示的候补的能量消耗设备的数量。

N－Md>M－Md的情况下，剩余设备数N－Md比剩余最多提示数M－Md多。因此，从剩余的N－Md台的能量消耗设备中，按照在步骤S602算出的需求计划与现状之间的差ΔE从大到小的顺序，选择M－Md台的能量消耗设备，将与该能量消耗设备有关的提示数据，判断为是需要简易提示，完成提示与否判断处理（步骤S607）。

此外，N－Md≤M－Md情况下，剩余设备数N－Md是剩余最多提示数M－Md以下，所以将与剩余的N－Md台的能量消耗设备有关的提示数据判断为需要简易提示，完成提示与否判断处理（步骤S608）。

另外，本实施例的提示与否判断处理中，也可以只针对具备节能模式等特定功能的能量消耗设备或者特定制造厂的能量消耗设备，判断提示数据的提示与否。

在这个情况下，设备确定部104，参考在设备信息保持部103中保持的性能信息，只针对具备节能模式等特定功能的能量消耗设备和特定制造厂的能量消耗设备，进行在图像数据附加设备确定信息的处理。

此外，本实施例的提示数据生成部302，针对提示与否判断部301判断为需要详细提示的提示数据，生成以“详细显示”级别显示的提示数据，针对提示与否判断部301判断为需要简易提示的提示数据，生成以“简易显示”级别显示的提示数据。

具体而言，以“详细显示”级别显示的提示数据中，例如包含在液晶显示器上需要比较大的显示区域的文本数据。另一方面，以“简易显示”级别显示的提示数据中，例如不包含文本数据一样的需要比较大的显示区域的数据。

图7是表示本实施例的重叠了提示数据的图像数据217被输出到输出部108的一例的图。

在图7的事例中，示出了将便携式终端500的液晶显示器511、扬声器512、便携式终端500的CPU上被执行的显示应用（未图示）以及声音再生应用（未图示），作为输出部108来构成的情况的一例。

图7的事例是提示数据的最多提示数M为2，最多详细提示数Md为1的情况。在这个事例中示出，能量消耗设备(空调)152的提示数据被判断为需要详细提示，能量消耗设备(照明灯)153的提示数据被判断为需要简易提示的情况的一例。

在液晶显示器511中，根据显示应用，需求计划与现状的差比较大，所以针对被判断为需要详细显示的能量消耗设备(空调)152，作为提示数据显示如下，在视觉上强调能量消耗设备(空调)152的图像数据501和“请将设定温度提高到28℃！”的文本数据502重叠地显示。

此外，针对被判断为需要简易显示的能量消耗设备(照明灯)153，作为提示数据，只重叠了在视觉上强调了能量消耗设备(照明灯)153的图像数据503而进行显示。

这样，针对需求计划和现状之间的差大的能量消耗设备，重叠详细级别高的提示数据。因此，在提示数据中，提高了与需求计划和现状的工作状况之间的差大的能量消耗设备有关的提示数据的视觉确认性，换言之，提高了实施效果比较高的控制内容的提示数据的视觉确认性。

因此，使用者观看重叠在从输出部108输出的数据上的提示数据，有望更加确实地实施在达成需求控制请求上比较有效的提示数据的控制内容。

换言之，能够催促使用者，使用在达成需求控制请求上更有效的能量消耗设备的使用办法。

另外，在所述中，作为提示数据的详细级别，设置了2个级别，不过也可以设置3个以上的级别。

(实施例3)

本实施例的能量管理系统的特征如下，具备根据需求计划对能量消耗设备进行自动控制的功能，对进行自动控制的能量消耗设备和不进行自动控制的能量消耗设备进行区别地重叠提示数据。

但是，本实施例的基本构成与实施例1的相同部分较多，针对与实施例1相同的构成要素附上相同的编号，适当地省略图示以及详细说明。

图8是在本实施例的能量管理系统的系统构成图。

本实施例的能量管理系统中，除了实施例1的系统构成之外，还具备设备控制部110和计划执行部109。

设备控制部110，通过有线或无线与能量消耗设备进行通信，控制能量消耗设备。计划执行部109经由设备控制部110，对进行自动控制的能量消耗设备的需求计划的执行进行控制。

设备控制部110，不一定是与n台所有能量消耗设备151～15n进行通信并进行自动控制。家中有只能由使用者的手动操作的能量消耗设备，也有即使可以由设备控制部110进行控制，但被设定为不进行自动控制的能量消耗设备。

在本实施例的情况下，示出各能量消耗设备是不是能够控制的设备，或者，是不是自动控制的对象的信息，作为性能信息的一部分，被保持在设备信息保持部103。

此外，本实施例的输入部105，除了需求控制请求之外，还由使用者输入对能量消耗设备的控制指示。

从输入部105输入了能量消耗设备的控制指示时，被输入的控制指示，由设备控制部110接收。设备控制部110，根据接收的控制指示，控制能量消耗设备。

另外，与设备观察部101、设备信息保持部103、设备确定部104、输入部105、需求计划生成部106、智能信息重叠部107、输出部108同样，上述的计划执行部109以及设备控制部110，实际上也由单个或多个CPU和多个存储装置所构成。

CPU执行存放在存储装置中的程序，在存储装置上的存储区域，以可读出的形式存放信息，从而不仅实现设备观察部101、设备信息保持部103、设备确定部104、需求计划生成部106、智能信息重叠部107的功能，而且还实现计划执行部109、设备控制部110各自的功能。

图9是示出本实施例的能量管理系统的工作的时序图。

从设备观察部101进行的设备观察处理201，到输出部108利用液晶显示器或者扬声器，输出提示数据被重叠的图像数据217的处理为止的顺序，与实施例1一样。

本实施例的情况下，需求计划生成部106，除了将提示信息207发送到智能信息重叠部107以外，将生成的需求计划221发送到计划执行部109。

这时，与被设定为根据需求计划进行自动控制的能量消耗设备有关的需求计划221被发送。

接收了需求计划221的计划执行部109，向设备控制部110发送控制指示223，以使能量消耗设备根据需求计划221的内容来工作（计划执行处理222）。

设备控制部110，将与接收的控制指示223对应的控制信号225，发送到各个能量消耗设备，来控制能量消耗设备（设备控制处理224）。

这样，在根据需求计划被自动控制的能量消耗设备的情况下，需求计划与实际的工作状况的差比较少。

换言之，在自动控制对象的能量消耗设备的情况下，以需求计划为基础被自动控制。因此，与不是自动控制的对象的能量消耗设备相比时，对使用者催促有效的能量消耗设备的使用办法的必要性比较低。

于是，本实施例的智能信息重叠部107，与是自动控制对象的能量消耗设备的提示数据相比，优先地重叠不是自动控制对象的能量消耗设备的提示数据。

本实施例的智能信息重叠部107的内部构成与实施例1一样。但是，由提示与否判断部301进行的提示与否判断处理、以及由提示数据生成部302进行的提示数据生成处理，相对于前述的各个实施例具有特点。

图10是本实施例的提示与否判断部301进行的提示与否判断处理的流程图。

首先，提示与否判断部301，分别计数图像数据中的被确定的，不是自动控制对象的能量消耗设备的设备数Nm（Nm是0以上的整数）和是自动控制对象的能量消耗设备的设备数Na（Na是0以上的整数）（步骤S1001）。

下面，针对被确定的各能量消耗设备，对需求计划与现状的差进行定量化（步骤S1002）。

下面，对提示数据的最多提示数M（M是1以上的整数）和不是自动控制的对象的能量消耗设备的设备数Nm进行比较（步骤S1003）。

在Nm>M的情况下，图像数据中的，被确定的不是自动控制的对象的能量消耗设备的数量比最多提示数M多。因此，在图像数据中被确定的，不是自动控制的对象的多个能量消耗设备中，选择M台的能量消耗设备。换言之，按照在步骤S1002算出的需求计划与现状之间的差ΔE从大到小的顺序，选择M台的能量消耗设备。而且，将与那些M台的能量消耗设备有关的提示数据，判断为需要提示，完成提示与否判断处理（步骤S1004）。

此外，在Nm≤M的情况下，在图像数据中被确定的、不是自动控制的对象的能量消耗设备的数量是最多提示数M以下，所以将与在图像数据中被确定的Nm台的能量消耗设备有关的提示数据，判断为需要提示（步骤S1005）。

下面，提示与否判断部301，从自动控制对象的Na台的能量消耗设备中，按照在步骤S1002算出的需求计划和现状的差ΔE从大到小的顺序，选择最多M－Nm台的设备，判断为需要提示，完成提示与否判断处理（步骤S1006）。

此外，本实施例的提示数据生成部302，与实施例1的情况相同，生成包含图像数据和声音数据、文本数据、动画数据等的提示数据。但是，生成能够区分自动控制对象的能量消耗设备和不是自动控制的对象能量消耗设备的形态的提示数据。具体而言，在是自动控制对象的能量消耗设备的情况下，生成包含示出正在进行自动控制的图标图像的提示数据。

图11是示出本实施例的输出部108进行的输出的一例的图。

在图11中示出了将便携式终端500的、液晶显示器511、扬声器512、便携式终端500的CPU上被执行的显示应用（未图示）以及声音再生应用（未图示），作为输出部108来构成的情况的一例。

此外，在图11的例子中，提示数据的最多提示数M是2的情况下，能量消耗设备(电视机)151和能量消耗设备(照明灯)153是自动控制对象，能量消耗设备(空调)152不是自动控制的对象。在这个例子中示出了，能量消耗设备(空调)152和能量消耗设备(照明灯)153的提示数据，被判断为需要提示的情况的一例。

在这个情况下，液晶显示器511，通过显示应用，作为能量消耗设备(照明灯)153的提示数据，重叠了示出正在进行自动控制的图标图像1103后显示。此外，作为能量消耗设备(空调)152的提示数据，重叠了在视觉上强调能量消耗设备(空调)152的图像数据501和“请将设定温度提高到28℃！”的文本数据502后显示。

此外，使用者在与液晶显示器511一体化的触摸屏上，敲击能量消耗设备(照明灯)153时，通过声音再生应用，从扬声器512输出“自动控制中！”的声音。

此外，敲击能量消耗设备(空调)152时，通过声音再生应用，从扬声器512输出“请将设定温度提高到28℃！”的声音。

这样，在本实施例的图像数据215中，与是自动控制的对象的能量消耗设备的提示数据相比，优先地重叠不是自动控制对象的能量消耗设备的提示数据。这个情况下，提示数据由使用者观看，被优先地提示在达成需求控制请求时更有效的，不是自动控制的对象的能量消耗设备的提示数据的内容。这样，能够期待使用者更加确实地实施该提示数据的控制内容的操作。

此外，在本实施例中，如示出正在进行自动控制的图标图像1103一样，生成能够区分自动控制对象的能量消耗设备和不是自动控制的对象能量消耗设备的形态的提示数据。

这个情况下，使用者不仅能够区分是自动控制对象的能量消耗设备和不是自动控制的对象的能量消耗设备，而且能够给该使用者以安心感，自动控制对象的能量消耗设备正在自动地进行基于需求计划的控制。

另外，本实施例的重叠处理部303，可以将提示数据与遥控器应用的活性化按钮一起重叠到附确定信息图像数据215。

这个情况下，遥控器应用是进行能量消耗设备的远距离控制的应用，由使用者按下在图像数据上重叠的活性化按钮，从而与相对应的能量消耗设备有关的遥控器操作成为接受状态。

遥控器操作，可以通过与液晶显示器511一体化的触摸屏，从画面显示的菜单画面输入，不过，优选的是通过输入部105的声音麦克风以声音来输入。

由输入部105的语言识别应用被识别的控制指示被发送到设备控制部110，根据设备控制部110接收的控制指示，控制能量消耗设备。

这个情况下，使用者能够一边看在能量消耗设备重叠了基于需求计划的提示数据的画面，一边进行遥控器操作。换言之，能够进行空调的设定温度的调节和运转模式的切换、照明灯的亮度的调节、还有导通/断开操作等能量消耗设备的遥控器操作，进一步提高了便利性。

(实施例4)

本实施例的能量管理系统相对于实施例3的特点是，还按照提示数据的提示优先级，重叠详细级别不同的提示数据。在本实施例中，越是与需求计划和现状的差大的能量消耗设备有关的提示数据，向使用者的提示优先级越高。

此外，本实施例中，针对提示数据的详细级别设置了两个级别：提示比较详细的信息的“详细显示”、提示比较简易的信息的“简易显示”。前者“详细显示”的级别，优先地分配给向使用者的提示优先级高的提示数据。

但是，本实施例的基本构成与实施例3相同，与实施例3相同的构成要素付上相同的符号，适当地省略图示以及详细说明。

图12A，图12B及图12C分别是示出本实施例的提示与否判断部301进行的提示与否判断处理的流程图的一部分的图。

首先，提示与否判断部301，分别对图像数据中被确定的不是自动控制的对象的能量消耗设备的设备数Nm（Nm是0以上的整数）和是自动控制对象的能量消耗设备的设备数Na（Na是0以上的整数）进行计数（步骤S1201）。

下面，针对被确定的各能量消耗设备，对需求计划和现状的差进行定量化（步骤S1202）。

下面，对提示数据的最多提示数Md（Md是1以上的整数）和不是自动控制的对象的能量消耗设备的设备数Nm进行比较（步骤S1203）。

在Nm>Md的情况下，在图像数据中被确定的能量消耗设备的数量比最多详细提示数Md多，所以选择Md台的能量消耗设备。换言之，在图像数据中被确定的，不是自动控制的对象的能量消耗设备中，按照在步骤S1202算出的需求计划与现状之间的差ΔE从大到小的顺序，选择Md台的能量消耗设备。将与那些Md台的能量消耗设备有关的提示数据，判断为需要详细提示（步骤S1204），进入步骤S1206。

此外，在Nm≤Mb的情况下，在图像数据中被确定的、不是自动控制的对象的能量消耗设备的数量是最多详细提示数Md以下，所以将与在图像数据中被确定的不是自动控制的对象的Nm台的能量消耗设备有关的提示数据，判断为需要详细提示（步骤S1205），进入步骤S1210。

在步骤S1206中，对提示数据的剩余最多提示数M－Md(M是Md以上的整数，示出最多提示数)与不是自动控制的对象的能量消耗设备的剩余设备数Nm－Md进行比较。

在这里，剩余最多提示数M－Md是从提示数据的最多提示数M，减去以“详细显示”的级别显示的数的数，示出能够以“简易显示”级别来显示提示数据的数量。

此外，剩余设备数Nm－Md是，图像数据中的被确定的，不是自动控制的对象的能量消耗设备的设备数Nm，减去以“详细显示”的级别显示的能量消耗设备的数量的数。换言之，该Nm－Md示出，提示数据的成为以“简易显示”级别显示的候补的能量消耗设备的数量。

Nm－Md>M－Md的情况下，剩余设备数Nm－Md比剩余最多提示数M－Md多。因此，从剩余的Nm－Md台的能量消耗设备中，按照在步骤S1202算出的需求计划与现状之间的差ΔE从大到小的顺序，选择M－Md台的能量消耗设备。将与被选择的这些能量消耗设备有关的提示数据，判断为需要简易提示，完成提示与否判断处理（步骤S1207）。

此外，Nm－Md≤M－Md情况下，剩余设备数N－Md是剩余最多提示数M－Md以下，从而将与剩余的Nm－Md台的能量消耗设备有关的提示数据判断为需要简易提示（步骤S1208）。

下面，提示与否判断部301，从自动控制对象的Na台的能量消耗设备中，按照在步骤S1202算出的需求计划和现状之间的差ΔE从大到小的顺序，选择最多M－Nm台的设备，判断为需要提示，完成提示与否判断处理（步骤S1209）。

在步骤S1210，比较提示数据的剩余最多详细提示数Md－Nm（Md是1以上的整数）和自动控制对象的设备数Na。

Na>Md－Nm的情况下，图像数据中被确定的是自动控制的对象的能量消耗设备的数量比剩余最多详细提示数Md－Nm多。因此，按照在步骤S1202算出的需求计划与现状之间的差ΔE从大到小的顺序，选择Md－Nm台的能量消耗设备。将与那些Md－Nm台的能量消耗设备有关的提示数据，判断为需要详细提示（步骤S1211），进入步骤S1213。

此外，Na≤Md－Nm的情况下，在图像数据中被确定的自动控制对象的能量消耗设备的数量是剩余最多详细提示数Md－Nm以下。因此，与在图像数据中被确定的Na台的能量消耗设备有关的提示数据判断为需要详细提示，完成提示与否判断处理（步骤S1212）。

在步骤S1213中，对提示数据的剩余最多提示数M－Md(M是Md以上的整数，示出最多提示数)与剩余设备数N－Md进行比较。

N－Md>M－Md的情况下，剩余设备数N－Md比剩余最多提示数M－Md多。因此，从剩余的N－Md台的自动控制对象的能量消耗设备中，按照在步骤S1202算出的需求计划与现状之间的差ΔE从大到小的顺序，选择M－Md台的能量消耗设备。将与那些M－Md台的能量消耗设备有关的提示数据，判断为需要简易提示，完成提示与否判断处理（步骤S1214）。

此外，N－Md≤M－Md的情况下，剩余设备数N－Md是剩余最多提示数M－Md以下，从而将与剩余的N－Md台的自动控制对象的能量消耗设备有关的提示数据判断为需要简易提示，完成提示与否判断处理（步骤S1215）。

此外，本实施例的提示数据生成部302，与实施例1的情况相同，生成包含图像数据和声音数据、文本数据、动画数据等的提示数据。

但是，生成能够区分自动控制对象的能量消耗设备和不是自动控制的对象能量消耗设备的形态的提示数据。

此外，针对提示与否判断部301判断为需要详细提示的提示数据，生成以“详细显示”的级别显示的提示数据，针对提示与否判断部301判断为需要简易提示的提示数据，生成以“简易显示”的级别显示的提示数据。

图13是表示本实施例的提示数据被重叠的图像数据217输出到输出部108的一例的图。

在图13中示出了将便携式终端500的液晶显示器511、扬声器512、便携式终端500的CPU上被执行的显示应用（未图示）以及声音再生应用（未图示），作为输出部108来构成的情况的一例。

在该图13的情况下，提示数据的最多提示数M是3，最多详细提示数Md是2的情况下，能量消耗设备(电视机)151和能量消耗设备(照明灯)153是自动控制对象。在这个情况下，示出能量消耗设备(空调)152不是自动控制的对象，能量消耗设备(空调)152和能量消耗设备(照明灯)153的提示数据被判断为需要详细提示，能量消耗设备(电视机)151的提示数据被判断为需要简易提示的情况的一例。

液晶显示器511上显示了如下，针对不是自动控制的对象，被判断为需要详细显示的能量消耗设备(空调)152，作为提示数据，重叠了在视觉上强调了能量消耗设备(空调)152的图像数据501和“请将设定温度提高到28℃！”的文本数据502来进行显示。

此外，液晶显示器511上显示了如下，针对是自动控制的对象，并且被判断为需要详细显示的能量消耗设备(照明灯)153，作为提示数据，重叠了示出正在进行自动控制的图标图像1103和“自动控制中！已节能15％”的文本数据502来进行显示。

此外，液晶显示器511上显示了如下，针对是自动控制对象，并且被判断为需要简易显示的能量消耗设备(电视机)151，重叠了示出正在进行自动控制的图标图像1104来进行显示。

这样，在本实施例中，与自动控制的对象的能量消耗设备的提示数据相比，优先地重叠不是自动控制对象的能量消耗设备的提示数据。加之，针对需求计划和现状的差比较大的能量消耗设备，重叠详细级别高的提示数据。因此，在提示数据中，与需求计划和现状的工作状况之间的差比较大的能量消耗设备有关的提示数据的视觉确认性提高，换言之，被实施的情况下效果好的控制内容的提示数据的视觉确认性提高。

因此，由使用者观看输出部108输出的数据上被重叠的提示数据，能够期待使用者能够更确实地实施在达成需求控制请求时更有效的提示数据的控制内容的操作。

换言之，能够催促使用者，使用在达成需求控制请求上更有效的能量消耗设备的使用办法。

另外，在所述中，作为提示数据的详细级别，设置了2个级别，不过也可以设置3个以上的级别。

(实施例5)

本实施例的能量管理系统的特点如下，即使摄像机部102不向着能量消耗设备进行拍摄，也能看到基于需求计划的提示数据，被重叠在映出了能量消耗设备的图像数据上。

但是，本实施例的基本构成与实施例3的相同部分较多，针对与实施例3相同的构成要素附上相同的编号，适当地省略图示以及详细说明。

图14是本实施例的能量管理系统的系统构成图。

本实施例的能量管理系统具备：n台的能量消耗设备151～15n、家庭管理部1401、移动管理部1402以及服务器管理部1403的3个部分。管理能量消耗设备151～15n消耗的能量的管理部100，具备上述的3个部分。

家庭管理部1401作为安装在家中的设备，具备：设备观察部101、计划执行部109、设备控制部110、以及分别与移动管理部1402以及服务器管理部1403进行通信的通信部1411。

移动管理部1402作为使用者能够搬运的形态的便携式终端，具备：摄像机部102、设备确定部104、输入部105、智能信息重叠部107、输出部108、分别与家庭管理部1401以及服务器管理部1403进行通信的通信部1412。

服务器管理部1403作为计算机服务器装置，具备：设备信息保持部103、需求计划生成部106、分别与家庭管理部1401以及移动管理部1402进行通信的通信部1413。作为图8的管理部100的具体的形态，可举出例如该图14的管理部100的形态。

通信部1411、1412、1413，以通过有线或无线能够通信的形式，互相连接。

图15是示出本实施例的智能信息重叠部107的内部构成的图。

在本实施例的智能信息重叠部107，具备：提示与否判断部301、提示数据生成部302、重叠处理部303，而且还具备下面的各个部分。

所述各个部分如下：图像数据保持部1504，保持由设备确定部104附加了设备确定信息的图像数据；切换部1505，通过切换被输入到提示与否判断部301和提示数据生成部302和重叠处理部303的图像数据，从而切换重叠提示数据的图像数据。

图像数据保持部1504保持图像数据。该图像数据是，针对家中安装的能量消耗设备，按每个房间或每个设备，由摄像机部102拍摄的图像数据。这个图像数据，以由设备确定部104附加了设备确定信息的形式预先被保持。

另外，图像数据保持部1504中保持的图像数据的属性信息，包含进行摄影的场所的位置信息。该位置信息，利用GPS（Global PositioningSystem）功能等的位置信息获得功能而获得。在图14中没有示出，不过，由构成移动管理部1402的便携式终端具备位置信息获得功能。

切换部1505读出图像数据保持部1504中保持的图像数据，此外，接收从设备确定部104发送来的附设备确定信息图像数据。该切换部1505，根据由使用者从输入部105输入的切换指示1615，切换输出到提示与否判断部301、提示数据生成部302、重叠处理部303的上述图像数据。换言之，切换指示1615，根据控制模式选择图像数据，该控制模式是用于从包含图像数据保持部1504保持的图像数据的选择候补中，选择输出到提示与否判断部301等的图像数据的信息。

另外，切换指示1615，还可以在控制模式中包含如下信息：指定是将图像数据保持部1504中保持的图像数据输出到提示与否判断部301等，或者是将摄像机部102拍摄的图像数据等输出到提示与否判断部301等。例如，切换指示1615作为控制模式包含“保持图像模式”的情况下，将图像数据保持部1504中保持的图像数据，输出到提示与否判断部301等。此外，切换指示1615作为控制模式包含“摄像机模式”的情况下，将摄像机部102拍摄的图像数据等输出到提示与否判断部301等。

例如，有时切换部1505，切换为图像数据保持部1504中保持的附设备确定信息图像数据。在这个情况下，在图像数据保持部1504中保持的拍摄了家中设置的能量消耗设备的图像数据上，能够看到重叠了基于需求计划的提示数据的图像数据。这个情况下，即使不总是将摄像机部102朝向能量消耗设备，也能看到将基于需求计划的提示数据，重叠到实际拍摄了能量消耗设备的图像数据上。

另一方面，切换成从设备确定部104发送来的附设备确定信息图像数据时，与实施例3的情况一样，能够看到当前摄像机部102拍摄能量消耗设备的图像数据上，重叠了基于需求计划的提示数据。

图16是本实施例的能量管理系统的工作的时序图。

在该图16，从由设备观察部101进行的设备观察处理201，基于需求计划的控制信号225发送到能量消耗设备为止的顺序，以及，从摄像机部102进行的摄影处理211，附确定信息图像数据215发送到智能信息重叠部107为止的顺序，与实施例3一样。

本实施例的情况下，由使用者从输入部105输入切换提示数据重叠的图像数据的切换指示1615时（输入处理1602），切换指示1615被发送到智能信息重叠部107，所述切换指示1615是示出被输入的内容的信息。

接收了切换指示1615的智能信息重叠部107，由切换部1505根据切换指示1615，切换输出到提示与否判断部301、提示数据生成部302、重叠处理部303的图像数据。

智能信息重叠部107，针对切换部1505切换的图像数据，与实施例3同样地进行智能重叠处理1616。

智能信息重叠部107实施智能重叠处理1616，将提示数据被重叠的图像数据1617发送到输出部108。

输出部108，将重叠了提示数据的图像数据1617，利用液晶显示器和扬声器输出（输出处理1618）。

图17A，图17B及图17C分别是示出在本实施例的提示数据被重叠的图像数据1617，输出到输出部108的液晶显示器511的一例的图。

图17A示出根据从输入部105输入的切换指示1602，切换部1505将重叠了提示数据的图像数据，切换成拍摄起居室的图像数据的情况。

在图17A的情况下，输出部108的液晶显示器显示了起居室的能量消耗设备(照明灯)和能量消耗设备(空调)和能量消耗设备(电视机)。

加之，有关能量消耗设备(空调)，作为提示数据重叠了在视觉上强调能量消耗设备(空调)的图像数据1101和“请将设定温度提高到28℃！”的文本数据1102而进行显示。

此外，有关能量消耗设备(照明灯)，作为提示数据重叠了图标图像1103而进行显示，该图标图像1103表示正在进行自动控制。

此外，图17B示出根据从输入部105输入的切换指示1602，切换部1505将重叠了提示数据的图像数据，切换成拍摄卧室1的图像数据的情况。

在图17B的情况下，输出部108的液晶显示器上，显示了卧室1的能量消耗设备(照明灯)和能量消耗设备(空调)和能量消耗设备(电视机)。

加之，有关能量消耗设备(空调)，作为提示数据重叠了在视觉上强调能量消耗设备(空调)的图像数据1101和“请将设定温度提高到28℃！”的文本数据1102而进行显示。

此外，有关能量消耗设备(照明灯)，作为提示数据重叠了图标图像1103而进行显示，该图标图像1103表示正在进行自动控制。

此外，图17C示出根据从输入部105输入的切换指示1602，切换部1505将重叠了提示数据的图像数据，切换成拍摄卧室2的图像数据的情况。

在图17C的情况下，输出部108的液晶显示器上，显示了卧室2的能量消耗设备(照明灯)和能量消耗设备(空调)。

加之，有关能量消耗设备(空调)，作为提示数据重叠了在视觉上强调能量消耗设备(空调)的图像数据1101和“请将设定温度提高到28℃！”的文本数据1102而进行显示。

此外，有关能量消耗设备(照明灯)，作为提示数据重叠了图标图像1103而进行显示，该图标图像1103表示正在进行自动控制。

另外，在输入部105，也可以与在触摸屏上的轻弹操作相对应地输入切换指示1615。

这个情况下，针对轻弹操作，切换部1505依次切换输出到提示与否判断部301和提示数据生成部302和重叠处理部303的图像数据。

能够以与切换便携式终端500的液晶显示器511上显示的相片数据的情况相同的操作感觉，来切换重叠提示数据的图像数据，能够比较简单地进行切换。

这样，本实施例中，即使摄像机部102不总是向着能量消耗设备进行拍摄，也能看到基于需求计划的提示数据被重叠在映出了能量消耗设备的图像数据上。

换言之，即使使用者不去各个房间，也能看到基于需求计划的提示数据被重叠在映出了各房间的能量消耗设备的图像数据上。

此外，即使不在家，从外边也能看到基于需求计划的提示数据被重叠在映出了各房间的能量消耗设备的图像数据上，从而提高了使用者的便利性。

此外，将便携式终端500设为显示提示数据被重叠的图像数据的模式的时候，可以进行下面的工作。换言之，可以第一个输出如下数据：在映出了需求计划和现状的差最大的能量消耗设备的图像数据上重叠了提示数据的数据。

这个情况下，智能信息重叠部107，从提示信息中包含的需求计划和设备状态信息中，确定需求计划和现状的差最大的能量消耗设备。切换部1505，进行切换成映出了这样确定的能量消耗设备的图像数据的处理。

从而，向使用者第一个提示与需求计划和现状的差最大的能量消耗设备有关的提示数据，换言之，被实施时的效果大的提示数据。因此，使用者观看提示数据，能够期待更确实地实施在达成需求控制请求上有效的提示数据的控制内容的操作。

此外，在上述说明中，根据从输入部105输入的切换指示1602，切换部1505进行了图像数据的切换，不过，也可以是切换部1505根据时间信息或位置信息，自动地切换图像数据。

例如，根据时间信息切换的情况下，切换部1505，按照规定的时间间隔依次切换输出到提示与否判断部301和提示数据生成部302和重叠处理部303的图像数据。

在这个情况下，如图片浏览一样的感觉，从输出部108输出在图像数据保持部1504中保持的图像数据重叠了提示数据的图像数据。

此外，例如，根据位置信息进行切换的情况下，切换部1505根据使用者的位置信息，将输出到提示与否判断部301和提示数据生成部302和重叠处理部303的图像数据，自动地切换成摄影场所离使用者的现行位置近的图像数据。

这时，切换部1505，对图像数据保持部1504中保持的图像数据的属性信息中的位置信息进行比较，切换成位置信息与使用者（持有便携式终端500的使用者）的现行位置最近的图像数据。

这个情况下，例如，使用者从起居室移动到卧室的情况下，从拍摄起居室的图像数据切换到拍摄卧室的图像数据，从输出部108输出在拍摄了卧室的图像数据上重叠了提示数据的图像数据。

另外，本实施例的重叠处理部303，可以在从图像数据保持部1504读出的附确定信息图像数据上，重叠提示数据和遥控器应用的活性化按钮。

这个情况下，通过使用者按下重叠在图像数据上的活性化按钮，从而与相应的能量消耗设备有关的遥控器操作成为接受状态。

遥控器操作，可以通过与液晶显示器511一体化的触摸屏，从画面显示的菜单画面输入，不过，比较优选的是根据输入部105的声音麦克风来输入声音。

由输入部105的语言识别应用被识别的控制指示，经由通信部发送到设备控制部110，设备控制部110，根据接收的控制指示，控制能量消耗设备。

这个情况下，使用者在外边，能够一边看基于需求计划的提示数据重叠在能量消耗设备的画面，一边进行遥控器操作。换言之，各房间的空调的设定温度的调整和运行模式的切换，照明灯的亮度的调整，还有导通/断开操作等，能够进行能量消耗设备的遥控器操作，进一步提高了便利性。

(实施例6)

本实施例的能量管理系统的特点是，生成多个需求计划，基于使用者选择的需求计划的提示数据被重叠。

本实施例的基本构成与实施例3的相同部分较多，针对与实施例3相同的构成要素附上相同的编号，适当地省略图示以及详细说明。

图18是本实施例的能量管理系统的系统构成图。

本实施例中，需求计划生成部1806生成多个需求计划。

需求计划生成部1806，例如，根据从专利文献2的[0078]段到[0106]段记载的模拟实验执行部生成削减计划的方法，来生成多个需求计划。

需求计划生成部1806，对现状的设备构成和多个控制模式的组合进行模拟实验，评价该模拟实验的结果，导出能够得到满足需求控制请求（相当于专利文献2的削减目标）的结果的多个控制模式。将导出的多个控制模式的内容的每一个作为需求计划，从而生成多个需求计划。

需求计划生成部1806，还生成包含已生成的多个需求计划的提示信息，发送到智能信息重叠部1807。

由使用者进行从多个需求计划中选择1个需求计划的操作时，从输入部105，示出被选择的需求计划的选择指示被发送到智能信息重叠部1807。

智能信息重叠部1807，选择与从输入部105接收的选择指示示出的需求计划对应的需求计划，基于被选择的需求计划的提示数据，重叠到拍摄了家的能量消耗设备的图像数据上。

此外，需求计划生成部1806生成的多个需求计划，也发送到计划执行部1809。

此外，示出被选择的需求计划的选择指示，从输入部105也发送到计划执行部1809。计划执行部1809执行从输入部105接收的选择指示示出的需求计划。

图19示出本实施例的智能信息重叠部1807的内部构成。

在本实施例的智能信息重叠部1807，除了具备提示与否判断部301和提示数据生成部302和重叠处理部303之外，还具备需求计划选择部1901，该需求计划选择部1901选择在附确定信息图像数据215进行重叠的需求计划。

需求计划选择部1901，根据从输入部105接收的选择指示105I，从需求计划生成部1806接收的提示信息中包含的多个需求计划中，选择在附确定信息图像数据215重叠的需求计划。

图20是示出本实施例的能量管理系统的工作的时序图。

从由设备观察部101进行的设备观察处理201，到设备性能信息信号225发送到需求计划生成部1806为止的顺序，以及，从摄像机部102进行的摄影处理211，到附确定信息图像数据215发送到智能信息重叠部107为止的顺序，与实施例3一样。

本实施例的情况下，需求计划生成部1806，生成多个需求计划（需求计划生成处理2006），将包含生成的多个需求计划的提示信息2007发送到智能信息重叠部1807，加之，将生成的多个需求计划2021发送到计划执行部1809。

选择需求计划的选择指示，根据使用者从输入部105被输入时（输入处理2002），示出被输入的内容的信息的选择指示2014，2015，分别发送到计划执行部1809和智能信息重叠部1807。

在接收了选择指示2015的智能信息重叠部1807，需求计划选择部1901根据选择指示2015，从提示信息2007中包含的多个需求计划中，选择1个需求计划。

智能信息重叠部1807，将根据选择的需求计划的提示数据，重叠到从设备确定部104接收的附确定信息图像数据215（智能重叠处理2016）。

智能信息重叠部1807，将实施智能重叠处理2016提示数据被重叠的图像数据2017发送到输出部108，输出部108将重叠了提示数据的图像数据2017，使用液晶显示器和扬声器进行输出（输出处理2018）。

此外，接收了选择指示2014的计划执行部1809，根据选择指示2015，从多个需求计划中选择1个需求计划，向设备控制部110发送控制指示，该控制指示是根据选择的需求计划的内容，使能量消耗设备动作的指示（计划执行处理2022）。

设备控制部110，将与接收的控制指示223对应的控制信号225，分别发送到各个能量消耗设备，控制能量消耗设备（设备控制处理224）。

图21A，图21B以及图21C分别示出在本实施例的提示数据被重叠的图像数据2017，从输出部108的液晶显示器511输出的一例。

液晶显示器511上显示的能量消耗设备是相同的，图21A～图21C示出选择了各自不同的需求计划的情况。

图21A示出需求计划选择部1901根据从输入部105输入的选择指示2015，选择了“方案1”的需求计划的情况。

这个情况下的“方案1”的需求计划中，能量消耗设备(空调)的冷气的设定温度是28℃。因为其与现状不同，作为能量消耗设备(空调)的提示数据，重叠了在视觉上强调能量消耗设备(空调)的图像数据2101和“请将设定温度提高到28℃！”的文本数据2102而进行显示。

此外，图21B示出需求计划选择部1901根据从输入部105输入的选择指示2015，选择了“方案2”的需求计划的情况。

这个情况下的“方案2”的需求计划中，能量消耗设备(照明灯)的亮度设为级别5，因为其与现状不同，作为能量消耗设备(照明灯)的提示数据，重叠了在视觉上强调能量消耗设备(照明灯)的图像数据2111和“请将亮度降到级别5！”的文本数据2112而进行显示。

此外，图21c示出需求计划选择部1901根据从输入部105输入的选择指示2015，选择了“方案3”的需求计划的情况。

这个情况下的“方案3”的需求计划中，能量消耗设备(电视机)的音量的设为级别20，因为其与现状不同，作为能量消耗设备(电视机)的提示数据，重叠了在视觉上强调了能量消耗设备(电视机)的图像数据2121和“请把音量降到级别20！”的文本数据2122而进行显示。

这样，能够知道实施各个需求计划的情况与现状的差，所以使用者能够选择合适的需求计划，提高了使用者的便利性。

此外，能够选择对于使用者来说比较合理的需求计划，尤其是由使用者实施不是自动控制的对象的能量消耗设备的需求计划的可能性提高，有利于达成需求控制请求。

(实施例7)

本实施例的能量管理系统的特点如下：生成包含能量消耗设备的更换和添置等变更设备构成的情况下的需求计划的多个需求计划，重叠基于使用者选择的需求计划的提示数据。

本实施例的基本构成与实施例6的相同部分较多，针对与实施例6相同的构成要素附上相同的编号，适当地省略图示以及详细说明。

图22是本实施例的能量管理系统的系统构成图。

本实施例具备：保持各种能量消耗设备的性能信息以及设备特征信息的设备信息数据库2231。该设备信息数据库2231经由网络2220，与管理部100连接。

本实施例的需求计划生成部2206，生成多个需求计划，该多个需求计划还包含能量消耗设备的更换和添置等变更设备构成的情况下的需求计划。

设备信息数据库2231，除了家中设置的能量消耗设备151～15n之外，还保持与其他机种的能量消耗设备有关的性能信息以及设备特征信息，还保持提示数据的部件数据。

在设备信息数据库2231中，作为能量消耗设备的性能信息，能量消耗设备的各种工作状态中的能量消耗有关的信息与能量消耗设备的识别信息相关联地保持。

此外，设备信息数据库2231中，保持有能量消耗设备的计算机图形数据（CG数据）和能量消耗设备的特征信息，以作为能量消耗设备的设备特征信息。换言之，从能量消耗设备的被三维模型化的CG数据、以及能量消耗设备被拍摄的图像数据中，通过图像分析，用于确定能量消耗设备的能量消耗设备的特征信息被保持。在该保持中，能量消耗设备的设备特征信息，与该能量消耗设备的识别信息相关连地保持。

此外，在设备信息数据库2231中，文本消息的模板、图像数据、声音数据、动画数据等与能量消耗设备的识别信息相关连地保持，以作为能量消耗设备的提示数据的部件数据。

本实施例的需求计划生成部2206，例如，根据从专利文献2的[0078]段到[0106]段记载的模拟实验执行部生成削减计划的方法，来生成多个需求计划。

需求计划生成部2206，经由网络2220获得各种能量消耗设备的性能信息，对多个设备构成和多个控制模式的组合进行模拟实验，评价该模拟实验的结果，导出能够得到满足需求控制请求（相当于专利文献2的削减目标）的结果的多个控制模式。将导出的各个控制模式作为需求计划，从而生成多个需求计划。

需求计划生成部2206，还生成包含已生成的多个需求计划的提示信息，发送到智能信息重叠部2207。

由使用者进行从多个需求计划中选择1个需求计划的操作时，从输入部105将示出被选择的需求计划的选择指示发送到智能信息重叠部2207。

智能信息重叠部2207，选择与从输入部105接收的选择指示示出的需求计划对应的需求计划，基于被选择的需求计划的提示数据，重叠到拍摄了家中的能量消耗设备的图像数据上。

此外，需求计划生成部2206，将生成的多个需求计划中的对应的设备构成与现状的设备构成相同的需求计划，发送到计划执行部1809。

示出被选择的需求计划的选择指示，从输入部105发送到计划执行部1809。计划执行部1809执行从输入部105接收的选择指示所示出的需求计划。

图23示出在本实施例的智能信息重叠部2207的内部构成。

本实施例的智能信息重叠部2207，只是提示数据生成部2302的工作与实施例6的提示数据生成部302的工作不同，除此之外，与实施例6的智能信息重叠部1807相同。

提示数据生成部2302，在提示与否判断部301判断为需要提示的能量消耗设备，与现状的设备构成中包含的任一个能量消耗设备都不同的情况下，换言之，设想能量消耗设备的更换和添置的需求计划的情况下，进行下述工作。该工作中，对于现状的设备构成中没有的能量消耗设备的设备特征信息，经由网络2220，从设备信息数据库2231获得。

提示数据生成部2302使用从设备信息数据库2231获得的设备特征信息，生成该能量消耗设备的提示数据。

例如，使用催促能量消耗设备的更换的消息和设备特征信息中包含的能量消耗设备的CG数据，生成示出置换了能量消耗设备的情况的设置状况的图像数据。

提示数据生成部2302，在提示与否判断部301判断为需要提示的能量消耗设备，与现状的设备构成中包含的一个能量消耗设备相同的情况下，与提示数据生成部302的情况相同地，生成包含图像数据和声音数据、文本数据、动画数据等的提示数据。这个情况下，提示数据生成部2302，在需求计划和现状之间的差与需求计划的比例（Er－Ep）/Ep是规定的比例以上的情况下，作为提示数据生成劝告，该劝告是催促执行需求计划示出的控制内容的劝告。

此外，需求计划和现状之间的差与需求计划的比例（Er－Ep）/Ep小于规定的比例的情况下，作为提示数据生成如下信息：示出现状的工作状况的信息、示出在达成需求控制请求上接近理想的工作状况的信息。

图24是示出本实施例的能量管理系统的工作的时序图。

从由设备观察部101进行的设备观察处理201，设备性能信息205发送到需求计划生成部1806为止的顺序，以及，附确定信息图像数据215从摄像机部102进行的摄影处理211发送到智能信息重叠部107为止的顺序，与实施例6相同。

本实施例的情况下，需求计划生成部2206进行需求计划生成处理2406。该处理中，除了设备性能信息205以外，从设备信息数据库2231，获得各种能量消耗设备的性能信息2405。这样，生成多个需求计划，该多个需求计划还包含能量消耗设备的更换和添置等变更设备构成的情况的需求计划。

需求计划生成部2206，还将包含已生成的多个需求计划的提示信息2407发送到智能信息重叠部2207。

选择需求计划的选择指示2415，由使用者从输入部105输入时（输入处理2402），选择指示2415被发送到智能信息重叠部2207，该选择指示2415是示出被输入的内容的信息。

在接收了选择指示2415的智能信息重叠部2207中，需求计划选择部1901根据选择指示2415，从提示信息2407中包含的多个需求计划中选择1个需求计划。

加之，在智能信息重叠部2207中，提示数据生成部2302按照需要，从设备信息数据库2231获得现状的设备构成中没有的能量消耗设备的设备特征信息，也利用获得的设备特征信息生成提示数据。

加之，智能信息重叠部2207，将重叠处理部303生成的提示数据，重叠到从设备确定部104接收的附确定信息图像数据215（智能重叠处理2416）。

智能信息重叠部2207，将实施智能重叠处理2416重叠了提示数据的图像数据2417，发送到输出部108。

输出部108，将重叠了提示数据的图像数据2417，使用液晶显示器和扬声器进行输出（输出处理2418）。

此外，需求计划生成部2206，将包含生成的多个需求计划的提示信息2407，发送到智能信息重叠部2207，此外，在生成的多个需求计划中，将设备构成与现状相同的需求计划2421，发送到计划执行部1809。

选择需求计划的选择指示，由使用者从输入部105进行输入时（输入处理2402），选择指示2414被发送到计划执行部1809，该选择指示2414是示出被输入的内容的信息。

接收了选择指示2414的计划执行部1809，根据选择指示2014，从多个需求计划中选择1个需求计划，将控制指示发送到设备控制部110，以使能量消耗设备根据选择的需求计划的内容进行工作（计划执行处理2022）。

设备控制部110，将与接收的控制指示223对应的控制信号225，分别发送到每一个能量消耗设备，控制各能量消耗设备（设备控制处理224）。

图25A，图25B及图25C分别示出本实施例中的提示数据被重叠的图像数据2417，输出到输出部108的液晶显示器511的一例。

图25A～图25C示出选择了各自不同的需求计划的情况。

图25A示出需求计划选择部1901根据从输入部105被输入的选择指示2415，选择了“方案1”的不变更设备构成的需求计划的情况。

这个情况下的“方案1”的需求计划中，能量消耗设备(空调)的冷气的设定温度设为28℃，这与现状不同。因此，作为能量消耗设备(空调)的提示数据，重叠了在视觉上强调能量消耗设备(空调)的图像数据2501和“请将设定温度提高到28℃！”的文本数据2502而进行显示。

此外，图25B示出需求计划选择部1901根据从输入部105被输入的选择指示2415，选择了变更设备构成的“方案2”的需求计划的情况。

这个情况下的“方案2”的需求计划中，能量消耗设备(空调)需要更换。因此，作为能量消耗设备(空调)的提示数据，重叠了以下数据而进行显示，该数据是示出更换了能量消耗设备(空调)的情况的设置状况的图像数据2510、在视觉上强调了能量消耗设备(空调)的图像数据2511、以及“请更换为○○－□□□□空调！”的催促更换的文本数据2512。

此外，图25C示出需求计划选择部1901根据从输入部105被输入的选择指示2015，选择了变更设备构成的“方案3”的需求计划的情况。

这个情况下的“方案3”的需求计划中，需要添置能量消耗设备(换热器)，作为能量消耗设备(换热器)的提示数据，重叠了示出添置了能量消耗设备(换热器)的情况的设置状况的图像数据2520、在视力上强调了能量消耗设备(换热器)的图像数据2521、“请购买换热器△△－□□□□！”的催促添置的文本数据2522而进行显示。

这样，包含能量消耗设备的更换和添置的需求计划被提示，所以选择范围的幅度扩大，能够选择符合使用者情况的需求计划，能够提高使用者的便利性。

此外，能够选择对于使用者来说容易实现的需求计划，尤其是由使用者实施不是自动控制的对象的能量消耗设备的需求计划的可能性提高，有利于达成需求控制请求。

另外，在使用者更换或添置了能量消耗设备的情况下，设备信息保持部103保持的信息被更新。

在能量消耗设备被更换或添置的情况下，设备信息保持部103，经由网络2220，获得新的能量消耗设备的性能信息和设备特征信息，更新设备信息保持部103保持的信息。

另外，在使用者更换或添置了能量消耗设备的情况下，提示数据生成部2302保持的提示数据的部件数据也被更新。

在能量消耗设备被更换或添置的情况下，提示数据生成部2302，经由网络2220获得新的能量消耗设备的提示数据的部件数据，更新提示数据生成部2302保持的提示数据的部件数据。

另外，提示与否判断部301，在被选择的需求计划中，可以将与被变更的能量消耗设备有关的提示数据，优先地判断为需要提示。

图26示出这个情况下的提示与否判断部301进行的提示与否判断处理的流程图。

首先，提示与否判断部301，对以下设备的数量进行计数：以设备确定信息为基础在图像数据212中被确定的能量消耗设备的设备数量N（N是0以上的整数）、以及该N台的能量消耗设备中由被选择的需求计划而变更的设备的设备数量Nc（Nc为0以上的整数）（步骤S3401）。

下面，有关被确定的N台的能量消耗设备，将实施了需求计划的情况和现状的差进行定量化（步骤S402）。具体而言是需求计划示出的、针对各个能量消耗设备的控制内容。在需求控制请求是与能量消耗量有关的控制请求的事例中，算出在实施了该控制内容的控制的情况下，由能量消耗设备被消耗的能量的估计值Ep与现状的工作状况下被消耗的能量的实际值Er的差ΔE（=Er－Ep）。

此外，在需求控制请求是与CO2排出量有关的控制请求的事例中，算出在实施了该控制内容的控制的情况下，基于由该能量消耗设备消耗的能量的CO2排出量的估计值Ep与基于现状的工作状况下被消耗的能量的CO2排出量的实际值Er的差ΔE（=Er－Ep）。

此外，在需求控制请求是与成本有关的控制请求的事例中，算出在实施了该控制内容的控制的情况下，基于由该能量消耗设备消耗的能量的成本的估计值Ep与基于现状的工作状况下被消耗的能量的成本的实际值Er的差ΔE（=Er－Ep）。

下面，提示数据的最多提示数M（M是1以上的整数）与设备数N进行比较（步骤S403）。

在N≤M的情况下，在图像数据212中被确定的能量消耗设备的数量是最多提示数M以下，从而在图像数据中被确定的与N台的能量消耗设备有关的提示数据判断为需要提示，完成提示与否判断处理（步骤S405）。

此外，在N>M的情况下，还比较提示数据的最多提示数M与被变更的设备数Nc（步骤S3403）。

在Nc≥M的情况下，被变更的设备中，在步骤S402算出的需求计划与现状之间的差ΔE更大的能量设备开始，以从大到小的顺序选择M台的能量消耗设备，判断为需要提示，完成提示与否判断处理（步骤S3404）。

此外，在Nc<M的情况下，首先，将作为被变更的设备的Nc台的能量消耗设备判断为需要提示（步骤S3405）。加之，在剩余的N－Nc台的设备中，在步骤S402算出的需求计划与现状之间的差ΔE大的能量设备开始，依次选择M－Nc台的能量消耗设备。将这些M－Nc台的能量消耗设备有关的提示数据，判断为需要提示，完成提示与否判断处理（步骤S3406）。

在这个情况下，被选择的需求计划中，能量消耗设备被变更的情况下，催促更换能量消耗设备的消息，优先地提示给使用者。

(实施例8)

本实施例的能量管理系统的特点如下，能量消耗设备以新的工作模式工作，加之，新的提示数据被重叠。

在本实施例中，获得下面的数据等。换言之，根据针对能量消耗设备的低级别的指令的组合，经由网络获得如下：控制模块，进行控制，使能量消耗设备以新的工作模式方式来工作；数据，包含与新的工作模式对应的新的提示数据（以下称为“设备内容数据”）。这样，使能量消耗设备在新的工作模式下的工作，和新的提示数据的重叠成为可能。

在这里，新的工作模式是指通常的能量消耗设备中不能使用的工作模式，例如基于新的算法的节能控制模式等。

此外，新的提示数据是指将与新的工作模式对应的消息和图像数据提示给使用者的提示数据，能量消耗设备只是与管理部100连接，并不能输出。

但是，本实施例的基本构成与实施例3的相同部分较多，针对与实施例3相同的构成要素附上相同的编号，适当地省略图示以及详细说明。

图27是本实施例的能量管理系统的系统构成图。

本实施例中，还具备设备内容数据服务器2631，是发送各种能量消耗设备的设备内容数据的服务器。该设备内容数据服务器2631，经由网络2220与管理部100连接。

加之，管理部100具备设备内容数据管理部2630，该设备内容数据管理部2630是管理从设备内容数据服务器2631下载的设备内容数据的部。

图28示出设备内容数据管理部2630的内部构成。

设备内容数据管理部2630，具备设备内容数据保持部2701、设备内容数据获得部2702、设备内容数据选择部2703。

设备内容数据保持部2701保持设备内容数据2711～271k（k是1以上的整数）。

设备内容数据获得部2702，从设备内容数据服务器2631经由网络2220获得设备内容数据、在设备内容数据保持部2701存放。

设备内容数据选择部2703，从设备内容数据保持部2701中保持的设备内容数据中，选择适用于能量消耗设备151～15n的设备内容数据。

设备内容数据，具备：控制模块2721，进行控制，使能量消耗设备以新的工作模式工作；性能信息2722，在利用控制模块2721进行控制的情况下，能量消耗设备的性能信息；以及提示项2723，由控制模块2721被控制的能量消耗设备的提示数据的生成中使用。

控制模块2721是软件程序，例如，根据针对能量消耗设备的低级别的指令的组合，控制为能量消耗设备以新的工作模式工作。

性能信息2722是以控制模块2721控制了能量消耗设备的情况下的、与新的工作模式下的能量消耗有关的信息。

提示项2723是与新的工作模式对应的新的提示数据的部件数据，包含文本消息的模板、图像数据和声音数据、动画数据等。

设备内容数据获得部2702，从设备内容数据服务器2631获得设备内容数据。所述获得，根据从输入部105输入的使用者的指示来进行。此外，所述获得，根据定期地对设备内容数据服务器2631进行存取，获得可获得的设备内容数据的设定来进行。此外，所述获得根据事件信息的接收来进行，该事件信息表示新的能量消耗设备与管理部100连接。

另外，获得来自设备内容数据服务器2631的设备内容数据时，按照需要，可以进行设备内容数据的买卖合同和设备内容数据的使用合同等的认证。

此外，设备内容数据在网络2220上，优选的是例如以被加密的形式传输，以免被第三人非法获得。

设备内容数据保持部2701中，多个设备内容数据与对应的能量消耗设备的识别信息相关联地保持。

针对1个能量消耗设备，有保持了多个设备内容数据的情况，也有1个设备内容数据都不保持的情况。

设备内容数据选择部2703，选择适用于能量消耗设备151～15n的设备内容数据。所述选择，根据从输入部105被输入的使用者的指示来进行、或者根据需求计划生成部2606生成的需求计划来进行、或者根据设备内容数据的使用合同信息来进行、或者根据接收事件信息来进行，该事件信息表示新的能量消耗设备与管理部100连接。

设备内容数据选择部2703，针对选择的设备内容数据，向计划执行部2609发送控制模块2721，向需求计划生成部2606发送性能信息2722，向智能信息重叠部2607发送提示项2723。

另外，设备内容数据根据使用合同信息被选择的情况下，优选的是例如设备内容数据保持部2701中以加密的状态进行保持，以免设备内容数据被非法地选择。

例如，可以考虑设备内容数据选择部2703，针对能量消耗设备15i（i是1≤i≤n的整数），选择了设备内容数据271j（j是1≤j≤k的整数）的情况。这个情况下，本实施例的需求计划生成部2606，针对能量消耗设备15i，参考设备内容数据271j的性能信息2722生成需求计划，本实施例的计划执行部2609，利用设备内容数据271j的控制模块2721，控制能量消耗设备15i，本实施例的智能信息重叠部2607，利用设备内容数据271j的提示项2723，生成能量消耗设备15i的提示数据。

图29是本实施例的能量管理系统的工作的时序图。

从由设备观察部101进行的设备观察处理201、以及向输入部105的需求控制请求的输入处理202至设备性能信息205发送到需求计划生成部2606为止的顺序，以及，从摄像机部102进行的摄影处理211，附确定信息图像数据215发送到智能信息重叠部107为止的顺序，与实施例3一样。

本实施例的能量管理系统中，设备内容数据管理部2630的设备内容数据获得部2702从设备内容数据服务器2631接收设备内容数据2801，存放到设备内容数据保持部2701（获得处理2802）。

由使用者从输入部105输入设备内容数据的选择指示2803时（输入处理2802i），被输入的选择指示2803，发送到设备内容数据管理部2630。

设备内容数据管理部2630，根据接收的选择指示2803，设备内容数据选择部2703选择设备内容数据，将选择的设备内容数据的控制模块2804发送到计划执行部2609，将性能信息2805发送到需求计划生成部2606，将提示项2806发送到智能信息重叠部2607。

需求计划生成部106，针对设备内容数据被适用的能量消耗设备，参考从设备内容数据管理部2630接收的性能信息2805，加之，针对设备内容数据不被适用的能量消耗设备，参考设备信息保持部103中保持的设备性能信息205，加之，对设备观察部101进行存取，参考存储区域中存储的设备工作状态信息204，生成满足需求控制请求203的需求计划（需求计划生成处理2806p）。

需求计划生成部2606，将包含生成的需求计划的提示信息2807，发送到智能信息重叠部2607，将生成的需求计划2821发送到计划执行部2609。

接收了需求计划2821的计划执行部2609，利用从设备内容数据管理部2630接收的控制模块2804，为了能量消耗设备根据需求计划2821的内容来工作，从而向设备控制部2610发送控制指示2823（计划执行处理2822）。

设备控制部2610，将与接收的控制指示2823对应的控制信号2825，分别向能量消耗设备发送，控制能量消耗设备（设备控制处理2824）。

接收了提示信息2807和附确定信息图像数据215的智能信息重叠部2607，利用从设备内容数据管理部2630接收的提示项2806，生成提示数据，将生成的提示数据重叠在图像数据215上的能量消耗设备的附近（智能重叠处理2816）。

智能信息重叠部2607，将提示数据被重叠的图像数据2817，发送到输出部108，输出部108，将提示数据被重叠的图像数据2817，利用液晶显示器和扬声器输出（输出处理2818）。

另外，需求计划生成部106，也可以针对在能量消耗设备151～15n适用的设备内容数据的组合进行模拟实验，生成满足需求控制请求的最适合的需求计划。这个情况下，需求计划生成部2606，从设备内容数据选择部2703也接收现在被选择的设备内容数据以外的设备内容数据的性能信息，进行模拟实验。

这个情况下，结果上来说，有时需求计划中包含在能量消耗设备中适用与现在被选择的设备内容数据不同的设备内容数据。

图30A，图30B以及图30C分别示出在本实施例的提示数据被重叠的图像数据2817，输出到输出部108的液晶显示器511的一例。

这些图30A、图30B以及图30C示出选择了各自不同的设备内容数据的情况。

图30A示出在能量消耗设备(空调)适用了设备内容数据的情况的一例。

这个情况下的，在能量消耗设备(空调)适用的设备内容数据是包含如下控制模块的设备内容数据，该控制模块是用于在“舒适节能模式”的新节能模式下工作的控制模块。

液晶显示器511上根据显示应用，显示如下：作为能量消耗设备(空调)的提示数据，重叠了在视觉上强调能量消耗设备(空调)的，与平常不同的图像数据2901、“正在用舒适节能控制模式运行！”的文本数据2902、还有固有的图标2903而进行显示。

此外，使用者在与液晶显示器511一体化的触摸屏上，敲击图标2903时，根据声音再生应用，“正在用舒适节能控制模式来运行！”的声音从扬声器512输出。

图30B还示出在能量消耗设备(电视机)适用设备内容数据的情况的一例。

在这个情况下的能量消耗设备(电视机)适用的设备内容数据是包含如下控制模块的设备内容数据，该控制模块是用于以“儿童节能模式”的面向儿童的节能模式来工作的模块。

在这个情况下的控制模块，例如，电源导通状态持续了一定时间以上的情况下自动地断开能量消耗设备(电视机)的电源，此外，对能量消耗设备(电视机)的音量级别进行控制，控制为指定的级别以下。

液晶显示器511，根据显示应用，作为能量消耗设备(电视机)的提示数据，重叠了在视觉上强调能量消耗设备(电视机)的与平常不同的图像数据2911、“偶尔要让电视机休息！”的文本数据2912、还有面向儿童的固有的图标2913而进行显示。

此外，使用者在与液晶显示器511一体化的触摸屏上，敲击图标2913时，根据声音再生应用，“偶尔要让电视机休息！”的声音从扬声器512输出。

图30C示出在能量消耗设备(照明)适用了设备内容数据的情况下，并且为了满足需求控制请求，对能量消耗设备(空调)，需要适用“舒适节能模式”的设备内容数据的适用的情况的一例。

在这个情况下的，在能量消耗设备(照明)适用的设备内容数据是包含如下控制模块的设备内容数据，该控制模块是用于在“时间段节能模式”的新的节能模式下工作的控制模块。

这个情况下的控制模块进行如下控制，例如，早上、中午、傍晚、夜间的每个时间段，改变照明的亮度级别。

液晶显示器511，根据显示应用，作为能量消耗设备(照明)的提示数据，重叠了在视觉上强调能量消耗设备(照明)的与平常不同的图像数据2921、“现在的时间段，亮度设为级别3！”的文本数据2922、还有固有的图标2923而进行显示。

此外，作为能量消耗设备(空调)的提示数据，重叠了在视觉上强调能量消耗设备(空调)的图像数据501、“推荐适用舒适节能模式的设备内容数据！”的文本数据2924而进行显示。

此外，使用者在与液晶显示器511一体化的触摸屏上，敲击图标2923时，根据声音再生应用，“现在的时间断，亮度设为级别3！”的声音从扬声器512输出。

此外，使用者敲击能量消耗设备(空调)时，根据声音再生应用，“推荐适用舒适节能模式的设备内容数据！”的声音从扬声器512输出。

这样，通过在能量消耗设备适用设备内容数据，从而能量消耗设备以新的节能模式等新的工作模式来工作，所以能够提高达成需求控制请求的可能性。

加之，因为与新的工作模式对应的新的提示数据被重叠而进行提示，即使能量消耗设备本身的LED和液晶画面等的显示不变，也能向使用者提示在新的工作模式下的能量消耗设备的工作状况。

另外，作为提示项也可以包含例如电影演员等名人、动画的登场人物等的图像数据和动画数据、声音数据。

这个情况下，作为提示数据，重叠了名人和登场人物的图像数据、动画数据以及声音数据而提示给使用者，所以比普通的提示数据使用者更具有兴趣，从而提高提示数据的视觉确认性。

(实施例9)

本实施例的能量管理系统的特点如下：与能量消耗设备的工作同步地向使用者提示提示数据，或者能量消耗设备与向使用者提示提示数据同步地进行工作。

通常，能量消耗设备的工作和提示数据被提示给使用者的定时偏离，从而有可能给使用者带来不协调感，因此，使用者有可能对提示数据不感兴趣。

通过能量消耗设备的工作和向使用者提示提示数据同步地进行，从而给使用者带来的不协调感消失，使用者对提示数据感兴趣，结果上，提高了提示数据的视觉确认性。

本实施例的基本构成与实施例8的相同部分较多，针对与实施例8相同的构成要素附上相同的编号，适当地省略图示以及详细说明。

图31是本实施例的能量管理系统的系统构成图。

图32是示出本实施例的设备内容数据管理部3030的内部构成的图。

本实施例中除了设备内容数据管理部3030和输出部3008和设备控制部3010以外，与实施例8相同。

本实施例中，设备内容数据管理部3030，还具备同步控制部3105，该同步控制部3105进行输出部3008和设备控制部3010的同步控制。

设备内容数据管理部3030在输出部3008以及设备控制部3010的各自之间，收发同步控制信息。这样，设备内容数据管理部3030，能够与能量消耗设备的工作同步，从输出部3008输出提示数据。此外，这样，与提示数据针对使用者的提示同步地，由根据设备控制部3010控制能量消耗设备。

同步控制信息包含能量消耗设备的识别信息、示出使其同步工作的识别信息、执行该工作的时间信息。同步控制信息中包含的时间信息是如下，绝对时间Ta（Ta示出“几点几分几秒”的时刻）的情况和相对时间Tr（示出“几秒后”的时间）的情况。

输出部3008，从同步控制部3105接收例如能量消耗设备的识别信息、示出某动画的再生工作的识别信息、包含绝对时间Ta的同步控制信息。接收该信息时，在绝对时间Ta，作为该能量消耗设备的提示数据，输出重叠了该动画的数据的工作。

此外，输出部3008，从同步控制部3105接收例如能量消耗设备的识别信息、示出某动画的再生工作的识别信息、包含相对时间Tr的同步控制信息。在接收该信息时，在相对时间Tr经过后，作为该能量消耗设备的提示数据，输出重叠了该动画的数据。

设备控制部3010，从同步控制部3105接收例如能量消耗设备的识别信息、示出能量消耗设备的某个工作的识别信息、包含绝对时间Ta的同步控制信息。接收该信息时，对能量消耗设备进行控制，以使该能量消耗设备在绝对时间Ta进行该工作。

此外，设备控制部3010，从同步控制部3105接收例如能量消耗设备的识别信息、示出能量消耗设备某个工作的识别信息、包含相对时间Tr的同步控制信息。接收该信息时，对能量消耗设备进行控制，以使该能量消耗设备在相对时间Ta经过后进行该工作。

图33是示出本实施例的能量管理系统的工作的时序图。

下面的各顺序与实施例8相同。换言之，从由设备观察部101进行的设备观察处理201，以及由设备内容数据管理部3030进行的设备内容数据2801的获得处理2802，至被选择的设备内容数据的控制模块2804和性能信息2805和提示项2806分别发送到计划执行部2609和需求计划生成部2606和智能信息重叠部2607为止的顺序，与实施例8相同。此外，从针对输入部105的需求控制请求的输入处理202，至控制指示2823发送到设备控制部3010为止的顺序，以及从摄像机部102进行的摄影处理211，至提示数据被重叠的图像数据2817发送到输出部3008为止的顺序，分别与实施例8相同。

本实施例的能量管理系统中，设备内容数据管理部3030的同步控制部3105进行同步控制处理3200，在与输出部3008之间收发同步控制信息3201，此外，在与设备控制部3010之间收发同步控制信息3202。

输出部3008，根据接收的同步控制信息3201，将提示数据被重叠的图像数据2817，使用液晶显示器和扬声器输出（输出处理3218），设备控制部3010，根据接收的同步控制信息3202，控制能量消耗设备（设备控制处理3224）。

图34A，图34B分别是模式性地示出在本实施例的能量消耗设备的工作与向使用者提示提示数据同步进行的状态的一例的图。

图34A例示了与能量消耗设备(空调)152的工作同步地，能量消耗设备(空调)152的提示数据输出到输出部3008的状态。

这个情况下，根据设备内容数据，能量消耗设备(空调)152，以“健康节能模式”的新的节能模式来工作。

在液晶显示器511显示了如下数据，拍摄了家中的能量消耗设备(空调)152的图像数据上重叠了提示数据的数据，该提示数据是与该能量消耗设备(空调)152有关的数据。

这个情况下，作为提示数据重叠了如下数据，从能量消耗设备(空调)152输出的具有除菌效果的微粒子离子的3301、示出以“健康节能模式”工作的固有的图标3303、加之示出从能量消耗设备(空调)152输出的风向3302的动画。

根据从同步控制部3105接收的同步控制信息，输出部3008输出提示数据被重叠的图像数据。该提示数据被重叠的图像数据是拍摄了家中的能量消耗设备(空调)152的图像数据上，被重叠了提示数据的图像数据。根据同步控制信息进行该输出，从而与实际的能量消耗设备(空调)152的风向同步地再生动画。

在“健康节能模式”中，眼睛实际上看不见从能量消耗设备(空调)152输出的微粒子离子的3301和风向3302，不过，在这个情况下，根据提示数据这些成为可以看见。

这样，与实际的能量消耗设备(空调)152的工作同步地向使用者提示提示数据，从而给使用者带来的不协调感消失，能够提示能量消耗设备(空调)152的工作状态，结果上，使用者变得对提示数据感兴趣，提高了提示数据的视觉确认性。

图34B例示了与提示数据被重叠的图像数据向输出部的输出同步地，能量消耗设备(空调)152进行规定的工作的状态。

这个情况下，根据设备内容数据，能量消耗设备(空调)152以“舒适节能模式”的新的节能模式工作。

在液晶显示器511显示了如下数据，拍摄了家中的能量消耗设备(空调)152的图像数据上重叠了提示数据的数据，该提示数据是与该能量消耗设备(空调)152有关的数据。

这个情况下，作为提示数据，重叠了在视觉上强调能量消耗设备(空调)的与平常不同的图像数据2901、“正在用舒适节能控制模式运行！”的文本数据2902、加之固有的图标2903而进行显示。

此外，使用者在与液晶显示器511一体化的触摸屏上敲击图标2903。于是，声音再生应用使“正在用舒适节能控制模式运行！”的声音从扬声器512输出，同时，使能量消耗设备(空调)152的LED（Light EmittingDiode）3301亮灭。

这时，根据从同步控制部3105接收的同步控制信息，设备控制部3010向能量消耗设备(空调)152，发送使LED3301亮灭的控制信号。这样，与来自扬声器512的声音输出同步地，能量消耗设备(空调)152的LED3301进行亮灭。

LED3301与声音输出同步地亮灭，能够给使用者能量消耗设备(空调)152自己说话一样的印象。

这样，与提示数据向使用者的提示同步地，能量消耗设备实际上进行工作，消除了给使用者带来的不协调感，能够提示提示数据的内容，结果上来说，使用者变得对提示数据感兴趣，提高了提示数据的视觉确认性。

（其他变形例）

另外，根据所述实施例说明了本发明，不过，本发明当然不被所述的实施例所限定。本发明也包含如下的情况。

(1)具体而言所述的各装置是由下述构成的计算机系统∶微处理器、只读存储器(ROM)、随机存储器(RAM)、硬盘单元、显示器单元、键盘、鼠标等。在所述RAM或者硬盘单元中存储有计算机程序。通过所述微处理器按照所述计算机程序工作，从而各装置实现其功能。这里，计算机程序是为了实现规定的功能而将表示对计算机的指令的命令代码组合多个而构成的。另外，各装置是不仅限于包含了微处理器、只读存储器(ROM)、随机存储器(RAM)、硬盘单元、显示器单元、键盘、鼠标等的计算机系统，也可以是从这些的一部分构成的计算机系统。

(2)构成上述的各装置的构成要素的一部分或全部可以由1个系统LSI(Large Scale integration:大规模集成电路)构成。系统LSI是将多个构成单元集成在一个芯片上而制造的超多功能LSI，具体而言是包括微处理器、ROM、RAM等而构成的计算机系统。在所述RAM中存储有计算机程序。通过由所述微处理器按照所述计算机程序工作，系统LSI实现其功能。

此外，构成所述各装置的构成要素的各部可以分别作成单片，也可以包含一部分或者全部作成单片。

另外，在这里称为系统LSI，但是按照集成度的不同，也被称为IC、LSI、超级LSI、极超LSI。还有，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实现。也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA∶Field Programmable Gate Array)或可动态地重构LSI内部的电路单元的连接和设定的可重构处理器。

而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行集成化。有可能适用生物技术等。

(3)构成所述各装置的构成单元的一部分或全部也可以由相对于各装置可拆装的IC卡或者单体模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或者所述模块可以包含上述超多功能LSI。通过由微处理器按照计算机程序工作，所述IC卡或者所述模块实现其功能。该IC卡或者该模块也可以具有耐篡改性。

(4)此外，本发明也可以是所述示出的方法。此外，也可以是通过计算机实现这些方法的计算机程序，也可以是由计算机程序构成的数字信号。

此外，本发明也可以是将所述计算机程序或所述数字信号记录到计算机可读取的非一时的记录介质，例如，软盘、硬盘、CD－ROM、MO、DVD、DVD－ROM、DVD－RAM，蓝光盘(BD∶Blu－ray Disc(注册商标))、半导体存储器等。此外，也可以是记录在这些记录介质的所述数字信号。

还有，本发明中所述计算机程序或者所述数字信号经由电气通信线路，无线或者有线通信线路，以互联网为代表的网络，数据广播等来传送。

此外，本发明是包括微处理器和存储器的计算机系统，所述存储器可以存储所述计算机程序，所述微处理器可以按照所述计算机程序工作。

还有，通过所述记录介质记录并移送所述计算机程序或者所述数字信号，或者经由所述网络等移送所述计算机程序或者所述数字信号，从而由其他独立的计算机系统实施。

(5)也可以分别组合所述实施例以及所述变形例。

另外，在所述实施例中，各构成要素可以由专用的硬件来构成，也可以通过执行适合各构成要素的软件程序来实现。例如，各构成要素，可以由CPU或处理器等程序执行部读出并执行记录在硬盘或半导体存储器等的记录介质的软件程序来实现。在这里，实现所述各个实施例的控制信息显示装置等的软件是如下的程序。

即，这个程序使计算机执行控制信息显示方法，该控制信息显示方法包括：第一获得步骤，获得控制信息，该控制信息是与建筑物中设置的消耗能量的设备有关的控制信息，并且是用于满足针对所述建筑物的控制请求的控制信息；第二获得步骤，获得映出了所述设备的图像数据；图像数据保持步骤，保持在所述第二获得步骤获得的所述图像数据；选择步骤，根据被指定的控制模式，从包含在所述图像数据保持步骤保持的所述图像数据的选择候补中，选择提示图像数据；图像处理步骤，生成用于将与所述设备各自对应的所述控制信息提示给使用者的提示数据，并且将所述提示数据重叠在所述提示图像数据中的所述设备的位置的附近，所述设备是在所述选择步骤选择的所述提示图像数据中映出的设备；以及显示步骤，显示所述提示数据被重叠的所述提示图像数据。

以上，根据实施例说明了一个或多个方式涉及的控制信息显示装置，不过，本发明不被该实施例所限定。只要不超出本发明的宗旨，则技术者想出的各种变形例实施在本实施例的例子，对不同实施例中的构成要素进行组合而构筑的例子也都包括在一个或者多个方式的范围中。

根据本实施例，能够提供通过将与家中所有设备（包括不具备通信功能的设备）有关的信息提示给使用者，以及对具备通信功能的设备进行控制，从而实现节能化的能量控制装置、能量控制方法以及能量控制系统。

符号说明

100管理部

101设备观察部

102摄像机部

102x获得部

102y，1504图像数据保持部

102z选择部

103设备信息保持部

104设备确定部

105输入部

106，1806，2206，2606需求计划生成部

107，1807，2207，2607智能信息重叠部

107x图像处理部

108，3008输出部

109，1809，2609计划执行部

110，2610，3010设备控制部

151～15n能量消耗设备

301提示与否判断部

302，2302提示数据生成部

303重叠处理部

1401家庭管理部

1402移动管理部

1403服务器管理部

1411，1412，1413通信部

1505切换部

1901需求计划选择部

2630，3030设备内容数据管理部

2701设备内容数据保持部

2702设备内容数据获得部

2703设备内容数据选择部

3105同步控制部

Claims (21)

1.一种控制信息显示装置，具备：

第一获得部，获得控制信息，该控制信息是与建筑物中设置的消耗能量的设备有关的控制信息，并且是用于满足针对所述建筑物的控制请求的控制信息；

第二获得部，获得映出了所述设备的图像数据；

图像数据保持部，保持所述第二获得部获得的所述图像数据；

选择部，根据被指定的控制模式，从包含所述图像数据保持部保持的所述图像数据的选择候补中，选择提示图像数据；

图像处理部，生成用于将与所述设备各自对应的所述控制信息提示给使用者的提示数据，并且将所述提示数据重叠在所述提示图像数据中的所述设备的位置的附近，所述设备是由所述选择部选择的所述提示图像数据中映出的设备；以及

显示部，显示所述提示数据被重叠的所述提示图像数据。

2.如权利要求1所述的控制信息显示装置，

所述第二获得部，将具有图像数据的属性信息的图像数据作为所述图像数据来获得，所述图像数据的属性信息是示出该图像数据的摄影位置的摄影位置信息，

所述选择部，将所述摄影位置信息示出的所述摄影位置更接近所述控制信息显示装置的所在位置的所述选择候补，作为所述提示图像数据来选择。

3.如权利要求1或者2所述的控制信息显示装置，

所述控制信息显示装置，还具备：

控制部，经由通信网络，控制所述设备；

输入部，接受针对所述设备中的被控制设备的控制指示；以及

遥控器应用，将所述输入部接受的控制指示发送到所述控制部，

所述控制部，根据从所述遥控器应用接收的所述控制指示，控制所述被控制设备。

4.如权利要求3所述的控制信息显示装置，

所述图像处理部，

将与所述提示图像数据中映出的所述被控制设备对应的所述遥控器应用的活性化按钮，重叠在所述提示图像数据中的所述被控制设备的位置的附近，

在所述遥控器应用的活性化按钮被按下的情况下，将所述遥控器应用从所述输入部接受的所述控制指示，发送到所述控制部，由所述控制部控制所述被控制设备。

5.如权利要求1至4的任一项所述的控制信息显示装置，

所述第二获得部，还获得映出了所述设备的运动图像数据，

所述选择部，从包含所述运动图像数据、以及所述图像数据保持部保持的所述图像数据的所述选择候补中，选择所述提示图像数据。

6.如权利要求1至5的任一项所述的控制信息显示装置，

所述控制信息显示装置，还具备：

第三获得部，获得所述设备各自的能量消耗量的实际值；以及

提示与否判断部，在所述设备中判断将所述提示数据提示给所述使用者的规定的数M以下的设备，M为整数，

所述提示与否判断部，在所述提示图像数据中映出的所述设备中，将实施了基于所述控制信息的控制的情况下的能量消耗量的估计值与所述能量消耗量的实际值的差越大的设备，越优先地判断为是所述规定的数M以下的设备，

所述图像处理部，针对被判断为是将所述提示数据提示给所述使用者的设备，将所述提示数据重叠在所述提示图像数据。

7.如权利要求6所述的控制信息显示装置，

所述控制信息显示装置，具备：

控制部，根据由所述第一获得部获得的所述控制信息，针对在所述设备中经由通信网络能够控制的设备进行控制，

所述提示与否判断部，在所述设备中，与经由所述通信网络能够控制的设备相比，优先地将经由所述通信网络不能控制的设备判断为是所述规定的数M以下的设备。

8.如权利要求6所述的控制信息显示装置，

所述图像处理部，生成包含详细的信息的详细提示数据和包含简易的信息的简易提示数据，以作为所述提示数据，

所述提示与否判断部，在判断所述规定的数M以下的设备时，

在所述图像数据中映出的所述设备中，将实施了基于所述控制信息的控制的情况下的能量消耗量的估计值与所述能量消耗量的实际值的差越大的设备，越优先地判断为是提示所述详细提示数据的规定的数Md以下的设备，Md是满足Md≤M的整数，

进一步，在没有被判断为是提示所述详细提示数据的所述规定的数Md以下的设备的设备中，将所述能量消耗量的估计值与所述能量消耗量的实际值的差越大的设备，越优先地判断为是提示所述简易提示数据的规定的数(M-Md)以下的设备。

9.如权利要求1至8的任一项所述的控制信息显示装置，

所述第一获得部，从电力公司或公共机构，经由网络接收所述控制请求。

10.如权利要求6所述的控制信息显示装置，

所述显示部具有画面，

所述提示与否判断部，按照所述画面的尺寸来决定所述规定的数M。

11.如权利要求6所述的控制信息显示装置，

所述控制信息显示装置，具备：

操作部，接受来自所述使用者的指示，

所述提示与否判断部，将所述规定的数M决定为在所述操作部被指定的数。

12.如权利要求1至11的任一项所述的控制信息显示装置，

所述控制信息显示装置是便携式电话、智能手机、或者电视机。

13.如权利要求1所述的控制信息显示装置，

所述第一获得部，获得与多个所述设备的每一个有关的所述控制信息，

所述第二获得部，获得映出了多个所述设备的图像数据，以作为所述图像数据，

所述图像处理部，生成用于提示所述控制信息的至少一个所述提示数据，所述控制信息是针对多个所述设备中的至少一个设备的控制信息，并且与在所述提示图像数据中的位置被确定的所述至少一个设备相对应地，将至少一个所述提示数据重叠在所述提示图像数据。

14.如权利要求1至13的任一项所述的控制信息显示装置，

所述控制信息显示装置，还具备：

提示优先级判断部，在所述提示图像数据中映出的所述设备中，针对实施了基于所述控制信息的控制的情况下的能量消耗量的估计值与所述能量消耗量的实际值的差越大的设备的所述提示数据，设定越大的提示优先级，所述提示数据是用于提示所述控制信息的数据，

所述图像处理部，以所述显示部将所述提示优先级判断部设定的所述提示优先级越大的所述提示数据，就显示得越大的方式，来重叠所述提示数据。

15.如权利要求1至14的任一项所述的控制信息显示装置，

所述控制请求，包含与所述建筑物中的能量的消耗量有关的控制请求。

16.如权利要求1至15的任一项所述的控制信息显示装置，

所述控制请求，包含与室内环境参数有关的控制请求，所述室内环境参数至少包含所述建筑物的温度、湿度或照度。

17.如权利要求1至16的任一项所述的控制信息显示装置，

所述控制请求，包含与所述建筑物中的室内空气质量有关的控制请求。

18.如权利要求1至17的任一项所述的控制信息显示装置，

所述第二获得部，将被附加了所述设备的识别信息与确定信息的图像数据作为所述图像数据来获得，所述确定信息是确定所述设备在该图像数据中的位置的信息，

所述图像处理部，在由所述确定信息被确定的、所述提示图像数据中的所述设备的位置的附近，重叠所述提示数据。

19.一种控制信息显示装置，具备：

第一获得部，获得与建筑物中的能量的消耗量有关的控制请求；

第二获得部，获得图像数据，该图像数据是映出了所述建筑物中设置的消耗能量的设备的图像数据，并且是被附加了所述设备各自的确定信息的图像数据；

第三获得部，获得所述设备各自的能量消耗量的实际值；

控制信息生成部，根据所述设备各自的能量消耗量的实际值，针对所述设备的每一个生成用于满足所述控制请求的控制信息；

图像处理部，生成用于提示所述图像数据中映出的设备中的至少一个设备的所述控制信息的至少一个提示数据，并且与根据所述确定信息被确定的所述至少一个设备相对应地，将所述至少一个提示数据重叠在所述图像数据；以及

显示部，显示所述至少一个提示数据被重叠的所述图像数据。

20.一种控制信息显示方法，包括：

第一获得步骤，获得控制信息，该控制信息是与建筑物中设置的消耗能量的设备有关的控制信息，并且是用于满足针对所述建筑物的控制请求的控制信息；

第二获得步骤，获得映出了所述设备的图像数据；

图像数据保持步骤，保持在所述第二获得步骤获得的所述图像数据；

选择步骤，根据被指定的控制模式，从包含在所述图像数据保持步骤保持的所述图像数据的选择候补中，选择提示图像数据；

图像处理步骤，生成用于将与所述设备各自对应的所述控制信息提示给使用者的提示数据，并且将所述提示数据重叠在所述提示图像数据中的所述设备的位置的附近，所述设备是在所述选择步骤选择的所述提示图像数据中映出的设备；以及

显示步骤，显示所述提示数据被重叠的所述提示图像数据。

21.一种控制信息显示系统，具备建筑物中设置的消耗能量的设备、以及控制信息显示装置，在所述控制信息显示系统中，

所述控制信息显示装置，具备：

第一获得部，获得控制信息，该控制信息是与建筑物中设置的消耗能量的设备有关的控制信息，并且是用于满足针对所述建筑物的控制请求的控制信息；

第二获得部，获得映出了所述设备的图像数据；

图像数据保持部，保持所述第二获得部获得的所述图像数据；

选择部，根据被指定的控制模式，从包含所述图像数据保持部保持的所述图像数据的选择候补中，选择提示图像数据；

图像处理部，生成用于将与所述设备各自对应的所述控制信息提示给使用者的提示数据，并且将所述提示数据重叠在所述提示图像数据中的所述设备的位置的附近，所述设备是由所述选择部选择的所述提示图像数据中映出的设备；以及

显示部，显示所述提示数据被重叠的所述提示图像数据。

Images