CN101795830A - 机器人控制系统、机器人、程序以及信息存储介质 - Google Patents

机器人控制系统、机器人、程序以及信息存储介质 Download PDF

Info

Publication number
CN101795830A
CN101795830A CN200880105801A CN200880105801A CN101795830A CN 101795830 A CN101795830 A CN 101795830A CN 200880105801 A CN200880105801 A CN 200880105801A CN 200880105801 A CN200880105801 A CN 200880105801A CN 101795830 A CN101795830 A CN 101795830A
Authority
CN
China
Prior art keywords
user
robot
information
user profile
robot control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880105801A
Other languages
English (en)
Inventor
杉原良平
龙田成示
井场阳一
福嶋信人
河西恒春
清水秀树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2007231482A external-priority patent/JP2009061547A/ja
Priority claimed from JP2007309625A external-priority patent/JP2009131928A/ja
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN101795830A publication Critical patent/CN101795830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • A63H11/18Figure toys which perform a realistic walking motion
    • A63H11/20Figure toys which perform a realistic walking motion with pairs of legs, e.g. horses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00Computerized interactive toys, e.g. dolls

Abstract

机器人控制系统包括:用户信息取得部(12),其取得用户信息,该用户信息是根据来自对用户的行动进行测量的行动传感器、对用户的状态进行测量的状态传感器以及对用户的环境进行测量的环境传感器中的至少1个的传感器信息而得到的;提示信息决定部(14),其根据所取得的用户信息,进行机器人要向用户提示的提示信息的决定处理;以及机器人控制部(30),其进行用于使机器人将提示信息提示给用户的控制。用户信息取得部(12)取得第2用户的用户信息即第2用户信息,提示信息决定部(14)根据所取得的第2用户信息,进行要提示给第1用户的提示信息的决定处理。机器人控制部(30)进行用于向第1用户提示根据第2用户信息而决定的提示信息的机器人控制。

Description

机器人控制系统、机器人、程序以及信息存储介质
技术领域
本发明涉及机器人控制系统、机器人、程序以及信息存储介质等。
背景技术
一直以来,公知有识别用户(人)的声音,根据声音的识别结果,与用户进行会话的机器人的控制系统(例如,日本特开2003-66986号公报)。
但是,在以前的机器人控制系统中,设想了机器人对作为其所有人的用户的会话等进行语音识别而动作的情况,不进行反映了其它用户的行动等的机器人控制。
另外,在以前的机器人控制系统中,存在这样的问题,即:不进行反映了用户的行动历史和状态历史等的机器人控制,机器人进行违背用户的心情和状况的动作。
并且,在以前的机器人控制系统中,设想了1台机器人与1名用户对峙地进行会话的情况。因此,也存在如下问题,即:由于声音的识别处理和会话处理而需要复杂的算法,实际上难以实现与用户之间的顺利的会话。
发明内容
根据本发明的若干方式,可提供能够实现经由机器人的用户之间的间接交流的机器人控制系统、机器人、程序以及信息存储介质。
本发明的一个实施方式涉及机器人控制系统,该机器人控制系统用于控制机器人,其特征在于,该机器人控制系统包括:用户信息取得部,其取得用户信息,该用户信息是根据来自对用户的行动进行测量的行动传感器、对用户的状态进行测量的状态传感器以及对用户的环境进行测量的环境传感器中的至少1个的传感器信息而得到的;提示信息决定部,其根据所取得的所述用户信息,进行机器人要向用户提示的提示信息的决定处理;以及机器人控制部,其进行用于使机器人将所述提示信息提示给用户的控制,所述用户信息取得部取得第2用户的所述用户信息即第2用户信息,所述提示信息决定部根据所取得的所述第2用户信息,进行要提示给第1用户的提示信息的决定处理,所述机器人控制部进行用于向所述第1用户提示根据所述第2用户信息而决定的提示信息的机器人控制。另外,本发明的其它方式涉及使计算机作为上述各部分发挥功能的程序、或存储了该程序的计算机可读取的信息存储介质。
根据本发明的一个方式,取得用户信息,该用户信息是根据来自行动传感器、状态传感器以及环境传感器中的至少1个的传感器信息而得到的。然后,根据所取得的所述用户信息,进行机器人要向用户提示的提示信息的决定处理,进行用于使机器人提示提示信息的控制。并且,根据本发明的一个方式,根据所取得的第2用户的第2用户信息,进行要提示给第1用户的提示信息的决定处理,进行将所决定的提示信息提示给第1用户的机器人控制。这样,根据本发明的一个方式,根据不同于第1用户的第2用户的第2用户信息,决定机器人要提示给第1用户的提示信息。因此,通过机器人的提示信息,第1用户可获知第2用户的行动、状况等的信息,可实现经由机器人的用户间的间接交流。
另外,在本发明的一个方式中,也可以是,所述用户信息取得部取得所述第1用户的所述用户信息即第1用户信息、和所述第2用户的所述用户信息即所述第2用户信息,所述提示信息决定部根据所取得的所述第1用户信息和所述第2用户信息,进行向所述第1用户提示的提示信息的决定处理。
这样,可提示提示信息,该提示信息也加入了第1用户的第1用户信息,并基于提示给第1用户的第2用户信息。
另外,在本发明的一个方式中,也可以是,所述提示信息决定部根据所述第1用户信息决定提示信息的提示时机,根据所述第2用户信息决定提示信息的内容,所述机器人控制部进行用于在所决定的所述提示时机向所述第1用户提示所决定的内容的提示信息的机器人控制。
这样,可在对于第1用户而言适当的时机,传达第2用户的信息,可进行更自然、顺利的信息提示。
另外,在本发明的一个方式中,也可以是,所述提示信息决定部使向所述第1用户提示的提示信息的决定处理中的所述第1用户信息的权重与所述第2用户信息的权重随着时间经过而变化。
这样,在向第1用户提示提示信息时,可进行除了第2用户信息以外还加入了第1用户信息的信息提示,并且决定该加入的程度的权重随着时间经过而变化,因此可进行更多样、自然的信息提示。
另外,在本发明的一个方式中,也可以是,该机器人控制系统还包括事件判定部,该事件判定部判定可利用事件的发生,该可利用事件表示处于所述第1用户可利用机器人的状态,所述提示信息决定部在发生所述可利用事件时,增大所述决定处理中的所述第1用户信息的权重,减小所述第2用户信息的权重,然后,减小所述第1用户信息的权重,增大所述第2用户信息的权重。
这样,提示信息的决定处理时的第2用户信息的权重随着从发生了机器人可利用事件时起的时间经过而相应地增大,因此可进行更自然的信息提示。
另外,在本发明的一个方式中,也可以是,所述提示信息决定部根据所述第1用户对机器人提示提示信息的反应,进行机器人接下来要提示给所述第1用户的提示信息的决定处理。
这样,接下来的提示信息根据第1用户对提示信息的反应而变化,因此可防止机器人的提示信息的提示变得单调的情况。
另外,在本发明的一个方式中,也可以是,该机器人控制系统还包括接触状态判定部,该接触状态判定部判定机器人的感测面的接触状态,所述提示信息决定部根据所述接触状态判定部的判定结果,判断所述第1用户进行了抚摸机器人的动作还是进行了拍打动作,作为所述第1用户对机器人提示提示信息的反应,并进行接下来要提示给所述第1用户的提示信息的决定处理。
这样,可通过简单的判定处理来判断抚摸机器人的动作或拍打动作等第1用户的反应。
另外,在本发明的一个方式中,也可以是,所述接触状态判定部根据输出数据,判定所述感测面的接触状态,该输出数据是通过对来自设置在比所述感测面更靠近内侧的位置的麦克风的输出信号进行运算处理而得到的。
这样,只利用麦克风就能检测抚摸机器人的动作或拍打动作等第1用户的反应。
另外,在本发明的一个方式中,也可以是,所述输出数据是信号强度,所述接触状态判定部通过进行所述信号强度与预定的阈值之间的比较处理,来判定所述第1用户进行了抚摸机器人的动作还是进行了拍打动作。
这样,可通过将信号强度与阈值进行比较这种简单处理,判定第1用户进行了抚摸机器人的动作还是进行了拍打动作。
另外,在本发明的一个方式中,也可以是,所述提示信息决定部以针对所取得的相同的所述第2用户信息,第1、第2机器人提示不同的提示信息的方式,进行要提示给所述第1用户的提示信息的决定处理。
这样,第1用户可通过第1、第2机器人提示的提示信息,间接地获知第2用户的信息。
另外,在本发明的一个方式中,也可以是,所述第1机器人被设定成主侧,所述第2机器人被设定成从侧,设置在主侧的所述第1机器人中的所述提示信息决定部指示从侧的所述第2机器人将提示信息提示给所述第1用户。
这样,即使不进行复杂的提示信息的解析处理,也能在误动作较少的稳定的控制下实现第1、第2机器人的提示信息的提示。
另外,在本发明的一个方式中,也可以是,该机器人控制系统还包括通信部,该通信部从主侧的所述第1机器人向从侧的所述第2机器人传送用于指示提示提示信息的指示信息。
这样,由于不是传送提示信息本身而是仅传送其指示信息即可,因此可实现通信量的减少和处理的简化。
另外,在本发明的一个方式中,也可以是,所述用户信息取得部经由网络取得所述第2用户的所述第2用户信息,所述提示信息决定部根据经由网络而取得的所述第2用户信息,进行要提示给所述第1用户的提示信息的决定处理
这样,例如在第2用户位于较远场所的情况下,也能实现反映了第2用户信息的机器人控制。
另外,在本发明的一个方式中,也可以是,所述用户信息取得部取得第2用户历史信息作为所述第2用户信息,该第2用户历史信息是所述第2用户的行动历史、所述第2用户的状态历史以及所述第2用户的环境历史中的至少1个,所述提示信息决定部根据所取得的所述第2用户历史信息,进行机器人要提示给所述第1用户的提示信息的决定处理。
这样,可通过机器人提示反映了第2用户的行动历史、状态历史或环境历史等的提示信息。
另外,在本发明的一个方式中,所述第2用户历史信息也可以是根据来自所述第2用户的佩戴式传感器的传感器信息进行更新而得到的信息。
这样,可根据来自佩戴式传感器的传感器信息对第2用户的行动历史、状态历史或环境历史进行更新,通过机器人来提示反映了更新过的这些历史的提示信息。
另外,在本发明的一个方式中,也可以是,该机器人控制系统还包括用户识别部,该用户识别部在用户与机器人接近时识别所接近的用户,所述机器人控制部在由所述用户识别部识别出所述第1用户接近时,进行用于将提示信息提示给所述第1用户的机器人控制。
这样,当第1用户与机器人接近被识别为第1用户时,可向第1用户提示基于第2用户信息的提示信息。
另外,在本发明的一个方式中,也可以是,该机器人控制系统还包括提示允许判断信息存储部,该提示允许判断信息存储部存储提示允许判断信息,该提示允许判断信息用于判断用户间的信息提示的允许/禁止,当根据所述提示允许判断信息而判断为允许所述第1、第2用户间的信息提示时,所述提示信息决定部进行基于所述第2用户信息的、要提示给所述第1用户的提示信息的决定处理。
这样,可只在特定的用户之间允许经由机器人的间接交流。
另外,在本发明的一个方式中,也可以是,该机器人控制系统还包括脚本数据存储部,该脚本数据存储部存储由多个会话语句构成的脚本数据,作为所述提示信息,所述提示信息决定部根据所述脚本数据,决定机器人要向所述第1用户说出的会话语句,所述机器人控制部进行用于使机器人说出所决定的会话语句的控制。
这样,可利用脚本数据通过简单的控制处理,实现机器人的会话语句的发话。
另外,在本发明的一个方式中,也可以是,所述脚本数据存储部存储多个会话语句按照分支结构链接而成的脚本数据,所述提示信息决定部根据所述第1用户对机器人所说的会话语句的反应,决定使机器人接下来说的会话语句。
这样,接下来的会话语句根据第1用户对机器人所说的会话语句的反应而变化,可防止机器人的会话变得单调。
另外,在本发明的一个方式中,也可以是,该机器人控制系统还包括脚本数据取得部,该脚本数据取得部取得根据所述第2用户对机器人所说的会话语句的反应而生成的脚本数据,所述提示信息决定部根据基于所述第2用户的反应而取得的脚本数据,决定机器人要向所述第1用户说的会话语句。
这样,可根据反映了第2用户对机器人的会话语句的反应的脚本数据来决定机器人要向第1用户说的会话语句,
另外,在本发明的一个方式中,也可以是,所述提示信息决定部以针对所取得的相同的所述第2用户信息,第1、第2机器人说出不同的会话语句的方式,进行要向所述第1用户说的会话语句的决定处理,该机器人控制系统还包括发话权控制部,该发话权控制部根据所述第1用户对机器人所说的会话语句的反应,控制向所述第1、第2机器人中的哪一个赋予接下来的会话语句的发话权。
这样,由于根据第1用户的反应而切换发话权的赋予,因此可防止会话变得单调。
另外,在本发明的一个方式中,也可以是,所述发话权控制部根据所述第1用户对所述第1、第2机器人中的任意1个机器人所说的会话语句作出了肯定反应还是作出了否定反应,决定要赋予接下来的会话语句的发话权的机器人。
这样,可进行例如将发话权优先地赋予给第1用户作出了肯定反应的机器人等控制。
另外,本发明的其它方式涉及机器人,该机器人包括上述任意一项中所述的机器人控制系统、作为所述机器人控制系统的控制对象的机器人动作机构。
附图说明
图1是用户信息的取得方法的说明图。
图2是本实施方式的系统结构例。
图3A~图3C是本实施方式的方法的说明图。
图4是用于说明本实施方式的动作的流程图。
图5是有多台机器人时的本实施方式的第2系统结构例。
图6A~图6C是第2用户信息的取得方法的说明图。
图7A~图7C是对第1用户的信息提示方法的说明图。
图8是用于说明第2系统结构的动作的流程图。
图9是本实施方式的第3系统结构例。
图10是经由网络的第2用户信息的取得方法的说明图。
图11是本实施方式的第4系统结构例。
图12是本实施方式的第5系统结构例。
图13是用户历史信息的更新处理的流程图。
图14是用户历史信息的说明图。
图15A、图15B是用户历史信息的说明图。
图16是本实施方式的详细系统结构例。
图17A、图17B是发话权的控制方法的说明图。
图18A、图18B是发话权的控制方法的说明图。
图19是提示允许判断信息的说明图。
图20是用于说明本实施方式的详细动作的流程图。
图21是脚本数据的说明图。
图22是向父亲提供孩子的话题的脚本示例。
图23是用于收集孩子的用户信息的脚本示例。
图24是根据所收集的第2用户信息向父亲提示的脚本示例。
图25A、图25B是接触判定方法的说明图。
图26A、图26B、图26C是拍打时、抚摸时、朝麦克风说话时的声音波形示例。
图27是基于第1、第2用户信息的提示信息的决定方法的说明图。
图28是基于第1、第2用户信息的提示信息的决定处理的说明图。
具体实施方式
下面,对本实施方式进行说明。并且,下面说明的本实施方式并非不恰当地限定权利要求所述的本发明的内容。另外,在本实施方式中说明的全部结构不一定是本发明的必要构成要素。
1.用户信息
在所谓的泛在服务中,作为当前视为目标的1个方向,提出了无论何时何地都向用户提供所需的信息的便利性提供型的服务。其是从外部向用户单方向地提供信息的服务。
但是,为了人们充满朝气地过充实的生活,仅有这样单方向地从外部向用户提供信息的便利性提供型服务是不够的,期望通过打动用户的内心,以向用户给予启示(激励),其结果促进自己成长的激励型泛在服务。
在本实施方式中,为了使用机器人向用户提示的信息来实现这样的激励型泛在服务,根据来自对用户(第1、第2用户)的行动、状态、环境进行测量的行动传感器、状态传感器、环境传感器的传感器信息,取得用户信息(第1、第2用户信息)。然后,进行机器人控制,即:根据所取得的用户信息,决定机器人向用户提示的提示信息(例如会话),让机器人提供所决定的提示信息。因此,首先对该用户信息(与用户的行动、状态以及环境中的至少1个相关的信息)的取得方法进行说明。
在图1中用户(使用者)持有便携式电子设备100(移动网关)。另外,作为移动控制对象设备,在头部的1个眼睛的附近佩戴了佩戴式显示器140(移动显示器)。并且,作为佩戴式传感器(移动传感器),在身体上粘帖了各种传感器。具体而言,安装了屋内外传感器510、周围温度传感器511、周围湿度传感器512、周围亮度传感器513、手腕佩戴式的运动测量传感器520、脉搏(心跳数)传感器521、体温传感器522、外周皮肤温度传感器523、出汗传感器524、脚部压力传感器530、发话/咀嚼传感器540、设置在便携式电子设备100中的GPS(Global PositionSystem,全球定位系统)传感器550、设置在佩戴式显示器140中的颜色传感器560和瞳孔尺寸传感器561等。由这些便携式电子设备100、佩戴式显示器140等移动控制对象设备、佩戴式传感器构成移动子系统。
在图1中,根据来自这种用户的移动子系统的传感器的传感器信息,取得被更新的用户信息(在狭义上是用户历史信息),根据所取得的用户信息,控制机器人1。
便携式电子设备100(移动网关)是PDA(Personal DigitalAssistant,个人数字助理)、笔记本型PC等便携信息终端,具有例如处理器(CPU)、存储器、操作面板、通信装置、或显示器(子显示器)等。该便携式电子设备100可具有例如收集来自传感器的传感器信息的功能、根据所收集的传感器信息进行运算处理的功能、根据运算结果对控制对象设备(佩戴式显示器等)进行控制(显示控制等)或从外部的数据库取入信息的功能、与外部进行通信的功能等。并且,便携式电子设备100也可以是兼用作便携电话、手表、或便携音响等的设备。
佩戴式显示器140佩戴在用户的1个眼睛附近,并且被设定成显示部的尺寸小于瞳孔的尺寸,作为所谓透视观察的信息显示部发挥功能。并且,也可以使用耳机、振动等进行对用户的信息提示。作为移动控制对象设备,除了佩戴式显示器140以外,还可以考虑例如手表、便携电话、或便携音响等各种设备。
屋内外传感器510是检测用户是在屋内还是在屋外的传感器,例如照射超声波,测量截至超声波通过天花板等反射回来为止的时间。但是,屋内外传感器510不限于超声波方式,也可以是有源光方式、无源紫外线方式、无源红外线方式、无源噪声方式的传感器。
周围温度传感器511使用例如热敏电阻、放射温度计、热电偶等来测量外界温度。周围湿度传感器512利用电阻根据湿度而变化的情况,来测量周围的湿度。周围亮度传感器513例如使用光电元件来测量周围的亮度。
手腕佩戴型的运动测量传感器520使用加速度传感器或角加速度传感器测量用户手腕的动作。通过使用该运动测量传感器520和脚部压力传感器530,能够更准确地测量用户的日常动作、步行状态。脉搏(心跳数)传感器521佩戴在手腕或手指或耳朵上,例如根据红外光的透射率和反射率的变化来测量伴随搏动的血流变化。体温传感器522、外周皮肤温度传感器523使用热敏电阻、放射温度计、热电偶等来测量用户的体温、外围皮肤温度。出汗传感器524例如根据皮肤的表面电阻的变化来测量皮肤的出汗。脚部压力传感器530检测对鞋施加的脚掌的压力分布,测量并判定用户的站立状态、坐下状态、步行状态等。
发话/咀嚼传感器540是用于对用户是发话中(会话中)还是咀嚼中(进餐中)的可能性进行测量的耳机型传感器,骨传导麦克风、外界声音麦克风内置在其壳体内。骨传导麦克风检测在发话/咀嚼时从体内产生,在体内传播的振动即体内音。外界音麦克风检测伴随着发话向体外传导的振动即声音、包括环境的噪声在内的外界音。然后,通过进行由骨传导麦克风、外界音麦克风捕捉到的声音在单位时间中的能量的比较处理等,来测量发话可能性和咀嚼可能性。
GPS传感器550是检测用户的位置的传感器。并且,作为GPS传感器550的替代,也可以使用便携电话的位置信息服务或周围存在的无线LAN的位置信息。颜色传感器560例如在脸部附近配置光传感器、对通过了多个光学带通滤波器后的亮度进行比较来测量颜色。瞳孔尺寸传感器561例如在瞳孔附近配置照相机,解析照相机的信号来测量瞳孔的尺寸。
并且,在图1中,通过由便携式电子设备100、佩戴式传感器等构成的移动子系统取得了用户信息,但也可以通过由多个子系统构成的综合系统更新用户信息,根据所更新的用户信息来进行机器人1的控制。这里,综合系统可包含例如移动子系统、家庭子系统、车内子系统、公司内子系统、或店内子系统等子系统。
在该综合系统中,当用户在屋外等时(移动环境的情况),取得(收集)来自移动子系统的佩戴式传感器(移动传感器)的传感器信息(包含传感器2次信息),根据所取得的传感器信息更新用户信息(用户历史信息)。另外,根据用户信息等,对移动控制对象设备进行控制。
另一方面,当用户在家时(家庭环境的情况),取得来自家庭子系统的家庭传感器的传感器信息,根据所取得的传感器信息更新用户信息。即即使转移到家庭环境中时,在移动环境中更新过的用户信息也被不间断地更新。另外,根据用户信息等,对家庭控制对象设备(电视机、音响设备、空调等)进行控制。并且,家庭传感器例如是对家庭内的温度、湿度、亮度、噪音、用户的会话、进餐等进行测量的环境传感器或内置在机器人中的机器人安装传感器或设置在家庭的各房间内、门等处的人检测传感器、设置在厕所的尿检测用传感器等。
另外,当用户在车内时(车内环境的情况),取得来自车内子系统的车内传感器的传感器信息,根据所取得的传感器信息更新用户信息。即即使转移到车内环境中时,在移动环境或家庭环境中更新过的用户信息也被不间断地更新。另外,根据用户信息等,对车内控制对象设备(导航装置、汽车音响设备、空调等)进行控制。并且,车内传感器是对车的速度、移动距离等进行测量的行驶状态传感器、或对用户的驾驶操作、设备操作进行测量的操作状态传感器、或对车内的温度、湿度、亮度、用户的会话等进行测量的环境传感器等。
2.机器人
接着,对图1的机器人1(机器人2)的结构进行说明。该机器人1是以狗为模型的宠物型机器人,由躯体模块600、头部模块610、腿部模块620、622、624、629、尾巴模块630等多个构成部分模块(机器人动作机构)构成。
头部模块610中设有用于检测用户的抚摸动作和拍打动作的接触传感器、用于检测用户的发话的发话传感器(麦克风)、用于图像识别的摄像传感器(照相机)、用于发出声音或鸣叫声的声音输出部(扬声器)。
在躯体模块600与头部模块610之间、躯体模块600与尾巴模块630之间、以及腿部模块620的关节部分等处设有关节机构。并且,这些关节机构具有电机等致动器,由此实现机器人1的关节运动和自立行走。
另外,在机器人1的例如躯体模块600中设有1个或多个电路基板。并且,在该电路基板上安装有执行各种处理的CPU(处理器)、存储各种数据和程序的ROM、RAM等存储器、用于机器人控制的控制IC、生成声音信号的声音生成模块、以及用于与外部的无线通信的无线模块等。来自安装在机器人中的各种传感器的信号被集中到该电路基板,由CPU等进行处理。另外,由声音生成模块所生成的声音信号从该电路基板输出到声音输出部(扬声器)。另外,来自电路基板的控制IC的控制信号输出到设置在关节机构中的电机等致动器,由此控制机器人1的关节运动和自立行走。
3.机器人控制系统
图2示出本实施方式的系统结构例。该系统具有第1用户持有的便携式电子设备100-1、第2用户持有的便携式电子设备100-2以及通过本实施方式的机器人控制系统控制的机器人1。并且,本实施方式的机器人控制系统例如由机器人1具有的处理部10实现。
并且,作为第1用户,例如可设想机器人1的所有人,作为第2用户,可设想所有人的家人、朋友、亲戚或恋人等。或者,第1、第2用户也可以是共同拥有机器人1的所有人。
第1用户持有的便携式电子设备100-1包含处理部110-1、存储部120-1、控制部130-1、通信部138-1。另外,第2用户持有的便携式电子设备100-2包含处理部110-2、存储部120-2、控制部130-2、通信部138-2。
并且,下面,为了简化说明,将这些便携式电子设备100-1和100-2、处理部110-1和110-2、存储部120-1和120-2、控制部130-1和130-2、通信部138-1和138-2等分别适当地总称为便携式电子设备100-1、处理部110、存储部120、控制部130、通信部138。另外将第1和第2用户、第1和第2用户信息、第1和第2用户历史信息也分别适当地总称为用户、用户信息、用户历史信息。
便携式电子设备100(100-1、100-2)取得来自佩戴式传感器150(150-1、150-2)的传感器信息。具体而言,佩戴式传感器150包含对用户(第1、第2用户)的行动(步行、会话、进餐、手脚的动作、感情表达或睡眠等)进行测量的行动传感器、对用户的状态(疲劳、紧张、空腹、精神状态、身体状态或发生在用户身上的事件等)进行测量的状态传感器、以及对用户的环境(场所、亮度、温度或湿度等)进行测量的环境传感器中的至少1个传感器,便携式电子设备100取得来自这些传感器的传感器信息。
并且,传感器既可以是传感器设备本身,除了传感器设备以外,也可以是包含控制部、通信部等的传感器设备。另外,传感器信息既可以是直接从传感器取得的传感器1次信息,也可以是通过对传感器1次信息进行加工处理(信息处理)而得到的传感器2次信息。
处理部110(110-1、110-2)根据来自未图示的操作部的操作信息和从佩戴式传感器150取得的传感器信息等,进行便携式电子设备100的工作等所需的各种处理。可通过各种处理器(CPU等)、ASIC(门阵列等)等各种硬件、记录在未图示的信息存储介质(光盘、IC卡、HDD等)中的程序等实现该处理部110的功能。
处理部110包含运算部112(112-1、112-2)、用户信息更新部114(114-1、114-2)。这里,运算部112进行各种运算处理,该运算处理用于从佩戴式传感器150取得的传感器信息的滤波处理(选择处理)、解析处理。具体而言,运算部112进行传感器信息的乘法处理和加法处理。例如,如下式(1)所述,进行来自多个传感器的多个传感器信息的数字化后的测量值Xj与系数Aij的积和运算,该系数Aij的各系数存储在系数存储部(未图示)中,利用2维矩阵表示。然后,如下式(2)所示,积和运算的结果作为多维坐标,被运算成n维向量Yi。并且,i是n维空间的i坐标,j是分配给各传感器的编号。
[式1]
Figure GPA00001043268100141
[式2]
Yi=A00X0+……+AijXj……-+AnmXm      ……(2)
通过进行上式(1)(2)这样的运算处理,能够实现从所取得的传感器信息中去除不需要的传感器信息的滤波处理、用于根据传感器信息识别用户的行动、状态、环境(TPO信息)的解析处理等。例如,如果将与脉搏(心跳数)、出汗量、体温的测量值X相乘的系数A设定成比针对其它传感器信息测量值的系数大的值,则由上式(1)(2)运算的数值Y表示作为用户的状态的“兴奋度”。另外,通过将与发话量的测量值X相乘的系数、以及与脚部压力的测量值X相乘的系数设定成适当的值,能够识别用户的行动是坐着会话、还是走着会话、还是安静地思考、还是睡眠状态等。
用户信息更新部114(114-1、114-2)进行用户信息(用户历史信息)的更新处理。具体而言,根据从佩戴式传感器150(150-1、150-2)取得的传感器信息来更新用户信息(第1、第2用户信息)。然后,将所更新的用户信息(用户历史信息)存储在存储部120的用户信息存储部(用户历史信息存储部)中。在该情况下也可以是,为了节省用户信息存储部122(122-1、122-2)的存储器容量,当存储新的用户信息时,删除旧的用户信息,将新的用户信息存储在通过删除而置空的存储区域中。或者也可以是,对各用户信息赋予优先度(加权系数),当存储新的用户信息时,删除优先度低的用户信息。另外,也可以通过对已经存储的用户信息和新的用户信息进行运算,来更新用户信息(改写)。
存储部120(120-1、120-2)是处理部110、通信部138等的工作区域,其功能可通过RAM等存储器或HDD(硬盘驱动器)等来实现。存储部120包含的用户信息存储部122存储用户(第1、第2用户)的行动、状态或环境等信息(历史信息),即根据所取得的传感器信息而更新的用户信息(第1、第2用户信息)。
控制部130(130-1、130-2)进行佩戴式显示器140(140-1、140-2)的显示控制。通信部138(138-1、138-2)通过无线或有线的通信,与机器人1的通信部40进行用户信息等信息的传送处理。作为无线的通信,可考虑蓝牙(Bluetooth是注册商标)或红外线这样的近距离无线或无线LAN等。作为有线的通信,可考虑使用了USB或IEEE1394等的通信。
机器人1包括处理部10、存储部20、机器人控制部30、机器人动作机构32、机器人安装传感器34以及通信部40。并且,也可以采用省略了其中一部分结构要素的结构。
处理部10根据来自机器人安装传感器34的传感器信息、所取得的用户信息等,进行机器人1的动作等所需的各种处理。该处理部10的功能可通过各种处理器(CPU等)、ASIC(门阵列等)等硬件、或记录在未图示的信息存储介质(光盘、IC卡、HDD等)中的程序等来实现。即,该信息存储介质中存储有用于使计算机(具有操作部、处理部、存储部、输出部的装置)作为本实施方式的各部分发挥功能的程序(用于使计算机执行各部分的处理的程序),处理部10根据存储在该信息存储介质中的程序(数据),执行本实施方式的各种处理。
存储部20是处理部10、通信部40等的工作区域,其功能可通过RAM等存储器或HDD(硬盘存储器)等来实现。该存储部20包括用户信息存储部22和提示信息存储部26。另外,用户信息存储部22包括用户历史信息存储部23。
机器人控制部30对作为控制对象的机器人动作机构32(致动器、声音输出部、LED等)进行控制,其功能可通过机器人控制用的ASIC、各种处理器等硬件、或程序等来实现。
具体而言,机器人控制部30进行用于使机器人将提示信息提示给用户的控制。当提示信息是机器人1的会话(脚本数据)时,进行用于使机器人1说出会话语句的控制。例如,通过公知的TTS(Text-To-Speech,语音合成)处理,将表示会话语句的数字文本数据转换成模拟的声音信号,并经由机器人动作机构32的声音输出部(扬声器)将其输出。另外,当提示信息是表示机器人1的感情状态的信息时,对机器人动作机构32的各关节机构的致动器进行控制或进行使LED点亮等的控制,以表达该感情。
机器人安装传感器34例如是接触传感器、发话传感器(麦克风)、或拍摄传感器(照相机)等各种传感器。机器人1可根据来自该机器人安装传感器34的传感器信息,监测用户对提示给用户的提示信息的反应。
通信部40通过无线或有线的通信,与便携式电子设备100-1的通信部138-1和便携式电子设备100-2的通信部138-2之间进行用户信息等信息的传送处理。
处理部10包括用户信息取得部12、运算部13、提示信息决定部14。并且,也可以采用省略了这些结构要素的一部分的结构。
用户信息取得部12取得用户信息,该用户信息是根据来自对用户的行动进行测量的行动传感器、对用户的状态进行测量的状态传感器、对用户的环境进行测量的环境传感器中的至少1个的传感器信息而得到的。
例如,便携式电子设备100-2的用户信息更新部114-2根据来自佩戴式传感器150-2的传感器信息,进行第2用户(第1用户的孩子、妻子、恋人等)的用户信息即第2用户信息(第2用户历史信息)的更新处理。所更新的第2用户信息被存储在用户信息存储部122-2中。
然后,存储在用户信息存储部122-2中的第2用户信息(第2用户历史信息)经由通信部138-2、40传送到机器人1的用户信息存储部22。具体而言,当第2用户回家后接近机器人1或将便携式电子设备100-2与托座连接,建立了便携式电子设备100-2与机器人1之间的通信路径时,第2用户数据从用户信息存储部122-2传送到用户信息存储部22。用户信息取得部12通过从用户信息存储部22中读出这样传送来的第2用户信息,取得第2用户信息。并且,用户信息取得部12也可以不经由用户信息存储部22而直接从便携式电子设备100-2取得第2用户信息。
另外,便携式电子设备100-1的用户信息更新部114-1根据来自佩戴式传感器150-1的传感器信息,进行第1用户的用户信息即第1用户信息(第1用户历史信息)的更新处理。所更新的第1用户信息被存储在用户信息存储部122-1中。
然后,存储在用户信息存储部122-1中的第1用户信息(第1用户历史信息)经由通信部138-1、40传送到机器人1的用户信息存储部22(用户信息存储部72)。具体而言,当第1用户回家后接近机器人1或将便携式电子设备100-1与托座连接,建立了便携式电子设备100-1与机器人1之间的通信路径时,第1用户数据从用户信息存储部122-1传送到用户信息存储部22。用户信息取得部12通过从用户信息存储部22中读出这样传送的第1用户信息,取得第1用户信息。并且,用户信息取得部12也可以不经由用户信息存储部22而直接从便携式电子设备100-1取得第1用户信息。
运算部13进行针对所取得的用户信息的运算处理。具体而言,在必要时进行针对用户信息的解析处理和滤波处理。例如,当用户信息是1次传感器信息等时进行用上式(1)(2)所说明的运算处理,来进行从所取得的传感器信息中去除不需要的传感器信息的滤波处理、以及用于根据传感器信息识别用户的行动、状态、环境(TPO信息)的解析处理等。
提示信息决定部14根据所取得的用户信息(运算处理后的用户信息),进行机器人1要提示(提供)给用户的提示信息(会话、感情表达、行动表达)的决定处理。
具体而言,提示信息决定部14根据所取得的第2用户的第2用户信息,进行对第1用户的提示信息(会话语句、感情表达、行动表达)的决定处理。然后,机器人控制部30进行用于向第1用户提示根据第2用户信息决定的提示信息的机器人控制。例如,当第1用户接近机器人1时,根据位于远离机器人1的场所等处的第2用户的第2用户信息,决定提示信息,并向第1用户提示所决定的提示信息。
另外,当通过用户信息取得部12取得了第1用户的第1用户信息时,提示信息决定部14也可以根据所取得的第1用户信息和第2用户信息双方,进行对第1用户的提示信息的决定处理。
具体而言,根据第1用户信息,推断第1用户的TPO(Time PlaceOccasion,时间地点场合),取得TPO信息。即,取得时间信息、第1用户的场所信息、状况信息。然后,根据所取得的第1用户的TPO信息和第2用户的第2用户信息,进行提示信息的决定处理。
更具体而言,提示信息决定部14根据第1用户信息(TPO信息),决定提示信息的提示时机(会话的开始时机、发话时机),根据第2用户信息,决定提示信息的内容(会话的内容、脚本数据)。然后,机器人控制部30进行用于在所决定的提示时机向第1用户提示所决定的内容的提示信息的机器人控制。
即,当根据第1用户信息(第1用户的TPO)判断为第1用户繁忙、或精神上没有闲心而不是提示提示信息的时机时,不进行机器人的提示信息的提示。另一方面,当根据第1用户信息判断为第1用户时间充足或空闲,是提示提示信息的时机时,根据第2用户信息决定提示信息的内容,使用机器人向第1用户提示用于通知第2用户的状况、行动等的信息。
这样,能够在对于第1用户而言是恰当、适时的时机,通知第2用户的状况等,并能够进行更自然、顺利的信息提示。
并且,当用户信息取得部12取得了第2用户历史信息作为第2用户信息时,提示信息决定部14根据所取得的第2用户历史信息,进行机器人1要提示给第1用户的提示信息的决定处理,该第2用户历史信息是第2用户的行动历史、状态历史以及环境历史中的至少1个。该情况下的第2用户历史信息是通过便携式电子设备100-2等根据来自例如第2用户的佩戴式传感器150-2的传感器信息来进行更新处理而得到的信息,从便携式电子设备100-2的用户信息存储部122-2传送到机器人1的用户历史信息存储部23。另外,可考虑将用户的行动(步行、发话、进餐等)、状态(疲劳、紧张、空腹、精神状态、肉体状态等)、环境(场所、亮度、温度等)与日期时间相关联地存储而得到的信息(日志信息)作为用户的行动历史、状态历史、环境历史。
另外,提示信息决定部14根据第1用户对机器人1的提示信息的提示的反应,进行机器人1接下来要提示给第1用户的提示信息的决定处理。具体而言,例如当机器人1将提示信息提示给第1用户、第1用户对此作出反应时,通过机器人安装传感器34检测该反应。然后,提示信息决定部14根据来自机器人安装传感器34的传感器信息等,判断(推断)第1用户的反映,并根据该反应决定接下来要提示的提示信息。
4.动作
接着,对本实施方式的动作进行说明。一般,用户与机器人的会话(对话)是以1名用户对1台机器人的这种方式,按照1对1的对峙关系来实现的。但是,这样的1对1的关系存在机器人的会话变得单调、从而容易引起用户厌倦的问题。
关于这一点,在本实施方式中,与第1用户会话的机器人根据不同于第1用户的第2用户的第2用户信息来进行会话。因此,第1用户可通过与机器人的交流来获知自己的家人、朋友或恋人等第2用户的信息。因此,可防止机器人的会话变得单调,并实现不容易引起用户厌倦的机器人。
在该情况下,通过机器人的会话而提供给用户的信息是基于第2用户信息的信息,该第2用户信息是根据来自佩戴式传感器等所具有的行动传感器、状态传感器、环境传感器的传感器信息而取得的。因此,第1用户可通过机器人的会话来间接地获知自己亲近的第2用户的行动、第2用户的状态、第2用户所处的环境。因此,例如,在父亲回家总是很晚、不能取得与孩子之间的交流的家庭中,父亲可通过与机器人的会话来间接地获知孩子的状况。并且可通过与机器人的会话来获知住在很远地方的朋友或恋人的状况,能够提供未曾出现过的类型的作为交流手段的机器人。
例如,在图3A中,回到家的父亲即第1用户将便携式电子设备100(100-1)与托座101连接,进行充电等。在图3A中,根据便携式电子设备100与托座101的这种连接,判定为发生了机器人1的可利用事件,启动机器人1,使其利用成为可能。并且,也可以判定第1用户与机器人1的接近来启动机器人1,而不是判定与托座101的连接。例如,当通过无线进行便携式电子设备100与机器人1之间的信息传送时,可通过检测其无线强度来判定机器人1的可利用事件的发生。
当发生了这样的可利用事件时,机器人1启动,其利用成为可能。在该情况下,机器人1的用户信息存储部22中存储有孩子即第2用户的第2用户信息。具体而言,第2用户在学校等的行动、状态、环境等信息作为第2用户信息已被传送并存储。由此,能够对基于第2用户信息的机器人1的会话等进行控制。并且,也可以如后述那样,通过孩子即第2用户与机器人1的会话来收集并取得第2用户信息。
例如,在图3A中,当父亲(第1用户)从公司回家后接近机器人1时,机器人1开始以孩子(第2用户)为话题的会话。具体而言,例如,根据后述的脚本数据等,说出“您的孩子好像最近课外活动很忙啊”这样的会话语句,向父亲传达孩子当天的状况。
并且,在图3B中,机器人1说出“听说暑假想去旅游”,向父亲传达例如机器人1通过与孩子的会话而取得的孩子的愿望。并且,在图3B中,对与该孩子的愿望相关的话题感兴趣的父亲抚摸机器人1。即,父亲想更详细地知道孩子的愿望,因此抚摸机器人1,请求机器人1告诉更详细的信息。于是,如图3C所示,机器人1根据从孩子收集的信息,说“听说夏天最好去海边”。由此,父亲可获知孩子暑假想去的地方是海边的情况。即在图3B中,根据父亲(第1用户)对机器人1所说的会话语句(机器人的提示信息的提示)的反应(抚摸动作),决定接下来使机器人1说的会话语句(接下来要提示的提示信息)。
例如,每天的回家时间很晚的父亲由于与孩子接触的时间少,总是不能知道孩子的状况或愿望。另外,即使有与孩子接触的时间,有时孩子也不能直接向父亲传达自己的愿望。
在本实施方式中,在这样的情况下,以机器人1为媒介实现了父亲与孩子之间的间接交流。例如,在孩子不能直接向父亲传达自己的愿望的情况下,根据本实施方式,能够以机器人1为媒介顺利地向父亲传达孩子的愿望。另外,在孩子无意识地向机器人1说出自己的愿望的情况下,也能向父亲传达该愿望。
另外,能够向由于与孩子接触的时间少,因此对孩子的关心减弱的父亲给予与自己的孩子相关的启示。因此,能够实现通过与机器人1的会话、以向用户给予启示这样的激励型泛在服务,而不是所谓的便利性提供型服务。
并且,当如图3A那样发生机器人1的可利用事件、机器人1启动时,也可以将父亲的用户信息即第1用户信息传送到机器人1的用户信息存储部22并进行存储。即,传送并存储父亲在公司或外出目的地等处的行动、状态、环境等信息。这样,可使用父亲的第1用户信息和孩子的第2用户信息双方,来控制机器人1的会话等。
例如,假设根据第1用户信息判断为父亲的回家时间比平常晚。具体而言,根据来自佩戴式传感器的GPS传感器的场所信息或来自定时器的时间信息来计测父亲每天的回家时间。然后,将过去的父亲的回家时间的平均值与此次的回家时间进行比较,来判定父亲的回家时间是否晚。
然后,当父亲的回家时间比平时晚很多时,可推断为父亲的TPO因工作等处于非常疲惫的状态。因此,在该情况下,机器人1不立即进行以孩子为话题的会话,而是进行例如“今天因工作回来这么晚,太辛苦了”这样的慰劳的会话。或者进行以父亲喜欢的棒球队的比赛结果等为话题的会话。
然后,在随着时间经过,因工作而疲惫的状态减轻了之后,机器人1根据第2用户信息,开始以孩子为话题的会话。即,使提示信息(会话)的决定处理中的第1用户信息(第1用户历史信息)的权重和第2用户信息(第2用户历史信息)的权重随着时间经过而变化。具体而言,当发生了机器人1的可利用事件时,增大父亲的用户信息即第1用户信息的权重并减小孩子的用户信息即第2用户信息的权重来进行提示信息的决定处理。并且,然后,减小第1用户信息的权重并增大第2用户信息的权重来进行提示信息的决定处理。这样,可进行与父亲的TPO对应的适时的信息提示。
图4示出用于说明本实施方式的动作的流程图。
首先,用户信息取得部12取得第2用户(孩子)的用户信息即第2用户信息(步骤S1)。具体而言,来自第2用户的便携式电子设备100-2的第2用户信息被传送到用户信息存储部22,读出该传送的用户信息。然后,根据所取得的第2用户信息(孩子的用户信息),决定机器人1要向第1用户(父亲)提示的提示信息(会话等)的内容(步骤S2)。
接着,用户信息取得部12取得第1用户(父亲)的用户信息即第1用户信息(步骤S3)。具体而言,来自第1用户的便携式电子设备100-1的第1用户信息被传送到用户信息存储部22,读出该传送的用户信息。接着,如果需要,则根据第1用户信息来推断第1用户的TPO(步骤S4)。这里,TPO(Time Place Occasion,时间地点场合)信息是时间信息(年、月、星期、日、时间等)、用户的场所信息(所处位置、位置、距离等)以及用户的状况信息(精神/肉体状况、对用户发生的事件等)中的至少1个信息。例如,通过GPS传感器得到的纬度/经度信息的含义根据用户而不同,如果该纬度/经度的场所是用户的自家,则推断为用户的所处位置是自家。
接着,根据第1用户信息(第1用户的TPO)判断是否是将提示信息提示给第1用户的时机(步骤S5)。例如,当根据第1用户信息判断为第1用户繁忙或疲惫时,判断为不是提示时机,返回至步骤S3。
另一方面,当判断为是向第1用户提示的时机时,进行使机器人1提示提示信息的机器人控制(步骤S6)。具体而言,如图3A~图3C那样,进行使机器人1说出会话语句的机器人控制。
接着,监测第1用户对步骤S6中的提示信息的提示的反应(步骤S7)。例如,判断第1用户是否进行了抚摸机器人1的动作、或进行了拍打动作、或者什么都没做。然后,根据所监测到的第1用户的反应,决定接下来机器人1要提示的提示信息(步骤S8)。即,决定接下来机器人1要说出的会话语句。
5.多台机器人
以上,对用户为多个、机器人为1台的情况进行了说明,但本实施方式并不限于此,也可应用于用户为多个、机器人为多台的情况。图5示出机器人为多台的情况的本实施方式的第2系统结构例。
该系统具有第1、第2用户持有的便携式电子设备100-1、100-2、以及由本实施方式的机器人控制系统控制的机器人1、2(第1、第2机器人)。并且,机器人控制系统例如由机器人1、2所具有的处理部10、60实现。并且,由于机器人2的结构与机器人1相同,因此这里省略详细的说明。
在图5中,提示信息决定部14(64)以针对所取得的相同的第2用户信息机器人1、2提示(发话)不同的提示信息(不同的会话语句、不同的感情表达、不同的行动表达)的方式,进行向第1用户提示的提示信息(会话语句)的决定处理。例如,以下述方式进行提示信息的决定处理,即:针对所取得的第2用户信息,机器人1提示第1提示信息(第1会话语句),机器人2提示不同于第1提示信息的第2提示信息(第2会话语句)。
接着,对图5的动作进行说明。一般地,用户与机器人的会话(对话)是以1名用户对1台机器人的这种方式,按照1对1的对峙关系来实现的。
与此相对,在图5中,准备了2台机器人1、2(在广义上是多台机器人)。并且,采取用户不是直接与机器人1、2会话,而是旁观并倾听在机器人1、2之间进行的会话的方式。
这样,可实现通过在机器人1、2之间的进行的会话,打动用户的内心,以向用户赋予与用户的行动、状态、环境相关的启示(激励),由此促进自己成长的激励型泛在服务,而不是单方向地从外部向用户提供信息的便利性提供型服务。
图6A~图6C是取得孩子即第2用户的第2用户信息的情景的例子。在图6A中,回到家的孩子将便携式电子设备100(100-2)与托座101连接,进行充电等。在图6A中,根据便携式电子设备100与该托座101的该连接,判定为发生了机器人1、2的可利用事件,启动机器人1、2,使其利用成为可能。并且,也可以通过检测无线强度来判定与孩子的接近,启动机器人1、2。
当这样地启动了机器人1、2时,存储在孩子持有的便携式电子设备100中的第2用户信息被传送到机器人1、2的用户信息存储部22、72。然后,根据在移动环境中更新的孩子的第2用户信息,控制机器人1、2的会话等。另外,根据与机器人1、2的会话等,在家庭环境中进一步对在移动环境中被更新过的第2用户信息进行更新。
例如,在图6A中,根据第2用户信息判断为孩子的回家时间比平时晚。这样,当判断为回家时间晚时,通过机器人1、2提示与孩子的回家时间相关的提示信息。具体而言,选择与孩子的回家时间的话题相关的脚本数据,机器人1、2根据所选择的脚本数据开始会话。例如,在图6A中,机器人1说“今天从学校回来很晚啊”这样的会话语句,与此相对,机器人2说“最近经常回来很晚啊”这样的会话语句。
然后,在图6B中,机器人1说“课外活动太忙了吧?”,机器人2说“反正不也是闲逛吗”。这样,在图6B中,针对“回家时间比平时晚”这样的相同的第2用户信息,机器人1、2提示不同的提示信息。于是,由于确实是因课外活动忙而回家晚,因此孩子对说“课外活动太忙了吧?”的机器人1进行抚摸。由此,如图C所示,被抚摸的机器人1说“那么说来,很快就是地区大会了吧”。
在该情况下,根据孩子对图6B的机器人1、2的相对照的会话语句的反应(抚摸操作),更新第2用户信息。即,推定为课外活动是孩子回家晚的原因,并将因课外活动而回家晚记录为第2用户信息,生成提示给父亲的脚本数据。即,根据孩子(第2用户)对机器人1、2所说的会话语句的反应,生成提示给父亲(第1用户)的脚本数据。
图7A~图7C是在孩子回家后,第1用户即父亲回到家的情景的例子。
当检测到父亲回家、将便携式电子设备100(100-1)与托座101连接等时,启动机器人1、2。在该情况下,机器人1、2的用户信息存储部22、72中存储有根据图6A~图6C所说明的与孩子的会话而更新的第2用户信息。然后,根据该第2用户信息,控制机器人1、2的会话等。具体而言,选择与孩子的回家时间晚的话题相关的脚本数据,机器人1、2根据所选择的脚本数据开始会话。例如,在图7A中,机器人1说“孩子从学校回来很晚啊”,对此,机器人2说“最近好像经常回来很晚啊”。
在该情况下,针对“孩子的回家时间比平时晚”这样的相同的第2用户信息,以机器人1、2提示不同的提示信息的方式,进行机器人1、2提示给父亲(第1用户)的提示信息的决定处理。具体而言,在图7B中,针对孩子回家时间晚,机器人1说“课外活动好像很忙啊”,机器人2说“不过,好像心情不好”。
例如,如果机器人与用户1对1地对峙、机器人经常进行相同倾向的会话,则用户有可能会对与机器人的会话感到闭塞感或窘迫感。
与此相对,在图7B中机器人1、2说彼此不同的相对照的会话语句。并且,采取机器人1、2进行会话、用户观看的方式,而不是直接与用户会话。因此,能够提供通过在机器人1、2之间进行的会话向用户给予启示的激励型泛在服务,而不是所谓的便利性提供型服务。
另外,在图7B中,与关于孩子今天心情的话题相比,父亲对关于孩子课外活动的话题更感兴趣,因此抚摸机器人1。然后,通过机器人1的接触传感器410等,检测出用户对机器人1、2所说的会话语句的反应即“抚摸动作”。
于是,根据这样的“抚摸动作”这种用户反应,进行机器人1、2接下来要向父亲说的会话语句(接下来要提示的提示信息)的决定处理。具体而言,如图7C所示,被抚摸的机器人1说“因为很快就是地区大会了吧”。并且,然后,根据与孩子课外活动相关的话题的脚本,继续进行机器人1、2之间的会话。
这样,在图6A~图6C中,通过机器人1、2的会话,更新孩子的用户信息即第2用户信息,生成提示给父亲的脚本数据。因此,能自然地收集并取得第2用户信息,而不会使孩子特别意识到。然后,根据所取得的第2用户信息,生成以孩子为话题的脚本数据,如图7A~图7C所示,通过机器人1、2的会话,向父亲提供孩子的话题。因此,即使父亲和孩子没有特别地意识到,也能以机器人1、2为媒介实现父亲与孩子之间的间接交流。由此,可实现通过机器人的会话向用户给予启示的这种激励型泛在服务。
图8示出用于说明图5的系统的动作的流程图。图8与图4的流程图的主要不同之处在于步骤S56的处理。即,当在步骤S55中判断为是向第1用户(父亲)进行提示的时机时,在步骤S56中进行使机器人1、2提示不同的提示信息的机器人控制。具体而言,如图7A~图7C所说明的那样,针对相同的第2用户信息(孩子的回家时间),以使机器人1、2进行不同的会话的方式决定机器人1、2的会话语句,使机器人1、2说话。由此,防止用户与机器人的会话变得单调的情况。
图9示出作为图5变形例的第3系统结构例。在图9中,机器人1被设定成主侧,机器人2被设定成从侧。并且,机器人控制系统主要由主侧的机器人1所具有的处理部10实现。
具体而言,设置在主侧机器人1上的用户信息取得部12取得用户信息(第2用户信息),主侧的提示信息决定部14根据所取得的用户信息,进行机器人1、2要提示给用户的提示信息的决定处理。例如,当决定了主侧、从侧的机器人1、2分别提示第1、第2提示信息时,主侧的机器人控制部30进行用于使机器人1提示所决定的第1提示信息的控制。这样地对主侧的机器人1进行控制。另外,主侧的提示信息决定部14指示从侧的机器人2向用户提示提示信息。例如,当决定了主侧、从侧分别提示第1、第2提示信息时,指示从侧的机器人2提示第2提示信息。于是,从侧的机器人控制部80进行使机器人2提示所决定的第2提示信息的机器人控制。这样地对从侧的机器人2进行控制。
在该情况下,通信部40例如通过无线等方式从主侧的机器人1向从侧的机器人2通信用于指示提示提示信息的指示信息。然后,当从侧的通信部90接收到该指示信息时,从侧的机器人控制部80进行用于使机器人2提示由该指示信息所指示的提示信息的机器人控制。
这里,提示信息的指示信息例如是提示信息的识别代码等。当提示信息是脚本的会话语句时,该指示信息成为脚本中的会话语句的数据代码。
例如可考虑下述方法,即:当机器人1、2进行双向会话时,机器人2对机器人1所说的会话语句进行语音识别,根据该语音识别的结果,使机器人2说出会话语句。
但是,根据该方法,需要复杂的语音识别处理和解析处理,导致机器人的高成本化、处理的复杂化、发生误动作等。
关于这一点,在图9中,在主侧的机器人1的控制下,实现机器人1、2的双向的会话。即,在用户看来,好像是机器人1、2识别彼此的语言并进行会话,但实际上全部的会话都是在主侧的机器人1的控制下进行的。另外,从侧的机器人2根据从主侧的机器人1传送的指示信息,决定本身要提示的信息,因此可不需要语音识别处理。因此,即使不进行复杂的语音识别处理等,也可在误动作较少的稳定的控制下实现机器人1、2之间的双向会话。
6.经由网络取得第2用户信息
以上,主要对本实施方式的方法应用于家人间的交流的情况进行了说明,但本实施方式不限于此。例如,本实施方式的方法也可应用于例如朋友、恋人、亲戚等在位置上远离的用户之间的交流。
例如,在图10中,取得第1用户的恋人即第2用户的第2用户信息。具体而言,在第2用户的移动环境或家庭环境中,根据图1等所述的方法更新第2用户信息(第2用户历史信息)。然后,经由互联网等网络传送所更新的第2用户信息。即,机器人1(机器人控制系统)的用户信息取得部12经由网络取得第2用户信息。然后,提示信息决定部14根据经由网络所取得的第2用户信息,进行要向第1用户提示的提示信息的决定处理。
这样,第1用户能够以机器人1为媒介,获知位于远离地点的第2用户的行动、状态或环境(行动历史、状态历史、环境历史)等。即,机器人1(或机器人1、2)根据基于经由网络而取得的第2用户信息的脚本数据,进行图3A~图3B所述的会话。因此,第1用户可通过机器人1的会话间接地获知恋人即第2用户的状况。由此,能够实现位于远离地点的第1、第2用户之间的间接交流,并能够提供未曾出现过的交流手段。并且,在图10的系统中,也可以不借助便携式电子设备取得第2用户信息。
7.系统结构例
接着,对本实施方式的另一系统结构例进行说明。图11是本实施方式的第4系统结构例。并且,图11是设置1台机器人的情况的例子,但也可以如图5那样设置多台机器人。
在图11中,设置了本地服务器即家庭服务器200。该家庭服务器200进行用于控制家庭子系统的控制对象设备的处理,或进行与外部的通信处理等。机器人1(或机器人1、2)在该家庭服务器200的控制下动作。
并且,在图11的系统中,便携式电子设备100-1、100-2与家庭服务器200例如使用无线LAN或托座等来进行通信连接,家庭服务器200与机器人1例如使用无线LAN等来进行通信连接。并且,本实施方式的机器人控制系统主要由家庭服务器200的处理部210实现。并且,也可以通过家庭服务器200与机器人1的分布式处理来实现机器人控制系统的处理。
当持有便携式电子设备100-1或100-2的用户(第1、第2用户)接近家时,可通过无线LAN等进行便携式电子设备100-1、100-2与家庭服务器200之间的通信。或可通过将便携式电子设备100-1、100-2放置在托座上来进行通信。
然后,当建立了通信路径时,从便携式电子设备100-1、100-2向家庭服务器200的用户信息存储部222传送用户信息(第1、第2用户信息)。由此,家庭服务器200的用户信息取得部212取得用户信息。然后,运算部213进行所需的运算处理,提示信息决定部214决定机器人1要向用户提示的提示信息。然后,从家庭服务器200的通信部238向机器人1的通信部40发送所决定的提示信息或提示信息的指示信息(例如会话语句的发话指示信息)。然后,机器人1的机器人控制部30进行用于向用户提示所接收到的提示信息或由所接收到的指示信息所指示的提示信息的机器人控制。
根据图11的结构,当例如用户信息和提示信息(脚本数据)的数据大小较大时,也可以不在机器人1中设置用户信息和提示信息的存储部,因此可实现机器人1的低成本化或紧凑化。另外,由于可以在家庭服务器200中一元化地处理、管理用户信息和提示信息的传送和运算处理,因此可进行更智能的机器人控制。
另外,根据图11的系统,可以在发生机器人1的可利用事件之前,将来自便携式电子设备100-1、100-2的用户信息预先传送到家庭服务器200的用户信息存储部222。例如,在用户回家接近机器人1之前(具体而言,当来自作为用户粘帖在身上的佩戴式传感器之一的GPS传感器的信息表示用户到达了最近的车站,或当来自作为家庭传感器之一的门开关传感器的信息表示用户打开了玄关的门的时机等),将在移动环境下更新过的用户信息预先传送并写入到家庭服务器200的用户信息存储部222。然后,当用户接近机器人1、发生机器人1的可利用事件时,开始使用了预先传送到用户信息存储部222的用户信息的机器人1的控制动作。即,启动机器人1,控制机器人1进行例如图3A~图3C所示的会话。这样,在机器人1启动之后,可立即开始基于用户信息的会话,使控制效率提高。
图12示出本实施方式的第5系统结构例。在图12中,设置有作为主服务器的外部服务器300。该外部服务器300进行便携式电子设备100-1、100-2之间或与家庭服务器200之间的通信处理,或进行各种管理控制。并且,图12是设置1台机器人的情况的例子,但也可以如图5那样设置多台机器人。
在图12的系统中,便携式电子设备100-1、100-2与外部服务器300使用PHS等无线WAN来进行通信连接,外部服务器300与家庭服务器200使用ADSL等有线WAN来进行通信连接,家庭服务器200与机器人1(机器人1、2)使用无线LAN等来进行通信连接。并且,本实施方式的机器人控制系统主要由家庭服务器200的处理部210和外部服务器300的未图示的处理部来实现。并且,也可以通过家庭服务器200、外部服务器300、机器人1的分布式处理来实现机器人控制系统的处理。
便携式电子设备100-1、100-2、家庭服务器200等各单元恰当地与外部服务器300进行通信,进行用户信息(第1、第2用户信息)的传送处理。另外,利用PHS的位置登记信息、GPS传感器、麦克风等判断用户(第1、第2用户)是否已接近家,当接近时,将存储在外部服务器300的未图示的用户信息存储部中的用户信息下载到家庭服务器200的用户信息存储部222中,开始机器人1的提示信息的提示控制。并且,后述的脚本数据等提示信息也可从外部服务器300下载到家庭服务器200的提示信息存储部226中。
根据图12的系统,可在外部服务器300中一元化地管理用户信息和提示信息。
8.用户历史信息
接着,对作为用户信息之一的用户历史信息的更新处理和用户历史信息的具体例进行说明。并且,用户信息可包括根据传感器信息而实时地取得的用户信息、该实时地取得的用户信息的历史即用户历史信息等。
图13是示出用户历史信息的更新处理的一例的流程图。
首先,取得来自佩戴式传感器150等的传感器信息(步骤S21)。接着,进行所取得的传感器信息的过滤和解析等运算处理(步骤S22)。然后,根据运算结果,推断用户的行动、状态、环境等(TPO、情感)(步骤S23)。然后,将所推断出的用户的行动、状态等用户历史与日期时间(年、月、星期、日、时间)等相关联地存储在用户历史信息存储部23(223)中,更新用户历史信息(步骤S24)。
图14示意地示出用户历史信息的具体例。图14的用户历史信息是将用户的行动等历史与时间段、时刻等相关联起来的数据结构。例如,用户在8点从家出发,在8点~8点20分的时间段从家步行到车站,在8点20分到达离家最近的A车站。然后,在8点20分~8点45分的时间段乘电车,在8点45分从离公司最近的B车站下车,9点到达公司,开始工作。在10点~11点的时间段与公司内的成员举行会议,在12点~13点的时间段吃午餐。
这样,在图14中,通过将根据来自传感器的信息等而推断出的用户的行动等的历史与时间段和时刻相关联,构建了用户历史信息。
并且,在图14中,也将由传感器等测量的用户的发话量、进餐量、脉搏、出汗量等测量值与时间段和时刻相关联。例如,在8点~8点20分的时间段,用户从家步行到车站,此时的步行量等由传感器进行测量,并与8点~8点20分的时间段相关联。在该情况下,也可以进一步将例如步行速度、出汗量等除步行量以外的传感器信息的测量值相关联。由此,能够掌握该时间段内的用户的运动量等。
在10点~11点的时间段,用户与同事举行会议,此时的发话量等由传感器进行测量,并与10点~11点的时间段相关联。在该情况下,也可以进一步将例如声音状态、脉搏等传感器信息的测量值相关联。由此,能够该时间段内的用户的会话量和紧张度等。
在20点45分~21点45分和22点~23点的时间段内,用户玩游戏或观看电视,将此时的脉搏、出汗量等与这些时间段相关联。由此,能够掌握这些时间段内的用户的兴奋度等。
在23时30分以后的时间段,用户进入睡眠,将此时的用户的体温变化与该时间段相关联。由此,能够掌握睡眠时的用户的健康状态。
并且,用户历史信息不限于图14的方式,例如,也可以实施如下变形,即:不将用户的行动等的历史与日期时间等相关联来构建用户历史信息。
例如,在图15A中,基于作为传感器信息的测量值的发话量、声音状态、脉搏、出汗量等,根据预定的运算式来运算用户的精神状态参数。例如,如果发话量多,则精神状态参数也增高,表示用户的精神状态良好。另外,基于作为传感器信息的测量值的步行量、步行速度、体温等,根据预定的运算式来运算用户的身体状态(健康状态)的参数(运动量参数)。例如,如果步行量多,则身体状态参数也增高,表示用户的身体状态良好。
另外,如图15B所示,通过利用棒状图形等对用户的精神状态、身体状态的参数(在广义上是状态参数)进行可视化,可显示在便携式显示器或家庭显示器上。另外,根据在移动环境下更新过的精神状态、身体状态的参数等,控制家庭环境的机器人,可使机器人进行慰劳、鼓励用户或给用户出主意的动作。
如上所述,在本实施方式中,取得用户历史信息作为用户信息,该用户历史信息是用户的行动历史、状态历史、以及环境历史中的至少1个。然后,根据所取得的用户历史信息,进行机器人要向用户提示的提示信息的决定处理。
9.基于脚本的机器人会话
接着,以提示给用户的提示信息是基于脚本的机器人会话的情况为例,详细地对其具体例进行说明。
9.1结构
图16示出本实施方式的更详细的系统结构例。与图2、图5等相比,在图16中,处理部10还包括事件判定部11、用户识别部15、接触状态判定部16、发话权控制部17、脚本数据取得部18、用户信息更新部19。另外,存储部20包括脚本数据存储部27、提示允许判断信息存储部28。
事件判定部11进行各种事件的判定处理。具体而言,判定机器人可利用事件的发生,该机器人可利用事件是指通过移动子系统或车内子系统而更新了用户信息的用户能够新利用家庭子系统的机器人。例如,当用户接近(移动到)机器人的位置(家)时,事件判定部11判定为发生了机器人可利用事件。或者,也可以在通过无线进行信息传送时,通过检测其无线强度来判定可利用事件的发生。或者也可以在便携式电子设备与托座连接时,判断为发生了可利用事件。然后,当发生了这样的机器人可利用事件时,启动机器人1、2,将用户信息下载到用户信息存储部22等中。
脚本数据存储部27将由多个会话语句构成的脚本数据存储为提示信息。然后,提示信息决定部14根据该脚本数据,决定机器人要向用户说出的会话语句。于是,机器人控制部30进行用于使机器人说出所决定的会话语句的控制。
具体而言,脚本数据存储部27存储多个会话语句按照分支结构相链接而成的脚本数据。然后,提示信息决定部14根据用户(第1用户)对机器人所说的会话语句的反应,决定使机器人接下来说的会话语句。
用户识别部15进行用户的识别处理。具体而言,当用户接近机器人时,识别出所接近的用户。并且,当通过用户识别部15识别出第1用户接近时,机器人控制部30进行用于向第1用户提示提示信息的机器人控制。
该用户识别可通过例如基于机器人的用户脸部图像识别或用户声音的语音识别等来实现。例如,预先登记第1用户的脸部图像或声音的数据。然后,通过CCD等摄像器件或麦克风等声音传感器来识别与机器人接近的用户的脸部图像或声音,判断是否与所登记的脸部图像或声音一致。然后,当所识别出的脸部图像或声音与第1用户的脸部图像或声音一致时,开始向第1用户提示提示信息。或者,也可以是,机器人接收来自用户持有的便携式电子设备的ID信息,判断是否与预先登记的ID信息一致,由此识别所接近的用户是否是第1用户。
如后述那样,接触状态判定部16判定机器人的感测面的接触状态。然后,提示信息决定部14根据接触状态判定部16的判定结果,判断用户进行了抚摸机器人的动作还是进行了拍打动作,作为用户对机器人的会话语句的发话(提示信息的提示)的反应。然后,决定接下来要向用户说出的会话语句(接下来要提示的提示信息)。
在该情况下,接触状态判定部16根据输出数据,判定感测面的接触状态,该输出数据是通过对来自设置在比感测面更靠近内侧(机器人的内侧)的位置的麦克风(声音传感器)的输出信号(传感器信息)进行运算处理而得到的。该情况的输出数据例如是信号强度(信号强度数据),接触状态判定部16可通过根据输出数据进行信号强度与预定的阈值之间的比较处理,来判定用户进行了抚摸机器人的动作还是进行了拍打动作。
发话权控制部17根据用户(第1用户)对机器人所说的会话语句的反应(例如抚摸、拍打、沉默),控制向机器人1、2中的哪一个赋予接下来的会话语句的发话权(发话的主导权)。具体而言,根据用户对机器人1、2中的任意1个机器人所说的会话语句作出了肯定反应还是作出了否定反应,决定要赋予接下来的会话语句的发话权的机器人。例如将发话权赋予给用户作出肯定反应的机器人,或将发话权赋予给用户未作出否定反应的机器人。该发话权的控制处理可利用发话权标志等来实现,该发话权标志表示将发话权赋予给机器人1、2中的哪一个。
例如,在图17中,对于机器人1的“课外活动好像很忙啊”这样的会话语句,父亲作出了抚摸头部这样的肯定反应。因此,在该情况下,如图17B所示,将接下来的发话权赋予给被抚摸头部(被给予肯定反应)的机器人1。由此,被赋予了发话权的机器人1说出“因为很快就是地区大会了吧”这样的会话语句。即,例如机器人1、2以交互发话为原则,根据该原则在图17B中应该将接下来的发话权赋予给机器人2,但在图17B中,将接下来的发话权赋予给了被父亲抚摸了头部的机器人1。并且,在图17A中,也可以是,当机器人2发话、父亲作出了拍打机器人2的头部这样的否定反应时,将发话权赋予给机器人1。
在图18A中,对于机器人2的“不过,好像心情不好”这样的会话语句,父亲作出了抚摸头部这样的肯定反应。因此,在该情况下,如图18B所示,按照原则将接下来的发话权赋予给被抚摸了头部的机器人2。由此,被赋予了发话权的机器人2说出“今天被拍打3次了!真是的!”这样的会话语句。并且,在图18A中,也可以是,当机器人1发话、父亲作出了拍打机器人1的头部这样的否定反应时,将发话权赋予给机器人2。
例如,如果机器人1、2经常只是交互依次地进行会话,则对于用户而言,机器人1、2的双向会话变得单调,容易马上引起用户厌倦。
对此,如果使用图17A~图18B的发话权控制方法,则根据用户的反应对发话权的赋予进行多种切换,因此可防止会话变得单调,并可实现不容易引起用户厌倦的机器人间的会话。
脚本数据取得部18进行脚本数据的取得处理。具体而言,通过从脚本数据存储部27中读出与用户信息对应的脚本数据,来取得机器人的会话所使用的脚本数据。并且,也可以是,经由网络将根据用户信息而选择的脚本数据下载到脚本数据存储部27中,从所下载的脚本数据中选择并读出机器人的会话所使用的脚本数据。
然后,在本实施方式中,例如,如图6A~图6C所述那样,根据第2用户(孩子)对机器人所说的会话语句的反应,生成脚本数据,脚本数据取得部18取得所生成的脚本数据。然后,提示信息决定部14根据所取得的脚本数据,决定机器人要向第1用户说出的会话语句。
这样,提示给第1用户的脚本内容根据第2用户对机器人的会话语句的反应而变化,可实现多样且富于变化的机器人会话。例如,在图6B,对于机器人1的“课外活动很忙吧”这样的发话,孩子作出了抚摸机器人1的头部这样的肯定反应。因此,在图7B、图7C中,选择与孩子课外活动的话题相关的脚本(会话语句),并提示给父亲。
用户信息更新部19进行家庭环境中的用户信息的更新处理。具体而言,通过与机器人的会话等,感测用户的行动、状态等,在家庭环境中进一步更新用户信息。
提示允许判断信息存储部28存储提示允许判断信息(提示允许判断标志),该提示允许判断信息用于判断用户间的信息提示的允许/禁止。然后,当根据提示允许判断信息而判断为允许第1、第2用户间的信息提示时,提示信息决定部14基于第2用户信息进行提示给第1用户的提示信息的决定处理。
图19示出提示允许判断信息的一例。例如在图19中,在用户A与用户B之间允许了信息提示,在用户A与用户C、D之间禁止了信息提示。另外,在用户B与用户E之间允许了信息提示,在用户B与用户C、D之间禁止了信息提示。
因此,例如当用户A与机器人接近时,允许向用户A提示基于用户B的用户信息的提示信息,禁止向用户A提示基于用户C的用户信息的提示信息。
例如,有时不希望允许向家庭的所有成员提示孩子的信息。因此,使用提示允许判断信息,向父亲提示孩子的信息,另一方面,禁止向母亲提示孩子的信息。
这样,当父亲与机器人接近时,机器人根据提示允许判断信息,判断为允许提示孩子的信息,进行基于孩子的用户信息的信息提示。另一方面,当母亲与机器人接近时,机器人根据提示允许判断信息,判断为禁止提示孩子的信息,不进行基于孩子的用户信息的信息提示。这样,只向必要的用户提示其它用户的信息,可防止发生侵犯隐私等问题。
接着,使用图20的流程图,对本实施方式的详细动作进行说明。
首先,如图6A~图6C所述那样,取得根据第2用户(孩子)对机器人所说的会话语句的反应而生成的脚本数据(步骤S31)。
接着,判断用户是否与机器人接近(步骤S32)。即,通过便携式电子设备与托座的连接的检测或无线强度的检测等,判断是否发生机器人可利用事件。
接着,识别与机器人接近的用户(步骤S33)。即,根据图像识别或语音识别等识别用户。然后,从提示允许判断信息存储部28中读出与所识别的用户相对应的提示允许判断信息(步骤S34)。
接着,判断所识别出的用户是否是由提示允许判断信息允许了提示信息的第1用户(步骤S35)。例如,当允许了只向父亲即第1用户提示孩子即第2用户的信息时,判断与机器人接近的用户是否是父亲。
然后,当判断为是第1用户时,如图7A~图7C所述那样,根据在步骤S31中取得的脚本数据,决定要使机器人1、2说出的会话语句(步骤S36)。然后,进行使机器人1、2说出不同会话语句的机器人控制(步骤S37)。
接着,监测第1用户对机器人1、2的发话的反应(步骤S38)。然后,根据图17A~图18B所示的方法,决定接下来的会话语句的发话权(步骤S39)。另外,根据第1用户的反应,决定机器人1、2接下来要说的会话语句(步骤S40)。
9.2脚本的具体例
接着,对在本实施方式中使用的脚本数据及其选择方法的具体例进行说明。
如图21所示,对脚本数据库(脚本DB)的各个脚本数据赋予了脚本编号(脚本No.)。并且,由脚本编号所确定的脚本数据由多个脚本数据代码构成,由各个脚本数据代码指定各个会话语句(文本数据)。并且,在图21中,根据第2用户信息,选择脚本编号=0579的脚本数据。并且,脚本编号=0579的脚本数据由A01~A06的脚本数据代码构成。这里,A01~A06是机器人依次要说出的会话语句的代码。并且,通过使用该脚本数据,实现图3A~图3C等所述的、与第2用户信息对应的机器人会话。
图22是向父亲提供孩子的话题的脚本示例。
例如,首先,机器人说“您的孩子好像最近课外活动很忙啊”,接着说“听说暑假想去旅游”。当父亲针对该发话抚摸机器人时,推断为父亲对与暑假旅游相关的孩子的愿望感兴趣。因此,在该情况下,机器人说“听说夏天最好去海边”,向父亲传达通过与孩子的会话而得到的孩子的愿望。然后,继续与暑假旅游的话题相关的会话。
另一方面,当父亲对“听说暑假想去旅游”这样的发话无反应时,推断为父亲对该话题不感兴趣,机器人改变话题,例如说“学习马马虎虎吧”。当父亲针对该发话抚摸机器人时,推断为父亲对孩子的学习状况感兴趣。因此,在该情况下,机器人说“好像现在课外活动也很忙”,继续与孩子学习的话题相关的会话。
这样,在图22中,根据父亲对机器人所说的会话语句的反应,决定使机器人接下来说出的会话语句。另外,通过检测父亲的抚摸、拍打等反应,推断父亲对哪种孩子话题感兴趣。
图23是通过机器人1、2的会话收集孩子的用户信息的脚本示例。
另外,机器人1对孩子说“今天从学校回来很晚啊”,机器人2说“最近经常回来很晚啊”。接着,机器人1说“课外活动太忙了吧?”,机器人2说“反正不也是闲逛吗”。
然后,当孩子抚摸机器人1时,推断为孩子因课外活动而回来晚了。然后,在该情况下,将发话权赋予给机器人1,机器人1说“那么说来,很快就是地区大会了吧”。然后,继续与课外活动的话题相关的会话。
另一方面,当孩子拍打机器人2时,将发话权赋予给机器人2,机器人2说“疼!别拍了!”。
这样,在图23中,通过机器人1、2的会话,收集并更新孩子的第2用户信息。因此,即使孩子没特别地意识到,也可自然地取得孩子的第2用户信息。
图24是根据在图23中收集的第2用户信息提示给父亲的脚本的示例。
首先,根据基于在图23中收集的第2用户信息的脚本,机器人1说“孩子从学校回来很晚啊”,机器人2说“最近好像经常回来很晚啊”。接着,机器人1说“课外活动好像很忙啊”,机器人2说“不过,好像心情不好”。即,针对相同的第2用户信息,机器人1、2说不同的会话语句。
然后,当父亲抚摸机器人1时,推断为父亲对孩子课外活动的话题感兴趣,将发话权赋予给机器人1,机器人1说“因为很快就是地区大会了吧”。然后,继续与孩子课外活动的话题相关的会话。
另一方面,当父亲抚摸机器人2时,将发话权赋予给机器人2,机器人2说“今天被拍打3次了!真是的!”。
这样,在图24中,通过机器人1、2的会话将通过机器人1、2的会话而收集的孩子的话题提示给父亲。因此,可提供以机器人1、2为媒介的间接的交流手段。
10.接触状态判定
接着,对拍打、抚摸机器人等动作的具体判定方法的一例进行说明。
图25A是布制玩偶型的机器人500的例子。机器人500的表面作为感测面501发挥功能。在比感测面501更靠近内侧的位置设有麦克风502-1、502-2、502-3。还设有信号处理部503,该信号处理部503对来自各个麦克风502-1、502-2、502-3的输出信号进行运算处理,并输出输出数据。
如图25B的功能框图所示,来自麦克风502-1、502-2…502-n的输出信号被输入到信号处理部503。信号处理部503进行噪声消除和信号放大等,对模拟的输出信号进行加工/转换。然后,计算信号强度等,作为数字的输出数据输出。接触状态判定部16进行例如阈值的比较处理、接触状态的分类等处理。
例如,图26A、图26B、图26C是拍打感测面501时、抚摸感测面501时、朝麦克风说话时的3种模式的声音波形图。图的横轴是时间,纵轴是信号强度。
如果关注信号强度,则可知在图26A的拍打时和图26B的抚摸时,信号强度较大。另外,可知在拍打时其状态是暂时的,在抚摸时其状态是持续的。另外,如图26C所示,与图26A的拍打时、图26B的抚摸时相比,例如高强度地说“啊-”时的波形的信号强度较小。
可通过设置利用了这些差异的阈值来检测“拍打状态”、“抚摸状态”、“都不是的状态”。另外,可通过使用多个麦克风502-1、502-2、502-3检测发生最强信号的位置作为“被拍打部位、被抚摸部位”。
更具体而言,当用户的手等与机器人500的感测面501接触时,嵌入机器人500内部的麦克风502-1、502-2、502-3检测在机器人500内部传播来的声音,并将其转换成电信号。
信号处理部503对来自麦克风502-1、502-2、502-3的输出信号(声音信号)进行噪声消除、信号放大、A/D转换,输出输出数据。可通过将该输出数据转换成绝对值后蓄积一定时间等,来算出信号强度。然后,将所算出的信号强度与阈值TH进行比较。然后,如果超过阈值TH,则判定为检测出“接触”,进行计数作为接触状态检测次数。然后,反复进行该接触状态检测处理达预定时间。
在经过了预定时间的时刻,接触状态判定部16将预先设定的条件与所述接触状态检测次数进行比较,例如根据下述的条件,检测被抚摸的状态、被拍打的状态。这里,利用在抚摸时接触状态持续因此接触状态检测次数也增多,但在拍打时接触状态检测次数减少的这种现象,检测是被抚摸的状态还是被拍打的状态。
检测状态     (检测次数/最大检测次数)×100%
抚摸状态     大于等于25%
拍打状态        大于等于10%、小于25%
未检测出状态    小于10%
由此,可使用至少1个麦克风来判定“抚摸状态”、“拍打状态”、“什么都不是的状态(未检测出状态)”。另外,可通过分散地嵌入多个麦克风、比较各个麦克风的接触状态检测次数,来判定发生了接触的部位。
11.基于第1、第2用户信息的提示信息的决定处理
在本实施方式中,例如考虑第1、第2用户信息双方来进行提示给第1用户的提示信息的决定处理。具体而言,使提示给第1用户的提示信息的决定处理中的第1用户信息的权重和第2用户信息的权重随着时间经过而变化。
例如,当第1用户(父亲)回家或与机器人接触时,发生了机器人(家庭子系统)可利用事件。具体而言,当根据佩戴式传感器的GPS、安装在家的门等上的传感器、便携式电子设备与托座的连接等而检测出第1用户回家,或通过无线通信的无线强度或机器人的接触传感器等而检测出第1用户与机器人的接近时,图16的事件判定部11判定为发生了基于第1用户的、机器人可利用事件。即判定为发生了可利用事件,该可利用事件表示成为可利用机器人的状态。
并且,在图27中,将该可利用事件发生前的例如第1用户的外出期间(机器人的不可利用期间、机器人与第1用户的非接近期间)设为第1期间T1,将可利用事件发生后的例如在家期间(机器人的可利用期间、机器人与第1用户的接近期间)设为第2期间T2。
在该第1期间T1中,取得(更新)第1用户(父亲)的第1用户信息、第2用户(孩子)的第2用户信息。例如,在第1期间T1中,可通过使用第1用户的佩戴式传感器的行动传感器、状态传感器、环境传感器测量第1用户的行动(步行、发话、进餐等)、状态(疲劳、紧张、空腹、精神状态、肉体状态等)或环境(场所、亮度、温度等),来取得第1用户信息(第1用户历史信息)。具体而言,便携式电子设备100-1的用户信息更新部通过根据来自这些传感器的传感器信息对便携式电子设备100-1的用户信息存储部的第1用户信息进行更新,来取得第1期间T1中的第1用户信息。
同样,在第1期间T1中也可通过使用第2用户的佩戴式传感器测量第2用户的行动、状态或环境,来取得第2用户(孩子)的第2用户信息。具体而言,便携式电子设备100-2的用户信息更新部通过根据来自这些传感器的传感器信息对便携式电子设备100-2的用户信息存储部的第2用户信息进行更新,来取得第1期间T1中的第2用户信息。并且,也可如图6A~6C所述那样通过与机器人的会话取得第2用户信息。
然后,当例如发生了机器人1可利用事件时,将在第1期间T1中更新过的第1、第2用户信息从便携式电子设备100-1、100-2的用户信息存储部传送到机器人1的用户信息存储部22(用户历史信息存储部23)。由此,提示信息决定部14可根据所传送的第1、第2用户信息,进行机器人1要向第1用户提示的提示信息的决定处理(脚本的选择处理)。
并且,在发生了可利用事件之后的第2期间中,也可以通过使用机器人安装传感器34或其它传感器(例如佩戴式传感器和嵌入到家庭中的家庭传感器等)测量第1用户的行动、状态或环境,来更新第1用户信息。
如图28所示,提示信息决定部14根据在第1期间T1(或第2期间T2)等中取得的第1、第2用户信息,进行机器人1要向第1用户提示的提示信息的决定处理。具体而言,根据第1、第2用户信息,进行机器人会话的脚本的决定处理。这样,对于回家后的第1用户(父亲),除了与第2用户(孩子)相关的话题以外,还能向第1用户提供第1用户自己在外出目的地等的话题,能够提供与自己在外出目的地的行动等相关的启示。
更具体而言,提示信息决定部14使提示信息的决定处理时的第1用户信息的权重(加权系数)和第2用户信息的权重随着时间经过而变化。
例如,在图28中,当发生了机器人1的可利用事件时(用户回家时、从回家时开始直至经过了预定期间为止),决定处理中的第1用户信息的权重大于第2用户信息的权重,例如第1用户信息的权重为1.0,第2用户信息的权重为0。
然后,在权重变更期间TA内,第1用户信息的权重减小,另一方面,第2用户信息的权重增大,权重的大小颠倒。然后,在变更期间TA之后,第2用户信息的权重大于第1用户信息的加权,例如第1用户信息的权重为0,第2用户信息的权重为1.0。
这样,在图28中,在可利用事件发生时,增大决定处理中的第1用户信息的权重,减小第2用户信息的权重,然后,减小第1用户信息的权重,增大第2用户信息的权重。具体而言,在第2期间T2中,随着时间经过减小提示信息的决定处理中的第1用户信息的权重,随着时间经过增大第2用户信息的权重。
这样,在第2期间T1的前半期间中,机器人1提供与第1用户(父亲)在外出期间即第1期间T1中的行动等相关的话题。并且,然后,当时间经过时,此次提供与第2用户(孩子)的行动等相关的话题。
这样,第1用户在刚刚回家后被提供与自己相关的话题,然后,当经过了时间而稳定时,被提供别人即第2用户的话题,从而可提供对于第1用户而言更自然的话题。
另外,例如当第2用户与机器人1一起在家时,在第1用户回家后的情况下,预测第1用户比第2用户更受关注。因此,在第1用户刚刚回家后,以与第1用户相关的话题为中心进行提示,当经过了时间而稳定时,平均地提供与第1、第2用户相关的话题。
并且,使权重变化的方法不限于图28的方法。例如,也可以实施如下变形,即:与图28相反,在前半期间中增大第2用户信息的权重,然后增大第1用户信息的权重。另外,使权重变化的方法既可以采用预先对机器人1等编程的结构,也可以采用用户根据喜好而自由切换的结构。
另外,在第2期间T2中也取得(更新)第1用户信息的情况下,也可以是,在提示信息的决定处理时,使在第1区间T1中取得的第1用户信息的权重和在第2区间T2中取得的第1用户信息的权重随着时间经过而变化。例如,当刚刚发生机器人1的可利用事件之后,增大在第1期间T1中取得的第1用户信息的权重,随着时间经过,增大在第2期间T2中取得的第1用户信息的权重。
另外,作为提示信息的决定处理时的用户信息的权重的一例,存在根据用户信息而选择的脚本的选择概率。具体而言,当增大第1用户信息的权重时,选择第1用户信息的脚本,而不是第2用户信息的脚本。具体而言,增大选择与第1用户信息对应的脚本的选择概率。另一方面,当增大第2用户信息的权重时,选择第2用户信息的脚本,而不是第1用户信息的脚本。具体而言,增大选择与第2用户信息对应的脚本的选择概率。
例如,在图28中,由于在第2期间T2的前半期间中第1用户信息的权重大,因此第1用户信息用的脚本的选择概率增高。由此,在前半期间中,机器人1进行与第1用户的当天行动等相关的会话。另一方面,由于在第2期间T2的后半期间中第2用户信息的权重大,因此第2用户信息用的脚本的选择概率增高。由此,在后半期间中,机器人1进行与第2用户的当天行动等相关的会话。这样,可随着时间经过而逐渐改变要提供的脚本的话题,可实现更自然、多样的机器人的会话。
并且,如上所述,详细地对本实施方式进行了说明,但对于本技术领域人员能够容易地理解,可进行实体上不脱离本发明的新颖事项以及效果的多种变形。因此,视为这样的变形例全部包含在本发明的范围内。例如,在说明书或附图中至少1次与更广义或同义的不同用语一起记载的用语在说明书或附图中的任何位置处,可置换成该不同的用语。另外,机器人控制系统和机器人的结构、动作也不限于本实施方式所述结构、动作,可实施多种变形。

Claims (25)

1.一种机器人控制系统,其用于控制机器人,该机器人控制系统的特征在于,
该机器人控制系统包括:
用户信息取得部,其取得用户信息,该用户信息是根据来自对用户的行动进行测量的行动传感器、对用户的状态进行测量的状态传感器以及对用户的环境进行测量的环境传感器中的至少1个的传感器信息而得到的;
提示信息决定部,其根据所取得的所述用户信息,进行机器人要向用户提示的提示信息的决定处理;以及
机器人控制部,其进行用于使机器人将所述提示信息提示给用户的控制,
所述用户信息取得部取得第2用户的所述用户信息即第2用户信息,
所述提示信息决定部根据所取得的所述第2用户信息,进行要提示给第1用户的提示信息的决定处理,
所述机器人控制部进行用于向所述第1用户提示根据所述第2用户信息而决定的提示信息的机器人控制。
2.根据权利要求1所述的机器人控制系统,其特征在于,
所述用户信息取得部取得所述第1用户的所述用户信息即第1用户信息、和所述第2用户的所述用户信息即所述第2用户信息,
所述提示信息决定部根据所取得的所述第1用户信息和所述第2用户信息,进行向所述第1用户的提示信息的决定处理。
3.根据权利要求2所述的机器人控制系统,其特征在于,
所述提示信息决定部根据所述第1用户信息决定提示信息的提示时机,根据所述第2用户信息决定提示信息的内容,
所述机器人控制部进行用于在所决定的所述提示时机向所述第1用户提示所决定的内容的提示信息的机器人控制。
4.根据权利要求2所述的机器人控制系统,其特征在于,
所述提示信息决定部使向所述第1用户的提示信息的决定处理中的所述第1用户信息的权重与所述第2用户信息的权重随着时间经过而变化。
5.根据权利要求4所述的机器人控制系统,其特征在于,
该机器人控制系统还包括事件判定部,该事件判定部判定可利用事件的发生,该可利用事件表示处于所述第1用户可利用机器人的状态,
所述提示信息决定部在发生所述可利用事件时,增大所述决定处理中的所述第1用户信息的权重,减小所述第2用户信息的权重,然后,减小所述第1用户信息的权重,增大所述第2用户信息的权重。
6.根据权利要求1所述的机器人控制系统,其特征在于,
所述提示信息决定部根据所述第1用户对机器人提示提示信息的反应,进行机器人接下来要提示给所述第1用户的提示信息的决定处理。
7.根据权利要求6所述的机器人控制系统,其特征在于,
该机器人控制系统还包括接触状态判定部,该接触状态判定部判定机器人的感测面的接触状态,
所述提示信息决定部根据所述接触状态判定部的判定结果,判断所述第1用户进行了抚摸机器人的动作还是进行了拍打动作,作为所述第1用户对机器人提示提示信息的反应,并进行接下来要提示给所述第1用户的提示信息的决定处理。
8.根据权利要求7所述的机器人控制系统,其特征在于,
所述接触状态判定部根据输出数据,判定所述感测面的接触状态,该输出数据是通过对来自设置在比所述感测面更靠近内侧的位置的麦克风的输出信号进行运算处理而得到的。
9.根据权利要求8所述的机器人控制系统,其特征在于,
所述输出数据是信号强度,
所述接触状态判定部通过进行所述信号强度与预定的阈值之间的比较处理,来判定所述第1用户进行了抚摸机器人的动作还是进行了拍打动作。
10.根据权利要求1所述的机器人控制系统,其特征在于,
所述提示信息决定部以针对所取得的相同的所述第2用户信息,第1、第2机器人提示不同的提示信息的方式,进行要提示给所述第1用户的提示信息的决定处理。
11.根据权利要求10所述的机器人控制系统,其特征在于,
所述第1机器人被设定成主侧,所述第2机器人被设定成从侧,
设置在主侧的所述第1机器人中的所述提示信息决定部指示从侧的所述第2机器人将提示信息提示给所述第1用户。
12.根据权利要求11所述的机器人控制系统,其特征在于,
该机器人控制系统还包括通信部,该通信部从主侧的所述第1机器人向从侧的所述第2机器人传送用于指示提示提示信息的指示信息。
13.根据权利要求1所述的机器人控制系统,其特征在于,
所述用户信息取得部经由网络取得所述第2用户的所述第2用户信息,
所述提示信息决定部根据经由网络而取得的所述第2用户信息,进行要提示给所述第1用户的提示信息的决定处理。
14.根据权利要求1所述的机器人控制系统,其特征在于,
所述用户信息取得部取得第2用户历史信息作为所述第2用户信息,该第2用户历史信息是所述第2用户的行动历史、所述第2用户的状态历史以及所述第2用户的环境历史中的至少1个,
所述提示信息决定部根据所取得的所述第2用户历史信息,进行机器人要提示给所述第1用户的提示信息的决定处理。
15.根据权利要求14所述的机器人控制系统,其特征在于,
所述第2用户历史信息是根据来自所述第2用户的佩戴式传感器的传感器信息进行更新而得到的信息。
16.根据权利要求1所述的机器人控制系统,其特征在于,
该机器人控制系统还包括用户识别部,该用户识别部在用户与机器人接近时识别所接近的用户,
所述机器人控制部在由所述用户识别部识别出所述第1用户接近时,进行用于将提示信息提示给所述第1用户的机器人控制。
17.根据权利要求1所述的机器人控制系统,其特征在于,
该机器人控制系统还包括提示允许判断信息存储部,该提示允许判断信息存储部存储提示允许判断信息,该提示允许判断信息用于判断用户间的信息提示的允许/禁止,
当根据所述提示允许判断信息而判断为允许所述第1、第2用户间的信息提示时,所述提示信息决定部进行基于所述第2用户信息的、要提示给所述第1用户的提示信息的决定处理。
18.根据权利要求1所述的机器人控制系统,其特征在于,
该机器人控制系统还包括脚本数据存储部,该脚本数据存储部存储由多个会话语句构成的脚本数据,作为所述提示信息,
所述提示信息决定部根据所述脚本数据,决定机器人要向所述第1用户说出的会话语句,
所述机器人控制部进行用于使机器人说出所决定的会话语句的控制。
19.根据权利要求18所述的机器人控制系统,其特征在于,
所述脚本数据存储部存储多个会话语句按照分支结构链接而成的脚本数据,
所述提示信息决定部根据所述第1用户对机器人所说的会话语句的反应,决定使机器人接下来说的会话语句。
20.根据权利要求18所述的机器人控制系统,其特征在于,
该机器人控制系统还包括脚本数据取得部,该脚本数据取得部取得根据所述第2用户对机器人所说的会话语句的反应而生成的脚本数据,
所述提示信息决定部根据基于所述第2用户的反应而取得的脚本数据,决定机器人要向所述第1用户说的会话语句。
21.根据权利要求18所述的机器人控制系统,其特征在于,
所述提示信息决定部以针对所取得的相同的所述第2用户信息,第1、第2机器人说出不同的会话语句的方式,进行要向所述第1用户说的会话语句的决定处理,
该机器人控制系统还包括发话权控制部,该发话权控制部根据所述第1用户对机器人所说的会话语句的反应,控制向所述第1、第2机器人中的哪一个赋予接下来的会话语句的发话权。
22.根据权利要求21所述的机器人控制系统,其特征在于,
所述发话权控制部根据所述第1用户对所述第1、第2机器人中的任意1个机器人所说的会话语句作出了肯定反应还是作出了否定反应,决定要赋予接下来的会话语句的发话权的机器人。
23.一种机器人,其特征在于,
该机器人包括:
权利要求1所述的机器人控制系统;以及
机器人动作机构,其是所述机器人控制系统的控制对象。
24.一种用于机器人控制的程序,其特征在于,
该程序使计算机作为下述单元发挥功能:
用户信息取得部,其取得用户信息,该用户信息是根据来自对用户的行动进行测量的行动传感器、对用户的状态进行测量的状态传感器以及对用户的环境进行测量的环境传感器中的至少1个的传感器信息而得到的;
提示信息决定部,其根据所取得的所述用户信息,进行机器人要向用户提示的提示信息的决定处理;以及
机器人控制部,其进行用于使机器人将所述提示信息提示给用户的控制,
所述用户信息取得部取得第2用户的所述用户信息即第2用户信息,
所述提示信息决定部根据所取得的所述第2用户信息,进行要提示给第1用户的提示信息的决定处理,
所述机器人控制部进行用于向所述第1用户提示根据所述第2用户信息而决定的提示信息的机器人控制。
25.一种计算机可读取的信息存储介质,其特征在于,
该信息存储介质存储了权利要求24所述的程序。
CN200880105801A 2007-09-06 2008-09-01 机器人控制系统、机器人、程序以及信息存储介质 Pending CN101795830A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2007-231482 2007-09-06
JP2007231482A JP2009061547A (ja) 2007-09-06 2007-09-06 ロボット制御システム、ロボット、プログラム及び情報記憶媒体
JP2007309625A JP2009131928A (ja) 2007-11-30 2007-11-30 ロボット制御システム、ロボット、プログラム及び情報記憶媒体
JP2007-309625 2007-11-30
PCT/JP2008/065642 WO2009031486A1 (ja) 2007-09-06 2008-09-01 ロボット制御システム、ロボット、プログラム及び情報記憶媒体

Publications (1)

Publication Number Publication Date
CN101795830A true CN101795830A (zh) 2010-08-04

Family

ID=40428803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880105801A Pending CN101795830A (zh) 2007-09-06 2008-09-01 机器人控制系统、机器人、程序以及信息存储介质

Country Status (3)

Country Link
US (1) US20110118870A1 (zh)
CN (1) CN101795830A (zh)
WO (1) WO2009031486A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105867633A (zh) * 2016-04-26 2016-08-17 北京光年无限科技有限公司 面向智能机器人的信息处理方法及系统
CN106794579A (zh) * 2014-04-17 2017-05-31 软银机器人欧洲公司 具有自主生活能力的人形机器人
CN107538488A (zh) * 2016-06-23 2018-01-05 卡西欧计算机株式会社 机器人、机器人的控制方法及存储介质
CN107538497A (zh) * 2016-06-23 2018-01-05 卡西欧计算机株式会社 机器人、机器人控制系统、机器人控制方法以及存储介质
WO2018033066A1 (zh) * 2016-08-17 2018-02-22 华为技术有限公司 机器人的控制方法及陪伴机器人
CN107784354A (zh) * 2016-08-17 2018-03-09 华为技术有限公司 机器人的控制方法及陪伴机器人
CN107924482A (zh) * 2015-06-17 2018-04-17 情感爱思比株式会社 情感控制系统、系统及程序
JP2018101197A (ja) * 2016-12-19 2018-06-28 シャープ株式会社 サーバ、情報処理方法、ネットワークシステム、および端末
CN108724205A (zh) * 2017-04-19 2018-11-02 松下知识产权经营株式会社 互动装置、互动方法、互动程序以及机器人
CN109313482A (zh) * 2016-05-25 2019-02-05 金善泌 人工智能透明显示装置的运转方法及人工智能透明显示装置
CN109478366A (zh) * 2016-07-27 2019-03-15 罗伯特·博世有限公司 用于监视机动车用的停车场的方案
CN110480648A (zh) * 2019-07-30 2019-11-22 深圳市琅硕海智科技有限公司 一种球形机器人智能交互系统

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9232046B2 (en) * 2010-07-21 2016-01-05 Tksn Holdings, Llc System and method for controlling mobile services using sensor information
US20120059514A1 (en) * 2010-09-02 2012-03-08 Electronics And Telecommunications Research Institute Robot system and method for controlling the same
KR20120043865A (ko) * 2010-10-27 2012-05-07 주식회사 케이티 이동통신 단말의 위치정보를 활용한 로봇 인터랙션 서비스 제공 시스템, 방법 및 장치
US10866783B2 (en) * 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
US20130268119A1 (en) * 2011-10-28 2013-10-10 Tovbot Smartphone and internet service enabled robot systems and methods
US20150138333A1 (en) * 2012-02-28 2015-05-21 Google Inc. Agent Interfaces for Interactive Electronics that Support Social Cues
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US20150228119A1 (en) * 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10152117B2 (en) * 2014-08-07 2018-12-11 Intel Corporation Context dependent reactions derived from observed human responses
JPWO2016068262A1 (ja) * 2014-10-29 2017-08-10 京セラ株式会社 コミュニケーションロボット
TWI559966B (en) * 2014-11-04 2016-12-01 Mooredoll Inc Method and device of community interaction with toy as the center
US9454236B2 (en) * 2015-01-14 2016-09-27 Hoseo University Academic Cooperation Foundation Three-dimensional mouse device and marionette control system using the same
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US20160275546A1 (en) * 2015-03-19 2016-09-22 Yahoo Japan Corporation Information processing apparatus and information processing method
US9676098B2 (en) * 2015-07-31 2017-06-13 Heinz Hemken Data collection from living subjects and controlling an autonomous robot using the data
SG10201600561YA (en) * 2016-01-25 2017-08-30 Mastercard Asia Pacific Pte Ltd A Method For Facilitating A Transaction Using A Humanoid Robot
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9751212B1 (en) * 2016-05-05 2017-09-05 Toyota Jidosha Kabushiki Kaisha Adapting object handover from robot to human using perceptual affordances
CN109070332A (zh) * 2016-05-20 2018-12-21 Groove X 株式会社 行为自主型机器人以及计算机程序
JP6751536B2 (ja) * 2017-03-08 2020-09-09 パナソニック株式会社 装置、ロボット、方法、及びプログラム
JP2019005842A (ja) * 2017-06-23 2019-01-17 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
CN111699469A (zh) * 2018-03-08 2020-09-22 三星电子株式会社 基于意图的交互式响应方法及其电子设备
US20200092339A1 (en) * 2018-09-17 2020-03-19 International Business Machines Corporation Providing device control instructions for increasing conference participant interest based on contextual data analysis
KR20190116190A (ko) * 2019-09-23 2019-10-14 엘지전자 주식회사 로봇
JP7399740B2 (ja) 2020-02-20 2023-12-18 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット、制御プログラムおよび制御方法
US20220357721A1 (en) * 2021-05-10 2022-11-10 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a robot

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249780B1 (en) * 1998-08-06 2001-06-19 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
JP2002127059A (ja) * 2000-10-20 2002-05-08 Sony Corp 行動制御装置および方法、ペットロボットおよび制御方法、ロボット制御システム、並びに記録媒体
US6856249B2 (en) * 2002-03-07 2005-02-15 Koninklijke Philips Electronics N.V. System and method of keeping track of normal behavior of the inhabitants of a house
JP4014044B2 (ja) * 2003-01-28 2007-11-28 株式会社国際電気通信基礎技術研究所 コミュニケーションロボットおよびそれを用いたコミュニケーションシステム
JP2004287016A (ja) * 2003-03-20 2004-10-14 Sony Corp 音声対話装置及び方法並びにロボット装置
JP2005202075A (ja) * 2004-01-14 2005-07-28 Sony Corp 対話制御システム及びその方法並びにロボット装置
JP4244812B2 (ja) * 2004-01-16 2009-03-25 ソニー株式会社 行動制御システム及びロボット装置の行動制御方法
EP1741044B1 (en) * 2004-03-27 2011-09-14 Harvey Koselka Autonomous personal service robot
JP4779114B2 (ja) * 2005-11-04 2011-09-28 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット
JP2007160473A (ja) * 2005-12-15 2007-06-28 Fujitsu Ltd ロボットにおける対話相手識別方法およびロボット

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106794579A (zh) * 2014-04-17 2017-05-31 软银机器人欧洲公司 具有自主生活能力的人形机器人
US10583559B2 (en) 2014-04-17 2020-03-10 Softbank Robotics Europe Humanoid robot with an autonomous life capability
CN106794579B (zh) * 2014-04-17 2019-12-06 软银机器人欧洲公司 具有自主生活能力的人形机器人
CN107924482A (zh) * 2015-06-17 2018-04-17 情感爱思比株式会社 情感控制系统、系统及程序
CN105867633B (zh) * 2016-04-26 2019-09-27 北京光年无限科技有限公司 面向智能机器人的信息处理方法及系统
CN105867633A (zh) * 2016-04-26 2016-08-17 北京光年无限科技有限公司 面向智能机器人的信息处理方法及系统
CN109313482A (zh) * 2016-05-25 2019-02-05 金善泌 人工智能透明显示装置的运转方法及人工智能透明显示装置
CN107538497A (zh) * 2016-06-23 2018-01-05 卡西欧计算机株式会社 机器人、机器人控制系统、机器人控制方法以及存储介质
CN107538488A (zh) * 2016-06-23 2018-01-05 卡西欧计算机株式会社 机器人、机器人的控制方法及存储介质
CN109478366A (zh) * 2016-07-27 2019-03-15 罗伯特·博世有限公司 用于监视机动车用的停车场的方案
CN107784354A (zh) * 2016-08-17 2018-03-09 华为技术有限公司 机器人的控制方法及陪伴机器人
CN107784354B (zh) * 2016-08-17 2022-02-25 华为技术有限公司 机器人的控制方法及陪伴机器人
WO2018033066A1 (zh) * 2016-08-17 2018-02-22 华为技术有限公司 机器人的控制方法及陪伴机器人
US11511436B2 (en) 2016-08-17 2022-11-29 Huawei Technologies Co., Ltd. Robot control method and companion robot
JP2018101197A (ja) * 2016-12-19 2018-06-28 シャープ株式会社 サーバ、情報処理方法、ネットワークシステム、および端末
CN108724205A (zh) * 2017-04-19 2018-11-02 松下知识产权经营株式会社 互动装置、互动方法、互动程序以及机器人
CN108724205B (zh) * 2017-04-19 2022-07-26 松下知识产权经营株式会社 互动装置、互动方法、互动程序以及机器人
CN110480648A (zh) * 2019-07-30 2019-11-22 深圳市琅硕海智科技有限公司 一种球形机器人智能交互系统

Also Published As

Publication number Publication date
US20110118870A1 (en) 2011-05-19
WO2009031486A1 (ja) 2009-03-12

Similar Documents

Publication Publication Date Title
CN101795830A (zh) 机器人控制系统、机器人、程序以及信息存储介质
CN101795831B (zh) 机器人控制系统、机器人
CN101681494B (zh) 便携式电子设备
US11573763B2 (en) Voice assistant for wireless earpieces
EP3593958B1 (en) Data processing method and nursing robot device
KR101775932B1 (ko) 반려동물 케어를 위한 멀티모달 시스템
CN101681460B (zh) 控制系统
US10313779B2 (en) Voice assistant system for wireless earpieces
Santos et al. Providing user context for mobile and social networking applications
US6539400B1 (en) Information gathering and personalization techniques
US8229877B2 (en) Information processing system, information processing method, and computer program product
US11748636B2 (en) Parking spot locator based on personalized predictive analytics
KR102571069B1 (ko) 인공 지능 학습 기반의 사용자 지식 추적 장치, 시스템 및 그것의 동작 방법
CN109814952A (zh) 一种应用界面快捷启动控件处理方法、装置及移动终端
KR20120014039A (ko) 생체 정보 관리 장치, 생체 정보 관리 장치를 이용한 건강 관리 시스템, 동 시스템에 있어서의 건강 관리 정보의 열람 방법, 생체 정보 관리 프로그램을 저장한 컴퓨터 판독가능 매체
CN108536099A (zh) 一种信息处理方法、装置及移动终端
US20180122025A1 (en) Wireless earpiece with a legal engine
WO2019087478A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN109886408A (zh) 一种深度学习方法及装置
Hersh et al. On modelling assistive technology systems–Part 2: Applications of the comprehensive assistive technology model
Santos et al. Context inference for mobile applications in the UPCASE project
JP2021045568A (ja) システム及び方法
US20230129746A1 (en) Cognitive load predictor and decision aid
CN108540651A (zh) 一种应用程序的推荐方法及移动终端
KR20190114931A (ko) 로봇 및 그의 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100804