机器人的控制方法、机器人以及程序
文献发布时间:2023-06-19 19:07:35
本申请是于2021年12月17日提交的申请号为202180030300.2、进入国家阶段日期为2022年10月21日、发明名称为“机器人的控制方法、机器人以及程序”的发明专利申请的分案申请。
技术领域
本公开涉及对外部提供机器人(robot)的能力的技术。
背景技术
专利文献1以抑制对于特定人物的犯罪为目的,公开了一种机器人,其能够陪同特定人物移动,并通过显示器和扬声器,通知正在对特定人物进行监视,在发生异常情况时发出警报。
现有技术文献
专利文献
专利文献1:日本特开2007-264950号公报
发明内容
发明所要解决的技术问题
然而,在专利文献1中,需要进一步的改善。
用于解决问题的技术手段
本公开的一个技术方案中的机器人的控制方法是陪伴移动的用户同行的机器人的控制方法,包括:经由搭载于所述机器人的至少一个传感器,检测所述用户的位置和移动方向及所述用户周围的对象;根据检测出的所述用户的位置和所述移动方向,决定位于所述用户的脚下的前方的脚下区域;一边驱动所述机器人的至少一对腿或车轮以使所述机器人陪伴所述用户同行,一边控制搭载于所述机器人的照明装置以向所述脚下区域照射光;确定检测出的所述对象的种类和位置;在所述对象为危险物且位于所述用户的前方的情况下,控制所述照明装置,除了向所述脚下区域照射光之外,也对包括所述危险物的至少一部分的危险区域照射光。
发明效果
根据本公开,能够实现进一步的改善。
附图说明
图1是表示本公开的实施方式涉及的信息系统的整体构成的一例的框图。
图2是本实施方式中的机器人的外观图。
图3是表示本公开的实施方式涉及的信息系统的构成的一例的框图。
图4是表示A公司与机器人协作时的处理的一例的流程图。
图5是表示对机器人的访问(access)权的种类与许可(允许)等级(level)的关系的一例的表。
图6是表示多个警备(保安、安全)模式与各警备模式下的对机器人的访问权的关系的一例的表。
图7是表示在判定机器人和用户有没有外出的判定主体为B公司服务器的情况下的信息系统的处理的一例的时序图。
图8是与图7对应的表示B公司服务器和机器人的处理的一例的图。
图9是表示警备模式从“在家”切换为“散步”的场景的一例的图。
图10是表示在家区域(居家区域)的一例的图。
图11是表示在家区域的一例的图。
图12是表示在家区域的一例的图。
图13是表示在家区域的一例的图。
图14是表示机器人向用户进行的通知的一例的图。
图15是表示机器人向用户进行的通知的一例的图。
图16是表示机器人向用户进行的通知的一例的图。
图17是表示在判定机器人和用户有没有外出的判定主体为A公司服务器的情况下的信息系统的处理的一例的时序图。
图18是与图17对应的表示A公司服务器、B公司服务器和机器人的处理的一例的流程图。
图19是表示在判定机器人和用户有没有外出的判定主体为机器人的情况下的信息处理系统的处理的一例的时序图。
图20是与图19对应的表示机器人的处理的一例的流程图。
图21是表示机器人中的所需警备度的更新处理的一例的流程图。
图22是表示在刚刚启动A公司应用(APP:application,应用软件)后显示于智能手机的主页画面的一例的图。
图23是表示设定画面的一例的图。
图24是表示本实施方式的另一例的设定画面的图。
图25是表示警备模式的第1例的图。
图26是表示警备模式的第1例的图。
图27是表示警备模式的第1例的图。
图28是表示从主场(Home)位置向发射(发光)位置移动时的机器人的举动的图。
图29是表示警备模式的第1例中的机器人的处理的一例的流程图。
图30是表示警备模式的第2例的图。
图31是表示警备模式的第2例中的机器人的处理的一例的流程图。
图32是表示警备模式的第3例的图。
图33是表示警备模式的第3例的图。
图34是表示警备模式的第3例的图。
图35是表示警备模式的第3例中的机器人的处理的一例的流程图。
图36是示出机器人回避接近用户的人物的技术方案的图。
图37是表示机器人回避接近用户的人物时的机器人的处理的一例的流程图。
图38是表示陪同的机器人的基本功能的一例的图。
具体实施方式
(得到本公开的原委)
我们的日常生活越来越数字化。例如,很多人都有作为个人专用的信息通信终端的智能手机。用户在智能手机上安装如进行用户的健康管理的应用程序(以下,将应用程序称为应用)、辅助进行家庭收支的管理的应用、辅助进行与朋友的实时交流的社交应用、按照个人兴趣将世间的新闻进行筛选并展示的新闻应用、等各种应用来利用。
另一方面,尽管缓慢,但是能够自主地进行各种动作(工作)和作业的可动装置(以下,称为机器人)也逐渐得到了实用化。包括在工厂进行部件的装配和调整的机器人、在物流据点进行准确且迅速的分拣的机器人、能够根据周围的状况完成特定任务的机器人等。在这些机器人中,也包括与人共同作业、和代替人进行特定作业的机器人。
本公开通过使作为能够进行多样的信息处理的信息处理装置的智能手机与作为能够进行多样的动作和操作物体的作业的可动装置的机器人协同工作,辅助用户使之能够健康、幸福、舒适、安心、安全、愉快和/或清洁地生活。
作为这种使智能手机与机器人协同工作的技术,例如正在研究使机器人陪伴用户同行以确保在室外散步、慢跑(锻炼)的用户的安全的技术。
然而,与室内不同,室外的状况瞬息万变,因此,当前的机器人的功能还不足以适当地确保在室外进行散步等行动的用户的安全。
例如,在专利文献1中,仅仅公开了为了在夜间等提高抑制犯罪的效果,机器人用背光光源将用户的周围照亮,机器人检测用户的异常情况并通过显示器、扬声器向周围发出表示其正在进行监视的消息,因此,并不足以能适当地确保在室外行动的用户的安全。
本公开是为了解决这种问题而做出的。
(1)本公开的一个技术方案中的机器人的控制方法是陪伴移动的用户同行的机器人的控制方法,包括:经由搭载于所述机器人的至少一个传感器,检测所述用户的位置和移动方向及所述用户周围的对象;根据检测出的所述用户的位置和所述移动方向,决定位于所述用户的脚下的前方的脚下区域;一边驱动所述机器人的至少一对腿或车轮以使所述机器人陪伴所述用户同行,一边控制搭载于所述机器人的照明装置以向所述脚下区域照射光;确定检测出的所述对象的种类和位置;在所述对象为危险物且位于所述用户的前方的情况下,控制所述照明装置,除了向所述脚下区域照射光之外,也对包括所述危险物的至少一部分的危险区域照射光。
根据本技术方案,陪同的机器人对位于用户的脚下的前方的脚下区域照射光,并且在用户的前方有危险物的情况下,该机器人对该危险物照射光,因此,能够使用户切实地识别到危险物的存在,更适当地确保用户的安全。
(2)在上述机器人的控制方法中,也可以,在所述对象为所述危险物且位于所述用户的前方的情况下,进一步,将所述机器人相对于所述用户应该位于的相对位置决定为能使来自所述照明装置的光到达所述脚下区域和所述危险区域双方的发射位置;在所述机器人相对于所述用户的当前的所述相对位置与所述发射位置不同的情况下,驱动所述至少一对腿或车轮,使所述机器人移动到所述发射位置;一边驱动所述至少一对腿或车轮以使所述机器人在所述发射位置陪伴所述用户同行,一边控制所述照明装置以向所述脚下区域和所述危险区域照射光。
陪同期间机器人以及用户的相对位置易变化,可能会产生机器人变得无法对脚下区域和危险区域双方照射光的情形。根据本技术方案,在陪同期间机器人不在能够照射脚下区域和危险区域双方的发射位置的情况下,机器人移动到发射位置,因此能够避免机器人无法照射脚下区域和危险区域双方的事态,更适当地确保用户的安全。
(3)在上述机器人的控制方法中,也可以,在使所述机器人向所述发射位置移动期间,继续向所述脚下区域照射光。
根据本技术方案,能够在向发射位置移动期间,使机器人继续向脚下区域照射光,更适当地确保用户的安全。
(4)在上述机器人的控制方法中,也可以,向所述危险区域照射的光与向所述脚下区域照射的光相比,光束形状、颜色和闪烁模式中的至少一方不同。
根据本技术方案,能够以与向脚下区域照射的光不同的形态向危险区域照射光,能够更切实地使用户识别到危险物。
(5)在上述机器人的控制方法中,也可以,进一步,根据来自所述用户的输入,预先设定所述机器人相对于所述用户默认应该位于的基准相对位置;在没有在所述用户的周围检测到危险的对象的情况下,驱动所述至少一对腿或车轮以使所述机器人在所述基准相对位置陪伴所述用户同行。
根据本技术方案,能够在用户周围没有危险物的情况下,使机器人在作为默认位置的基准相对位置陪伴用户同行。
(6)在上述机器人的控制方法中,也可以,经由网络从所述用户的通信终端取得来自所述用户的输入,所述基准相对位置通过所述用户操作显示在所述通信终端的画面上的图形用户界面来选择。
根据本技术方案,用户能够容易地将基准相对位置选择为喜好位置。
(7)本公开的另一技术方案中的机器人具备:处理器;存储器,其存储有用于使所述处理器执行(1)至(6)中任一项所述的控制方法的程序;主体;所述至少一对腿或车轮;驱动所述至少一对腿或车轮的致动器;所述至少一个传感器;以及包括至少一个光源的所述照明装置。
根据本技术方案,能够提供能一边对脚下区域和危险物照射光一边陪伴用户同行,确保在室外行动的用户的安全的机器人。
(8)本公开的另一技术方案中的程序使(1)至(6)中任一项所述的控制方法由搭载于所述机器人的处理器执行。
根据本技术方案,能够提供能一边对脚下区域和危险物照射光一边陪伴用户同行,确保在室外行动的用户的安全的程序。
(9)本公开的另一技术方案中的机器人的控制方法是陪伴移动的用户同行的机器人的控制方法,包括:经由搭载于所述机器人的至少一个传感器,检测所述用户的位置和移动方向及所述用户周围的对象;根据检测出的所述用户的位置和所述移动方向,决定位于所述用户的脚下的前方的脚下区域;一边驱动所述机器人的至少一对腿或车轮以使所述机器人陪伴所述用户同行,一边控制搭载于所述机器人的照明装置以向所述脚下区域照射光;确定检测出的所述对象的种类和位置;在所述对象为危险物且位于所述用户的所述移动方向的情况下,控制所述照明装置,向位于所述用户的脚下的前方且与所述移动方向不同的方向的新的脚下区域照射光,引导变更所述用户的所述移动方向。
根据本技术方案,在用户的移动方向存在危险物的情况下,向与移动方向不同的新的脚下区域照射光,因此,陪伴用户同行的机器人能够引导用户以使得不与危险物碰撞,能够更适当地确保用户的安全。
(10)本公开的另一技术方案中的机器人具备:处理器;存储器,其存储有用于使所述处理器执行(9)所述的控制方法的程序;主体;所述至少一对腿或车轮;驱动所述至少一对腿或车轮的致动器;所述至少一个传感器;以及包括至少一个光源的所述照明装置。
根据本技术方案,能够提供能引导用户以免与危险物碰撞,更适当地确保用户的安全的机器人。
(11)本公开的另一技术方案中的程序使(9)所述的控制方法由搭载于所述机器人的处理器执行。
根据本技术方案,能够提供能引导用户以免与危险物碰撞,更适当地确保用户的安全的程序。
(12)本公开的另一技术方案中的机器人的控制方法是陪伴移动的用户同行的机器人的控制方法,包括:经由搭载于所述机器人的至少一个传感器,检测所述用户的位置和移动方向及所述用户周围的对象;根据检测出的所述用户的位置和所述移动方向,决定位于所述用户的脚下的前方的脚下区域;一边驱动所述机器人的至少一对腿或车轮以使所述机器人陪伴所述用户同行,一边控制搭载于所述机器人的照明装置以向所述脚下区域照射光;确定检测出的所述对象的种类和位置;在所述对象为移动体且接近了与所述用户相距预定距离的范围内的情况下,控制所述照明装置,除了向所述脚下区域照射光之外,还对所述用户与所述移动体之间的路面上的通知区域照射光。
根据本技术方案,在移动体接近了与用户相距预定距离的范围内的情况下,除了脚下区域之外,还对用户与移动体之间的路面上的通知区域照射光,因此,能够更适当地确保用户的安全。
(13)在上述机器人的控制方法中,也可以,在所述对象为所述移动体且接近了与所述用户相距预定距离的范围内的情况下,进一步,将所述机器人相对于所述用户应该位于的相对位置决定为能使来自所述照明装置的光到达所述脚下区域和所述通知区域双方的发射位置;在所述机器人相对于所述用户的当前的所述相对位置与所述发射位置不同的情况下,驱动所述至少一对腿或车轮,使所述机器人移动到所述发射位置;一边驱动所述至少一对腿或车轮以使所述机器人在所述发射位置陪伴所述用户同行,一边控制所述照明装置以向所述脚下区域和所述通知区域照射光。
在陪同期间机器人和用户的相对位置容易变化,可能会产生机器人变得无法对脚下区域和通知区域双方照射光的情形。根据本技术方案,在陪同期间机器人不在能够照射脚下区域和通知区域双方的发射位置的情况下,机器人移动到发射位置,因此能够避免机器人无法照射脚下区域和通知区域双方的事态,更适当地确保用户的安全。
(14)在上述机器人的控制方法中,也可以,在使所述机器人向所述发射位置移动期间,继续向所述脚下区域照射光。
根据本技术方案,能够在向发射位置移动期间,使机器人继续向脚下区域照射光,更适当地确保用户的安全。
(15)在上述机器人的控制方法中,也可以,向所述通知区域照射的光将用于向所述移动体传达消息的标记或者字符串描绘于所述通知区域。
根据本技术方案,能够向接近用户的移动体传达消息,更适当地确保用户的安全。
(16)在上述机器人的控制方法中,也可以,进一步,根据来自所述用户的输入,预先设定所述机器人相对于所述用户默认应该位于的基准相对位置;在没有在所述用户的周围检测到危险的对象的情况下,驱动所述至少一对腿或车轮以使所述机器人在所述基准相对位置陪伴所述用户同行。
根据本技术方案,能够在用户周围没有危险物的情况下,使机器人在默认位置陪伴用户同行。
(17)在上述机器人的控制方法中,也可以,经由网络从所述用户的通信终端取得来自所述用户的输入,所述基准相对位置通过所述用户操作显示在所述通信终端的画面上的图形用户界面来选择。
根据本技术方案,用户能够容易地将基准相对位置选择为喜好位置。
(18)在上述机器人的控制方法中,也可以,在所述对象为所述移动体且接近了与所述用户相距预定距离的范围内的情况下,还经由搭载于所述机器人的扬声器,向所述移动体输出声音消息。
根据本技术方案,能够向接近用户的移动体传达声音消息,更适当地确保用户的安全。
(19)本公开的另一技术方案中的机器人具备:处理器;存储器,其存储有用于使所述处理器执行(12)至(18)中任一项所述的控制方法的程序;主体;所述至少一对腿或车轮;驱动所述至少一对腿或车轮的致动器;所述至少一个传感器;以及包括至少一个光源的所述照明装置。
根据本技术方案,能够提供机器人,其在移动体接近了与用户相距预定距离的范围内的情况下,除了脚下区域之外,还对用户与移动体之间的路面上的通知区域照射光,因此,能够更适当地确保用户的安全。
(20)本公开的另一技术方案中的程序使(12)至(18)中任一项所述的控制方法由搭载于所述机器人的处理器执行。
根据本技术方案,能够提供程序,其在移动体接近了与用户相距预定距离的范围内的情况下,除了脚下区域之外,还对用户与移动体之间的路面上的通知区域照射光,能够更适当地确保用户的安全。
(21)本公开的另一技术方案中的机器人的控制方法是陪伴移动的用户同行的机器人的控制方法,包括:经由搭载于所述机器人的至少一个传感器,检测所述用户的位置和移动方向及所述用户周围的对象;根据检测出的所述用户的位置和所述移动方向及所述对象,决定位于所述用户的脚下的前方的脚下区域、和所述机器人相对于所述用户应该位于的相对位置;一边驱动所述机器人的至少一对腿或车轮以使所述机器人在所述相对位置陪伴所述用户同行,一边控制搭载于所述机器人的照明装置以向所述脚下区域照射光。
根据本技术方案,能够使陪伴用户同行的机器人在相对于用户机器人应该位于的相对位置陪伴用户同行并且对脚下区域照射光,能够更适当地确保用户的安全。
(22)在上述机器人的控制方法中,也可以,在所述机器人的当前位置与所决定的所述相对位置不同的情况下,驱动所述至少一对腿或车轮,使所述机器人从所述当前位置移动到所述相对位置,在使所述机器人向所述相对位置移动期间,一边改变来自所述照明装置的光的照射方向一边继续向所述脚下区域照射光。
根据本技术方案,在机器人从当前的位置移动到相对位置的情况下,一边改变照射方向一边继续向脚下区域照射光,因此,能够更适当地确保用户的安全。
(23)本公开的另一技术方案中的机器人具备:处理器;存储器,其存储有用于使所述处理器执行(21)或(22)所述的控制方法的程序;主体;所述至少一对腿或车轮;驱动所述至少一对腿或车轮的致动器;所述至少一个传感器;以及包括至少一个光源的所述照明装置。
根据本技术方案,能够提供在相对于用户机器人应该位于的相对位置陪伴用户同行并且对脚下区域照射光,更适当地确保用户的安全的机器人。
(24)本公开的另一技术方案中的程序使权利要求(21)或(22)所述的控制方法由搭载于所述机器人的处理器执行。
根据本技术方案,能够提供在相对于用户机器人应该位于的相对位置陪伴用户同行并且对脚下区域照射光,更适当地确保用户的安全的程序。
本公开也能够作为根据这种程序工作的信息系统来实现。另外,不必说,也能够使这种计算机程序经由CD-ROM等计算机可读的非瞬时性的记录介质或者互联网等通信网络进行流通。
此外,以下说明的实施方式均表示本公开的一个具体例。以下的实施方式中所示的数值、形状、构成要素、步骤、步骤的顺序等仅为一例,并非旨在限定本公开。另外,关于以下的实施方式中的构成要素中的、未记载于表示最上位概念的独立权利要求中的构成要素,作为任意的构成要素进行说明。另外,也可以在全部的实施方式中对各个内容进行组合。
(实施方式)
可以预想我们的社会今后还会进一步普及互联网,各种传感器近在咫尺。由此,可以预想我们的社会将会逐渐成为从与个人的内部状态和活动等有关的信息到包括建造物和交通网等的城市整体的信息都被数字化而能够通过计算机系统来利用的状态。数字化后的与个人有关的数据(个人信息)经由通信网络而作为大数据被安全地管理于信息银行等云服务器,为了个人、社会而被用于各种用途。
这种高度信息化社会在日本被称作“Society5.0”。高度信息化社会是利用使作为将个人包围的物质世界的现实空间(物理(Physical)空间)和由计算机彼此间协作而进行与物理空间有关的各种处理的虚拟空间(网控(Cyber)空间)高度地融合而得到的信息基础结构(信息物理系统(Cyber-Physical Systems))从而期待经济发展和解决社会性问题的社会。
在这样的高度信息化社会中,通过分析个人在日常的各种场景中的交流(communication)(包括信息的取得、提供及其表现方法)和行动,并分析所积蓄的包含个人信息的大数据,能够以与该场景相应的对于该个人而言最佳的交流的方法,向该个人提供所需的信息和服务。
下面,以这样的信息物理系统运行的高度信息化社会为前提,以贴近作为个人的用户的日常生活的辅助为主题,对提高用户的健康和幸福的具体形态进行说明。
图1是表示本公开的实施方式涉及的信息系统的整体构成的一例的框图。图1的上半部分表示网控空间,下半部分表示物理空间。左侧排列着作为非机器人提供公司的A公司关联的资源,在网控空间内有A公司服务器101,在物理空间内有在用户的智能手机100上工作的A公司应用。A公司服务器101与A公司应用成对地工作。右侧排列着作为机器人提供公司的B公司关联的资源,在网控空间内有B公司服务器111,在物理空间内有可动装置(机器人110)和在智能手机100上工作的B公司应用。B公司服务器111与机器人110和/或B公司应用成对地工作。在物理空间的正中央有操作安装于智能手机100的A公司应用、B公司应用还有机器人110的用户。智能手机100、机器人110、A公司服务器101和B公司服务器111以能够通过包括互联网的广域通信网相互通信的方式连接。
如该图所示,A公司、B公司通过各自的应用和机器人,具有与用户的接触点(联系)。A公司具有的仅是经由智能手机100上的A公司应用的接触点,这是现如今常见的顾客接触点的一种形态。另一方面,该图的B公司不仅具有经由智能手机100上的B公司应用的接触点,而且还具有经由机器人110的接触点。经由作为自主式的可动装置的机器人110而与用户(普通消费者)有接触点的公司,除了一部分玩具制造商之外,还未有先例,期待今后会出现。
此外,这里作为机器人110的一例,采用了犬型机器人,但是机器人110既可以具有基于除此之外的包括人类在内的生物的形态,也可以无机质地具有非生物的形态。只要在物理空间内具有自主的运动能力(姿势变更能力和移动能力等)和/或作用能力(按压按钮、拿起东西等推动/移动其他物体的能力),则机器人110的形态没有限定。
本公开的实施方式的信息系统使作为各个顾客接触点的应用、机器人110、还有由机器人110操作的家电、住宅设备等比迄今为止更高度地协作,一边灵活运用其他对象所保有的信息和能力,一边加大自身的服务品质的涨幅,向用户提供更高的价值。机器人110所具有的认知能力和运动能力每天在不断地进化,如果实现这种全能的机器人110,就应该预先构筑其他公司能够访问该机器人110所保有的固有能力的构造(机制)。这样做,不论是对于用户、或提供服务的非机器人公司、还是提供机器人的机器人公司而言,都将成为产生多种多样的价值的协作的基石。
在图1中,A公司是用户签约的警备公司(保安公司)。A公司让用户将A公司所提供的警备应用作为A公司应用安装于智能手机100,并进行对于A公司的警备服务的各种设定。
机器人110利用所具备的传感器,持续地收集与用户有关的数据。与用户有关的数据例如包含用户的生物体活动信息和用户的周边信息。生物体活动信息例如是心率、血压、体温、活动量(消耗卡路里)、步数、姿势和运动等。周边信息例如是周边影像信息、用户的位置信息、周围的气温、周围空间的识别结果和对象物(object)的识别结果等。机器人110将收集到的与用户有关的数据记录于机器人110的存储器。同时,机器人110定期地将收集到的与用户有关的数据上传至B公司服务器111(a)。
此外,生物体活动信息和周边信息的收集主体不限于机器人110,也可以是智能手机100,也可以是用户佩戴的可穿戴传感器(未图示),还可以是设置在用户自己家和居住区域内的传感器(未图示)。
B公司服务器111持续地从机器人110取得与用户有关的数据。B公司服务器111许可具有访问权的A公司服务器101取得与用户有关的数据。在此,A公司服务器101和B公司服务器111在用户的确认下被进行认证设定,A公司服务器101具有取得B公司服务器所保有的最新数据的访问权。
具有访问权的A公司服务器101持续地取得B公司服务器111所保有的最新的与用户有关的数据,并对取得的与用户有关的数据进行分析。A公司服务器101根据与用户有关的数据中包含的用户的周围影像信息或者用户的位置信息的时间变化,判定为用户从自己家外出并在与机器人110一起散步。在此,如果A公司服务器101或者A公司应用对摄像头(camera,相机)影像的访问许可等级为1以上,则能够取得用户的周围影像信息,如果A公司服务器101或者A公司应用对位置传感器的访问许可等级为1,则能够取得用户的位置信息。或者也可以,将A公司服务器101和/或A公司应用与B公司服务器111和/或B公司应用设定为能够通过通信来协作,使A公司服务器101能够检测机器人110即将要引导3000步左右的散步这一情况。
A公司服务器101在判定为用户与机器人110一起外出并在以徒步般的速度移动的情况下,向B公司服务器111发送用于将机器人110的警备模式从“在家”切换为“散步”的请求信息(b)。
警备模式是指,为了A公司经由机器人110确保用户的安全而对机器人110设定的多个行动规定(由程序对机器人的行动控制)之一。警备模式改变时,许可访问机器人110所具备的传感器的等级会更新。由此,A公司服务器101容易收集所需的信息。另外,机器人110根据用户和/或其周围的状况而应该采取的行动的优先顺序的判定也会改变。在此,设为预先设定为警备模式在用户在家期间和外出期间自动切换来说明,但是本公开不限定于此。
警备模式“在家”是“能够收集位于表现所述用户的住所的所述预定区域之内的所述用户的周边信息的第1规格”的一例。警备模式“散步”是“能够收集位于表现所述用户的住所的所述预定区域之外的所述用户的周边信息的第2规格”的一例。
A公司服务器101也可以在判定为用户开始散步的定时(timing)将智能手机100的A公司应用的警备模式切换为“散步”。然而,通过切换A公司应用的警备模式,作为警备公司的A公司确保用户在散步期间的安全性在现实中是困难的。例如,用户在散步时不一定会携带智能手机100。再者,即使用户携带智能手机100,且A公司应用的警备模式为“散步”,而A公司应用检测用户在散步期间遭遇的麻烦和风险并避免该事态、确保用户的人身安全在现实中也是困难的。
也即是说,A公司与用户的日常的接触点只有A公司应用,作为警备公司能够对用户做的事是有限的。与不会在现实世界中直接起到物理作用的应用相比,位于用户身边的自主式的机器人110更能够加强用户的警备。因此,A公司服务器101为了经由用户所保有的机器人110进行实效性高的警备服务,请求B公司的机器人110切换为散步期间的用户的警备模式的“散步”。
在至今为止的信息化社会(也被称为Society4.0社会)中,已成功实现这里说明的经由A公司应用的警备服务。然而,在物理空间发生的危险包括A公司应用难以解决的、和无法解决的。在本实施方式中,使用具备自主运动能力的在用户身边的机器人110,构想使用虽然A公司应用不保有但是机器人110保有的自主运动能力来更好地守护用户的安全的警备服务,并对该服务的实现方式进行说明。下面接着说明图1。
从A公司服务器101取得请求信息的B公司服务器111确认A公司是否具有对于从A公司服务器101向机器人110要求的请求的所需的访问权。在此,设为警备模式“散步”的各种设定(详情后述)和在该警备模式时所许可的访问许可等级信息(详情后述)由用户事先设定。如果A公司具有访问权,则B公司服务器111指示机器人110变更为警备模式“散步”(c)。在A公司不具有访问权的情况下,B公司服务器111拒绝该请求。
从B公司服务器111接收到变更为警备模式“散步”的指示的机器人110实施警备模式“散步”(d)。实施了警备模式“散步”的机器人110陪伴散步的用户同行,用聚光灯照亮对于在散步的用户而言危险的物体以唤起注意,向有风险的人物显示处于警备中,威吓有风险的人物。再者,机器人110在判定为用户处于危险状态的情况下,向A公司服务器101通报或者报警。这样,机器人110在警备模式“散步”下,判定用户在散步期间有可能遭遇的各种危险,回避该危险,并在必要的情况下使警备人员介入等,以确保用户的安全。
另外,机器人110在判定为有可能无法确保用户的安全的情况下,向B公司服务器111通报表示此意的消息。B公司服务器111向A公司服务器101转发该通报(e)。
接收到通报消息的A公司服务器101基于该通报,经由机器人110实施由警备人员进行的警备(f)。具体而言,A公司的警备人员经由机器人110的摄像头、麦克风和扬声器,从用户听取状况,威吓危险人物。再者,警备人员使用位置传感器赶到现场。
当用户结束散步回到家时,A公司服务器101基于经由B公司服务器111取得的机器人110的传感器数据(摄像头影像、位置传感器的位置信息等),检测到用户已回家。由此,A公司服务器101向B公司服务器111发送将机器人110的警备模式更新为“在家”的请求信息(g)。接收到请求信息的B公司服务器111指示机器人110更新为警备模式“在家”。接收到该指示的机器人110实施警备模式“在家”。
机器人110通过将警备模式从“散步”变更为“在家”,自动地变更自身的用于确保用户的安全的行动规定。具体而言,针对A公司服务器101,B公司服务器111将从机器人110收集到的传感器数据的访问许可等级更新为在家时用许可等级,将机器人110根据用户的状态或者用户的周围状况应该采取的行动的优先顺序变更为在家时用优先顺序。此外,在机器人110能够确认A公司具有访问权的情况下,机器人110也可以针对A公司服务器101,将对机器人110收集到的传感器数据以及机器人110的运动能力的访问许可等级自动更新为在家时用许可等级。
通过这样,B公司服务器111将A公司根据用户的状态或者周围状况所提供的警备模式自动切换。B公司服务器111也可以将为了执行警备服务所需的机器人110测定的传感器数据的公开等级也自动优化。例如,在散步时,为了提高图像识别的精度而提高发生案件时的证据能力,B公司服务器111许可A公司服务器101以高清晰度的动态图像等级(许可等级=3:全部许可)访问机器人110的摄像头拍摄到的影像数据。另一方面,在外在危险性少的居家时,为了减轻隐私问题,B公司服务器111许可A公司服务器101以低清晰度的动态图像等级(许可等级=2:许可到低品质动态图像)访问。
在上述的说明中,前提是A公司服务器101对于摄像头影像的访问许可等级为“3”。假设在A公司服务器101对于摄像头影像的访问许可等级为“2”的情况下,在散步时,A公司服务器101只能利用到许可等级=2的低品质动态图像为止的摄像头影像。在散步时的警备执行有问题的情况下,A公司服务器101或者A公司应用为了将B公司服务器111中的摄像头影像的许可等级提高到“3”,通过A公司应用或者B公司应用向用户通知和/或请求该主旨。
要确保用户在日常生活中的安全性,仅靠A公司所具有的顾客接触点即智能手机100上的影像信息、声音信息等的消息是很难的。A公司通过经由在用户身边的B公司的自主的机器人110而非经由A公司应用,随时判断用户的生物体活动信息和用户的周边信息,能够更好地确保用户的日常生活的安全,提供更高的安心感。
在图1的说明中,判定用户有无外出的判定主体为A公司服务器101,但本公开不限定于此。该判定主体既可以是B公司服务器111,也可以是机器人110。
图2是本实施方式中的机器人110的外观图。在图2中,将机器人110的长度方向称为前后方向,将与机器人110的行走面正交的方向称为上下方向,将与前后方向和上下方向正交的方向称为左右方向。
在图2中,作为机器人110的实装例,表示了用4条腿17移动的机器人。机器人110包括身体10和4条腿17。在身体10的下表面的前方配置有照明部15,在身体10的下表面的后方设置有照明部16。通过设置照明部15和照明部16,能够以足够的光亮将机器人110的前方和后方照亮。照明部15、16分别能够调整对危险物的照明形态(照明的形状、颜色、闪烁模式)以使得用户易于认知危险物。为了实现这种功能,照明部15、16具有向危险物或道路等周围的物体投影任意影像的投影映射(Projection mapping)的功能,而不是能够以单色发光的灯。
在身体10的前表面的中央配置有显示器24。显示器24例如是液晶面板或者有机EL面板。显示器24主要用于供机器人110与用户进行交流。如图14所示,显示器24也可以显示表现机器人110的面部表情的图像。
在身体10的上表面的中央配置有显示器18,在身体10的后表面的中央配置有显示器34。显示器18、34例如是液晶面板或者有机EL面板。显示器18、34主要用于显示来自机器人110的消息及状态。例如,显示器18、34也可以用于向位于后述的注意唤起区域的他人显示警告信息。在该情况下,显示器18、34也可以显示经由机器人110向用户提供警备服务的警备公司A公司的标志(商标)。
在身体10的前表面的下部配置有扬声器25,在身体10的后表面的下部配置有扬声器35。扬声器25用于供机器人110与前方的用户面对面地进行交流。扬声器35用于与从后方接近的人物进行交流。
在身体10的前表面配置有RGB摄像头21、测距传感器22以及红外线摄像头23。在身体10的后表面配置有RGB摄像头31、测距传感器32以及红外线摄像头33。RGB摄像头21、31用于进行空间识别和物体识别。测距传感器22、32用于检测危险物的形状、路面的凹凸之类的周边空间以及物体的形状。红外线摄像头23、33用于在低照度环境下检测人物和周围的温度分布。通过组合RGB摄像头21、31、测距传感器22、32以及红外线摄像头23、33,机器人110能够高精度地检测周边状况。
在身体10的上表面配置有4个麦克风11、12、13、14。通过设置4个麦克风,机器人110能够确定声源位置。
腿17包括关节17a、关节17b、大腿17c、小腿17d。关节17a将大腿17c以能够绕左右方向转动的方式连接在身体10的侧面。关节17b将大腿17c和小腿17d安装为能够绕左右方向旋转。
图3是表示本公开的实施方式涉及的信息系统的构成的一例的框图。智能手机100包括通信部100a、运算部100b、传感器100c、存储器100d、操作部100e以及影像声音输出部100f。
通信部100a是与网络上的其他计算机进行信息通信的通信电路。运算部100b例如是CPU等处理器,进行语音识别、语音合成、信息检索和信息描绘等信息处理。传感器100c取得影像信息、声音信息和/或周边环境信息。传感器100c例如是摄像头、麦克风、加速度传感器、角速度传感器和GPS传感器等。存储器100d例如是闪速存储器,保持各种数据。操作部100e例如是触摸面板,受理来自用户的按钮操作和触控操作等。影像声音输出部100f例如是显示器、扬声器等。
安装A公司应用和B公司应用后,程序及所需的数据记录于存储器100d,该程序由运算部100b执行。
A公司服务器101是与安装于智能手机100的A公司应用合作工作的计算机。A公司服务器101包括通信部101a、运算部101b以及存储器101c。通信部101a是与网络上的其他计算机进行信息通信的通信电路。运算部101b例如是CPU等处理器,处理从网络上的其他计算机发送的数据。存储器101c例如是固态驱动器或者硬盘驱动器等,记录与A公司应用以及用户有关的信息。
B公司服务器111是与安装于智能手机100的B公司应用合作工作的计算机。B公司服务器111包括通信部111a、运算部111b以及存储器111c。通信部111a是与网络上的其他计算机进行信息通信的通信电路。存储器111c例如是固态驱动器或者硬盘驱动器等,记录与B公司应用有关的信息、与机器人110有关的信息以及与用户有关的信息。运算部111b处理从其他计算机发送的各种数据。
机器人110包括通信部110a、运算部110b、传感器110c、存储器110d、可动部110e、影像声音输出部110f以及照明部110g。
通信部110a是与网络上的其他计算机进行信息通信的通信电路。运算部110b例如是CPU等处理器。运算部110b进行控制可动部110e而控制机器人110的移动和/或动作的处理、和机器人110对其他物体进行力学作用的处理。再者,运算部110b进行生成从影像声音输出部110f输出的各种信息的处理。
传感器110c取得影像信息、声音信息以及周边环境信息。传感器110c例如包括RGB摄像头21、31、测距传感器22、32、红外线摄像头23、33以及麦克风11~14。
存储器110d例如是闪速存储器等半导体存储器,保持各种数据。
可动部110e例如是腿17和使腿17可动的致动器等。致动器的一例是马达。在机器人110由车轮代替腿17构成的情况下,致动器是使车轮移动的马达。可动部110e进行机器人110的移动、动作以及对其他物体的力学作用。
影像声音输出部110f例如包括扬声器25、35以及显示器18、24、34等,输出影像和声音。
照明部110g包括图2所示的照明部15、16。照明部110g也可以包括一个以上的激光二极管、和微阵列或者微镜阵列。再者,照明部110g也可以包括LCD面板和偏光板。再者,机器人110也可以具备受理来自用户的按钮操作和触控操作等的操作部(未图示)。
此外,连接A公司服务器101、智能手机100、机器人110和B公司服务器111的广域通信网也可以是移动通信网、卫星通信网、互联网通信网、专用通信网、光纤网和近距离无线通信中的一个或者一个以上的组合。
图4是表示A公司与机器人110协作时的处理的一例的流程图。为了使得如在图1中说明的那样A公司应用或者A公司服务器101能够访问B公司运用的机器人110所具有的信息和能力,事先适当地设定该访问权。图4表示了用于预先设定该访问权的处理的一例。
用户使用安装于智能手机100的B公司应用,设定为B公司应用与A公司应用协作。具体而言,B公司应用基于用户的输入,取得用户利用的A公司应用的固有ID(步骤#1)。B公司应用发送用于将所取得的A公司应用的固有ID与B公司应用的固有ID一起登记于B公司服务器111的登记委托(步骤#2)。接收到登记委托的B公司服务器111登记A公司应用与B公司应用的配对信息。在该登记处理中,同时也进行表示对于机器人110的哪个固有能力而将多大的利用权力给予A公司的访问权的登记(步骤#3)。关于访问权的详情,稍后使用图5来说明。包含机器人110的机器人ID与B公司应用的固有ID的配对信息预先登记于B公司服务器111。该登记例如通过用户在B公司应用的初始设定画面中输入机器人110的固有ID来进行。
收到登记A公司应用的B公司服务器111向A公司服务器101通知A公司应用被许可的访问权的设定信息(步骤#4)。具体而言,除了A公司应用的固有ID与B公司应用的固有ID的配对信息之外,B公司服务器111还将该访问权的设定信息通知给A公司服务器101。
A公司服务器101将A公司应用的固有ID与B公司应用的固有ID的配对信息以及其访问权的设定信息登记于存储器101c(步骤#5)。在A公司应用或者A公司服务器101针对B公司所提供的机器人110要利用其固有能力时,这些信息用于确定对象的机器人110,并且判定能否利用其固有能力。
在此,只要能够对A公司应用或者A公司服务器101正确地设定对B公司所提供的机器人110的访问权即可,上述不过是其一例。也可以使用与上述不同的登记方法。
图5是表示对机器人110的访问权的种类与许可等级的关系的一例的表。机器人110具备各种传感器110c以及运动能力(可动部110e)。其他公司对传感器110c以及运动能力的访问权不仅登记于B公司服务器111,还登记于作为利用方的A公司服务器101。以下,从传感器110c对访问权的种类及其许可等级进行说明。
“摄像头影像”是对机器人110所具备的图像传感器(例如,RGB图像传感器)的访问权。这也可以是机器人的眼睛和外表上可认知的地方所具备的图像传感器。对“摄像头影像”的访问权如下从没有访问权的“0”到不受限制地赋予了访问权的“3”被阶段性地设定。例如,针对来自该许可等级为“2”的A公司服务器101的访问请求,B公司服务器111控制机器人110和/或B公司服务器111以使得返回低品质动态图像。
0:不许可
1:仅许可静态图像
2:许可到低品质动态图像
3:全部许可
“测距传感器”是对机器人110所具备的能够测定到对象物的距离的传感器(例如,TOF传感器、LiDAR等)的访问权。对“测距传感器”的访问权如下以没有访问权的“0”和有访问权的“1”的二选一来设定。例如,针对来自该许可等级为“1”的A公司服务器101的访问请求,B公司服务器111控制机器人110以使得返回测距传感器所取得的数据(例如,深度图像(depth image))。
0:不许可
1:许可
“红外线传感器”是对机器人110所具备的能够测定红外线的传感器的访问权。由红外线传感器测定的近红外线区域用于黑暗中的被摄体识别,远红外线区域用于被摄体温度分布等。对“红外线传感器”的访问权如下按没有访问权的“0”和有访问权的“1”的二选一来设定。例如,针对来自该许可等级为“1”的A公司服务器101的访问请求,B公司服务器111控制机器人110以使得返回红外线传感器所取得的数据(例如,红外热成像影像)。
0:不许可
1:许可
“麦克风声音”是对机器人110所具备的麦克风的访问权。对“麦克风声音”的访问权如下按没有访问权的“0”和有访问权的“1”的二选一来设定。例如,针对来自该许可等级为“1”的A公司服务器101的访问请求,B公司服务器111控制机器人110以使得返回麦克风所取得的声音数据。
0:不许可
1:许可
“触觉传感器”是对机器人110所具备的能够测定机器人表面上的触觉感觉的传感器(例如,MEMS硅触觉设备传感器)的访问权。对“触觉传感器”的访问权如下从没有访问权的“0”到不受限制地赋予了访问权的“2”被阶段性地设定。例如,针对来自该许可等级为“1”的A公司服务器101的访问请求,B公司服务器111控制机器人110以使得仅返回触觉传感器所取得的数据(例如,压力分布影像)中的机器人110的一部分(例如,头部)的数据。
0:不许可
1:仅许可一部分
2:全部许可
“气温/湿度/气压传感器”是对机器人110所具备的气温、湿度、气压传感器的访问权。对“气温/湿度/气压传感器”的访问权如下能够按没有访问权的“0”和有访问权的“1”的二选一来设定。例如,针对来自该许可等级为“1”的A公司服务器101的访问请求,B公司服务器111控制机器人110以使得返回气温、湿度和气压传感器所取得的数据。
0:不许可
1:许可
“位置传感器”是对机器人110所具备的测定机器人的当前位置的传感器的访问权。对“位置传感器”的访问权如下按没有访问权的“0”和有访问权的“1”的二选一来设定。例如,针对来自该许可等级为“1”的A公司服务器101的访问请求,B公司服务器111控制机器人110以使得返回表示位置传感器所取得的机器人的当前位置信息的数据。
0:不许可
1:许可
到这为止是对机器人110所具备的传感器110c的访问权的说明。接下来,对机器人110所具备的“运动能力”的访问权进行说明。
“表情变更能力”是对变更由机器人110的影像声音输出部110f显示的面部表情的外观特征的能力的访问权。这也可以是在机器人110具有在外观上能够识别为面部的部位的情况下使该部位活动、变更该部位的颜色的能力。对“表情变更能力”的访问权如下按没有访问权的“0”和有访问权的“1”的二选一来设定。例如,针对来自该许可等级为“1”的A公司服务器101的访问请求,B公司服务器111控制机器人110以使得根据面部表情的变更请求来变更面部表情。
0:不许可
1:许可
“发声能力”是对机器人110的影像声音输出部110f所具备的声音输出能力的访问权。这也可以是在机器人具有在外观上能够识别为嘴的部位的情况下使该部位活动、从其嘴的周边部输出声音的能力。对“发声能力”的访问权如下按没有访问权的“0”和有访问权的“1”的二选一来设定。例如,针对来自该许可等级为“1”的A公司服务器101的访问请求,B公司服务器111控制机器人110以使得根据发声的声音信息输出声音。
0:不许可
1:许可
“姿势变更能力”是对机器人110的可动部110e所具备的变更姿势的能力的访问权。这也可以是机器人110的可动部110e所具有的变更多个关节机构部的角度的能力。但是,不算改变机器人110自身的位置的能力。对“姿势变更能力”的访问权如下从没有访问权的“0”到不受限制地赋予了访问权的“2”被阶段性地设定。例如,针对来自该许可等级为“1”的A公司服务器101的访问请求,B公司服务器111控制机器人110以使得仅使头部根据请求活动。
0:不许可
1:仅许可头部
2:全部许可
“移动能力”是对机器人110的可动部110e所具备的进行移动的能力的访问权。这也可以是机器人110的可动部110e所具有的变更多个关节机构部的角度的能力。该能力是改变机器人110自身的位置的能力。对“移动能力”的访问权如下从没有访问权的“0”到不受限制地赋予了访问权的“4”被阶段性地设定。例如,针对来自该许可等级为“1”的A公司服务器101的访问请求,B公司服务器111控制机器人110以使得仅许可在用户在自己家中许可的区域内低速移动。另外例如,针对来自该许可等级为“3”的A公司服务器101的访问请求,B公司服务器111控制机器人110以使得仅许可在用户所许可的住宅内、住宅外的区域高速移动。在此,用户许可的区域是用户预先设定的条件之一。例如,可以预先设定为机器人110不能靠近可能会侵犯用户的隐私的区域(浴室等)。
0:不许可
1:仅许可在已许可的住宅内、低速的移动
2:许可在已许可的住宅内/住宅外、低速的移动
3:许可在已许可的住宅内/住宅外、高速的移动
4:全部许可
图6是表示多个警备模式与各警备模式下的对机器人110的访问权的关系的一例的表。在此,表示了在警备模式被变更时对机器人110所具备的传感器110c的访问权以及对机器人110的运动能力的访问权怎样变更的一例。此外,设为访问权与警备模式同步变更来进行了说明,但是访问权也可以不与警备模式同步而单独地变更。
在此,表示了在警备模式为“在家”时设定的许可等级与在警备模式为“散步”时设定的许可等级不同的例子。由于各警备模式下所需的传感器及运动能力的要求条件不同,因此警备模式不同时,则它们的访问权也不同。警备模式“在家”是适用于用户与机器人110在家时的警备模式。警备模式“散步”是适用于用户与机器人110外出散步时的警备模式。
“摄像头影像”的访问权在警备模式“在家”中设定为“2:许可到低品质动态图像”,成为考虑到摄像头影像的必要性及隐私的设定。另一方面,在警备模式“散步”中设定为“3:全部许可”,成为考虑到摄像头影像的必要性(提高危险物的图像识别精度)及作为证据能力的有效性的设定。因同样的理由,“测距传感器”以及“红外线传感器”的访问权也分别设定为与警备模式“在家”相比警备模式“散步”时的许可等级较高。此外,“麦克风声音”、“气温/湿度/气压传感器”以及“位置传感器”的访问权分别在警备模式“在家”和警备模式“散步”都设定为“1:许可”,“触觉传感器”的访问权在警备模式“在家”和警备模式“散步”都设定为“0:不许可”。
关于“运动能力”,“移动能力”的访问权设定为与警备模式“在家”相比警备模式“散步”时许可等级较高。这是因为,散步是在室外进行,因此需要使移动许可范围扩大到室外。还因为,为了使机器人110与用户保持一定距离地陪伴用户同行,与在家时相比,在散步时,需要使机器人110更快地移动。此外,在运动能力方面,“表情变更能力”以及“发声能力”的访问权分别在警备模式“在家”和警备模式“散步”都设定为“1:许可”,“姿势变更能力”的访问权在警备模式“在家”和警备模式“散步”都设定为“1:仅许可头部”。
“照明功能”是将照明部110g设定为开启(ON)、关闭(OFF)的功能。在警备模式“在家”下,照明功能设定为关闭,在警备模式“散步”下,照明功能设定为开启。
这样,根据警备模式,A公司服务器101对于积蓄于B公司服务器111的与机器人110有关的数据以及事件信息的访问权变更。各警备模式下的A公司服务器101的访问权被预先设定。另一方面,为了使根据用户的状况而共享的与用户有关的数据达到所需的最低限度,与用户有关的数据的访问权由B公司服务器111、机器人110、A公司应用、B公司应用和/或A公司服务器101控制,以使访问权根据警备模式适当地变更。
图7是表示在判定机器人110和用户有没有外出的判定主体为B公司服务器111的情况下的信息系统的处理的一例的时序图。
首先,假设用户在家。另外,假设机器人110没有将警备模式设定为“在家”和“散步”中的任一方。
(步骤S1)
机器人110持续地将数据和事件信息发送给B公司服务器111。机器人110使用所具备的传感器110c,持续地收集用户的生物体活动信息和用户的周边信息。机器人110将包含收集到的生物体活动信息和用户的周边信息的数据持续地发送给B公司服务器111。机器人110通过解析收集到的生物体活动信息和用户的周边信息,持续地生成事件信息,并将生成的事件信息持续地发送给B公司服务器111。
事件信息是机器人110用于通知机器人110的状态变化或者机器人110检测到的用户的状态变化的信息。事件信息例如包含:在检测到用户正在运动的状态时产生的“运动事件信息”、在检测到用户正安静地待着的状态时产生的“安静事件信息”、在检测到用户在睡觉的状态时产生的“睡眠事件信息”、在检测到用户处于危险状态时产生的“危险事件信息”、在检测到机器人110的电池剩余量少时产生的“低电量事件(low battery event)信息”、在检测到机器人110在住宅外陪同期间看丢了用户时产生的“遗失事件(lost event)信息”等。
通过发送事件信息,机器人110无需大量地发送传感器数据就能够通知与用户和机器人110有关的状态变化。例如,从作为视频数据的摄像头影像中分析意味着用户开始运动的“运动事件信息”会增加服务器侧的处理负担,也会增加对网络带宽的负担。因此,通过使用事件信息,能够实现机器人110与B公司服务器111的协作的高效化。
再者,事件信息包含表示机器人110在用户的附近(旁边)的确认信息。确认信息例如包含机器人110从智能手机100取得的智能手机100的位置信息、即用户的位置信息。或者,确认信息也可以是机器人110通过对传感器110c所包含的光学传感器的拍摄影像进行解析的脸部认证、步态认证等,判定是否映现有用户而得到的用户识别结果的信息,也可以是还包含用户的位置信息的信息。
(步骤S2)
B公司服务器111通过将所得到的数据和事件信息在对A公司服务器101设定的访问权的范畴内持续地向A公司服务器101发送或公开,从而与A公司服务器101共享数据和事件信息。
(步骤S3、S4)
智能手机100按照来自用户的输入,设定警备模式。表示警备模式的设定内容的设定信息例如包含后述的图23或图24中显示的信息。例如,设定信息包括警备模式的条件。警备模式的条件包括警备模式“在家”的条件和警备模式“散步”的条件。警备模式“散步”的条件是将警备模式从“在家”变更为“散步”的条件。警备模式“在家”的条件是将警备模式从“散步”变更为“在家”的条件。例如,设定信息也可以包含在警备模式变更为“散步”时机器人110向用户通知该变更的信息。该通知既可以是向机器人110的面部和/或身体10的一部分的信息显示,也可以是显示警备公司的标志,也可以是告知变更的声音的输出,还可以是警备公司的声音标识语音的输出。再者,该通知也可以是它们的组合。
(步骤S5)
智能手机100将设定信息和请求信息发送给A公司服务器101。关于请求信息,例如针对警备模式为“散步”,是规定使其执行如下机器人110的行动规范(程序、或者行动优先顺序的设定)的请求的信息:使运算部110b控制机器人110的可动部110e以使得在作为所设定的在家区域外的住宅外将与用户的相对距离维持在预定距离内而陪伴用户同行,同时使用传感器110c收集用户的周边信息。例如针对警备模式为“在家”,是规定使其执行如下行动规范的请求的信息:使运算部110b控制机器人110的可动部110e和传感器110c以使得在作为所设定的在家区域内的住宅内将与用户的相对距离维持在预定距离内而监视用户的安全。
(步骤S6)
接收到设定信息的A公司服务器101将设定信息和请求信息发送给B公司服务器111。
(步骤S7)
B公司服务器111将接收到的设定信息和请求信息登记于存储器111c。
(步骤S8)
B公司服务器111基于从机器人110持续发送的数据和事件信息、以及地图信息,确认用户是否满足某一个警备模式的条件。
(步骤S9)
B公司服务器111在判定为用户满足警备模式“在家”的条件的情况下,或者在判定为用户最好地满足警备模式“在家”的条件的情况下,向机器人110发送指示以使其变更为警备模式“在家”。
(步骤S10)
接收到警备模式“在家”的指示的机器人110向用户通知警备模式“在家”的开始。通知的详情后述。
(步骤S11)
机器人110以警备模式“在家”动作。警备模式持续到收到新的警备模式指示为止。
(步骤S12)
B公司服务器111根据来自机器人110的响应检测到变更为警备模式“在家”这一情况(未图示),将该向警备模式“在家”的变更结果发送给A公司服务器101。
(步骤S13)
用户与机器人110一起外出,开始散步。
(步骤S14)
B公司服务器111由于机器人110的感测结果满足警备模式“散步”的条件,因此将警备模式变更为“散步”。
(步骤S15)
B公司服务器111向机器人110发送指示以使其变更为警备模式“散步”。该指示是“用于将机器人的设定从第1规格变更为第2规格的指令”的一例。该指示包含使机器人110在机器人110的警备模式的设定变更后输出表示警备模式已变更之意的指令。
(步骤S16)
接收到警备模式“散步”的指示的机器人110向用户通知警备模式“散步”的开始。通知的详情后述。
(步骤S17)
机器人110以警备模式“散步”持续动作。
(步骤S18)
B公司服务器111根据来自机器人110的响应检测到机器人110变更为警备模式“散步”这一情况(未图示),将向警备模式“散步”的变更结果发送给A公司服务器101。
在图7中,A公司服务器101是外部计算机的一例。在图7中,设定信息和请求信息也可以是智能手机100(所执行的A公司应用或者B公司应用)发送给B公司服务器111。在该情况下,智能手机100是外部计算机的一例。
在图7中,确认信息是用户的位置信息,但这仅为一例。例如,确认信息也可以是判定为机器人110位于用户附近的信息。在该情况下,机器人110既可以基于使用传感器110c取得的用户的图像的识别结果,判定机器人110是否位于用户附近,也可以基于从智能手机100取得的智能手机100的当前的位置信息,判定机器人110是否位于用户附近。
图8是与图7对应的表示B公司服务器111和机器人110的处理的一例的图。
(步骤S201)
机器人110使用传感器110c感测用户的状态及周边。由此,可获得用户的生物体活动信息和周边信息。
(步骤S202)
机器人110将包含用户的生物体信息和用户的周边信息的数据、以及基于用户的生物体信息和用户的周边信息所生成的事件信息发送给B公司服务器111。
(步骤S203)
B公司服务器111接收数据以及事件信息。
(步骤S204)
B公司服务器111根据从机器人110接收到的数据以及事件信息是否满足某一个警备模式的条件,判定是否需要变更警备模式。例如,B公司服务器111在当前设定的警备模式为“在家”且从机器人110接收到的数据以及事件信息满足警备模式“散步”的条件的情况下,判定为需要将警备模式变更为“散步”。例如,B公司服务器111在当前设定的警备模式为“散步”且从机器人110接收到的数据以及事件信息满足警备模式“散步”的条件的情况下,判定为不需要变更警备模式。例如,B公司服务器111在当前设定的警备模式为“散步”且从机器人110接收到的数据以及事件信息不满足警备模式“散步”的条件而满足警备模式“在家”的条件的情况下,判定为需要将警备模式变更为“在家”。例如,B公司服务器111在当前设定的警备模式为“在家”且从机器人110接收到的数据以及事件信息满足警备模式“在家”的条件的情况下,判定为不需要从警备模式“在家”变更。
B公司服务器111将数据中包含的机器人110的位置信息和事件信息的确认信息所包含的用户的位置信息、与从地图信息获得的在家区域进行比较,在判定为机器人110和用户都位于在家区域外的情况下,判定为用户(从机器人110接收到的数据以及事件信息)满足警备模式“散步”的条件即可。另一方面,B公司服务器111在机器人110以及用户都位于住宅内的情况下,判定为用户(从机器人110接收到的数据以及事件信息)不满足警备模式“散步”的条件而满足警备模式“在家”的条件即可。地图信息存储于存储器111c,包含住所的纬度和经度的信息。在家区域是表现住所的预定区域的一例。
此外,在确认信息是表示用户位于机器人110的附近的机器人110的判定结果的情况下,只要机器人110的位置信息位于在家区域,则B公司服务器111判定为用户(从机器人110接收到的数据以及事件信息)满足警备模式“在家”的条件即可。相反,只要机器人110的位置信息位于在家区域外,则判定为满足警备模式“散步”的条件即可。
(步骤S205)
B公司服务器111在判定为需要变更警备模式的情况下(步骤S205:是),使处理进入步骤S206。另一方面,B公司服务器111在判定为不需要变更警备模式的情况下(步骤S205:否),结束处理。
(步骤S206)
B公司服务器111将进行警备模式的变更的指示发送给机器人110。
(步骤S207)
接收到该指示的机器人110变更警备模式。例如,机器人110从警备模式“在家”变更为“散步”。
(步骤S208)
机器人110将警备模式的变更结果发送给B公司服务器111。
(步骤S209)
B公司服务器111接收警备模式的变更结果。
(步骤S210)
机器人110向用户通知变更后的警备模式的开始。通过上述这样,B公司服务器111使用来自机器人110的数据、事件信息,逐次判定警备模式,并指示机器人110执行该警备模式。
图9是表示警备模式从“在家”切换为“散步”的场景的一例的图。例如,在家区域802是以住所801的位置为中心的具有一定半径的圆形区域。在家区域802的外部区域是外出区域806(散步区域)。在机器人110和用户位于在家区域802的情况下,警备模式被设定为“在家”,在机器人110和用户位于外出区域806的情况下,警备模式被设定为“散步”。
在用户和机器人110从在家区域802移动到外出区域806的情况下,警备模式变更为“散步”。在该情况下,机器人110通过使用影像声音输出部100f输出如话语、叫声和声音标识这样的声音信息,将向警备模式“散步”的变更通知给用户即可。声音信息的一例是“照看人散步的狗”等消息。机器人110也可以通过将如警备公司的标志这样的预定标记的影像信息显示于显示器18、24、34,将向警备模式“散步”的变更通知给用户。机器人110也可以通过双脚行走等特定的举动,将向警备模式“散步”的变更通知给用户。另外,机器人110在与眼睛相当的地方设置有显示器的情况下也可以通过变更眼睛的显示方式,向用户通知警备模式“散步”的变更。通过这些通知,能够将从外观上难以判断的机器人110的警备模式的变更告知用户。
图10、图11、图12、图13分别是表示在家区域802的一例的图。在图10~图13中,粗线内部的区域为在家区域802。成为机器人110的警备模式被切换的条件的、用户和机器人110所在的区域是以下的任一个或者组合。
(1)图10的在家区域802是以地点800为中心的半径804的圆形区域。地点800是在自家用地803内智能手机100的GPS取得的位置信息。在该情况下,例如,在家区域802由地点800的纬度信息和经度信息以及半径804的信息规定。
(2)图11的在家区域802是由住所801的轮廓包围的区域。住所801的轮廓形状例如根据地图信息取得。
(3)图12的在家区域802是由自家用地803的轮廓包围的区域。自家用地803的轮廓根据地图信息取得。
(4)图13的在家区域802是用户在地图上指定的任意形状的区域。例如,在显示于智能手机100的地图图像中,用户描出的自家用地803的轮廓805内部被设定为在家区域802。
(5)此外,在家区域802也可以基于地点800的位置信息以及信息系统指定的设定规则来设定。地点800的位置信息例如是智能手机100的GPS所取得的位置信息。在该情况下,在家区域802以地点800的纬度信息和经度信息为基准,设定规则规定的区域被设定为在家区域802。该设定规则也可以是图10所示那样的圆形。
(6)在家区域802也可以是信息系统使用用户的自家住址信息以及包含住所801和/或自家用地803的地图信息自动设定的区域。在该情况下,使用用户指定的自家住址信息以及包含与该住址信息链接的住所801和/或自家用地803的地图信息设定在家区域802。
在上述(1)~(6)中的任一种情况下,在家区域802以外的区域都可以全部作为外出区域806对待。由此,在家区域802与外出区域806的边界变得明确,能够根据用户和机器人110的当前位置,准确地变更机器人110的警备模式。
在家区域802的设定信息例如记录于A公司服务器101、B公司服务器111和机器人110的存储器110d中的任意一处以上而管理。该设定信息也可以是在家区域802的轮廓的信息。
在上述(1)~(6)中的任一种情况下,在家区域802的设定信息都可以由用户经由智能手机100确认、设定。该设定信息经由A公司应用、B公司应用或者其他公司的软件来取得。
图14~图15是表示机器人110向用户进行的通知的一例的图。图14表示了将警备模式变更为“在家”时的通知。在图14的例子中,机器人110显示具有带有小的圆形闪亮部分的瞳孔的左右眼的图像1401。图15表示了将警备模式变更为“散步”时的机器人110的通知。在图15的例子中,机器人110显示具有在纵向有细长线的瞳孔的左右眼的图像1401。图16表示发生了特定的事件信息时的机器人110的通知。在图16的例子中,机器人110显示具有像半闭着眼睑那样的月牙形状的瞳孔的左右眼的图像1401。事件信息的一例是低电量事件信息。低电量是指机器人110的电池剩余量变为预定剩余量以下的状态。
根据以上,用户通过观察在机器人110的影像声音输出部110f的与眼睛相符的部分显示出的影像信息,能够容易地确认机器人110的当前的模式是警备模式“在家”还是“散步”、机器人110是否发生了“低电量”等事件信息。这些图像1401根据警备模式的种类和事件信息的种类而预先确定。此外,图像1401例如显示于显示器24(图2)。
接着,对判定机器人110和用户有没有外出的判定主体为A公司服务器101(第2服务器的一例)的技术方案进行说明。图17是表示在判定机器人110和用户有没有外出的判定主体为A公司服务器101的情况下的信息系统的处理的一例的时序图。
在图17中,对与图7相同的处理赋予同一标号并省略说明。
(步骤S301)
用户与机器人110一起外出,开始散步。
(步骤S302)
A公司服务器101通过经由B公司服务器111取得与用户和机器人110有关的最新的数据以及事件信息,一边监视用户和机器人110,一边持续地判定警备模式有无变更以及警备人员介入的必要性。A公司服务器101例如根据传感器110c取得的数据,检测机器人110外出这一情况(机器人110的位置信息),根据机器人110拍摄到的摄像头影像,检测用户位于机器人110附近这一情况(或者表示该情况的确认信息)和用户正以徒步的速度移动(用户在散步)这一情况。或者,A公司服务器101也可以检测在B公司服务器111中从机器人110通知了意味着用户开始了在家区域外的散步的“散步开始事件信息”这一情况。此外,在上述中,设为A公司服务器101经由B公司服务器111取得由机器人110所取得的数据以及事件信息,但除此之外,也可以经由B公司服务器111取得包含在家区域信息的地图信息。
(步骤S303)
A公司服务器101对所取得的数据以及事件信息进行分析,检测用户开始与机器人110散步,向B公司服务器111发送将警备模式从“在家”向“散步”变更的请求信息。与图7同样,A公司服务器101在判定为用户(从机器人110接收到的数据以及事件信息)满足警备模式的条件的情况下,发送将警备模式从“在家”向“散步”变更的请求信息即可。
在警备模式“在家”和警备模式“散步”下,A公司服务器101经由机器人110保护用户所需的对传感器110c的访问权和对机器人110的运动能力的访问权不同。因此,A公司服务器101向B公司服务器111发送用于将警备模式从“在家”变更为“散步”的请求信息。通过切换警备模式,对传感器110c以及运动能力的访问权自动变更。
(步骤S304)
接收到请求信息的B公司服务器111向机器人110发送将机器人110的警备模式变更为“散步”的指示。A公司服务器101能够利用的警备模式“在家”和警备模式“散步”与对于传感器和运动能力的访问权同样地事先登记于B公司服务器111。
(步骤S305)
接收到要变更为警备模式“散步”的指示的机器人110将警备模式变更为“散步”。之后,只要没有从B公司服务器111指示向警备模式“散步”以外的变更,机器人110的运算部110b就持续进行可动部110e以及传感器110c的控制以使机器人110基于由警备模式“散步”指定的行动规范来动作。
(步骤S306)
机器人110在将警备模式变更为“散步”后,也持续向B公司服务器111发送使用传感器110c取得的数据以及基于该数据所生成的事件信息。
机器人110在用户继续散步期间按照由警备模式“散步”规定的行动规范继续护卫用户。关于机器人110如何陪伴散步的用户同行,以及针对用户遭遇的危险,机器人110如何应对,由用户使用A公司应用预先设定。其详情后述。
(步骤S307)
用户发生了危险。危险例如是指,在用户的行进方向存在障碍物的状况、以及他人正在接近用户的状况。
(步骤S308)
A公司服务器101从B公司服务器111接收数据以及事件信息,判定警备模式“散步”有无变更以及警备人员是否有必要介入。A公司服务器101也可以除了数据、事件信息之外,还从B公司服务器111接收包含在家区域信息的地图信息。
(步骤S309)
A公司服务器101基于数据以及事件信息,判定为了确保用户的安全而要警备人员介入的必要性。该判定也可以,例如通过警备人员(人类)对机器人110拍摄到的视频数据即摄像头影像进行确认来判定。或者,A公司服务器101也可以使用图像识别技术从摄像头影像中计算用户的危险度,并根据计算出的危险度判定警备人员介入的必要性。或者,A公司服务器101也可以使用语音识别技术或者从语音分析用户的感情的技术等,对机器人110取得的用户的声音信息进行解析,从而判定用户的危险度,并根据判定出的危险度来判定警备人员介入的必要性。或者,A公司服务器101也可以在使用图像识别技术判定为用户发生了危险的情况下,向警备人员的外部终端发送表示该发生的警报。在该情况下,警备人员通过外部终端确认警报的发生,并出动去往现场即可。
A公司的警备人员的介入包括两个阶段。第一个阶段是从远程的警备介入。警备人员不去现场,而采取如下措施:通过经由机器人110的传感器110c和影像声音输出部110f与在现场的用户、位于用户附近的人、或者试图危害用户的人进行对话来避免危险。第二个阶段是在现场的警备介入。警备人员被派往现场,采取避免在现场的用户的危险的行动。两者都是在由A公司服务器101或者A公司的警备人员判断为仅靠机器人110难以确保用户的安全的情况下执行的警备服务。
在用户处于危险状态的情况下,机器人110也可以使用传感器110c感测用户及用户周围的状况,并将感测到的数据保存于A公司服务器101、B公司服务器111和/或机器人110的存储器111c,以使得在之后能够进行现场查证。另外,A公司服务器101、B公司服务器111以及机器人110也可以将这些感测到的数据与使在一定期间不能删除这些数据的控制信息一起进行共享。A公司服务器101、B公司服务器111和/或机器人110也可以为了证明被感测到的数据没有被篡改而计算哈希值,并将计算出的哈希值保存在两处以上(例如C公司服务器和B公司服务器)。
(步骤S310)
通过A公司的警备服务,用户避免了危险,平安回到家。这样散步结束。
(步骤S311)
A公司服务器101从B公司服务器111接收数据以及事件信息,判定警备模式“散步”有无变更以及警备人员是否有必要介入。A公司服务器101也可以除了数据、事件信息之外,还从B公司服务器111接收包含在家区域信息的地图信息。
(步骤S312)
A公司服务器101根据用户回到家,检测到用户(从机器人110接收到的数据以及事件信息)不满足警备模式“散步”的条件、而与警备模式“在家”的条件相符,并向B公司服务器111发送将警备模式从“散步”变更为“在家”的请求信息。
(步骤S313)
接收到请求信息的B公司服务器111向机器人110输出将警备模式从“散步”变更为“在家”的指示。
(步骤S314)
从B公司服务器111收到更新为警备模式(在宅)的指示的机器人110将警备模式变更为“在家”。之后,只要没有从B公司服务器111收到新的警备模式的指示,机器人110的运算部110b就持续进行可动部110e以及传感器110c的控制以使机器人110按照在警备模式“散步”下指定的行动规范来动作。
(步骤S315、S316)
机器人110在将警备模式变更为“在家”后也与步骤S1同样地持续将数据以及事件信息发送给B公司服务器111。与步骤S302同样,A公司服务器101持续从B公司服务器111取得最新的数据以及事件信息,并持续地判定警备模式有无变更以及警备人员介入的必要性。A公司服务器101也可以除了数据、事件信息之外,还从B公司服务器111接收包含在家区域信息的地图信息。
在图17中,A公司服务器101是外部计算机以及第2服务器的一例。在图17中,设定信息以及请求信息也可以是智能手机100(或者在那里执行的A公司应用或者B公司应用)发送给B公司服务器111。在该情况下,智能手机100是外部计算机的一例。在该情况下,智能手机100从B公司服务器111取得数据以及事件信息,并基于所取得的数据以及事件信息,判定警备模式有无变更即可。在图17中,与图7同样,事件信息包含确认信息。确认信息的详情与图7相同。
图18是与图17对应的表示A公司服务器101、B公司服务器111和机器人110的处理的一例的流程图。
(步骤S401)
机器人110将数据以及事件信息发送给B公司服务器111。
(步骤S402)
B公司服务器111从机器人110接收数据以及事件信息。
(步骤S403)
A公司服务器101从B公司服务器111接收数据以及事件信息,另外,从存储器101c或者A公司应用接收所设定的在家区域信息。A公司服务器101也可以除了数据、事件信息之外,还从B公司服务器111接收包含在家区域信息的地图信息。
(步骤S403)
A公司服务器101通过基于用户(从机器人110接收到的数据以及事件信息),与警备模式的条件进行比较,判定警备模式是否需要变更。该处理的详情与步骤S204相同。A公司服务器101在判定为需要变更警备模式的情况下(步骤S403:是),使处理进入步骤S404。另一方面,A公司服务器101在判定为无需变更警备模式(继续当前的警备模式)的情况下(步骤S403:否),结束处理。
(步骤S404)
A公司服务器101向B公司服务器111发送警备模式的变更指示。
(步骤S405)
接收到该指示的B公司服务器111在确认了A公司服务器的访问权后将该指示发送给机器人110。
(步骤S406)
接收到该指示的机器人110变更警备模式。
(步骤S407)
机器人110将警备模式的变更结果发送给B公司服务器111。
(步骤S408)
B公司服务器111接收变更结果。
(步骤S409)
B公司服务器111将变更结果发送给A公司服务器101。
(步骤S410)
A公司服务器101接收变更结果。
(步骤S411)
机器人110向用户通知变更后的新的警备模式的开始。通知的详情与上面在图9、图14、图15中说明的形式相同。在A公司服务器101为警备模式的判定主体的情况下,通过上述处理,进行警备模式的变更。
接着,对判定机器人110和用户有没有外出以及警备模式的判定主体为机器人110的技术方案进行说明。图19是表示在判定机器人110和用户有没有外出以及警备模式的判定主体为机器人110的情况下的信息处理系统的处理的一例的时序图。在图19中,对与图7相同的处理赋予同一标号并省略说明。
在图19中,智能手机100和机器人110预先经由WiFi(注册商标)、Bluetooth(注册商标)、蜂窝通信网(4G、5G)等通信方式实施了配对(pairing)。
(步骤S501)
智能手机100(在那里执行的A公司应用或者B公司应用)向机器人110发送设定信息和请求信息。设定信息和请求信息的详情与图7相同。
(步骤S502)
机器人110基于从传感器110c持续发送的数据以及事件信息、和预先设定的设定信息以及请求信息,确认用户是否满足某一警备模式的条件。在此,由于用户满足警备模式“在家”的条件,因此机器人110将警备模式变更为“在家”。A公司服务器101也可以除了数据、事件信息之外,还从B公司服务器111接收包含在家区域信息的地图信息。
(步骤S503)
机器人110向用户通知警备模式“在家”的开始。这与步骤S10相同。
(步骤S504)
机器人110在警备模式“在家”下持续地动作。这与步骤S11相同。
(步骤S505)
机器人110由于已变更为警备模式“在家”,因此将向警备模式“在家”的变更结果发送给B公司服务器111。
(步骤S506)
机器人110由于已变更为警备模式“在家”,因此将向警备模式“在家”的变更结果发送给智能手机100(在那里执行的A公司应用或者B公司应用)。
(步骤S507)
用户与机器人110一起外出,开始散步。
(步骤S508)
机器人110由于用户满足警备模式“散步”的条件,因此将警备模式变更为“散步”。
(步骤S509)
机器人110向用户通知警备模式“散步”的开始。通知的详情与上述的图14~图16相同。
(步骤S510)
机器人110在警备模式“散步”下持续地动作。
(步骤S511)
机器人110由于已变更为警备模式“散步”,因此将向警备模式“散步”的变更结果发送给B公司服务器111。
(步骤S512)
机器人110由于已变更为警备模式“散步”,因此将向警备模式“散步”的变更结果发送给智能手机100。
在图19中,智能手机100(在那里执行的A公司应用或者B公司应用)是外部计算机的一例。在图19中,设定信息以及请求信息也可以是智能手机100、A公司应用或者B公司应用经由(或者不经由)B公司服务器111发送给机器人110。或者,设定信息以及请求信息也可以是从A公司服务器101经由(或者不经由)B公司服务器111发送给机器人110。在该情况下,A公司服务器101是外部计算机的一例。在图19中,与图7同样,事件信息包含确认信息。确认信息的详情与图7相同。
图20是与图19对应的表示机器人110的处理的一例的流程图。
(步骤S601)
机器人110使用传感器110c感测用户的状态及周边。由此,可获得用户的生物体活动信息及周边信息。
(步骤S602)
机器人110根据用户(从机器人110接收到的数据以及事件信息)是否满足某一警备模式的条件,判定警备模式是否需要变更。该判定的详情与步骤S204相同。
(步骤S603)
机器人110在判定为需要变更警备模式的情况下(步骤S603:是),使处理进入步骤S604。另一方面,机器人110在判定为无需变更警备模式的情况下(步骤S603:否),结束处理。在该情况下,继续现行的警备模式。
(步骤S604)
机器人110变更警备模式。例如,机器人110从当前的警备模式“在家”变更为警备模式“散步”。当然,也有相反的情况。
(步骤S605)
机器人110向用户通知变更后的警备模式的开始。在该情况下,进行上述的图14或者图15那样的通知。
图21是表示机器人110中的所需警备度的更新处理的一例的流程图。
所需警备度是指,根据用户的状态及用户的周围状况,综合评价机器人110要确保用户的安全的必要性的程序而得到的指标。
对危险度进行判定的结果,所需警备度由0(最小)到3(最大)的值来表现。根据该值,与当前应用的警备模式组合,决定机器人110的具体行动。
(步骤S6001)
机器人110取得表示传感器110c感测到的用户的状态的数据和表示用户的周围状况的感测数据。感测数据例如是摄像头影像、深度图像、红外线图像、麦克风声音、触觉传感器值、气温/湿度/气压传感器值和/或位置信息等。机器人110也可以经由网络取得外部传感器感测到的感测数据。外部传感器例如是用户的可穿戴设备所具有的传感器、设置于街头的摄像头、能够经由互联网通信网取得的与机器人110的位置信息相符的天气预报信息、道路交通信息等。
(步骤S6002)
机器人110根据对所取得的感测数据进行解析所得到的用户的危险度,判定用户的所需警备度。以下,根据所需警备度的判定值进行说明。
(步骤S6003)
机器人110的运算部110b在根据传感器110c的信息判断为在用户周围没有危险的物体和接近者的情况下,判定为所需警备度是0(最低的危险度)。机器人110的运算部110b控制机器人110的可动部110e、照明部110g等,以进行辅助用户散步的动作,并使处理回到步骤S6001。例如,机器人110也可以使用照明部110g在用户的行进方向前方显示散步的目标步数、散步的目标消耗卡路里、散步的目标散步时间、开始散步后的步数、今日的步数、到今日的目标步数为止的剩余步数、心率、消耗卡路里、散步的经过时间和/或剩余的预测散步时间。
(步骤S6004)
机器人110的运算部110b在根据传感器110c的信息判断为在用户周围存在危险的物体的情况下,判定为所需警备度是1(低危险度)。机器人110的运算部110b控制机器人110的可动部110e、照明部110g等以进行辅助防止散步用户受伤的动作,进行对检测出的危险部照明的注意唤起、绕过危险部的路线选择等处理,并使处理回到步骤S6001。例如,机器人110也可以使用照明部110g向位于用户周边的危险对象照射光,进行与对象有关的注意唤起。危险对象是指,具有预定大小的路面的凹凸或者高低不平、以及位于行进方向前方的障碍物等。
代替向危险对象照射光,或者除此之外,机器人110也可以在检测到危险对象的情况下,控制可动部110e,移动到用户的前方或者侧面,引导用户以使用户沿着与危险对象相距一定距离的安全路线行走。
(步骤S6005)
机器人110的运算部110b在根据传感器110c的信息判断为在用户周围存在危险的人物(或者其他人)的情况下,将所需警备度设定为2(高危险度)。机器人110的运算部110b控制机器人110的可动部110e等以进行确保散步用户的安全的动作,并使处理回到步骤S6001。例如,机器人110使用照明部110g,在用户的周边显示表示用户正由机器人110保护安全的信息。表示被保护安全的信息例如是围绕用户的光环、作为警备公司的A公司的标志以及“警备中”的文字等。
或者,机器人110也可以使用影像声音输出部110f对可疑人员输出唤起注意或者进行威吓的声音。唤起注意例如是向可疑人员通知A公司正在保护用户的安全。威吓例如是向可疑人员通知A公司正在保护用户且能够立即报警。
或者,机器人110也可以通过控制可动部110e,移动到用户与可疑人员之间的位置,以使用户与可疑人员保持一定距离。
(步骤S6006)
机器人110的运算部110b在根据传感器110c的信息判断为没能从用户周围排除危险的人物(或者其他人)的情况下和/或在上述的危险的人物(或者其他人)没有因使用机器人110的影像声音输出部110f、可动部110e、照明部110g的警备而与用户保持一定距离的情况下,将所需警备度设定为3(最高的危险度)。在该情况下,由于用户处于需要警备人员(人)介入的安保的危险状况,因此机器人110的运算部110b向A公司服务器101发送用于确保散步中的用户的安全的A公司警备人员的请求信号,并使处理回到步骤S6001。例如,机器人110也可以通过使用传感器110c和影像声音输出部110f,使警备人员与可疑人员之间说话,确保用户的安全。在用户处于更危险的状况的情况下,或者虽然由警备人员实施了远程警备但危险的状态仍继续的情况下,机器人110也可以向A公司服务器101发送使A公司的警备人员出动去往现场的出动请求。或者,机器人110也可以通报警察(报警)。该通报也可以包含使用声音、文字和/或摄像头影像来告知现场的位置以及现场状况的信息。
所需警备度也可以由机器人110的外部计算机、例如B公司服务器111、A公司服务器101、智能手机100、在智能手机100中执行的A公司应用、B公司应用中的任一方来判定。在该情况下,也可以设为,机器人110经由网络向相应的外部计算机发送由传感器110c感测到的数据、由运算部110b处理该数据而得到的事件信息、进而当前机器人110所应用的所需警备度信息,从而机器人110的通信部110a从该外部计算机接收所需警备度。
图22是表示刚刚启动A公司应用后显示于智能手机100的主页画面2100的一例的图。主页画面2100包括记载为“在家时的警备设定”的按钮2101、记载为“与B公司机器人外出(散步)时的警备设定”的按钮2102以及记载为“紧急时的联系方式”的按钮2103。
按钮2101是进行与用户和机器人110在家时的机器人110的警备有关的诸多设定的按钮。按钮2102是进行与用户和机器人110一起散步时的机器人110的警备有关的诸多设定的按钮。按钮2103是设定将发生了紧急情况的用户的危险进行通知的被通知方的联系方式或者进行该通知的条件的按钮。
用户将安装于智能手机100的A公司应用启动,并通过触控操作或者语音操作选择了按钮2102时,显示出图23的设定画面2200。
图23是表示设定画面2200的一例的图。设定画面2200是设定用户和机器人散步时机器人110如何陪伴用户同行、对怎样的危险采取怎样的应对、关于散步向用户通知怎样的补充信息等的画面。
记载为“陪同的主场方向”的设定栏2201是让用户使用下拉菜单设定机器人110陪伴用户同行时机器人110的主场方向的栏。主场方向是主场位置的方向。主场位置是陪同时机器人110相对于用户相对位于的位置。主场方向是以用户的行进方向为基准的情况下的机器人110的主场位置位于的方向。
例如,设定栏2201的下拉菜单构成为能够从表示用户的正面的“前方”、位于从“前方”顺时针旋转45度之处的“右斜前方”、位于进而顺时针旋转45度之处的“右侧方”、位于进而顺时针旋转45度之处的“右斜后方”、位于进而顺时针旋转45度之处的“后方”、位于进而顺时针旋转45度之处的“左斜后方”、位于进而顺时针旋转45度之处的“左侧方”和位于进而顺时针旋转45度之处的“左斜前方”中选择一个。在该图中,用户设定了“右斜前方”,因此机器人110将用户的“右斜前方”的方向作为主场方向进行移动。机器人110使用由传感器110c取得的摄像头影像等,感测用户的位置和用户的行进方向,并基于感测结果控制可动部110e来调整自身位置,以维持所指定的主场方向。
记载为“陪同的主场距离”的设定栏2202是让用户使用滑动条(slide-bar)设定主场距离的栏。主场距离是陪同时的机器人110与用户的距离。例如,滑动条构成为使得能够在1m(米)到5m的范围内设定主场距离。在该图中,用户设定了2m左右,因此机器人110控制可动部110e来移动,以维持基本上与用户相距大致2m的距离。机器人110使用由传感器110c取得的摄像头影像以及深度图像等,感测用户的位置,并修正自身位置,以维持所指定的主场距离。
记载为“脚下照明”的设定栏2203是设定机器人110从用户的脚下将用户的行进方向的路面照亮的脚下照明功能的开/关(ON/OFF)的栏。在该图中,用户设定了“ON”,因此机器人110控制照明部110g的光束方向,以将散步用户的脚下照亮。此外,在照明部110g无法变更光束方向的情况下,机器人110也可以通过使用可动部110e变更包括照明部110g在内的一部分的倾斜度来控制光束方向。机器人110可以使用由传感器110c取得的摄像头影像等,感测用户的位置和用户的行进方向,并基于感测结果,调整照明部110g和/或所述一部分的倾斜度,以在散步期间维持表示行进方向的照明。
另一方面,在照明功能为“OFF”的情况下,机器人110不启动用户脚下照明功能。
通过持续进行脚下照明,能够使周边的人认识到机器人110在确保用户的安全。其结果,通过开启脚下照明功能,也能够期待避免用户遭受可疑人员带来的危险的效果。
记载为“危险物的注意唤起”的设定栏2204是设定机器人110对位于用户前方的危险物进行照明(聚光灯)和/或利用语音来喊话的、危险物的注意唤起功能的开/关的栏。在该图中,用户设定了“ON”,因此机器人110对位于散步用户的行进方向(前方)的危险物照射聚光灯,或输出提醒注意危险物的语音。机器人110使用由传感器110c取得的摄像头影像以及深度图像等,检测用户的行进方向以及位于周围的危险物,并调整照明部110g和/或包括照明部110g在内的一部分的倾斜度,以将该危险物照亮即可。机器人110也可以使用影像声音输出部110f来告诉用户存在危险物。机器人110也可以,在检测到危险物的情况下,机器人110从主场位置移动到用户之前,将用户引导至用户应该通行的安全路线上。在该情况下,用户绕过危险物后,机器人110重新回到主场位置即可。
另一方面,当危险物的注意唤起功能被设定为“OFF”时,机器人110不进行危险物的注意唤起。
危险物例如是具有预定尺寸以上大小的路面的凹凸和路面的高低不平、以及位于用户的行进方向侧的障碍物等。或者,危险物例如是向用户靠近的车辆和自行车等。
记载为“向周围的注意唤起”的设定栏2205是设定机器人110将用户的存在易懂地表演或通知给用户周围的包括人物的移动体的功能的开/关的栏。移动体例如除了人物之外还包括人驾驶的汽车和自行车以及通过计算机控制而自主进行移动的物体或车辆。通过该功能,能够使周围的人认识到用户正由机器人110保护着。在该图中,用户设定了开启向周围的注意唤起的功能,因此机器人110将用户的存在易懂地表演、或通知给位于散步中的用户周围或者向该用户靠近的移动体。
机器人110使用由传感器110c取得的摄像头影像和深度图像等,检测位于用户周围或者向用户靠近的移动体。机器人110根据需要,针对检测到的移动体,使用照明部110g在路面等显示信息,或对用户进行照明以使用户易于被认识到,或使用影像声音输出部110f通过语音向移动体喊话。
另外,在其他机器人、自动驾驶车和无人机等自主移动的移动体接近用户的情况下,机器人110也可以使用通信部110a向周围广播表示用户的当前位置信息和/或机器人110的存在的无线通信信号(例如信标)。由此,能够避免用户与机器人110的接触。
另一方面,当向周围的注意唤起的功能被设定为“OFF”时,机器人110不对用户周围或者向用户靠近的移动体进行注意唤起。
记载为“注意唤起半径”的设定栏2206是进行“向周围的注意唤起”的条件。在该图中,注意唤起半径被设定为5m左右,因此对离用户的距离在5m以内的人物或者移动体进行表示用户的存在的注意唤起。在“向周围的注意唤起”功能为“OFF”的情况下,注意唤起半径被无效。
记载为“步数的通知”的设定栏2207是设定机器人110将用户的步数信息通知给用户的功能的开/关的栏。在该图中,该功能被设定为“ON”,因此机器人110将散步的用户的步数信息通知给用户。例如,机器人110使用影像声音输出部110f,输出以1000步为单位将开始散步后的步数通知给用户的语音。机器人110也可以通过使用照明部110g将用户今日的步数显示在路面上,向用户通知步数信息。
另一方面,当该功能被设定为“OFF”时,机器人110在散步期间不通知用户的步数信息。
记载为“生物体信息的通知”的设定栏2208是设定机器人110将用户的生物体活动信息通知给用户的功能的开/关的栏。在该图中,被设定为“OFF”,因此机器人110在散步期间不通知用户的生物体活动信息。当该功能被设定为“ON”时,与上述的“步数的通知”同样,机器人110使用影像声音输出部110f以及照明部110g,将用户的心率、血压、体温和活动量(消耗卡路里)等生物体活动信息通知给用户。
这样,通过设定画面2200,用户能够预先按照自己的喜好对在散步期间机器人110所进行的各种动作进行设定。由此,用户能够使用机器人110,更安全地实施伴有一定的危险的散步。另外,能够给予用户能安全地散步这一安心感,增加用户维持健康的机会,实现精神上的稳定。
图24是表示本实施方式的另一例的设定画面2300的图。“在家区域的半径”的设定栏2301是设定图10中所示的半径804的栏。在此,用户能够使用滑动条在10m~100m范围内输入半径804。在本例中,半径被设定为大约30m。因此,距离住所的中心大约30m的范围内被设定为在家区域802。
记载为“陪同的主场位置”的设定栏2302是设定主场位置的栏。设定栏2302显示机器人110的图标和用户的图标以使得从上俯瞰机器人110和用户。用户通过用手指Y使机器人110的图标移动,设定主场位置。此外,设定栏2302也可以通过让用户输入上述的主场方向和主场距离,设定主场位置。用户例如既可以通过发出“在左侧跑”这一语音来设定主场位置,也可以通过手势输入来设定主场位置。
机器人110也可以由传感器110c感测用户的散步、用户的慢跑、用户的骑行等用户的状态,并根据感测到的用户的状态,调整主场位置。机器人110也可以基于人行道等道路的种类、道路的宽度、道路有无高低不平、周围的人和车的交通量等周边的状况,动态地调整主场位置。
例如,在通过传感器110c检测到周围没有人的情况下,机器人110在用户设定的主场位置即右斜前方陪伴用户同行。另一方面,在用户周围的人变多的情况下或者用户要与人擦肩而过的情况下,机器人110也可以临时移动到不会妨碍到用户和位于周围的人或擦肩而过的人的位置来陪伴用户同行。不会妨碍到人的位置例如相对于用户的行进方向是用户的正前方和正后方等。
在机器人110对用户的身体进行图像识别而进行追随的情况下,机器人110位于用户的后方进行追随是自然的。然而,若从后方,则存在无法照射用户的行进方向以及无法检测前方的危险物等、在确保用户的安全性方面的缺点。于是,机器人110也可以在并非用户的后方的区域设定主场位置,从该主场位置,照射用户的行进方向,检测前方的危险物。
此外,本实施方式的设定画面也可以是不重复地包含设定画面2200的设定栏和设定画面2300的设定栏双方的设定栏的画面。
设定画面2200、2300是显示在通信终端的画面中的图形用户界面的一例。
设定栏2303是设定实施警备模式“散步”期间的机器人110的眼睛的图像设计的栏。这里设定的眼睛的图像设计如在图15中说明的那样使用。
设定栏2304是设定机器人110的行动规范、或者为了向用户通知切换了警备模式而进行的使用可动部110e的举动的控制的开/关的栏。设定栏2305是设定使影像声音输出部110f显示警备公司A公司的标志的控制的开/关的栏。设定栏2306是设定使影像声音输出部110f语音输出警备公司A公司的声音标识的控制的开/关的栏。通过使它们分别开启,能够使机器人110控制可动部110e、影像声音输出部110f来进行图9那样的特定的举动和/或语音输出。
图25、图26及图27是表示警备模式“散步”的第1例的图。图25表示了上述的“脚下照明”的一例。在图25的例子中,机器人110位于用户的后方。在图25中,作为机器人110的中心位置的机器人位置131由小的“×”记号表示,作为用户的中心位置的用户位置130由大的“×”记号表示。在图25中,从用户脚下向用户的移动方向D1的前方延伸的椭圆区域是机器人110通过照明部110g将用户的脚下照亮的脚下区域120。
脚下区域120的长轴方向朝向用户的移动方向D1。这样,通过机器人110照射脚下区域120,能够使用户容易地视觉识别路面的状态。由此,能够减小用户在散步期间摔倒而受伤的风险,安全地散步。此外,机器人110在由传感器110c对周围亮度的测定结果表示是明亮的地方或者是白天的情况下,既可以将“脚下照明”的功能设定为“ON”,也可以使该功能为“OFF”。另外,在发布了“低电量事件信息”的情况下,机器人110也可以缩小脚下区域120的范围,或降低亮度,从而抑制电池的电力消耗。
图26表示了上述的“危险物的注意唤起”的一例。在本例中,机器人110检测出位于用户的移动方向D1上的表示禁止入内的交通锥作为危险物,并对该危险物照射聚光灯照明。在该场景中,所需警备度为1。危险区域122是机器人110对识别到的危险物照射照明的区域。通过危险区域122由照明部110f照射,用户能够容易地视觉识别出那里有危险物。在图26的例子中,危险区域122是具有危险物程度的尺寸的圆。
机器人110使用SLAM(Simultaneous localization and Mapping)等技术,根据由传感器110c取得的感测数据,生成用户周边的地图即可。而且,机器人110利用该地图,常态地计算用户位置130、机器人位置131以及危险物的位置等即可。机器人110可以根据用户的正面的朝向或者用户位置130的历史记录等,计算用户的移动方向D1,并将位于以移动方向D1为基准在左右预定距离内并且从用户位置130在移动方向D1的前方相距预定距离以内的对象物判定为危险物。
除了脚下区域120之外,机器人110也可以还在路面照射表示向用户推荐的行进路线的行进路线区域121。行进路线区域121具有从脚下区域120向行进方向延伸的箭头形状。该箭头形状具有沿着为了避开危险物而推荐的行进路线的形状。由此,被推荐的行进路线被照射,用户能够沿推荐的行进路线行走。机器人110基于用户位置130、机器人位置131、危险物位置133以及道路宽度的信息来计算推荐的行进路线即可。作为计算推荐的行进路线的处理,例如采用在自动驾驶中计算用于回避危险物的行驶路线的路径搜索算法。
这样在进行“危险物的注意唤起”的情况下,机器人110不仅要照射脚下区域120,还需要照射行进路线区域121或者危险区域122。因此,机器人110在照射这些区域的情况下,离开所指定的主场位置,移动到易由照明部110f照射这些区域的位置,并以易照射的姿势,照射这些区域即可。在图27的例子中,机器人110移动到用户的左斜后方且主场位置134的跟前的发射位置132,以使得能够大范围地照射用户的前方。在前方有照射对象的情况下,机器人110也可以移动到用户前方的从左侧到右侧的区域内的位置。
在图27的场景下,机器人110基于用户位置130和用户的移动方向D1的感测结果,计算预先指定的主场位置134,一边位于主场位置134一边陪伴用户同行。机器人110对周边进行感测,将右斜前方的交通锥检测为危险物,为了将用户引导至避开危险物的行进路线上而使脚下区域120的最前端侧向左侧弯曲。
再者,机器人110按照作为危险物的交通锥的形状照射三角形的危险区域122。危险区域122也可以是与脚下区域120不同的颜色。例如也可以,脚下区域120为白色,危险区域122为红色。为了促使用户的认知,危险区域122也可以闪烁。该闪烁周期也可以根据危险物与用户的距离而变化。例如也可以,危险物与用户的距离越近,则闪烁周期变得越短。由此,用户能够容易地认识到危险物。
危险区域122的形状、颜色以及闪烁模式不限定于这些,只要是用户能够从周边环境中识别出危险物的方式,则可以采用任何方式。例如,危险区域122也可以,形状、颜色和闪烁模式中的一个以上被控制。另外,脚下区域120同样也可以,颜色和闪烁模式中的一个以上被控制。在该情况下,脚下区域120以与危险区域122不同的方式被控制。
在图27中,位于主场位置134当中的机器人位置131的机器人110由于用户位于机器人110与危险物之间,因此无法同时对脚下区域120和危险区域122进行照射,或者无法有效地照射。除此之外,在机器人110的照明部110g的照射范围仅为机器人110的行进方向的情况下,或者在照明部110g具有无法照射与行进方向相反的方向的构造的情况下等,机器人110难以同时将脚下区域120和危险区域122照亮的理由可能有各种各样。
在这样需要同时照射脚下区域120和危险区域122、且从主场位置134当中无法有效地照射所有照射对象的情况下,机器人110控制可动部110e,临时从机器人位置131向适合于同时照射脚下区域120和危险区域122的发射位置132移动。发射位置132可以被决定为打算变更相对于用户的相对位置的机器人110在预定的时刻应该到达的目标位置。
机器人110也可以在移动后的发射位置132重新检测危险物,在用户的移动方向D1上检测到多个危险物的情况下,决定能够同时对照射多个危险物的多个危险区域122和脚下区域120进行照射的新的发射位置132,并临时移动到新决定的发射位置132。
在图27中,机器人110在用户位置130的左斜后方决定具有厚度的圆弧状的发射区域123,在发射区域123内决定发射位置132,并移动到发射位置132,照射脚下区域120和危险区域122。发射区域123是基于用户位置130、机器人位置131、危险物位置133以及照明部110g的照射范围计算出的、能够照射危险区域122和脚下区域120双方的区域。发射区域123例如也可以由运算部110b使用以用户位置130、移动方向(或者表示移动方向和移动速度二者的移动矢量)D1、危险物位置133和照明部110g的照射范围为输入并以发射区域123为输出的计算模型来计算。
发射位置132例如是在发射区域123内离机器人位置131最近的位置。但是,这仅为一例,只要在发射区域123内,发射位置132可以是任何位置。此外,机器人110也可以不计算发射区域123,而是基于用户位置130、机器人位置131、危险物位置133以及照明部110g的照射范围,计算发射位置132。机器人110在不需要照射危险物时,重新向主场位置134当中移动,继续只照射脚下区域120。
图28是表示从主场位置134向发射位置132移动时的机器人110的举动的图。在时刻t0,机器人110没有检测到危险物或者虽然检测到了危险物但是从用户到危险物的距离在预定距离以上。因此,机器人110维持主场位置134中的机器人位置131来陪伴用户同行。
在时刻t0+dt,机器人110检测到危险物,为了对危险物位置133和脚下区域120的双方进行照射,在能够有效地照射二者的发射区域123内,开始从当前的机器人位置131向最近的发射位置132移动。同时,机器人110使脚下区域120的长轴方向朝向左侧,将用户引导至避开危险物的行进路线。再者,机器人110也开始进行相对于危险物位置133的危险区域122的照射。但是,机器人110由于没有到达发射位置132,因此只能够照射到危险物位置133的一部分。
在时刻t0+2*dt,机器人110移动到发射位置132。机器人110继续检测用户位置130、移动方向D1、危险物位置133,并继续进行脚下区域120和危险区域122的更新。脚下区域120具有长轴方向向左侧倾斜以使得用户避开危险物的形状。由于已移动到发射位置132,因此危险区域122能够照射危险物的整个区域。由此,用户能够识别到危险物以及变更后的行进路线,使行进方向向左侧折,实现避开危险物的安全的行走。
在时刻t0+3*dt,用户通过了危险物。机器人110继续检测用户位置130、移动方向D1、机器人位置131、危险物位置133,继续进行适合于照射脚下区域120和危险区域122的发射区域123、还有其中的发射位置132的更新,并陪伴用户同行。由此,用户识别到危险物以及变更后的行进路线,绕过危险物。
如图28所示,机器人110在从主场位置134向发射位置132移动期间也继续向脚下区域120和危险区域122进行照射。
图29是表示警备模式“散步”的第1例中的机器人110的处理的一例的流程图。
(步骤S801)
机器人110使用传感器110c取得周边信息。周边信息包含用户位置130、移动方向D1、机器人位置131以及危险物位置133。
例如,机器人110可以通过将由传感器110c取得的摄像头影像输入到确定对象物的种类的识别器,检测位于用户周边的危险物,并通过从由传感器110c取得的深度图像中提取检测到的危险物的离机器人110的距离,检测危险物位置133。
同样地,机器人110可以通过将由传感器110c取得的摄像头影像输入到识别器,检测用户,并通过从由传感器110c取得的深度图像中提取检测到的用户的离机器人110的距离,检测用户位置130。
例如,机器人110根据由传感器110c的位置传感器取得的位置信息检测机器人位置131即可。
例如,机器人110根据用户位置130的历史记录或者从摄像头影像中检测出的用户的正面的朝向检测移动方向D1即可。
(步骤S802)
机器人110检测在用户的移动方向D1侧是否有危险物。当没有在用户的移动方向D1侧检测到危险物的情况下(步骤S802:否),处理进入步骤S803,当在用户的移动方向D1侧检测到危险物的情况下(步骤S802:是),处理进入步骤S804。用户的移动方向D1侧是指,用户的前方。用户的前方包括用户的移动方向D1、和以移动方向D1为中心向左右各打开90度后的角度内所包含的方向。
例如,机器人110在检测出的危险物位置133位于表示用户的前方的预定区域内的情况下,判定为在用户的行进方向侧有危险物即可。
(步骤S803)
机器人110的运算部110b将所需警备度设定为0。
机器人110决定适合于照射脚下区域120的发射位置132。该情况下的发射位置132基本上是主场位置134。但是,在预先设定的主场位置134是难以照射脚下区域120的位置的情况下,发射位置132也可以是作为与主场位置134不同的陪同位置的准主场位置。
(步骤S804)
机器人110的运算部110b将所需警备度设定为1。
机器人110基于用户位置130、移动方向D1、机器人位置131、危险物位置133以及照明部110g的照射范围,决定适合于照射脚下区域120和危险区域122的发射位置132。例如,机器人110通过将用户位置130、移动方向D1、机器人位置131、危险物位置133以及照明部110g的照射范围输入到上述的计算模型中,决定发射区域123。而且,如果在所决定的发射区域123内没有主场位置134或者准主场位置,则机器人110在发射区域123内计算出离机器人位置131最近的位置作为发射位置132。在发射区域123内没有主场位置134和准主场位置这一情况对应于发射位置132与机器人110的当前的相对位置不同的一例。如果在发射区域123内有主场位置或者准主场位置,则主场位置或者准主场位置成为发射位置132。
(步骤S805)
机器人110控制可动部110e,移动到发射位置132。
(步骤S806)
机器人110控制可动部110e,在发射位置132陪伴用户同行。机器人110持续地计算用户位置130、机器人位置131、移动方向D1、危险物位置133。
(步骤S807)
机器人110在警备模式“散步”没有停止的情况下(步骤S807:否),使处理回到步骤S801,继续进行步骤S801之后的处理。机器人110在警备模式“散步”停止了的情况下(步骤S807:是),结束处理。警备模式“散步”例如在用户回到在家区域的情况下停止。
图29的流程图也可以具有仅在图23中说明的“脚下照明”的功能被设定为“ON”的情况下照射脚下区域120的处理。图29的流程图也可以具有仅在图23中说明的“危险物的注意唤起”的功能被设定为“ON”的情况下照射危险区域122的处理。
图30是表示警备模式“散步”的第2例的图。在警备模式“散步”的第2例中,机器人110在危险物位于用户的移动方向D1的情况下,将机器人位置131决定为位于用户的移动方向前方(从移动方向D1起左右90度内的方向)且与移动方向D1不同的方向的引导(先导)位置135,移动到引导位置135,在引导位置135陪伴用户同行。引导位置135可以被决定为打算变更相对于用户的相对位置的机器人110在预定的时刻应该到达的目标位置。
在图30的场景中,机器人110基于用户位置130和移动方向D1的感测结果,计算预先设定的主场位置134,一边控制可动部110e以使得位于主场位置134中一边陪伴用户同行。
机器人110对周边进行感测,将位于右斜前方的路面的凹凸检测为危险物。在该情况下,机器人110计算用于将用户引导至为了避开危险物而推荐的行进路线的引导位置135。例如,机器人110使用上述的路径搜索算法计算推荐的行进路线,决定沿着计算出的推荐的行进路线的引导区域124,在引导区域124内,将离机器人位置131最近的位置计算为引导位置135。
引导区域124是位于用户位置130前方预定距离处的、沿着推荐的行进路线的预定尺寸的区域。在此,引导区域124为四边形,但这仅为一例,也可以是圆形、椭圆形等其他形状。引导区域124进而也可以是机器人110的照明部110g能够照射危险物的区域。引导位置135是引导区域124内距离机器人位置131最近的位置,但这仅为一例,只要在引导区域124内,可以是任何位置。机器人110在从机器人位置131向引导位置135移动期间也继续向脚下区域120进行光的照射。
机器人110临时从主场位置134离开而在引导位置135陪伴用户同行,直到用户通过危险物为止。在本例中,由于危险物位于用户的右斜前方,因此推荐的行进路线朝向用户的左斜前方。
再者,在图30的例子中,机器人110为了将用户引导至推荐的行进路线,使脚下区域120倾斜以使得脚下区域120的长轴方向相对于移动方向D1稍稍朝左。
这样,机器人110移动到引导位置135,将用户向用户应该行进的行进路线进行引导,并且对表示该行进路线的脚下区域120进行照射。由此,用户能够避免由危险物导致的跌倒等危险。用户按照机器人110的引导,通过危险物后,机器人110回到原来的主场位置134上或者准主场位置,继续对脚下区域120进行照射。
图31是表示警备模式“散步”的第2例中的机器人110的处理的一例的流程图。
步骤S901、S902、S907与图29的步骤S801、S802、S807相同。
(步骤S903)
机器人110的运算部110b将所需警备度设定为0。
机器人110决定适合于没有危险物的情况的引导位置135。该引导位置135基本上是主场位置134。但是,在预先设定的主场位置134是难以照射脚下区域120的位置的情况下,成为准主场位置。
(步骤S904)
机器人110的运算部110b将所需警备度设定为1。
机器人110决定适合于有危险物的情况的引导位置135。例如,适合于有危险物的情况的引导位置135是在引导区域124内离机器人位置131最近的位置。
(步骤S905)
机器人110控制可动部110e,移动到引导位置135。
(步骤S906)
机器人110控制可动部110e,在引导位置135陪伴用户同行。
图31的流程图也可以具有仅在图23中说明的“脚下照明”的功能被设定为“ON”的情况下照射脚下区域120的处理。图31的流程图也可以具有仅在图23中说明的“危险物的注意唤起”的功能被设定为“ON”的情况下照射危险区域122的处理。
接着,对警备模式“散步”的第3例进行说明。图32、图33及图34是表示警备模式“散步”的第3例的图。此外,图34是图32及图33的另一例。警备模式“散步”的第3例为,在用户的周围存在移动体,且该移动体接近了与用户相距预定距离的范围内的情况下,决定守护位置143,机器人110在守护位置143陪伴用户同行。守护位置143是位于用户与移动体之间的机器人110的位置。移动体例如是向用户靠近的人物。守护位置143可以被决定为准备变更相对于用户的相对位置的机器人110在预定的时刻应该到达的目标位置。
在图32中,位于下侧的大的×记号表示人物位置140,人物位置140是从用户的后方向用户靠近的人物的位置。在该图中,用户位置130与人物位置140的距离146比用户设定的注意唤起半径142大,没有对人物进行注意唤起。
机器人110使用由传感器110c取得的摄像头影像、深度图像、红外图像以及麦克风声音等,感测用户的周围状况。机器人110检测到有人物正从用户的后方靠近。在该情况下,机器人110决定守护位置143(图33),控制可动部110e,开始向守护位置143移动。这是为了在用户与向用户靠近的人物之间的路面的位置上显示用于对该人物进行注意唤起的信息并且维持距离146。
在图33中,人物进一步从后方靠近用户,距离146变得小于注意唤起半径142,因此,机器人110正在对人物进行注意唤起。在该场景下,所需警备度为2。
到达守护位置143而加塞在用户位置130与人物位置140之间的机器人110使用照明部110g在用户与人物之间的路面上的位置显示用于进行注意唤起的信息。在此,显示以用户位置130为中心的圆弧144。由此,圆弧144被人物看到,能够对人物进行注意唤起以使其不要再向用户靠近。再者,机器人110在圆弧144附近显示对该人物的消息。在此,显示了记作“PASS ON THE RIGHT PLEASE”的促使人物从用户的右侧穿过的消息。同时,脚下区域120变更为,相对于移动方向D1,长轴朝向左斜的方向。由此,用户被引导为稍微靠向左侧。通过该引导,用户靠向左侧。其结果,人物容易超越用户。在此,变更了脚下区域120,但也可以显示出表示用户的行进路线的行进路线区域121(图26)。圆弧144以及消息的显示区域是用户与移动体之间的通知区域的一例。
即使该人物怀着某种恶意向用户靠近,也能够向人物告知智能的自主的机器人110在确保用户的安全,能够期待人物不会危害用户。在该人物进一步向用户靠近的情况下或者检测到用户感到恐惧或兴奋的情况下,机器人110也可以将作为注意唤起显示在路面的信息切换为另外的更强的表达或者警告。用户的恐惧或兴奋能够通过对由传感器110c取得的摄像头影像和麦克风声音应用感情推定处理来检测。除了路面的显示之外,机器人110也可以使用影像声音输出部110f输出给人物打招呼的声音或者大声地威吓人物的声音。再者,如果判定为危险状态(所需警备度=3),那么机器人110也可以向A公司服务器101发送通报。
在图32、图33中,在人物以外的移动体向用户靠近的情况下也能够同样适用。人物以外的移动体例如包括人驾驶的汽车、自行车和飞行体(无人机)以及通过计算机控制而自主移动的飞行体和车辆。
在图32中,也可以采用位于用户位置130的后方的注意唤起区域141以代替注意唤起半径142。例如,机器人110也可以在注意唤起区域141内检测出与用户沿相同的行进方向前进的人物的情况下,进行上述的注意唤起。由此,能够仅对若就这样前进则很可能会与用户接触的人物进行注意唤起。其结果,能抑制对会危害用户的可能性低的人物进行注意唤起。注意唤起区域141是从用户位置130向后方离开预定距离的预定尺寸的区域。
在图34中,机器人110基于用户位置130和移动方向D1的感测结果,计算主场位置134,并在主场位置134陪伴用户同行。机器人110对周边进行感测,在左斜后方检测到向用户靠近的人物。机器人110计算用于与人物取得距离的行进路线,并将脚下区域120的形状变形以使得将用户引导至该行进路线。在此,计算出将用户向右斜前方引导的行进路线,为了将用户引导至该行进路线,脚下区域120具有前端朝向右斜前方的形状。由此,能够使左斜后方的人物远离用户。
在该图中,机器人110位于处于用户位置130的正侧方的主场位置134,因此无法一边照射脚下区域120一边加塞在用户与机器人110之间。
于是,机器人110在判断为需要加塞到向用户靠近的人物与用户之间以进行注意唤起的情况下,控制可动部110e,向适合于加塞到人物与用户之间的守护区域145内且能够在用户的脚下照射脚下区域120的守护位置143移动。
机器人110在满足注意唤起条件的人物位于用户周围的情况下,判断为需要进行注意唤起即可。注意唤起的条件是:存在正在向注意唤起半径142规定的圆内靠近的人物、在注意唤起半径142规定的圆内有人物、有向注意唤起区域141靠近的人物、在注意唤起区域141内有人物、以及用户说出了请求警备这一意思的话或者做出了该意思的手势、等。
机器人110在位于预定距离内的人物的移动方向D2朝向注意唤起半径142规定的圆或者注意唤起区域141的情况下,判断为有正在向注意唤起半径142规定的圆或者注意唤起区域141靠近的人物即可。机器人110在人物位置140位于注意唤起半径142规定的圆内或者注意唤起区域141内的情况下,判断为在注意唤起半径142规定的圆内或者注意唤起区域141内有人物即可。
判断为人物满足注意唤起条件的机器人110决定守护位置143,并临时移动到守护位置143。机器人110在从主场位置134或者准主场位置向守护位置143移动期间也可以继续向脚下区域120进行光的照射。
变得不再需要进行注意唤起的机器人110从守护位置143离开并回到主场位置134,继续在主场位置134陪同。此外,机器人110也可以在检测到用户的不需要保护这一意思的声音或者手势的情况下回到主场位置134。
在图34的例子中,在位于用户位置130与人物位置140的中间的具有厚度的圆弧状的守护区域145内,将离机器人位置131最近的位置决定为守护位置143。
此外,机器人110也可以在判断为需要进行注意唤起的情况下,使向守护位置143移动优先于照射脚下区域120。在该情况下,脚下区域120会有部分欠缺,或变暗,但通过机器人110加塞到向用户靠近的人物与用户之间,能够使人物认识到用户正被机器人110保护着的状况,使用户的安全性更高。
再者,机器人110也可以针对靠近的人物,将表示要与用户有一定距离之意的警告147显示在路面上。该警告147例如是用于引导人物的行走路线的标记或者文字。标记例如是警备公司A公司的标记。在该情况下,机器人110也可以移动到用户位置130与人物位置140的中间区域内的位置上,从该位置显示用户的脚下区域120和警告147。警告147的显示区域是用户与移动体之间的通知区域的一例。
此外,机器人110也可以将警告147显示在机器人110所具有的影像声音输出部110f的显示器上。
图35是表示警备模式“散步”的第3例中的机器人110的处理的一例的流程图。
步骤S1001、S1007与图29的步骤S801、S807相同。
(步骤S1002)
机器人110判定是否有满足注意唤起条件的人物。在有满足注意唤起条件的人物的情况下(步骤S1002:是),处理进入步骤S1004,在没有满足注意唤起条件的人物的情况下(步骤S1002:否),处理进入步骤S1003。
(步骤S1003)
机器人110的运算部110b将所需警备度设定为1以下。
机器人110决定适合于照亮脚下区域120的守护位置143。该情况下的守护位置143基本上是主场位置134。但是,在主场位置134是难以照射脚下区域120的位置的情况下,守护位置143成为准主场位置。
(步骤S1004)
机器人110的运算部110b将所需警备度设定为2。
机器人110在用户位置130与人物位置140之间决定守护位置143。首先,机器人110在用户位置130与人物位置140之间设定守护区域145。守护区域145可以是位于用户位置130与人物位置140之间的区域,还是照明部110g能够对脚下区域120和/或通知区域的双方照射光的区域。例如,守护区域145基于用户位置130、移动方向D1、人物位置140以及照明部110g的照射范围来算出。守护区域145也可以使用以用户位置130、移动方向D1、人物位置140以及照明部110g的照射范围为输入且以守护区域145为输出的计算模型来决定。
或者,守护区域145也可以是以用户位置130与人物位置140的中点为中心、且具有与用户位置130和人物位置140的距离以下的半径的具有预定尺寸的厚度的圆弧状的区域。而且,如果在所决定的守护区域145内没有主场位置134或者准主场位置,则机器人110在守护区域145内计算出离机器人位置131最近的位置作为守护位置143。守护位置143不限定于此,只要是守护区域145内的位置,可以是任何位置。
在守护区域145内没有主场位置134和准主场位置这一情况对应于发射位置(守护位置143)与机器人110的当前的相对位置不同的一例。如果在守护区域145内有主场位置134或者准主场位置,则主场位置134或者准主场位置成为守护位置143。
(步骤S1005)
机器人110控制可动部110e,移动到守护位置143。
(步骤S1006)
机器人110在守护位置143陪伴用户同行。同时,机器人110使用影像声音输出部110f或者照明部110g对接近用户的人物进行注意唤起或者通知警告。
图35的流程图也可以具有仅在图23中说明的“脚下照明”的功能被设定为“ON”的情况下照射脚下区域120的处理。图35的流程图也可以具有仅在图23中说明的“周围的注意唤起”的功能被设定为“ON”的情况下照射危险区域122的处理。
图36是示出机器人110回避接近用户的人物的技术方案的图。
在图36中,机器人110的运算部110b基于用户位置130和移动方向D1的感测结果计算主场位置134,控制可动部110e以在主场位置134陪伴用户同行。机器人110对周边进行感测,在左斜后方检测到接近用户的人物。
机器人110根据感测结果随时更新向用户靠近的人物的预测轨迹150,判断该人物是否会在预定时间内与用户擦肩而过。机器人110在判断为该擦肩而过会在预定时间内的情况下,在用户的移动方向D1的前方的回避区域152内决定回避位置154,或者在后方的回避区域151内决定回避位置154。回避位置154可以被决定为准备变更相对于用户的相对位置的机器人110在预定的时刻应该到达的目标位置。而且,机器人110离开主场位置134并移动到回避位置154。由此,机器人110能够向不会妨碍接近用户的人物的通行的位置移动。
回避区域151、152例如是与根据人物位置140和人物的移动方向D2预测的人物的预测轨迹150相距预定距离以上的区域。特别是,在人行道宽度窄的情况下,回避区域151位于用户的正后方,回避区域152位于用户的正前面。
这种机器人110的举动在不妨碍相对于用户的移动方向D1而从前方或后方靠近的人物和用户双方的行进路线,使双方擦肩而过的情况下是有效的。在人物与用户擦肩而过的定时,用户和机器人110沿着移动方向D1排成一列,由此不占用人行道的横向宽度,使对擦肩而过的人物的行进路线产生的影响最小化。该举动不仅对于窄的人行道,在很多人位于用户周边的地方机器人110陪伴用户同行时也是有效的。
机器人110在有从前方和后方中的任一方向用户靠近的人物的情况下,向回避区域151或者回避区域152移动即可。例如,机器人110在有从后方接近用户的人物的情况下,也可以移动到回避区域151内的回避位置154。由此,能够使该人物认识到用户正由机器人110陪同着。再者,在该情况下,也能够期待使该人物打消对用户施加伤害的行为。
在机器人110不采取回避行动的情况下,与用户擦肩而过的人物为了避开机器人110而不得不变更行走路线。该变更会给该人物带来不便,导致对该人物在心理上以及身体上产生坏的影响。因此,通过使机器人110采取上述的回避行动,能够使这种坏的影响最小化。
机器人110也可以考虑如照射脚下区域120能否避免用户跌倒的风险、位于接近者与用户之间能否提高用户的安全性这样的一个以上的主要原因,判定使回避位置154位于回避区域151内的位置还是位于回避区域152内的位置。
图37是表示机器人110回避接近用户的人物时的机器人110的处理的一例的流程图。在图37中,步骤S1101、S1106的处理与图29的步骤S801、S807相同。
(步骤S1102)
机器人110判定人物与机器人110是否会在预定时间内擦肩而过、并且人物与机器人110的距离是否在预定距离以内。例如,机器人110根据从感测结果计算出的人物的预测行进路线的轨迹来计算人物与机器人110擦肩而过的位置。擦肩而过的位置是该轨迹上的与用户位置130最接近的位置。机器人110通过将该轨迹上的从人物位置140到擦肩而过的位置的距离除以从感测结果计算出的人物的速度,计算擦肩而过的时间。而且,机器人110在擦肩而过的时间在预定时间以内的情况下,判定为人物与机器人110会在预定时间内擦肩而过即可。再者,机器人110在人物位置140与机器人位置131的距离在预定距离以内的情况下,判定为人物与机器人110的距离在预定距离以内即可。
在该判定为肯定的情况下(步骤S1102:是),处理进入步骤S1104,在该判定为否定的情况下(步骤S1102:否),处理进入步骤S1103。此外,机器人110也可以不考虑擦肩而过的时间,而仅考虑人物与用户的距离来执行步骤S1102的处理。
(步骤S1103)
机器人110的运算部110b将所需警备度设定为1以上。
机器人110决定陪同位置。该陪同位置基本上是主场位置134。但是,在主场位置134是难以照射脚下区域120的位置的情况下,准主场位置被决定为陪同位置。
(步骤S1104)
机器人110的运算部110b将所需警备度设定为2以上。
机器人110决定回避位置154。例如机器人110在人物从后面接近用户的情况下,也可以在用户的移动方向D1的正后面设定回避区域151,在该回避区域151内设定回避位置154。回避区域151是从用户位置130向与用户的移动方向D1相反的方向离开预定距离的预定尺寸的区域。回避区域152是从用户位置130向用户的行进方向离开预定距离的预定尺寸的区域。回避位置154是在回避区域151或者回避区域152内离陪同位置最近的位置。但是,这仅为一例,回避位置154只要是回避区域151或者回避区域152内的位置,也可以是任何位置。
(步骤S1105)
机器人110控制可动部110e,移动到陪同位置或者回避位置154。通过这样,机器人110能够在用户与他人擦肩而过的情况下,适当变更陪同的位置以免成为他人的行进障碍。
接着,对陪同的机器人110的基本功能进行说明。在基本功能中,机器人110经由网络从智能手机100(用户的通信终端的一例)取得设定信息。设定信息是通过操作设定画面2200或者设定画面2300中所示的图形用户界面而由用户输入的信息。机器人110基于设定信息,设定机器人110的主场位置134,经由传感器110c检测用户位置130和移动方向D1,并在主场位置134陪伴用户同行。主场位置134是机器人默认应该位于的基准相对位置。
图38是表示陪同的机器人110的基本功能的一例的图。在本例中,机器人110位于用户位置130的左侧方的机器人位置131。机器人110使用照明部110g将散步信息160显示在用户位置130的前方的路面上。散步信息160也可以包含目标线和与目标线关联的消息。它们例如表示开始散步后、或者今日的用户的步数。在此,作为与目标线关联的消息,显示了表示开始散步后达到2000步的“2000steps”。由此,用户能够直观地理解只要走到目标线处就能够完成2000步。在该场景中,机器人110的运算部110b将所需警备度设定为0。
通过向用户通知如目标步数或者达成步数这样定量地表示运动的里程碑的散步信息160,对用户增加了散步(运动)的动机。散步信息160不限定于此,也可以显示散步的目标步数、散步的目标消耗卡路里、散步的目标散步时间、开始散步后的步数、今日的步数、到今日的目标步数为止的剩余步数、心率、消耗卡路里、散步的经过时间和/或剩余的预测散步时间。
机器人110也可以使用影像声音输出部110f输出表示目标步数、相对于目标步数的剩余步数、消耗卡路里以及经过时间的影像信息和/或声音信息。再者,机器人110也可以使用影像声音输出部110f输出表示“加油”等对用户的助威消息的声音。
(变形例)
(1)机器人110也可以具有车轮以代替腿17。在该情况下,机器人110驱动车轮以陪伴机器人同行即可。再者,机器人110也可以具有腿17和车轮。
(2)由机器人110陪同的用户的行动不限定于散步,既可以是慢跑等使用用户的脚的移动,也可以是使用轮椅或皮艇(canoe)的移动等使用手的移动,但不包括用户的运动量过低的利用汽车或者火车的移动。
(3)在图36中例示了人物作为与用户接近的移动体的一例,但该移动体不限于人物,也可以是汽车、自行车以及无人机等飞行体。
(4)在图6及之后的说明中,设为警备模式基于用户和机器人110的位置而具有两个模式(在家和散步)来进行了说明,但不限于此,也可以有3个以上的模式(例如,在家、散步、普通外出)。或者,在上述说明中,也可以设为适用于在家时的警备模式“在家”是不进行警备的模式。
产业上的可利用性
本公开能够实现将网控空间与物理空间融合,因此作为多种多样的产业的利用的基础技术是有用的。
标号说明
100智能手机;101A公司服务器;110机器人;111B公司服务器;120脚下区域;122危险区域;130用户位置;131机器人位置;132发射位置;134主场位置;135引导位置;140人物位置;143守护位置;154回避位置。
- 机器人控制系统、机器人控制方法及机器人控制系统用的用户设备
- 机器人避障的控制电路、机器人及机器人避障方法
- 一种机器人控制系统、机器人异常信号检测方法及机器人
- 一种机器人控制系统、机器人运动状态监控方法及机器人
- 机器人、机器人服务管理系统以及机器人的移动控制方法
- 机器人控制模型学习方法、机器人控制模型学习装置、机器人控制模型学习程序、机器人控制方法、机器人控制装置、机器人控制程序以及机器人
- 焊接系统、焊接机器人控制程序创建设备、焊接机器人控制程序创建方法、以及焊接机器人控制程序创建程序