掌桥专利:专业的专利平台
掌桥专利
首页

人工智能移动机器人

文献发布时间:2023-06-19 10:58:46


人工智能移动机器人

技术领域

以下描述涉及移动机器人及其控制方法,并且更具体地,涉及一种能够基于经训练的人工智能来提供信息和服务的移动机器人及其控制方法。

背景技术

机器人已经被开发用于工业用途,并且已经成为工厂自动化的一部分。近来,机器人的应用领域已经扩大,以使得已经开发了医疗机器人、航空航天机器人等,并且还制造了可以在普通房屋中使用的家用机器人。在这些机器人中,能够自行移动的机器人称为移动机器人。

在家中使用的移动机器人的典型示例是机器人清洁器,并且机器人清洁器是通过自身在预定区域行进的同时抽吸周围的灰尘或污垢来清洁预定区域的装置。

由于移动机器人可以自行移动,因此它可以自由移动,并且配备有多个传感器以在行进时避开障碍物等,从而使得移动机器人可以在行进的同时避开障碍物。

为了提高用户便利性,语音识别技术已经应用于各种装置,并且通过使用语音识别技术来控制移动机器人的方法的研究也在不断增加。

例如,现有技术1(2012年10月17日公开的韩国专利申请公开第10-2012-0114670号)公开了一种机器人清洁器,该机器人清洁器配备有语音识别单元以识别用户的语音信号并响应于该语音信号执行操作。

在现有技术1中,语音输入是从用户到机器人清洁器单向执行的,使得语音输入仅用作通过按下按钮或使用遥控器进行的控制操作中的附加手段。因此,存在这样的问题:语音识别功能对用户仅意味着控制功能,并且可能无法提供除用作附加控制输入手段之外的其它功能和服务。

发明内容

技术问题

本公开的一个目的是提供一种诸如移动机器人等的电子装置及其控制方法,其中,除了公开了仅将语音识别用作控制输入手段的现有技术1的限制之外,本公开还可以通过语音提供与用户的交互。

本公开的另一目的是提供一种诸如移动机器人等的电子装置,其可以提供根据使用时间、频率、模式等而变化的语音输出,以便于在用户中产生期望并为用户提供有趣的因素,并提高产品的可靠性和偏好性。

本公开的又一目的是提供一种可以主动向用户提供各种信息和服务的诸如移动机器人等的电子装置。

技术方案

为了实现上述和其它目的,提供了根据本公开的一方面的诸如移动机器人等的电子装置,其中,诸如移动机器人等的电子装置可以说出语音以向用户提供预定信息并通知用户服务,从而通过语音与用户进行交互。

为了实现上述和其他目的,提供了根据本公开的另一方面的诸如移动机器人等的电子装置,其中提供了随着根据使用时间、频率、模式等的变化移动机器人的话音、音调等随着年龄的增长而变老的话音反馈,从而在用户中产生期望并为用户提供有趣的因素,并提高产品的可靠性和偏好。

根据本公开的一个方面,上述和其它目的可以通过提供一种移动机器人来实现,该移动机器人包括:输入单元,输入单元被配置为接收用户的语音输入;音频输出单元,音频输出单元被配置为输出与语音输入相对应的反馈话音消息;储存器,储存器被配置为存储移动机器人的使用历史;以及控制器,控制器被配置为根据所存储的使用历史来控制反馈话音消息以不同的话音输出,从而根据使用历史提供不同的话音反馈。

这里,控制器可以根据移动机器人的使用时间或执行移动机器人的操作的成功率或成功次数来选择话音,以使得用户可以直观地验证移动机器人已经使用了多长时间、或者使用预定操作的频率、或者预定操作是否成功等等。

另外,控制器可以在多个预设任务级别当中选择与移动机器人的使用历史所达到的任务级别相对应设置的话音,作为用于输出反馈话音消息的话音。在这种情况下,预设的多个任务级别的条件可以包括针对各个级别执行预定操作的次数。

此外,随着移动机器人的使用历史所达到的任务级别变得更高,控制器可以选择年龄较大的话音作为用于输出反馈话音消息的话音。因此,可以提供根据所达到的任务级别而变老的话音反馈。

此外,根据移动机器人的使用历史,控制器可以针对相同的语音输入提供不同的反馈话音消息内容,从而根据使用历史提供不同的指导消息。

此外,控制器可以根据移动机器人执行特定操作的次数来选择话音,从而提供根据特定操作的使用历史而变化的话音反馈。

例如,响应于移动机器人执行第一操作的次数大于或等于参考值,控制器可以选择第一话音,并且响应于移动机器人执行第二操作的次数大于或等于参考值,控制器可以选择第二话音。

此外,控制器可以基于针对语音输入的语音识别结果来选择话音,并且可以根据语音识别结果中包括的操作的使用历史来选择话音。

移动机器人可以自身或通过服务器来执行语音识别过程。

根据本公开的另一方面,通过提供一种移动机器人可以实现上述和其它目的,该移动机器人包括:输入单元,输入单元被配置为接收用户的语音输入;音频输出单元,音频输出单元被配置为输出与语音输入相对应的反馈话音消息;以及控制器,控制器被配置为根据针对语音输入的语音识别结果来控制反馈话音消息以不同的话音输出,从而根据用户的语音输入提供不同的话音反馈。

即使在这种情况下,诸如移动机器人等的电子装置还可以包括其中存储了其使用历史的储存器,以及可以根据语音识别结果中包括的操作的使用历史来选择话音,并且可以根据使用历史针对相同语音输入提供不同的反馈话音消息内容。

另外,随着执行语音识别结果中包括的操作的次数增加,控制器可以选择年龄较大的话音作为用于输出反馈话音消息的话音,从而提供随着年龄的增长而逐渐增长的话音反馈。

根据本公开的又一方面,上述和其它目的可以通过提供一种移动机器人来实现,该移动机器人包括:输入单元,输入单元被配置为接收用户的语音输入;音频输出单元,音频输出单元被配置为输出与语音输入相对应的反馈话音消息;储存器,储存器被配置为存储移动机器人的使用历史;以及控制器,控制器被配置为根据所存储的使用历史来控制反馈话音消息以不同的话音输出,从而根据人工智能的学习级别提供不同的话音反馈。

在这种情况下,随着所存储的使用历史的学习级别变得更高,控制器可以选择年龄较大的话音作为用于输出反馈话音消息的话音,从而提供根据学习级别逐渐变老的话音反馈。

有益效果

根据本公开的实施方式中的至少一个,诸如移动机器人等的电子装置可以向用户说出语音,从而提供通过语音与用户进行的交互。

另外,根据本公开的实施方式中的至少一个,通过在语音识别、障碍物识别、产品数据分析等方面使用人工智能和机器学习,可以提供不断发展的用户体验(UX)。

此外,根据本公开的实施方式中的至少一个,可以提供根据使用时间、频率、模式等诸如移动机器人等的电子装置的话音、音调等随着年龄而变老的话音反馈。

此外,根据本公开的实施方式中的至少一个,由诸如移动机器人等的电子装置自主执行的语音识别由服务器执行或分阶段执行,从而提供有效的语音识别。

此外,根据本公开的实施方式中的至少一个,在接收请求之前,诸如移动机器人等的电子装置可以主动提供信息并推荐服务、功能等,从而提高可靠性、偏好性和产品可用性。

此外,其它效果可以在本公开的实施方式的描述中被显式或隐式地公开。

附图说明

图1是根据本公开的实施方式的家用电器网络系统的配置图。

图2是根据本公开的实施方式的移动机器人的立体图。

图3是图2的移动机器人的平面图。

图4是图2的移动机器人的侧视图。

图5是示出根据本公开的实施方式的移动机器人的主要组件之间的连接关系的框图。

图6是根据本公开的实施方式的在使用产品数据进行学习的描述中参考的图。

图7是根据本公开的实施方式的服务器的内部框图。

图8是示出根据本公开的实施方式的控制移动机器人的方法的流程图。

图9至图11是在根据本公开的实施方式的控制移动机器人的方法的描述中参考的图。

具体实施方式

现在将详细参考本发明的示例实施方式,其示例在附图中示出。然而,将理解的是,本公开不应当限于实施方式,并且可以以各种方式进行修改。

为了清楚和简要地描述本公开,在附图中将省略与描述无关的组件,并且在整个附图中使用相同的附图标记来表示相同或极其相似的元件。

在下面的描述中使用的元件的术语“模块”和“单元”仅出于描述的容易性而给出,并且不具有任何重要的意义或作用。因此,“模块”和“单元”可以互换使用。

根据本公开的实施方式的电子装置可以包括能够执行诸如语音识别、语音发声等的话音交互的各种装置。例如,根据本公开的实施方式的电子装置可以是空调(见图1的11)、移动机器人(见图1的22、图2的100等)、冰箱(见图1的31)、洗衣机(见图1的32)等。

另外,根据本公开的实施方式的移动机器人100是指能够利用轮子等自身移动的机器人,并且其示例可以包括家庭佣工机器人、机器人清洁器等。

将通过以移动机器人当中的机器人清洁器为例来参照附图进行以下描述,但是本公开不限于此。

图1是根据本公开的实施方式的家用电器网络系统的配置图。

参照图1,家用电器网络系统可以包括具有通信模块以与其它装置或服务器70进行通信或者连接到网络的的家用电器。

例如,家用电器可以包括具有通信模块的供暖、通风和空调(HVAC)装置10、清洁器20、冰箱31、洗衣机32等。

此外,HVAC装置10可以包括空调11、空气净化器12和13、加湿器14和罩(hood)15中的至少一个。

另外,清洁器20可以是真空清洁器21、机器人清洁器22等。

此外,包括在家用电器10、20、31和32中的通信模块可以是Wi-Fi通信模块,并且本公开不限于任何特定的通信方法。

另选地,家用电器10、20、31和32可以包括不同类型的通信模块或可以包括多个通信模块。例如,家用电器10、20、31和32可以包括NFC模块、Zigbee通信模块、Bluetooth

家用电器10、20、31和32可以经由Wi-Fi通信模块等连接到预定服务器70,并且可以支持诸如远程监视、远程控制等的智能功能。

根据本公开的实施方式的家用电器网络系统可以包括诸如智能电话、平板电脑等的移动终端50。

通过使用移动终端50,用户可以检查关于家用电器网络系统中的家用电器10、20、31和32的信息,或者可以控制家用电器10、20、31和32。

此外,根据本公开的实施方式的家用电器网络系统可以包括多个物联网(IoT)装置(未示出)。因此,家用电器网络系统可以包括家用电器10、20、31和32、移动终端50、IoT装置等。

根据本公开的实施方式的家用电器网络系统不限于建立网络的任何特定通信方法。

例如,家用电器10、20、31和32、移动终端50和IoT装置可以经由有线/无线路由器60可通信地连接。

此外,家用电器网络系统中的装置可以建立网状拓扑,在该网状拓扑中,各个装置单独可通信地连接。

家用电器网络系统中的家用电器10、20、31和32可以经由有线/无线路由器60与服务器70或移动终端50进行通信。另外,家用电器网络系统中的家用电器10、20、31和32可以经由以太网与服务器70或移动终端50通信。

图2是根据本公开的实施方式的移动机器人的立体图,图3是图2的移动机器人的平面图,并且图4是图2的移动机器人的侧视图。

参照图2至图4,移动机器人100可以在预定区域中自主行进。移动机器人100可以执行清洁地板的功能。这里,地板的清洁包括从地板上抽吸灰尘(包括异物)或擦拭地板。

移动机器人100包括主体110。主体110可以包括形成其外部的机壳。移动机器人100可以包括针对主体110设置的抽吸单元130和集尘容器140。移动机器人100包括检测关于移动机器人的周围环境的信息的图像获取器120。移动机器人100包括允许主体行进的行进单元160。移动机器人100可以包括控制器181以控制移动机器人100。控制器181被设置在主体110中。

行进单元160包括轮单元111以允许移动机器人100行进。轮单元111被设置在主体110中。通过轮单元111,移动机器人110可以在所有方向上移动或者可以旋转。当控制器控制轮单元111的驱动时,移动机器人100可以自主地在地板上行驶。轮单元111包括主轮111a和副轮111b。

主轮111a被设置在主体110的两侧,以根据控制器的控制信号沿着一个方向或另一方向旋转。各个主轮111a可以被配置为彼此独立地被驱动。例如,主轮111a可以由不同的电动机驱动。

副轮111b与主轮111a一起支撑主体110,并且被配置为辅助移动机器人100的行进。副轮111b也可以被设置在之后将描述的抽吸单元130中。

抽吸单元130可以从主体110的前侧(F)突出。抽吸单元130被配置为抽吸包含灰尘的空气。

抽吸单元130可以被形成为从主体110的前侧朝向其左右两侧突出。抽吸单元130的前端部被设置在与主体110的一侧向前间隔开的位置处。抽吸单元130的左端部和右端部可以分别被设置在与主体110向左和向右间隔开的位置处。

当主体110形成为圆形,并且抽吸单元130的后端部的两侧分别从主体110向左和向右突出时,可以在主体110和抽吸单元120之间形成空的空间(即,间隙)。空的空间是主体110的左右两端部与吸引单元120的左右两端部之间的空间,并且可以从移动机器人110向内凹入。

抽吸单元130可以可拆卸地联接到主体110。当抽吸单元130与主体110分离时,擦拭模块(未示出)可以代替经分离的抽吸单元130可拆卸地联接到主体110。

图像获取器120可以被设置在主体110中。图像获取器120可以被设置在主体110的前侧F上。图像获取器120可以被设置为与抽吸单元130交叠。图像获取器120可以被设置在抽吸单元130上方。

图像获取器120可以检测移动机器人100周围的障碍物。图像获取器120可以检测前方障碍物、地理特征等,以使得设置在移动机器人100的最前位置处的抽吸单元130可不与障碍物碰撞。除了检测功能之外,图像获取器120还可以执行其它感测功能,这将在后面描述。

集尘容器容纳部件(未示出)可以被设置在主体110中。将灰尘与吸入的空气分离并收集分离出的灰尘的集尘容器140可拆卸地联接到集尘容器容纳部件。集尘容器容纳部件可以形成在主体110的后侧R上。集尘容器140的一部分被容纳在集尘容器容纳部件中,并且集尘容器140的另一部分朝向主体110的后侧R突出。

集尘容器140可以具有:入口(未示出),包含灰尘的空气通过该入口被引入;以及出口(未示出),从灰尘中分离出的空气通过该出口被排出。当集尘容器140被安装在集尘容器容纳部件中时,集尘容器140的入口和出口可以与形成在集尘容器容纳部件的内壁上的第一开口(未示出)和第二开口(未示出)连通。

提供了用于将空气抽吸单元130的吸气口引导至第一开口的进气通道(未示出)。可以提供用于将空气从第二开口引导至朝向外部开口的排气口(未示出)的排气通道(未示出)。

由抽吸单元130吸入的包含灰尘的空气穿过主体110中的进气通道以被引入到集尘容器140中,并且空气和灰尘可以通过穿过设置在集尘容器140中的过滤器或旋风分离器(cyclone)而彼此分离。灰尘被收集在集尘容器140中。从集尘容器140中排出后,空气通过主体110中的排气通道,最终通过排气口被排出到外部。

图5是示出根据本公开的实施方式的移动机器人的主要组件之间的连接关系的框图。

参照图2至图5,移动机器人100包括主体110和获取主体110的周围图像的图像获取器120。

移动机器人100包括用于允许主体110移动的行进单元160。行进单元160包括用于允许主体110移动的至少一个轮单元111。行进单元160包括联接到轮单元111以使轮单元111旋转的驱动马达(未示出)。

图像获取器120被配置为拍摄行进区域并且可以包括相机模块。相机模块可以包括数字相机。数字相机可以包括至少一个光学透镜、具有通过穿过光学透镜的光在其上形成图像的多个光电二极管(例如,像素)的图像传感器(例如,CMOS图像传感器),以及基于从光电二极管输出的信号构造图像的数字信号处理器(DSP)。DSP不仅可以产生静止图像,而且可以产生由静止图像帧组成的视频。

为了提高拍摄效率,可以在每个部分处安装多个相机。由相机拍摄的图像可以用于识别对应空间中存在的诸如灰尘、人发、地板等材料的类型,以检查是否执行清洁或确认清洁时间。

相机可以拍摄在移动机器人100的行进方向上位于前方的障碍物。

根据本发明的实施方式,图像获取器120可以通过连续拍摄主体110的周围环境来获取多个图像,并且可以将所获取的多个图像存储在储存器105中。

移动机器人100可以通过使用多个图像来提高空间识别、位置识别和障碍物识别的准确度,或者可以通过从多个图像中选择一个或更多个图像以有效使用数据来提高空间识别、位置识别和障碍物识别的准确度。

另外,移动机器人100可以包括传感器单元170,该传感器单元170包括用于感测与移动机器人的操作和状态有关的各种数据的传感器。

例如,传感器单元170可以包括用于感测前方障碍物的障碍物检测传感器。另外,传感器单元170还可以包括用于感测行进区域中的地板上的悬崖的存在的悬崖检测传感器以及用于获取地板的图像的下部相机传感器。

障碍物检测传感器可以包括红外传感器、超声波传感器、RF传感器、磁传感器、位置敏感装置(PSD)传感器等。

此外,障碍物检测传感器中包括的传感器的位置和类型可以根据移动机器人的模型而变化,并且障碍物检测传感器可以进一步包括各种传感器。

此外,传感器单元170还可以包括运动检测传感器,该运动检测传感器用于在驱动主体110时感测移动机器人100的运动,并用于输出运动信息。例如,陀螺仪传感器、轮传感器、加速度传感器等可以用作运动检测传感器。

当移动机器人100根据操作模式移动时,陀螺仪传感器感测旋转方向并检测旋转角度。陀螺仪传感器检测移动机器人100的角速度,并且输出与角速度成比例的电压值。通过使用陀螺仪传感器输出的电压值,控制器150计算旋转方向和旋转角度。

联接至轮单元111的轮传感器感测轮的每分钟转数(RPM)。这里,轮传感器可以是旋转编码器。

加速度传感器可以感测移动机器人100的速度改变,例如,当移动机器人100启动、停止、改变方向、与物体碰撞等时引起的改变。

另外,嵌入在控制器150中的加速度传感器可以感测移动机器人100的速度改变。

控制器150可以基于运动传感器输出的运动信息来计算移动机器人100的位置改变。这种位置可以是与基于图像信息的绝对位置相对应的相对位置。通过识别这种相对位置,移动机器人可以使用图像信息和障碍物信息来增强位置识别性能。

此外,移动机器人100可以包括具有可充电电池的电源(未示出),以向移动机器人100供电。

电源可以向移动机器人100的每个组件提供驱动电力和操作电力;并且当剩余电量不足时,可以通过从充电站(未显示)接收电力来充电。

移动机器人100还可以包括电池感测单元(未示出),以感测电池的充电状态并将感测结果发送到控制器150。电池连接到电池感测单元,以使得剩余电池容量和电池的充电状态可以被发送到控制器150。剩余电池容量可以被设置在输出单元180的显示器182上。

另外,移动机器人100可以包括输入单元125,以输入开/关命令或各种其它命令。输入单元125可以包括按钮、拨盘(dial)、触摸屏等。输入单元125可以包括麦克风,以接收用户的话音命令的输入。可以通过输入单元125接收移动机器人100的整体操作所需的各种控制命令。

此外,移动机器人100包括输出单元180以将预约信息、电池状态、操作模式、操作状态、错误状态等显示为图像或声音。

输出单元180可以包括输出音频信号的音频输出单元181。音频输出单元181可以在控制器150的控制下将诸如操作模式、操作状态、错误状态等的警告声音和通知消息输出为声音。音频输出单元181可以将从控制器150发送的电信号转换为音频信号,并且可以输出音频信号。为此,音频输出单元181可以包括扬声器等。

另外,输出单元180还可以包括显示器182,该显示器182将预约信息、电池状态、操作模式、操作状态、错误状态等显示为图像。

参照图5,移动机器人100包括用于处理和确定包括识别当前位置等的各种信息的控制器150。另外,移动机器人100还可以包括用于向外部终端发送数据和从外部终端接收数据的通信器190。

外部终端可以设置有用于控制移动机器人100的应用,可以通过执行应用显示要清洁的行进区域的地图,并且可以在地图上指定要清洁的特定区域。外部终端的示例可以包括其中安装有用于配置地图的应用的遥控器、PDA、膝上型计算机、智能电话、平板电脑等。

通过与移动机器人100进行通信,外部终端可以将移动机器人100的当前位置与地图一起显示,并且可以在多个区域上显示信息。另外,外部终端在移动机器人行进期间更新移动机器人的位置,并显示更新后的位置。

控制器150可以控制图像获取器120、输入单元125、行进单元160、抽吸单元130等,并且可以控制移动机器人100的整体操作。

控制器150可以处理通过输入单元125的麦克风接收的用户的语音输入信号,并且可以执行语音识别处理。根据实施方式,移动机器人100可以包括执行语音识别并且被设置在控制器150的内部或外部的语音识别模块。

根据实施方式,可以由移动机器人100自主执行简单的语音识别,并且可以由服务器70执行诸如自然语言处理等的高维语音识别。

储存器105记录控制移动机器人100所需的各种信息,并且可以包括易失性或非易失性记录介质。记录介质存储能够由微处理器读取的数据,并且可以包括硬盘驱动器(HDD)、固态磁盘(SSD)、硅磁盘驱动器(SDD)、ROM、RAM、CD-ROM、磁带、软盘、光学数据储存装置等。

另外,储存器105可以存储行进区域的地图。地图可以是由可以通过有线或无线通信与移动机器人100交换信息的外部终端、服务器等输入的地图,或者可以是由移动机器人100通过自身学习区域而生成的地图。

可以在地图上指示行进区域内房间的位置。此外,可以在地图上指示移动机器人100的当前位置,并且可以在行进期间更新移动机器人100的当前位置。外部终端存储与存储在储存器105中的地图相同的地图。

储存器105可以存储清洁历史信息。清洁历史信息可以在每次执行清洁时生成。

存储在储存器105中的行进区域的地图可以是用于在清洁期间行进的导航地图、用于位置识别的同时定位和映射(SLAM)地图、通过与障碍物等碰撞时存储关于障碍物等的信息而生成的并且用于基于学习进行清洁的学习地图、用于整体位置识别的整体位置图、记录关于识别出的障碍物的信息的障碍物识别图等。

如上所述,可以根据用途对地图进行分类,并且可以在储存器105中对地图进行存储和管理,但是可能无法清楚地对地图进行分类。例如,可以将多个信息项存储在一张地图中以用于至少两种用途。

控制器150可以包括行进控制模块151、地图生成模块152、位置识别模块153和障碍物识别模块154。

参照图1至图5,行进控制模块151控制移动机器人100的行进,并且根据行进设置控制行进单元160的驱动。另外,行驶控制模块151可以基于行进单元160的操作来识别移动机器人100的行进路径。例如,行进控制模块151可以基于轮单元111的RPM来标识移动机器人100的当前或先前的行进速度、行进里程等;并且基于所标识的移动机器人100的行进信息,可以在地图上更新移动机器人100的位置。

地图生成模块152可以生成行进区域的地图。地图生成模块152可以通过处理由图像获取器120获取的图像来生成地图。也就是说,地图生成模块152可以生成与要清洁的区域相对应的清洁地图。

此外,地图生成模块152可以通过在每个位置处处理由图像获取器120获取的图像并将经处理的图像与地图进行匹配来识别整个位置。

位置识别模块153可以通过估计来识别当前位置。位置识别模块153可以结合地图生成模块152使用图像获取器120的图像信息来识别位置,以使得即使当移动机器人100的位置突然改变时,位置识别模块153也可以估计当前位置并识别该位置。

另外,位置识别模块153可以识别当前位置的区域的属性。也就是说,位置识别模块153可以识别空间。

在连续行进的同时,移动机器人100可以通过位置识别模块153识别位置,并且可以在没有位置识别模块153的情况下通过地图生成模块152和障碍物识别模块154学习地图并估计当前位置等。

在移动机器人100的行进期间,图像获取器120获取移动机器人100的周围图像。在下文中,由图像获取器120获取的图像可以被称为“获取图像”。

获取图像可以包括诸如放置在天花板上的灯、边缘、拐角、斑点、山脊等的各种特征。

地图生成模块152可以从各个获取图像中检测特征,并且可以基于各个特征点来计算描述符。

基于从每个位置的获取图像获得的描述符信息,地图生成模块152可以根据预定的子分类规则将每个获取图像的至少一个描述符分类为多个组,并且可以根据预定的代表性子规则将包括在相同组中的描述符转换为每个代表性子描述符。

在另一示例中,地图生成模块152可以根据预定的子分类规则将从诸如房间的预定区域的获取图像获得的所有描述符分类为多个组,并且可以根据预定的代表性子规则将包括在相同组中的描述符转换为每个代表性子描述符。

以这种方式,地图生成模块152可以获得每个位置的特征分布。每个位置的特征分布可以表示为直方图或n维向量。在另一示例中,地图生成模块152可以基于从每个特征点生成的描述符来估计未知当前位置,而无需使用预定子分类规则和预定代表性子规则。

此外,当移动机器人100的当前位置由于位置跳跃等而变得未知时,可以基于诸如预存储的描述符或代表性子描述符的数据来估计当前位置。

移动机器人100在未知当前位置处从图像获取器120接收所获取的图像。可以在图像中找到诸如放置在天花板上的灯、边缘、拐角、斑点、山脊等的各种特征。

位置识别模块153可以从所获取的图像中检测特征并且可以计算描述符。

基于关于从未知当前位置的获取图像获得的至少一个描述符的信息,位置识别模块153根据预定的子转换规则转换与用作比较目标的位置信息(例如,每个位置的特征分布)可比较的信息(子识别特征分布)。

通过根据预定的子比较规则将每个位置特征分布与每个识别特征分布进行比较,可以计算它们之间的相似度。可以针对与每个位置相对应的各个位置计算相似度(概率),并且可以将具有最高概率的位置确定为当前位置。

如上所述,控制器150可以划分行进区域并且可以生成多个区域的地图,或者可以基于预存储的地图来识别主体110的当前位置。

在生成地图之后,控制器150可以通过通信器190将所生成的地图发送到外部终端、服务器等。此外,如上所述,控制器150在从外部终端、服务器等接收到地图时,可以将接收到的地图存储在储存器105中。

在这种情况下,地图中待清洁的区域可以被划分为多个区域,连接通道被包括在地图中,并且关于区域中的障碍物的信息可以被包括在地图中。

一旦输入清洁命令,控制器150就可以确定地图上的位置是否与移动机器人的当前位置一致。清洁命令可以从遥控器、输入单元或外部端子输入。

如果当前位置与地图上的位置不一致,或者如果可能未标识当前位置,则控制器150可以识别并恢复移动机器人100的当前位置,然后,可以控制行进单元160,以使得移动机器人100可以基于当前位置移动到指定区域。

如果当前位置与地图上的位置不一致,或者如果当前位置不能被识别,则位置识别模块153可以分析从图像获取器120输入的获取图像,并且可以基于地图估算当前位置。另外,障碍物识别模块154或地图生成模块152也可以以相同的方式识别当前位置。

一旦控制器150识别出位置并恢复了移动机器人100的当前位置,行进控制模块151计算从当前位置到指定区域的行进路径,并控制行进单元160移动到指定区域。

当从服务器接收到清洁模式信息时,行进控制模块151可以基于接收到的清洁模式信息将整个行进区域划分为多个区域,并且可以将一个或更多个区域设置为指定区域。

另外,行进控制模块151可以基于接收到的清洁模式信息来计算行进路径,并且可以通过沿着该行进路径行进来执行清洁。

一旦完成了对所设置的指定区域的清洁,控制器150可以将清洁记录存储在储存器105中。

此外,控制器150可以按预定间隔将移动机器人100的操作状态或清洁状态发送到外部终端或服务器。

因此,外部终端基于接收到的数据在正在运行的应用的屏幕上与地图一起显示移动机器人的位置,并且还输出关于清洁状态的信息。

根据本公开的实施方式的移动机器人100在一个方向上移动直到感测到障碍物或墙壁为止,并且当障碍物识别模块154识别出障碍物时,移动机器人100可以基于所识别的障碍物的属性来确定诸如向前直线行驶或转弯的行进模式。

此外,控制器150可以基于所识别的障碍物的属性控制移动机器人以不同的模式执行回避行进。基于障碍物的属性,控制器150可以控制移动机器人以诸如非危险障碍物(公共障碍物)、危险障碍物、可移动障碍物等的不同模式执行回避行进。

例如,控制器150可以通过在绕过危险障碍物的同时确保更长的安全距离来控制移动机器人避开危险障碍物。

另外,当存在可移动障碍物时,如果即使在预定的待机时间之后可移动障碍物也不移动,则控制器150可以控制移动机器人执行与普通障碍物相对应的回避行进或与危险障碍物相对应的回避行进。另选地,当分别设置与可移动障碍物相对应的回避行进模式时,控制器150可以控制移动机器人根据模式行进。

根据本公开的实施方式的移动机器人100可以基于机器学习来执行障碍物识别和回避。

控制器150可以包括:障碍物识别模块154,其通过机器学习从输入图像中识别预先学习的障碍物;以及行进控制模块151,其基于所识别的障碍物的属性来控制行进单元160的驱动。

此外,图5示出了其中多个模块151、152、153和154分别设置在控制器160中的示例,但是本公开不限于此。

例如,位置识别模块153和障碍物识别模块154可以被集成到一个识别器中,由此它们可以被配置为一个识别模块155。在这种情况下,可以使用诸如机器学习的学习技术来训练识别器,并且经训练的识别器可以通过对之后输入的数据进行分类来识别区域、物体等的属性。

根据实施方式,地图生成模块152、位置识别模块153和障碍物识别模块154可以被配置为单个集成模块。

以下描述将集中于位置识别模块153和障碍物识别模块154被集成到一个识别器中并被配置为一个识别模块155的示例,但是,即使位置识别模块153和障碍物识别模块154分开设置,它们也可以以相同的方式操作。

根据本公开的实施方式的移动机器人100可以包括通过机器学习而被训练以物体和空间的属性的识别模块155。

机器学习是指一种使计算机系统能够学习数据并自行解决问题而无需逻辑指导的技术。

深度学习是指基于使计算机系统自身能够像人类一样思考和学习的人工神经网络(ANN)的人工智能技术。

可以以软件形式或以诸如芯片等的硬件形式来实现ANN。

识别模块155可以包括软件或硬件类型的人工神经网络(ANN),该软件或硬件类型被训练以空间的属性和诸如障碍物等的物体的属性。

例如,识别模块155可以包括诸如通过深度学习训练的CNN(卷积神经网络)、RNN(循环神经网络)、DBN(深度信念网络)等的DNN(深度神经网络)。

识别模块155可以基于DNN中包括的节点之间的权重来确定输入图像数据中包括的空间和物体的属性。

此外,行进控制模块151可以基于所识别的空间和障碍物的属性来控制行进单元160的驱动。

此外,识别模块155可以基于先前通过机器学习来学习的数据来识别包括在所选择的特定时间点的图像中的空间和障碍物的属性。

此外,可以将用于确定空间和物体的属性的输入数据以及用于训练DNN的数据存储在储存器105中。

由图像获取器120获取的原始图像和从中提取预定区域的提取图像可以被存储在储存器105中。

此外,根据实施方式,可以将构成DNN结构的权重和偏差存储在储存器105中。

另选地,根据实施方式,可以将构成DNN结构的权重和偏差存储在识别模块155的嵌入式存储器中。

此外,每当图像获取器120获取图像或提取图像的一部分时,识别模块155可以使用预定图像作为训练数据来执行学习过程,或者可以在获取预定数量的图像或更多图像之后执行学习过程。

另选地,移动机器人100可以通过通信器190从预定服务器接收与机器学习有关的数据。

在这种情况下,移动机器人100可以基于与机器学习有关并从预定服务器接收到的数据来更新识别模块155。

图6是根据本公开的实施方式的在使用产品数据进行学习的描述中参考的图。

参照图6,通过诸如移动机器人100等的预定装置的操作获得的产品数据可以被发送到服务器70。

例如,移动机器人100可以将与空间、物体、使用等有关的数据发送到服务器70。

这里,与空间和物体有关的数据可以是与由移动机器人100识别的空间和物体的识别有关的数据,或者可以是关于由图像获取器120获取的空间和物体的图像数据。

此外,与使用有关的数据可以是在使用预定产品(例如,移动机器人100)时获得的数据,并且可以是使用历史数据、由传感器170获得的感测数据等。

此外,诸如CNN等的DNN结构可以被嵌入在移动机器人100的控制器150中,并且更具体地,被嵌入在识别模块155中。

经训练的DNN可以接收用于识别的输入数据,并且可以识别包括在输入数据中的物体和空间的属性,并输出识别结果。

此外,经训练的DNN结构可以接收用于识别的输入数据,并且可以通过分析和学习与移动机器人100的使用有关的数据来识别使用模式、使用环境等。

此外,与空间、物体和使用有关的数据可以通过通信器190发送到服务器70。

服务器70可以生成学习权重(learned weight)的配置,并且服务器70可以使用训练数据来训练DNN结构。

在基于接收到的数据训练DNN时,服务器70可以将更新的DNN结构数据发送到移动机器人100,以便于更新DNN结构。

因此,诸如移动机器人100等的家用电器产品可以变得更智能,并且可以提供随着其使用而发展的UX。

图7是根据本公开的实施方式的服务器的内部框图。

参照图7,服务器70包括通信器720、储存器730、学习模块740和处理器710。

处理器710可以控制服务器70的整体操作。

此外,服务器70可以是由诸如移动机器人100的制造商之类的家用电器制造商运行的服务器,或者是由服务提供商运行的服务器,或者是一种云服务器。

通信器720可以从移动终端、诸如移动机器人100等的家用电器或网关接收诸如状态信息、操作信息、操纵信息等的各种数据。

此外,通信器720可以将与各种类型的接收到的信息相对应的数据发送到移动终端、诸如移动机器人100等的家用电器或网关。

为此,通信器720可以包括诸如互联网模块、移动通信模块等的一个或更多个通信模块。

储存器730可以存储接收到的信息和用于生成与其对应的结果信息的数据。

另外,储存器730可以存储用于机器学习的数据、结果数据等。

学习模块740可以用作诸如移动机器人100等的家用电器的学习装置。

学习模块740可以包括人工神经网络(ANN)(例如,诸如卷积神经网络(CNN)、循环神经网络(RNN)、深度信念网络(DBN)等的DNN(深度神经网络)),并可以学习DNN。

此外,在根据设置进行训练之后,控制器710可以控制诸如移动机器人100等的家用电器的ANN结构被更新为经训练的ANN结构。

此外,学习模块740可以接收用于识别的输入数据,并且可以识别包括在输入数据中的物体和空间的属性,并且输出识别结果。在这种情况下,通信器720可以将识别结果发送到移动机器人100。

另外,学习模块740可以通过分析和学习与移动机器人100的使用有关的数据来识别使用模式、使用环境等,并且可以输出结果。在这种情况下,通信器720可以将结果发送到移动机器人100。

因此,诸如移动机器人100等的家用电器产品可以从服务器70接收识别结果,并且可以通过使用接收到的识别结果进行操作。

此外,通过使用产品数据进行学习,服务器70变得更加智能,从而提供随着家用电器产品被更多地使用而发展的用户体验。

此外,移动机器人100和服务器70也可以使用外部信息。

例如,移动机器人100和服务器70可以通过综合使用诸如移动机器人100等特定家用电器的内部信息(例如,空间信息、物体信息、使用模式等)和由服务器70从其它连接的服务服务器获得的外部信息来提供出色的用户体验。

根据本公开的实施方式,可以优化基于人工智能经由Wi-Fi连接的家用电器网络系统中产品的操作顺序,并可以为用户提供经优化的操作顺序。

例如,清洁可以由移动的机器人100执行,清洁期间产生的灰尘可以由空气净化器12和13管理,并且房屋中的湿度和温度可以由空调11控制,并且洗衣机32可以洗涤衣服,以使得可以在用户到家时及时完成洗涤。

服务器70可以通过接收用户发出的语音输入信号来执行语音识别。为此,服务器70可以包括语音识别模块,并且语音识别模块可以包括ANN,该ANN被训练的以对输入数据执行语音识别并输出语音识别结果。

此外,服务器70可以包括用于语音识别的语音识别服务器。此外,语音识别服务器可以包括多个服务器,以在语音识别处理期间共享预定处理。例如,语音识别服务器可以包括:自动语音识别(ARS)服务器,其接收语音数据并将接收到的语音数据转换为文本数据;以及自然语言处理(NLP)服务器,其从ARS服务器接收文本数据,并且分析接收到的文本数据并确定语音命令。在一些情况下,语音识别服务器还可以包括文本到语音(TTS)服务器,其将NLP服务器输出的文本语音识别结果转换为音频数据并将数据发送到另一服务器或家用电器。

根据本公开,移动机器人100和/或服务器70可以执行语音识别,以使得用户的语音可以用作用于控制移动机器人100的输入。

另外,根据本公开,移动机器人100可以预先主动地提供信息或者可以输出用于推荐功能和服务的语音,从而为用户提供各种主动控制功能。

图8是示出根据本公开的实施方式的控制移动机器人的方法的流程图,并且图9至图11是在根据本公开的实施方式的控制移动机器人的方法的描述中参考的图。

参照图8,根据本公开的实施方式的移动机器人100可以在执行特定操作时存储使用历史(S810)。

例如,在以预定模式一次完成对行进区域的清洁之后,移动机器人100可以将清洁历史信息存储在储存器105中。在一些情况下,清洁历史信息可以包括诸如执行清洁操作的时间、清洁模式、清洁成功率等的信息。

此外,移动机器人100可以将与用户的交互的细节以及由传感器单元170感测到的数据存储为使用历史。

此外,存储在储存器105中的使用历史数据的至少一部分可以通过通信器190发送到服务器70,并且服务器70可以将诸如从移动机器人100等接收到的使用历史数据的产品数据存储在储存器730中。

根据实施方式,人工智能被安装在移动机器人100的控制器150中,以使得移动机器人100可以学习使用历史(S820)。

更优选地,如以上参照图6所述,服务器70可以分析和学习通过诸如移动机器人100等的预定装置的操作获得的产品数据。

在这种情况下,移动机器人100的学习步骤(S820)可以通过接收与AI相关的数据(例如,基于由服务器70等执行的学习而更新的DNN结构数据)并更新所存储的AI来执行。

根据本公开的移动机器人100可以通过针对输入单元125提供的一个或更多个麦克风(MIC)来接收用户的语音输入(S830),并且可以识别接收到的用户的语音输入(S840)。

语音输入的语音识别处理(S840)可以由移动机器人100或服务器70自主地执行,或者可以由移动机器人100和服务器70分阶段执行,从而执行有效的语音识别。

例如,移动机器人100包括设置在控制器150内部或外部的语音识别模块,以使得移动机器人100可以自主地识别用户的语音。

另选地,移动机器人100可以通过通信器190将基于接收到的语音输入的数据发送到服务器70,并且可以从服务器70接收与语音输入相对应的语音识别结果。

另选地,移动机器人100可以自主地执行对触发词和简单关键字命令的识别,并且服务器70可以对自然语言处理执行高维度的识别。

随后,响应于用户的语音命令的接收(S830),移动机器人100可以执行与所标识的用户的语音命令相对应的操作(S860)。

例如,基于用户的语音命令识别的结果(S840),如果确定语音命令是用于在彻底清洁模式下清洁行进区域的命令,则移动机器人100可以在彻底清洁模式下执行一次行进区域的清洁(S860)。

同时,在执行对应的操作(S860)之前,移动机器人100可以通过音频输出单元181输出反馈语音消息(S850)。另选地,在执行对应的操作(S860)的同时,移动机器人100可以通过音频输出单元181输出反馈语音消息(S850)。

在音频输出单元181等中具有文本到语音(TTS)模块的移动机器人100可以输出与语音识别结果相对应的反馈语音消息(speech message)(S850)。

此外,移动机器人100可以将用于输出反馈话音消息(voice message)的指导消息存储在储存器105中,或者移动机器人100可以基于语音识别结果来选择所存储的指导消息中的任何一个,并且可以将所选择的消息转换为话音消息并输出话音消息。

根据实施方式,在请求预定反馈话音消息的声源文件并接收声源文件时,移动机器人100可以输出反馈话音消息。

根据本公开,通过提供具有会根据使用时间、频率、模式等而变化并随着年龄的增长而变老的移动机器人的话音、语调等的话音反馈,从而在用户中产生期望并为用户提供有趣的因素,并提高产品的可靠性。

为此,诸如根据本公开的一方面的移动机器人100等的电子装置包括接收用户的语音输入的输入单元125、输出与语音输入相对应的反馈话音消息的音频输出单元181、存储了诸如移动机器人100等的电子装置的使用历史的储存器105以及根据所存储的使用历史进行控制以不同的话音输出反馈话音消息从而根据使用历史提供不同的话音反馈的控制器150。

例如,控制器150可以根据诸如移动机器人100等的电子装置的使用时间来选择用于反馈话音消息的话音。

当前,诸如移动机器人等的许多装置针对它们的所有功能输出一种类型的话音(声音或音调)。例如,在机器人清洁器的情况下,无论彻底清洁、以之字形清洁、密集清洁、通过划分行进区域进行清洁、智能诊断、家庭看护等操作如何,都提供相同的话音。也就是说,无论移动机器人执行任何功能还是提供任何操作反馈,都输出相同的话音。这示出话音是用于向用户通知机器人清洁器的产品状态和操作状态的最低指导,并且用户对话音没有任何期望或话音不可用。

在本公开中,可以通过根据使用历史来改变指导话音的声音和音调来为用户提供不同的话音反馈。

根据本公开,通知用户的话音的声音和语调可以根据诸如移动机器人100等的电子装置的使用历史而变化,从而在用户中产生期望。此外,操作成功率或行进准确度不作为定量数据提供,而是以可能会吸引用户情绪的方式提供。

更优选地,随着诸如移动机器人100等的电子装置的使用时间增加,控制器150可以选择年龄较大的话音作为用于输出反馈话音消息的话音。

在诸如移动机器人100等的电子装置中,可以在购买后立即以孩子的话音发出包括反馈话音消息等的各种话音引导消息,直到达到预定的使用时间为止;并且每当使用时间达到预定时间间隔时,年龄就会增加,以使得可以使用年龄较大的话音。

因此,用户无需单独检查数据,可以通过听到诸如移动机器人10等的电子装置的话音来识别诸如移动机器人10等的电子装置的使用时间,并且,用户可以感觉到诸如移动机器人10等的电子装置在长大。

此外,控制器150可以根据诸如移动机器人10等的电子装置的操作的成功率或成功次数来选择话音。

例如,在执行清洁操作时,控制器150可以选择与行进区域的清洁成功率相对应的用于反馈话音消息的话音。

另外,在将行进区域划分为多个区域时,控制器150可以基于根据预定设置清洗特定区域或清洗预定区域的成功率或成功次数来选择用于反馈话音消息的话音。

此外,随着移动机器人100的操作的成功率或成功次数增加,控制器150可以选择年龄较大的话音和/或具有较高音调的话音。

因此,用户可以直观地验证使用预定操作的频率或预定操作是否成功等。

根据实施方式,控制器150可以控制由移动机器人100执行的任务的记录,以使得话音和消息可以根据任务的记录而变化。例如,任务可以包括返回充电站的次数、完成清洁操作的次数、家庭守卫功能的次数、DNN物体检测的次数等。另外,指导话音的音调和信息可能会根据任务的记录而变化。例如,与任务的记录相对应,可以从孩子的话音到成人的话音分阶段提供话音。

控制器150可以在多个预设任务级别当中选择与移动机器人100的使用历史所达到的任务级别相对应设置的话音作为用于输出反馈话音消息的话音。

例如,多个预设任务级别可以包括针对每个级别执行预定操作的次数。

图9示出了在电子装置是执行清洁操作的移动机器人的情况下针对多个级别910设置的任务920和话音930。参照图9,可以将具有最低难度级别的任务1(921)设置为最低级别1(911)。例如,可以设置包括执行10次正常清洁、一次家庭守卫和创建整个地图或至少一部分地图的图的任务1(921)的条件。

如果移动机器人100的使用历史达到针对任务1(921)设置的条件,则可以将与级别1(911)相对应设置的孩子的话音931用作用于输出反馈话音消息的话音。

也就是说,最初使用默认的话音,并且在执行了10次正常清洁之后,执行了一次家庭守卫,并且创建了地图的图,话音可以更改为与级别1(911)级别相对应的孩子的话音集。

另外,针对比级别1(911)高一级的级别2(912),可以设置具有更高的难度级别或执行操作的次数更大的任务2(922)。例如,可以设置包括执行30次正常清洁、10次家庭守卫和10次行进区域划分清洁的任务2(922)的条件。

此外,随着移动机器人100的使用历史达到较高的任务级别,控制器150可以选择年龄较大的话音作为用于输出反馈话音消息的话音。因此,控制器150可以根据所达到的任务级别提供随着年龄增长而变老的话音反馈。

一旦移动机器人100的使用历史记录达到针对任务2(922)设置的预定条件,与级别2(912)相对应设置的青年的学生的话音932可以用作用于输出反馈话音消息的话音。

同样,针对比级别2(912)高一级的级别3(913),可以设置具有比任务2(922)具有更高的难度级别或执行操作的数量更大的任务3(923)。例如,可以设置包括执行150次正常清洁、50次家庭守卫和50次行进区域划分清洁的任务3(923)的条件。

一旦移动机器人100的使用历史记录达到针对任务3(923)设置的预定条件,与级别3(913)相对应设置的成年人中的成人的话音933在可以用作用于输出反馈话音消息的话音。

图9仅是示例性的,并且本公开不限于此。例如,各个任务921、922和923的细节可以改变。此外,可以将级别1(911)和孩子的话音931设置为默认级别和默认话音。在这种情况下,孩子的话音931可以在使用移动机器人100的初始阶段使用,一旦完成任务1(921),它就可以进行到级别2(912),以使得孩子的话音931可以改变为学生的话音932。

本公开不仅可以应用于移动机器人100,但是,本公开的话音交互,诸如识别、语音发声等也可以应用于各种电子装置,并且各个任务921、922和923可以根据每个装置而变化。

例如,在根据本公开的电子装置是空调11的情况下,可以基于可以由空调11执行的执行诸如智能护理操作10次、省电操作10次、空气净化功能10次、远程控制操作10次等一些操作的次数来设置任务。

另选地,在根据本公开的电子装置是洗衣机32的情况下,可以基于可以由洗衣机32执行的执行诸如智能护理操作10次、远程控制操作10次、话音交互20次等一些操作的次数来设置任务。

此外,通过根据诸如移动机器人100等的电子装置的使用历史针对相同话音输入提供不同的反馈话音消息内容,控制器150可以根据使用历史来提供不同的指导消息。

也就是说,不仅可以根据诸如移动机器人100等的电子装置的使用历史来改变话音,而且可以以不同的内容输出与相同话音输入相对应的反馈话音消息。

例如,随着使用移动机器人100的次数或移动机器人100的使用周期的增加,可以输出具有详细信息的反馈话音消息。另选地,控制器150可以输出具有与根据移动机器人100的使用历史选择的话音匹配的内容和说话方式的反馈话音消息。

根据实施方式,根据本公开,话语音调和内容可以根据诸如彻底清洁、快速清洁、家看守、地图构建等的每个特定操作而变化。例如,通过将较深的男性话音用于家庭守卫、将岳母的话音用于彻底清洁等,指导话音的音调和内容可以根据相应操作的细节而变化。

根据实施方式,通过根据移动机器人的特定操作的频率来选择话音,控制器150可以提供根据特定操作的使用历史而变化的话音反馈。也就是说,根据特定操作的频率,控制器150可以根据操作的细节将话音音调和内容设置为是可变的。

根据本公开,可以根据执行诸如彻底清洁、快速清洁、家庭守卫、地图构建等的特定操作的次数来提供不同的话音音调和内容。

例如,如果移动机器人执行第一操作的次数大于或等于参考值,则控制器150可以选择第一话音;并且如果移动机器人执行第二操作的次数大于或等于参考值,则控制器150可以选择第二话音。

参照图10,如果满足用于使用家庭守卫10次的条件1011,则控制器150可以使用深沉的男性话音1012作为用于输出反馈话音消息的话音。

另外,如果满足使用彻底清洁10次以上的条件1021,则控制器150可以使用岳母的话音1022作为用于输出反馈话音消息的话音。

此外,如果满足用于使用以之字形模式清洁10次以上次的条件1031,则控制器150可以将孩子的话音1032用作用于输出反馈话音消息的话音。

此外,如果满足多个使用条件1021、1022和1023,则控制器150可以使用与执行得最多的操作相对应地设置的话音。另选地,基于语音识别结果,控制器150可以使用与用户的话音命令中包括的操作或相关操作相对应地设置的话音。

本公开不仅可以应用于移动机器人100,但是,本公开的诸如识别、语音发声等的话音交互也可以应用于各种电子装置,并且各个使用条件1021、1022和1023的细节可以根据每个装置而变化。

例如,在根据本公开的电子装置是空调11的情况下,可以基于可以由空调11执行的执行诸如智能护理操作10次、省电操作10次、空气净化功能10次、远程控制操作10次等的一些操作的次数来设置使用条件。

另选地,在根据本公开的电子装置是洗衣机32的情况下,可以基于可以由洗衣机32执行的执行诸如智能护理操作10次、远程控制操作10次、话音交互20次等的一些操作的次数来设置使用条件。

此外,移动机器人100可以单独地或通过服务器70执行语音识别处理,并且控制器150可以响应于语音输入而根据语音识别结果来选择用于输出反馈话音信息的话音。

另外,控制器150可以根据包括在语音识别结果中的操作的使用历史来选择话音。

此外,根据本公开的一方面的诸如移动机器人100等的电子装置包括:输入单元125,输入单元125被配置为接收用户的语音输入;音频输出单元181,音频输出单元181被配置为输出与语音输入相对应的反馈话音消息;以及控制器150,控制器150被配置为响应于语音输入,根据语音输入结果来控制以不同的话音输出反馈的话音消息,从而根据用户的语音输入提供不同的话音反馈。

即使在这种情况下,诸如移动机器人100等的电子装置也可以包括其中存储诸如移动机器人100等的电子装置的使用历史的储存器105,并且可以根据语音识别结果中包括的操作的使用历史来选择话音。

例如,如果基于语音识别结果包括与家庭守卫操作相对应的命令,则控制器150可以检查家庭守卫操作的使用历史。如果执行家庭守卫操作的次数是10次以上且小于20次,控制器150可以使用与家庭守卫操作的10次以上且小于20次相对应设置的深的男性话音作为用于输出反馈话音消息的话音。

另外,随着语音识别结果中包括的执行操作的次数增加,控制器150可以选择年龄更大的话音作为用于输出反馈话音消息的话音,从而提供随着年龄逐渐增长的话音反馈。

此外,即使在这种实施方式中,控制器150也可以根据移动机器人100的使用历史针对相同的语音输入提供不同的反馈话音消息内容。

本公开可以通过提供一种允许用户在不验证数据的情况下间接地向用户告知行进准确度、操作成功率等的方式而吸引用户。例如,基于行进记录或操作记录,并且使用诸如记录次数、成功率等的指示符,控制器150可以通过改变话音音调或提供给用户的内容来提供通知。

另外,本公开可以提供具有适合于移动机器人100的每个功能的特性的话音语调和内容的话音妻子。

此外,根据本公开的一方面的诸如移动机器人100等的电子装置包括:输入单元125,输入单元125被配置为接收用户的语音输入;音频输出单元181,音频输出单元181被配置为输出与语音输入相对应的反馈话音消息;储存器105,储存器105被配置为存储诸如移动机器人100等的电子装置的使用历史;以及控制器150,控制器150被配置为根据所存储的使用历史的学习级别来控制以不同的话音来输出反馈话音消息,从而根据人工智能的学习级别来提供不同的话音反馈。

在这种情况下,随着所存储的使用历史的学习级别变得更高,控制器150选择年龄较大的话音作为用于输出反馈话音消息的话音,从而提供根据学习级别随着年龄的增长而增长的话音反馈。

参照图11,通过分析和学习诸如空间信息、物体信息、使用模式等的内部信息以及外部信息,可以根据学习级别通过使用不同的话音来提供话音指导服务。

例如,在学习了空间之后,移动机器人100可以基于对空间的理解来调整清洁顺序,并且话音也可以响应于此随着年龄而增长。

参照图11,在学习了大约一个月的行进区域之后,移动机器人100可以通过以孩子的话音说“我已经学习了空间,因此减少了清洁时间”或“在之字形模式下的整个清洁过程将花费大约1小时20分钟”,主动提供话音简报。另选地,响应于诸如用户的清洁命令之类的话音输入,移动机器人100可以在反馈话音指导消息中提供内容的语音发声。

此后,如果在学习空间约3个月后进一步提高了空间的学习级别,移动机器人100可以通过以青少年的话音说“您在会议上玩得开心吗?空气净化器指示存在大量灰尘。您是否希望在30分钟后尘埃落定时清洁客厅?”在考虑其它装置的信息和操作的情况下提出清洁计划。

此后,如果在学习空间约8个月后进一步提高了空间的学习级别,则移动机器人100可以将空间映射到家庭成员上,并可以通过以20岁的话音说“智惠从星期一开始在12点回家。您希望通过调整清洁顺序在12点之前清洁她的房间吗?”提出清洁计划。

然后,如果在学习空间约2年后进一步提高了空间的学习级别,移动机器人100可以通过以40岁的话音说“您已经重新布置了家具,所以我又学到了空间。清洁整个空间大约需要一个半小时。”在改变的空间等方面提供指导信息。

在学习了行进区域的诸如家庭成员等的用户之后,移动机器人100可以基于对用户的理解来调整清洁顺序,并且话音也可以响应于此而随着年龄增长。

参照图11,在基于获取了大约一个月的图像和话音数据学习行进区域的用户的行为模式之后,移动机器人100可以通过以孩子的话音说“您有三个家庭成员,我希望知道他们的名字”来提供有关三个已识别用户的信息,并可能会输出话音来吸引用户输入。另选地,响应于诸如用户的清洁命令等的语音输入,移动机器人100可以在反馈话音指导消息中提供上述信息的语音发声。

此后,如果在学习用户约3个月后进一步提高了用户的学习级别,移动机器人100可以通过以青少年的话音说“外出时11点至3点之间的时段是像田螺姑娘一样进行清洁的好时机。您要安排在该时间段内进行清洁吗?”根据用户的行为模式提出清洁计划。

此后,如果在向用户学习了大约8个月之后进一步提高了用户的学习级别,则移动机器人100可以通过以20岁的话音说“我已经学过方言,并且现在即使您说方言,我也可以理解得更多。请多与我说话以便于我可以学到更多。”考虑家庭成员的个人特征来输出话音指导。

然后,如果在学习用户约2年后进一步提高了用户的学习级别,移动机器人100可以通过以40岁的话音说“我已经标识了新用户。您要将该用户添加到家庭成员中吗?请让我知道新用户的名字。”的话语来提供关于已改变的用户等的指导信息。

根据本公开的移动机器人不限于如上所述的实施方式的配置和方法,而是可以将每个实施方式的全部或部分配置为选择性地组合以实现各种变型。

此外,根据本公开的实施方式的控制移动机器人的方法可以实现为写在计算机可读记录介质上的计算机可读代码。该计算机可读记录介质可以是其中以计算机可读方式存储数据的任何类型的记录装置。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据储存器和载波(例如,通过互联网的数据发送)。计算机可读记录介质可以被分布在连接到网络的多个计算机系统上,从而以分散的方式向其中写入计算机可读代码并从中执行计算机可读代码。

尽管已经参照本公开的优选实施方式示出和描述了本公开,但是应当理解,本公开不限于前述的具体实施方式,并且本领域技术人员可以在不脱离由所附权利要求限定的本发明的范围和精神的情况下进行各种修改和变型,并且修改后的实施方式不应独立于本公开的技术思想或前景来解释。

相关技术
  • 人工智能移动机器人
  • 学习障碍物的人工智能移动机器人及其控制方法
技术分类

06120112753551