机器人的摄像机构自检方法、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种机器人的摄像机构自检方法、电子设备及存储介质。

背景技术

机器人在写字楼等室内环境移动时，依赖摄像头对前方识别感知环境状况，从而作出运动规划决策。在机器人日常运营过程中，机器人镜头存在人为或非人为的异常遮挡的情况，如午高峰时期机器人挤电梯时，行人的衣服会紧贴在机器人的镜头上，同时也会存在部分用户用手或者手机等方式试探性遮挡机器人的镜头。此时机器人的视觉感知系统将不能工作，机器人本身对摄像头遮挡的情况无感，因而机器人的运动规划也会受到影响。

发明内容

为克服相关技术中存在的问题，本申请提供一种机器人的摄像机构自检方法、电子设备及存储介质，旨在提供一种机器人能够自我检查前置摄像头异常遮挡的功能，使得当机器人镜头被遮挡时，所述机器人能够上报报错，并在周围广播提醒行人不要干扰机器人工作。

本申请解决上述技术问题的技术方案如下：一种机器人的摄像机构自检方法，其包括以下步骤：步骤1，采集预设场景下的摄像机构被遮挡时的图像，并对所述图像进行预处理，形成训练集；步骤2，构建摄像机构自检网络模型，所述摄像机构自检网络模型包括多层感知单元；步骤3，采用所述训练集的图像对所述摄像机构自检网络模型进行训练，优化所述摄像机构自检网络模型的网络参数。

优选的，采集预设场景下的摄像机构被遮挡时的图像，并对所述图像进行预处理，形成训练集具体包括：通过图片直方图的方式对所述图像进行预处理，得到所述图像的像素值；将所述图像的像素值转化为十进制的数值区间0～255；统计所述图像的像素值在数值区间0～255的概率分布p(i)，得到所述图像的直方图概率分布p(i)函数。

优选的，所述图像的直方图概率分布p(i)函数为：

其中，W为图像的宽度，H为图像的高度。

优选的，通过所述摄像机构自检网络模型对所述图像的直方图概率分布p(i)进行256维的特征向量计算，在所述多层感知单元上增加一维卷积层，一维卷积层定义为：

其中K为卷积核的参数，p为所述图像的直方图概率分布，y为64维的特征向量。

优选的，在所述摄像机构自检网络模型中，所述多层感知单元设有三层感知机，所述多层感知单元的隐藏层连接数为16，所述多层感知单元定位为：

z＝σ

其中z为多层感知单元的输出。

优选的，通过sigmoid函数得到所述摄像机构自检网络模型的最终预测值Z，Z函数为：

其中z为多层感知单元的输出，当Z大于0.7表示摄像机构被遮挡，Z小于等于0.7表示摄像机构正常。

优选的，所述摄像机构自检网络模型的结构按计算单元处理顺序为：图像预处理单元，用于对所述图像进行直方图预处理；一维卷积单元，用于对预处理后的图像进行卷积；第一全连接层，用于全连接所述一维卷积单元的输出；第二全连接层，用于全连接所述第一全连接层的输出；第三全连接层，用于全连接所述第二全连接层的输出；激活函数层，用于使所述第三全连接层的输出非线性化。

优选的，采用所述训练集的图像对所述摄像机构自检网络模型进行训练，得到所述摄像机构自检网络模型的损失函数，损失函数为：

CELoss＝Y log(Z)+(1-Y)log(1-Z)。

优选的，在步骤S3之后还包括以下步骤：当所述机器人开机、重定位或者所述机器人切换状态时，判断所述摄像机构连续5秒内是否检测到目标；当所述摄像机构连续超过5秒内没有检测到目标，所述机器人拉起警报，警报所述摄像机构已被遮挡，所述机器人保持遮挡检测。

本申请实施例的第二方面提供了一种电子设备，包括：

处理器；以及一个或多个处理器；一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如上所述的方法的指令。

本申请第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

本申请提供一种机器人的摄像机构自检方法、电子设备及存储介质，通过采集预设场景下的摄像机构被遮挡时的图像，并对所述图像进行预处理，形成训练集；构建摄像机构自检网络模型，所述摄像机构自检网络模型包括多层感知单元；采用所述训练集的图像对所述摄像机构自检网络模型进行训练，优化所述摄像机构自检网络模型的网络参数，以此采用基于神经网络算法的机器人摄像头遮挡自检策略，同时采用卷积模块与多层感知机结合的方式，简化遮挡检测模块的计算复杂度，并结合业务场景特点，动态调用遮挡自检模块，节约机器人资源。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的机器人的摄像机构自检方法的流程示意图；

图2是本申请实施例示出的图像预处理的的流程示意图；

图3是本申请实施例示出的摄像机构自检网络模型的示意图；

图4是本申请实施例示出的机器人的摄像机构自检方法的另一流程示意图；

图5是本申请实施例示出的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本发明实施例的机器人可以被构造成任何合适形状，以便实现特定业务功能操作，例如，本发明实施例机器人可以为递送机器人、搬运机器人、看护机器人等等。所述机器人一般包括壳体、传感器单元、驱动轮部件、存储部件及控制器。壳体的外形大体上呈圆形，在一些实施例中，壳体的外形可以大体上呈椭圆形、三角形、D形、柱形或其他形状。传感器单元用于采集机器人的一些运动参数及环境空间各类数据。在一些实施例中，传感器单元包括激光雷达,激光雷达安装于壳体上方，其安装高度高于所述壳体的顶部面壳高度，激光雷达用于检测机器人障碍物之间的障碍物距离。在一些实施例中，传感器单元还可以包括惯性测量单元(Inertial measurement unit，IMU)、陀螺仪、磁场计、加速度计或速度计、光学摄像头等等。驱动轮部件安装于壳体并驱动机器人在各种空间上移动，在一些实施例中，驱动轮部件包括左驱动轮、右驱动轮及全向轮，左驱动轮和右驱动轮分别安装于壳体的相对两侧。左驱动轮和右驱动轮被配置为至少部分可伸出及缩回壳体的底部。全向轮安装于壳体的底部的靠前位置，全向轮为活动脚轮，可以水平360度旋转，以使得机器人可以灵活转向。左驱动轮、右驱动轮及全向轮的安装构成三角形，以提高机器人行走的平稳性。当然，在一些实施例中，驱动轮部件还可以采用其他结构，比如全向轮可被省略，只留左驱动轮与右驱动轮亦可以驱动机器人正常行走。在一些实施例中，机器人还配置有存储部件，存储部件安装于收容槽内，从而完成递送任务等等。控制器分别与左驱动轮、右驱动轮、全向轮及激光雷达电连接。控制器作为机器人的控制核心，用于控制机器人行走、后退以及一些业务逻辑处理。

在一些实施例中，控制器可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、AR(Acorn RISC Machine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，控制器还可以是任何传统处理器、控制器、微控制器或状态机。控制器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。在一些实施例中，上述机器人在活动的过程中，控制器采用SLAM(simultaneous localization and mapping，即时定位与建图技术)技术，根据环境数据构建地图和定位，从而移动到目标位置完成递送任务、清洁任务等。控制器基于被建立好的地图以及机器人的位置，通过全覆盖路径规划算法指示机器人完全遍历一个环境空间。例如，在机器人遍历时，传感器单元获取遍历区域的图像，其中，该遍历区域的图像可以为整片遍历区域的图像，亦可以为整片遍历区域中局部遍历区域的图像。控制器根据遍历区域的图像生成地图，该地图已指示机器人需要遍历的区域以及位于遍历区域中的障碍物所在的坐标位置。当机器人每遍历完一个位置或区域后，机器人基于该地图，标记该位置或区域已被遍历。并且，由于障碍物在地图中是以坐标方式被标记，机器人遍历时，可以根据当前位置对应的坐标点与障碍物涉及的坐标点，判断与障碍物之间的距离，从而实现环绕障碍物作遍历工作。同理，位置或区域已遍历而被标记后，当机器人下一个位置将会移动至该位置或该区域时，机器人基于该地图以及该位置或该区域的标记，作出转弯调头或者停止遍历的策略。可以理解的是，控制器还可以根据多种方式识别已遍历位置或区域，或者，识别障碍物，从而作出满足产品需求的控制策略。

以下结合附图详细描述本申请实施例的技术方案。

请参阅图1，图1为本申请第一实施例示出的机器人的摄像机构自检方法的流程示意图，如图1所示，方法包括以下步骤：

步骤S1，采集预设场景下的摄像机构被遮挡时的图像，并对所述图像进行预处理，形成训练集；

具体的，在本实例中所述摄像机构可以为摄像头，相机等可以采集物体图像的装置；使用不同的物体遮挡机器人的摄像机构，在业务场景中，人为制造足够多的遮挡情形以此能够采集足够的样本，形成样本训练集。同时，让机器人在光线较暗的场景下采集数据，防止机器人在光线较差时发生误警报。

请参考图2，图2为本申请第一实施例示出的图像预处理的流程示意图；

在所述采集预设场景下的摄像机构被遮挡时的图像，并对所述图像进行预处理，形成训练集还包括以下步骤：

步骤S101，通过图片直方图的方式对所述图像进行预处理，得到所述图像的像素值。此时所述图像的每一个位置的像素值采用8bit存储。

步骤S102，将所述图像的像素值转化为十进制的数值区间0～255。

步骤S103，统计所述图像的像素值在数值区间0～255的概率分布p(i)，得到所述图像的直方图概率分布p(i)函数。所述图像的直方图概率分布p(i)函数为：

其中，W为图像的宽度，H为图像的高度。异常被遮挡的图像的直方图呈现概率分布相对集中的情况，且像素值较小的概率分布越集中，正常的图像一般分布较为均衡。但若简单的经验式的选取阈值，往往不能得到很好的判断效果。如一些半遮挡的情形，其在特征图上的表现规律往往难以琢磨。本实施例采用基于神经网络的策略，提高摄像头遮挡自检的鲁棒性，按照所述图像的直方图概率分布p(i)函数公式，计算数据集中所有图片的直方图概率分布，即256维的特征向量。

步骤S2，构建摄像机构自检网络模型，所述摄像机构自检网络模型包括多层感知单元。

请参考图3，图3为摄像机构自检网络模型的示意图，所述摄像机构自检网络模型的结构按计算单元处理顺序分别为图像预处理单元、一维卷积单元、第一全连接层、第二全连接层、第三全连接层以及激活函数层。图像预处理单元用于对所述图像进行直方图预处理，所述摄像机构拍摄到图像后，图像输入到图像预处理单元，通过图片直方图的方式对所述图像进行预处理，得到265维的特征向量。所述一维卷积单元用于对预处理后的图像进行卷积，当265维的特征向量经过一维卷积单元后，所述一维卷积单元输出265至64维的特征向量。所述一维卷积单元为一维卷积层，所述一维卷积层以及所述多层感知单元相结合，构成所述摄像机构自检网络模型。一维卷积层定义为：

其中K为卷积核的参数，p为所述图像的直方图概率分布，y为64维的特征向量。

在其中一个实施例中，在所述摄像机构自检网络模型中，所述多层感知单元设有三层感知机，所述多层感知单元的隐藏层连接数为16，所述多层感知单元定位为：

z＝σ

其中z为多层感知单元的输出。

所述多层感知单元包括所述第一全连接层、所述第二全连接层、所述第三全连接层以及所述激活函数层。所述第一全连接层用于全连接所述一维卷积单元的输出，当265至64维的特征向量经过所述第一全连接层，所述第一全连接层输出64至16维的特征向量。所述第二全连接层用于全连接所述第一全连接层的输出，当64至16维的特征向量经过所述第二全连接层后，所述第二全连接层输出16至1维的特征向量。所述第三全连接层用于全连接所述第二全连接层的输出。激活函数层用于使所述第三全连接层的输出非线性化，所述激活函数为sigmoid函数。通过sigmoid函数得到所述摄像机构自检网络模型的最终预测值Z，Z函数为：

其中z为多层感知单元的输出，当Z大于0.7表示摄像机构被遮挡，Z小于等于0.7表示摄像机构正常。

步骤S3，采用所述训练集的图像对所述摄像机构自检网络模型进行训练，优化所述摄像机构自检网络模型的网络参数。

具体的，采用所述训练集的图像对所述摄像机构自检网络模型进行训练，得到所述摄像机构自检网络模型的损失函数，损失函数为：

CELoss＝Y log(Z)+(1-Y)log(1-Z)。

具体的，考虑到数据集构建时存在人为主观误判断的情形，每批次训练网络选取128组数据，根据上述损失函数的公式计算128组数据的损失值排序，去掉1/8最大值和1/8最小值，其余96组损失值回传梯度，更新所述摄像机构自检网络模型的网络参数；训练方式采用随机梯度下降法SGD+动量法，学习动量参数设定为0.9，卷积参数L2正则惩罚系数设定为0.001，学习率为多项式缓慢下降，训练100次后终止训练保存网络参数。

在本实施例中，通过通过采集预设场景下的摄像机构被遮挡时的图像，并对所述图像进行预处理，形成训练集；构建摄像机构自检网络模型，所述摄像机构自检网络模型包括多层感知单元；采用所述训练集的图像对所述摄像机构自检网络模型进行训练，优化所述摄像机构自检网络模型的网络参数，以此采用基于神经网络算法的机器人摄像头遮挡自检策略，同时采用卷积模块与多层感知机结合的方式，简化遮挡检测模块的计算复杂度，并结合业务场景特点，动态调用遮挡自检模块，节约机器人资源。

请参阅图4，图4为本申请第二实施例示出的机器人的摄像机构自检方法的另一流程示意图，本实施例基于上述实施例，并且额外增加了流程。在步骤S3之后还包括以下步骤：

步骤S301，当所述机器人开机、重定位或者所述机器人切换状态时，判断所述摄像机构连续5秒内是否检测到目标；

步骤S302，当所述摄像机构连续超过5秒内没有检测到目标，所述机器人拉起警报，警报所述摄像机构已被遮挡，所述机器人保持遮挡检测。

具体的，考虑到机器人资源有限，通常不能每一帧图像都要经过遮挡检测模块处理，本实例采用一种动态调用的策略，节约机器人资源。当存在以下几种情形下，调用摄像机构被遮挡时的摄像机构自检程序：

1.机器人开机/重定位时；

2.机器人摄像头连续超过5s没有场景目标检测出(如行人，电梯门，机器人等)；

3.机器人切换状态(如开始进闸机，电梯等IOT设备)

4.机器人已被遮挡，保持遮挡检测，拉起警告，直到警报解除，退出遮挡检测。

本实例中，在机器人摄像头遇到异常遮挡时，摄像头遮挡检测模块根据摄像头的直方图概率分布，对摄像头异常情况进行判断，可以达到摄像头遮挡错误上报，拉停。

在本实施例中，通过通过采集预设场景下的摄像机构被遮挡时的图像，并对所述图像进行预处理，形成训练集；构建摄像机构自检网络模型，所述摄像机构自检网络模型包括多层感知单元；采用所述训练集的图像对所述摄像机构自检网络模型进行训练，优化所述摄像机构自检网络模型的网络参数，以此采用基于神经网络算法的机器人摄像头遮挡自检策略，同时采用卷积模块与多层感知机结合的方式，简化遮挡检测模块的计算复杂度，并结合业务场景特点，动态调用遮挡自检模块，节约机器人资源。

图5是本申请实施例示出的电子设备的结构示意图。

参见图5，电子设备400包括存储器410和处理器420。

处理器420可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器410可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器410可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器410可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器410上存储有可执行代码，当可执行代码被处理器420处理时，可以使处理器420执行上文述及的方法中的部分或全部。

上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或电子设备、服务器等)的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。

本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。