机械设备的智能远程管理系统

技术领域

本申请涉及智能远程管理技术领域，且更为具体地，涉及一种机械设备的智能远程管理系统。

背景技术

目前，进行车辆上锁的方式有如下两种方式：第一种是传统的直接通过钥匙进行上锁的方式；第二种是远程上锁的方式。并且随着无线网络的发展，远程锁车的方式越来越普及，由于远程锁车有着无比的便利，高效，快速，经济等优越性而被广泛应用。但是，远程锁车会存在如下问题，当人员通过人为主动锁定车辆时，可能车辆内会存在有生物迹象，为了生物不被锁入车辆中，这就需要车辆强制阻断锁定指令，同时车辆声光预警提醒，以待生物移出车辆时，再自动执行锁定指令。

但是，现有的自动远程锁车控制系统并没有对车内生物的自动检测功能，其会在车主没有意识到车内存在生物时执行自动锁车指令而发生意外，导致事故的发生。因此，为了车辆的远程控制安全性，期望一种优化的机械设备的智能远程管理系统。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种机械设备的智能远程管理系统，其采用基于深度学习的人工智能检测技术，以通过对于车内监控图像和声音探测信号的处理分析来进行车内的生物识别。具体地，使用通道注意力思想来聚焦于所述车内监控图像中的通道上的内容特征信息，并使用空间注意力思想来聚焦于所述车内的声音信号特征信息，进一步以这两者的融合特征分布信息来综合进行车内生物的有效识别，进而在车内存有生物时生成声光预警提示。通过这样的方式，可以对于车内是否存在生物进行精准地识别判断，以避免在车内存在生物时执行自动锁车指令而发生意外，保证车辆远程控制管理的安全性。

根据本申请的一个方面，提供了一种机械设备的智能远程管理系统，其包括：

远程监控模块，用于获取由部署于车内的摄像头采集的车内监控图像以及由部署于车内的声音传感器采集的声音探测信号；

车内监控图像编码模块，用于将所述车内监控图像通过使用通道注意力机制的第一卷积神经网络模型以得到通道增强车内监控特征图；

第一维度调整模块，用于对所述通道增强车内监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到通道增强车内监控特征向量；

车内声音编码模块，用于将所述声音探测信号的波形图通过使用空间注意力机制的第二卷积神经网络模型以得到空间增强声音探测特征图；

第二维度调整模块，用于将所述空间增强声音探测特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到空间增强声音探测特征向量；

高斯融合模块，用于使用高斯密度图来融合所述空间增强声音探测特征向量和所述通道增强车内监控特征向量以得到分类特征矩阵；

特征分布校正模块，用于对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵；

监测结果生成模块，用于将所述校正后分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示车内是否存有生物；以及

管理结果生成模块，用于响应于所述分类结果为车内存有生物，生成声光预警提示。

在上述的机械设备的智能远程管理系统中，所述车内监控图像编码模块，包括：

图像卷积编码单元，用于使用所述第一卷积神经网络模型的多层卷积层对所述车内监控图像进行深度卷积编码以得到车内监控初始特征图；

全局池化单元，用于计算所述车内监控初始特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；

激活单元，用于将所述通道特征向量输入Softmax激活函数以得到通道加权特征向量；以及

注意力施加单元，用于以所述通道加权特征向量中各个位置的特征值作为权重分别对所述车内监控初始特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强车内监控特征图。

在上述的机械设备的智能远程管理系统中，所述车内声音编码模块，包括：

声音卷积编码单元，用于使用所述第二卷积神经网络模型的卷积编码部分对所述声音探测信号的波形图进行深度卷积编码以得到高维特征图；

空间注意力单元，用于将所述高维特征图输入所述第二卷积神经网络模型的空间注意力部分以得到空间注意力图；以及

空间注意力施加单元，用于计算所述高维特征图和所述空间注意力图的按位置点乘以得到所述空间增强声音探测特征图。

在上述的机械设备的智能远程管理系统中，所述高斯融合模块，包括：

融合高斯密度图构造单元，用于使用高斯密度图来融合所述空间增强声音探测特征向量和所述通道增强车内监控特征向量以得到融合高斯密度图；

高斯离散化单元，用于对所述融合高斯密度图中各个位置的高斯分布进行离散化处理以得到所述分类特征矩阵。

在上述的机械设备的智能远程管理系统中，所述特征分布校正模块，进一步用于：以如下公式对所述分类特征矩阵进行特征分布校正以得到所述校正后分类特征矩阵；

其中，所述公式为：

其中M表示所述分类特征矩阵，m

在上述的机械设备的智能远程管理系统中，所述监测结果生成模块，包括：

矩阵展开单元，用于将所述校正后分类特征矩阵按照行向量或列向量展开为分类特征向量；

全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及

分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

与现有技术相比，本申请提供的一种机械设备的智能远程管理系统，其采用基于深度学习的人工智能检测技术，以通过对于车内监控图像和声音探测信号的处理分析来进行车内的生物识别。具体地，使用通道注意力思想来聚焦于所述车内监控图像中的通道上的内容特征信息，并使用空间注意力思想来聚焦于所述车内的声音信号特征信息，进一步以这两者的融合特征分布信息来综合进行车内生物的有效识别，进而在车内存有生物时生成声光预警提示。通过这样的方式，可以对于车内是否存在生物进行精准地识别判断，以避免在车内存在生物时执行自动锁车指令而发生意外，保证车辆远程控制管理的安全性。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的机械设备的智能远程管理系统的应用场景图。

图2为根据本申请实施例的机械设备的智能远程管理系统的框图示意图。

图3为根据本申请实施例的机械设备的智能远程管理系统中的所述车内监控图像编码模块的框图示意图。

图4为根据本申请实施例的机械设备的智能远程管理系统中的所述车内声音编码模块的框图示意图。

图5为根据本申请实施例的机械设备的智能远程管理系统中的所述高斯融合模块的框图示意图。

图6为根据本申请实施例的机械设备的智能远程管理系统中的所述监测结果生成模块的框图示意图。

图7为根据本申请实施例的机械设备的智能远程管理方法的流程图。

图8为根据本申请实施例的机械设备的智能远程管理方法的系统架构的示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如上所述，现有的自动远程锁车控制系统并没有对车内生物的自动检测功能，其会在车主没有意识到车内存在生物时执行自动锁车指令而发生意外，导致事故的发生。因此，为了车辆的远程控制安全性，期望一种优化的机械设备的智能远程管理系统。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

近年来，深度学习以及神经网络的发展为机械设备的智能远程管理提供了新的解决思路和方案。

相应地，目前一些方案通过在车内安装摄像头来通过图像监控以进行车辆设备的远程管理，也就是，当人员通过人为主动锁定(车辆外部锁定按键、智能钥匙、遥控器、软件远程锁定等方式)车辆时，当车辆通过图像监控检测到车内有生物迹象时，车辆强制阻断锁定指令，同时车辆声光预警提醒，并自动推送及提醒至手机(APP、小程序等)、电脑、平板电脑、智能钥匙(原车或附加)等装有本系统软件的电子设备，待生物移出车辆时，自动执行锁定指令。但是，考虑到当车内有玩偶等拟生物模型，如果仅凭图像很难精准地检测到车内是否有生物。并且，考虑到各个生物具有不同的声音波段，因此，若能够在生物识别时引入声音信号的检测显然能够提高生物识别的精准度。

基于此，在本申请的技术方案中，采用基于深度学习的人工智能检测技术，以通过对于车内监控图像和声音探测信号的处理分析来进行车内的生物识别。具体地，使用通道注意力思想来聚焦于所述车内监控图像中的通道上的内容特征信息，并使用空间注意力思想来聚焦于所述车内的声音信号特征信息，进一步以这两者的融合特征分布信息来综合进行车内生物的有效识别，进而在车内存有生物时生成声光预警提示。这样，能够对于车内是否存在生物进行精准地识别判断，以避免在车内存在生物时执行自动锁车指令而发生意外，保证车辆远程控制管理的安全性。

具体地，在本申请的技术方案中，首先，通过部署于车内的摄像头采集车内监控图像，以及通过部署于车内的声音传感器采集的声音探测信号。接着，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述车内监控图像的隐含特征挖掘，特别地，考虑到在所述车内监控图像中，为了能够提高对于车内生物识别的精准度，需要更加关注图像中的特征内容。因此，进一步使用通道注意力机制的第一卷积神经网络模型来进行所述车内监控图像的隐含特征挖掘，以提取出所述车内监控图像中聚焦于通道上图像的隐含特征内容的特征分布信息，从而得到通道增强车内监控特征图。应可以理解，这里，所述通道注意力所提取到的图像特征反映了特征通道间的相关性和重要性，以此来增强通道上与车内生物有关的内容特征信息而忽略与生物监测无关的特征分布信息。

然后，对所述通道增强车内监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到通道增强车内监控特征向量，进而在进行数据降维时保留通道上的有关车内生物的特征内容分布信息，以在降低计算量的同时提高后续分类的准确性。

进一步地，对于采集到的所述声音探测信号，考虑到其在时域中的表现形式一般为波形图，因此，也将其通过在图像的隐含特征提取方面具有优异表现的卷积神经网络模型中进行特征挖掘。特别地，考虑到在进行声音的特征提取时，由于会受到车外的声音信号的干扰，进而对于车内生物的识别带来影响。因此，进一步使用空间注意力机制的第二卷积神经网络模型来进行所述声音探测信号的波形图的时域特征挖掘，以提取出聚焦于车内空间特征位置的声音信号特征分布信息，从而得到空间增强声音探测特征图。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征。然后，也将其沿通道维度的各个特征矩阵进行全局均值池化，以在进行数据降维以降低计算量的同时，保留其在车内空间位置上的声音内容特征分布信息，从而得到空间增强声音探测特征向量。

接着，考虑到所述空间增强声音探测特征向量和所述通道增强车内监控特征向量在高维特征空间中都各自对应着一个特征分布流形，而这些特征分布流形由于本身的不规则形状和散布位置，如果仅通过将所述空间增强声音探测特征向量和所述通道增强车内监控特征向量级联来得到车内是否有生物的特征表示，将相当于简单地将这些特征分布流形按原位置和形状来进行叠加，使得新获得的特征分布流形的边界变得非常不规则和复杂，在通过梯度下降来寻找最优点时，非常容易陷入局部极值点中而无法获得全局最优点。因此，需要进一步地对所述空间增强声音探测特征向量和所述通道增强车内监控特征向量进行适当的融合，使得各个特征分布能够相对于彼此在型面上收敛。并且，考虑到高斯密度图在深度学习中，广泛地用于基于先验的目标后验的估计，因此可以用于修正数据分布，从而实现上述目的。具体地，在本申请的技术方案中，使用高斯密度图来融合所述空间增强声音探测特征向量和所述通道增强车内监控特征向量以得到高斯密度图，进一步再对所述高斯密度图进行高斯离散化，以在数据特征增广时不产生信息损失，从而得到分类特征矩阵。这样，通过使用空间注意力来进行所述车内监控图像的内容数据特征增强，并且使用通道注意力来进行所述声音信号的车内空间位置的数据特征增强，以使得不同类型的有效信息被大量捕捉到，可有效增强特征辨别学习能力。

然后，再将所述分类特征矩阵通过分类器以得到用于表示车内是否存有生物的分类结果。相应地，在一个具体示例中，响应于所述分类结果为车内存有生物，生成声光预警提示。这样，能够对于车内是否存在生物进行精准地识别判断，以避免在车内存在生物时执行自动锁车指令而发生意外。

特别地，在本申请的技术方案中，使用高斯密度图来融合所述空间增强声音探测特征向量和所述通道增强车内监控特征向量得到所述分类特征矩阵时，由于高斯离散化具有一定的随机性，会在所述分类特征矩阵内引入偏离所述分类特征矩阵的整体特征分布的随机的局部特征分布，从而影响所述分类特征矩阵整体的分布单调性，导致所述分类特征矩阵通过分类器进行分类的收敛效果差，影响分类结果的准确性。

由此，对所述分类特征矩阵进行平滑最大函数近似性调制，表示为：

m

这里，通过用沿所述分类特征矩阵M的行和列维度的平滑最大函数来近似地定义符号化的距离函数，可以实现所述分类特征矩阵M在高维特征空间内所表征的高维流形的凸优化的相对良好的联合，并通过以其对所述分类特征矩阵M的结构化的特征分布进行调制，就可以获得特征分布的内在结构到特征空间内的空间特征变化的自然分布转移，增强了所述分类特征矩阵M的高维流形的特征表达的凸单调性保留，从而增强了所述分类特征矩阵整体的分布单调性，进而改进了所述分类特征矩阵通过分类器进行分类的收敛效果，提升了分类结果的准确性。这样，能够对于车内是否存在生物进行精准地识别判断，以避免在车内存在生物时执行自动锁车指令而发生意外，保证车辆远程控制管理的安全性。

基于此，本申请提供了一种机械设备的智能远程管理系统，其包括：远程监控模块，用于获取由部署于车内的摄像头采集的车内监控图像以及由部署于车内的声音传感器采集的声音探测信号；车内监控图像编码模块，用于将所述车内监控图像通过使用通道注意力机制的第一卷积神经网络模型以得到通道增强车内监控特征图；第一维度调整模块，用于对所述通道增强车内监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到通道增强车内监控特征向量；车内声音编码模块，用于将所述声音探测信号的波形图通过使用空间注意力机制的第二卷积神经网络模型以得到空间增强声音探测特征图；第二维度调整模块，用于将所述空间增强声音探测特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到空间增强声音探测特征向量；高斯融合模块，用于使用高斯密度图来融合所述空间增强声音探测特征向量和所述通道增强车内监控特征向量以得到分类特征矩阵；特征分布校正模块，用于对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵；监测结果生成模块，用于将所述校正后分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示车内是否存有生物；以及，管理结果生成模块，用于响应于所述分类结果为车内存有生物，生成声光预警提示。

进一步的，本申请提供的种机械设备的智能远程管理系统，适用于汽车(例如小轿车、越野车、SUV、跑车、货车、客车、半挂牵引车等所有商用及私家车辆)、摩托车、自行车、电动自行车、电动摩托车、专项作业车(例如洒水车、吸污车、水泥搅拌车、起重车等)、机械设备(例如拖拉机、播种机、收割机、矿山机、起重机械、装卸机械、工矿车辆、叉车、装载机、挖掘机、塔吊、石油钻采等所有机械设备)、飞行器(例如飞机、滑翔机等)等所有交通工具、机械及机械设备。以上所描述的所有类型车辆、机械及设备以下统一简称为：“车辆”。

具体的，本申请提供的种机械设备的智能远程管理系统可以用于远程控制。

例如，在一个具体示例中，可以利用车辆原有的车辆终端及数据或附加终端设备及数据，通过手机(APP、小程序等)、电脑、平板电脑、智能钥匙(原车或附加)等电子设备来控制车辆，控制包括：车辆通电、车辆启动、车辆空调控制(开关、温度、座椅通风加热、制冷制热、风量等所有空调设置)、导航、车辆车窗升降、天窗开关、遥控移动车辆、车灯开关、车门锁定及解锁、车辆声光报警等车辆的所有控制。

在另一个具体示例中，可以用于智能寻车，当车主找不到车辆停放位置时，可以利用一键智能寻车寻找自己的车辆。点击智能寻车后，手机APP、小程序、智能钥匙(原车或附加)通过获取车辆位置来定位车辆，并自动开启步行导航指引车主前往自己的车辆位置，当车主到达车辆一定范围时，软件自动向车辆发送声光警报(可自定义开启或关闭声音、灯光提醒)，使车主更快的寻找到自己的车辆。

在又一个具体示例中，可以用于一键挪车，当车辆停放时，有人提出需要挪车时，提出人可按车辆外部的挪车按键(挪车按键原车出场自带或另外加装)提出挪车需求，此时，系统自动将挪车需求推送并提醒至手机(APP、小程序等)、电脑、平板电脑、智能钥匙(原车或附加)等装有本系统软件的电子设备，当车主收到推送消息时，可选择“一键自动挪车”及“前往挪车”，同时可点击远程对讲，发送语音后，车辆接收并通过外部扬声器播放语音，同时，提出人可通过按压挪车键向车主发送语音，实现远程对讲功能，也可选择实时语音对话模式，实时语音对话，无需独条播放发送。当车主选择一键挪车后，车辆自动启动，并通过自动驾驶技术自动挪车并停放到合适位置。

在再一个具体示例中，可以用于一键停车、一键唤车。当到达目的地时，车主可选择车辆“自动智能泊车”，选择后，驾驶员及乘客即可下车，系统自动寻找附近车位并通过自动驾驶技术前往车位自动泊车。当人员需要驾车出行时，可通过手机(APP、小程序等)、电脑、平板电脑、智能钥匙(原车或附加)等装有本系统软件的电子设备选择“一键唤车”功能，并设置选择乘车点、乘车时间等信息，确认后，车辆将根据所设置的时间及地点自动推算车辆出发时间，到出发时间后，通过无人驾驶技术自动前往乘车点，车辆到达乘车点后，自动推送并提醒至手机(APP、小程序等)、电脑、平板电脑、智能钥匙(原车或附加)等装有本系统软件的电子设备。

本申请提供的种机械设备的智能远程管理系统还可以用于车辆状态监控。

例如，在一个具体示例中，可以用于远程实时查看车辆当前能源量(能源包括但不仅限于：石油、电，天然气、甲醇、乙醇等所有车辆能源)、能源补充记录(补充时间、补充量、补充金额、一定时间内的补充次数、一定时间内的补充总量、一定时间内的补充总金额等)、行驶里程(包括剩余可行驶里程，总里程，自定义时间段内里程)、车辆位置、当前车速、行驶轨迹(可选择某一段时间内的行驶轨迹或本次启动的行驶轨迹等)、油耗(瞬时油耗、轨迹段内油耗、平均油耗等)、能源消耗费(轨迹段内或自定义时间段内的油费、电费、气费等所有能源消耗费用)、车辆保养日期、车辆保养费等所有车辆信息。

在另一个具体示例中，可以用于远程诊断。车辆的状态实时同步到手机APP、电脑端、小程序、智能钥匙(原车或附加)，当车辆有异常或故障时，通过手机APP、电脑端、小程序、智能钥匙(原车或附加)即可远程诊断车辆故障原因及故障部件，并自动给出解决方案，如需更换部件时，同时显示部件价格(通过厂家、4S店、维修店技术接口获取价格)，并列出附近4S店或维修点，选择后自动开启导航指引，如车辆无法驾驶，可在软件系统中选择对应的救援服务。

在再一个具体示例中，可以用于车辆监控。车辆原车自带或附加安装的摄像头，可以通过手机APP、电脑端、小程序、智能钥匙(原车或附加)随时查看各摄像头的实时画面，包括在车辆行驶、停滞、启动、通电、断电(断电状态下，软件自动根据车辆电瓶电量判断是否开启此功能)等所有状态下查看；同时支持摄像头画面存储功能，可选择将画面存储至原车自带的本地存储空间内，也可选择为存储至云盘，二者都可以通过手机APP、电脑端、小程序、智能钥匙(原车或附加)回放查看。车辆原车自带或附加安装的摄像头带有麦克风或附加麦克风装置后，同时可以实时或回放播放麦克风获取的声音。

本申请提供的种机械设备的智能远程管理系统还可以用于智能安全系统。

例如，在一个具体示例中，可以用于车辆安全预警。车辆停放及锁定时，当车辆检测到震动、外力撬动击打车窗(包含天窗等)、外力撬动击打车门、外力撬动击打引擎盖及后尾门、锁定状态拆卸轮胎、锁定状态人员进入车内等异常状态时，系统自动启用声光报警提示(可设置自动向相关部门报警)，车辆摄像头自动保存画面及照片，同时推送异常状态并提醒至手机(APP、小程序等)、电脑、平板电脑、智能钥匙(原车或附加)等装有本系统软件的电子设备，收到提醒内容后，可通过手机(APP、小程序等)、电脑、平板电脑、智能钥匙(原车或附加)等装有本系统软件的电子设备可实时查看车辆实时摄像头画面及声音，并可通过远程实时语音来警示施窃者，也可选择软件系统内置的一键报警功能(系统自动拨打报警电话，并将基本信息告知警务人员，例如车辆位置、车牌号、车主电话、异常类型等内容)。

在另一个具体示例中，可以用于生物安全预警。人员通过人为主动锁定(车辆外部锁定按键、智能钥匙、遥控器、软件远程锁定等方式)车辆时，当车辆检测到车内有生物迹象时，车辆强制阻断锁定指令，同时车辆声光预警提醒，并自动推送及提醒至手机(APP、小程序等)、电脑、平板电脑、智能钥匙(原车或附加)等装有本系统软件的电子设备，待生物移出车辆时，自动执行锁定指令。当车辆处于锁定状态，车辆检测到车内有生物迹象时，系统自动推送紧急信息并提醒至手机(APP、小程序、短信、语音电话等)、电脑、平板电脑、智能钥匙(原车或附加)等装有本系统软件的电子设备，同时系统自动实时监控车内温度及空气质量，如出现温度、空气质量等超出生物安全指标时，系统根据指标自动执行车辆启动、空调开启、车窗及天窗开启等指令，调节车内温度、空气质量至生物安全指标。当车辆检测到车内有生物迹象时，系统自动实时监控车内温度及空气质量，如出现温度、空气质量等超出生物安全指标时，系统根据指标自动执行车辆启动、空调开启、车窗及天窗开启等指令，调节车内温度、空气质量至生物安全指标，同时车内声光预警提醒。

本申请提供的种机械设备的智能远程管理系统还可以是智能语音控制系统。本系统具有语音控制功能(自主开发或接入第三方系统)，可以在车辆原有的车辆终端、附加终端设备、装有本软件系统的所有设备中通过语音唤醒本智能语音控制功能来控制车辆的所有功能及本软件支持的所有功能及硬件设备。本智能语音控制功能通过人工智能及深度学习技术，使本系统相较于普通语音控制系统更加智能、语音识别率更高、更加人性化、更加全面等，并支持各地方言识别，提高语音识别率。本智能语音控制系统支持人声特征形式加密、解密、解锁等功能，在设置环节，通过采集使用人的一段声音，经过系统分析及记录使用人的声音特征，以此特征来作为唤醒时的验证机制(可记录一个或多个人的声音特征)，在设置成功后，只有系统记录的人才可唤醒语音控制功能，提高了系统使用的安全性及防止误唤醒的情况。

图1为根据本申请实施例的机械设备的智能远程管理系统的应用场景图。如图1所示，在该应用场景中，获取由部署于车内的摄像头(例如，如图1中所示意的C)采集的车内监控图像(例如，如图1中所示意的D1)以及由部署于车内的声音传感器(例如，如图1中所示意的F)采集的声音探测信号(例如，如图1中所示意的D2)，然后，将所述车内监控图像和所述声音探测信号输入至部署有机械设备的智能远程管理算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用所述机械设备的智能远程管理算法对所述车内监控图像和所述声音探测信号进行处理以生成用于表示车内是否存有生物的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图2为根据本申请实施例的机械设备的智能远程管理系统的框图示意图。如图2所示，根据本申请实施例的机械设备的智能远程管理系统100，包括：远程监控模块110，用于获取由部署于车内的摄像头采集的车内监控图像以及由部署于车内的声音传感器采集的声音探测信号；车内监控图像编码模块120，用于将所述车内监控图像通过使用通道注意力机制的第一卷积神经网络模型以得到通道增强车内监控特征图；第一维度调整模块130，用于对所述通道增强车内监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到通道增强车内监控特征向量；车内声音编码模块140，用于将所述声音探测信号的波形图通过使用空间注意力机制的第二卷积神经网络模型以得到空间增强声音探测特征图；第二维度调整模块150，用于将所述空间增强声音探测特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到空间增强声音探测特征向量；高斯融合模块160，用于使用高斯密度图来融合所述空间增强声音探测特征向量和所述通道增强车内监控特征向量以得到分类特征矩阵；特征分布校正模块170，用于对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵；监测结果生成模块180，用于将所述校正后分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示车内是否存有生物；以及，管理结果生成模块190，用于响应于所述分类结果为车内存有生物，生成声光预警提示。

更具体地，在本申请实施例中，所述远程监控模块110，用于获取由部署于车内的摄像头采集的车内监控图像以及由部署于车内的声音传感器采集的声音探测信号。目前一些方案通过在车内安装摄像头来通过图像监控以进行车辆设备的远程管理，也就是，当人员通过人为主动锁定(车辆外部锁定按键、智能钥匙、遥控器、软件远程锁定等方式)车辆时，当车辆通过图像监控检测到车内有生物迹象时，车辆强制阻断锁定指令，同时车辆声光预警提醒，并自动推送及提醒至手机(APP、小程序等)、电脑、平板电脑、智能钥匙(原车或附加)等装有本系统软件的电子设备，待生物移出车辆时，自动执行锁定指令。但是，考虑到当车内有玩偶等拟生物模型，如果仅凭图像很难精准地检测到车内是否有生物。并且，考虑到各个生物具有不同的声音波段，因此，在生物识别时引入声音信号的检测显然能够提高生物识别的精准度。

更具体地，在本申请实施例中，所述车内监控图像编码模块120，用于将所述车内监控图像通过使用通道注意力机制的第一卷积神经网络模型以得到通道增强车内监控特征图。使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述车内监控图像的隐含特征挖掘，特别地，考虑到在所述车内监控图像中，为了能够提高对于车内生物识别的精准度，需要更加关注图像中的特征内容。因此，进一步使用通道注意力机制的第一卷积神经网络模型来进行所述车内监控图像的隐含特征挖掘，以提取出所述车内监控图像中聚焦于通道上图像的隐含特征内容的特征分布信息，从而得到通道增强车内监控特征图。应可以理解，这里，所述通道注意力所提取到的图像特征反映了特征通道间的相关性和重要性，以此来增强通道上与车内生物有关的内容特征信息而忽略与生物监测无关的特征分布信息。

相应地，在一个具体示例中，如图3所示，所述车内监控图像编码模块120，包括：图像卷积编码单元121，用于使用所述第一卷积神经网络模型的多层卷积层对所述车内监控图像进行深度卷积编码以得到车内监控初始特征图；全局池化单元122，用于计算所述车内监控初始特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；激活单元123，用于将所述通道特征向量输入Softmax激活函数以得到通道加权特征向量；以及，注意力施加单元124，用于以所述通道加权特征向量中各个位置的特征值作为权重分别对所述车内监控初始特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强车内监控特征图。

更具体地，在本申请实施例中，所述第一维度调整模块130，用于对所述通道增强车内监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到通道增强车内监控特征向量。对所述通道增强车内监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到通道增强车内监控特征向量，进而在进行数据降维时保留通道上的有关车内生物的特征内容分布信息，以在降低计算量的同时提高后续分类的准确性。

更具体地，在本申请实施例中，所述车内声音编码模块140，用于将所述声音探测信号的波形图通过使用空间注意力机制的第二卷积神经网络模型以得到空间增强声音探测特征图。对于采集到的所述声音探测信号，考虑到其在时域中的表现形式一般为波形图，因此，也将其通过在图像的隐含特征提取方面具有优异表现的卷积神经网络模型中进行特征挖掘。特别地，考虑到在进行声音的特征提取时，由于会受到车外的声音信号的干扰，进而对于车内生物的识别带来影响。因此，进一步使用空间注意力机制的第二卷积神经网络模型来进行所述声音探测信号的波形图的时域特征挖掘，以提取出聚焦于车内空间特征位置的声音信号特征分布信息，从而得到空间增强声音探测特征图。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征。

相应地，在一个具体示例中，如图4所示，所述车内声音编码模块140，包括：声音卷积编码单元141，用于使用所述第二卷积神经网络模型的卷积编码部分对所述声音探测信号的波形图进行深度卷积编码以得到高维特征图；空间注意力单元142，用于将所述高维特征图输入所述第二卷积神经网络模型的空间注意力部分以得到空间注意力图；以及，空间注意力施加单元143，用于计算所述高维特征图和所述空间注意力图的按位置点乘以得到所述空间增强声音探测特征图。

更具体地，在本申请实施例中，所述第二维度调整模块150，用于将所述空间增强声音探测特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到空间增强声音探测特征向量。也将其沿通道维度的各个特征矩阵进行全局均值池化，以在进行数据降维以降低计算量的同时，保留其在车内空间位置上的声音内容特征分布信息，从而得到空间增强声音探测特征向量。

更具体地，在本申请实施例中，所述高斯融合模块160，用于使用高斯密度图来融合所述空间增强声音探测特征向量和所述通道增强车内监控特征向量以得到分类特征矩阵。考虑到所述空间增强声音探测特征向量和所述通道增强车内监控特征向量在高维特征空间中都各自对应着一个特征分布流形，而这些特征分布流形由于本身的不规则形状和散布位置，如果仅通过将所述空间增强声音探测特征向量和所述通道增强车内监控特征向量级联来得到车内是否有生物的特征表示，将相当于简单地将这些特征分布流形按原位置和形状来进行叠加，使得新获得的特征分布流形的边界变得非常不规则和复杂，在通过梯度下降来寻找最优点时，非常容易陷入局部极值点中而无法获得全局最优点。因此，需要进一步地对所述空间增强声音探测特征向量和所述通道增强车内监控特征向量进行适当的融合，使得各个特征分布能够相对于彼此在型面上收敛。并且，考虑到高斯密度图在深度学习中，广泛地用于基于先验的目标后验的估计，因此可以用于修正数据分布，从而实现上述目的。具体地，在本申请的技术方案中，使用高斯密度图来融合所述空间增强声音探测特征向量和所述通道增强车内监控特征向量以得到高斯密度图，进一步再对所述高斯密度图进行高斯离散化，以在数据特征增广时不产生信息损失，从而得到分类特征矩阵。这样，通过使用空间注意力来进行所述车内监控图像的内容数据特征增强，并且使用通道注意力来进行所述声音信号的车内空间位置的数据特征增强，以使得不同类型的有效信息被大量捕捉到，可有效增强特征辨别学习能力。

相应地，在一个具体示例中，如图5所示，所述高斯融合模块160，包括：融合高斯密度图构造单元161，用于使用高斯密度图来融合所述空间增强声音探测特征向量和所述通道增强车内监控特征向量以得到融合高斯密度图；高斯离散化单元162，用于对所述融合高斯密度图中各个位置的高斯分布进行离散化处理以得到所述分类特征矩阵。

更具体地，在本申请实施例中，所述特征分布校正模块170，用于对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵。

特别地，在本申请的技术方案中，使用高斯密度图来融合所述空间增强声音探测特征向量和所述通道增强车内监控特征向量得到所述分类特征矩阵时，由于高斯离散化具有一定的随机性，会在所述分类特征矩阵内引入偏离所述分类特征矩阵的整体特征分布的随机的局部特征分布，从而影响所述分类特征矩阵整体的分布单调性，导致所述分类特征矩阵通过分类器进行分类的收敛效果差，影响分类结果的准确性。由此，对所述分类特征矩阵进行平滑最大函数近似性调制。

相应地，在一个具体示例中，所述特征分布校正模块170，进一步用于：以如下公式对所述分类特征矩阵进行特征分布校正以得到所述校正后分类特征矩阵；其中，所述公式为：

其中M表示所述分类特征矩阵，m

这里，通过用沿所述分类特征矩阵M的行和列维度的平滑最大函数来近似地定义符号化的距离函数，可以实现所述分类特征矩阵M在高维特征空间内所表征的高维流形的凸优化的相对良好的联合，并通过以其对所述分类特征矩阵M的结构化的特征分布进行调制，就可以获得特征分布的内在结构到特征空间内的空间特征变化的自然分布转移，增强了所述分类特征矩阵M的高维流形的特征表达的凸单调性保留，从而增强了所述分类特征矩阵整体的分布单调性，进而改进了所述分类特征矩阵通过分类器进行分类的收敛效果，提升了分类结果的准确性。这样，能够对于车内是否存在生物进行精准地识别判断，以避免在车内存在生物时执行自动锁车指令而发生意外，保证车辆远程控制管理的安全性。

更具体地，在本申请实施例中，所述监测结果生成模块180，用于将所述校正后分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示车内是否存有生物。

相应地，在一个具体示例中，如图6所示，所述监测结果生成模块180，包括：矩阵展开单元181，用于将所述校正后分类特征矩阵按照行向量或列向量展开为分类特征向量；全连接编码单元182，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元183，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

更具体地，在本申请实施例中，所述管理结果生成模块190，用于响应于所述分类结果为车内存有生物，生成声光预警提示。

综上，基于本申请实施例的机械设备的智能远程管理系统100被阐明，其采用基于深度学习的人工智能检测技术，以通过对于车内监控图像和声音探测信号的处理分析来进行车内的生物识别。具体地，使用通道注意力思想来聚焦于所述车内监控图像中的通道上的内容特征信息，并使用空间注意力思想来聚焦于所述车内的声音信号特征信息，进一步以这两者的融合特征分布信息来综合进行车内生物的有效识别，进而在车内存有生物时生成声光预警提示。通过这样的方式，可以对于车内是否存在生物进行精准地识别判断，以避免在车内存在生物时执行自动锁车指令而发生意外，保证车辆远程控制管理的安全性。

如上所述，根据本申请实施例的所述机械设备的智能远程管理系统100可以实现在各种终端设备中，例如具有机械设备的智能远程管理算法的服务器等。在一个示例中，机械设备的智能远程管理系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该机械设备的智能远程管理系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该机械设备的智能远程管理系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该机械设备的智能远程管理系统100与该终端设备也可以是分立的设备，并且该机械设备的智能远程管理系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法

图7为根据本申请实施例的机械设备的智能远程管理方法的流程图。如图7所示，根据本申请实施例的机械设备的智能远程管理方法，其包括：S110，获取由部署于车内的摄像头采集的车内监控图像以及由部署于车内的声音传感器采集的声音探测信号；S120，将所述车内监控图像通过使用通道注意力机制的第一卷积神经网络模型以得到通道增强车内监控特征图；S130，对所述通道增强车内监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到通道增强车内监控特征向量；S140，将所述声音探测信号的波形图通过使用空间注意力机制的第二卷积神经网络模型以得到空间增强声音探测特征图；S150，将所述空间增强声音探测特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到空间增强声音探测特征向量；S160，使用高斯密度图来融合所述空间增强声音探测特征向量和所述通道增强车内监控特征向量以得到分类特征矩阵；S170，对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵；S180，将所述校正后分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示车内是否存有生物；以及，S190，响应于所述分类结果为车内存有生物，生成声光预警提示。

图8为根据本申请实施例的机械设备的智能远程管理方法的系统架构的示意图。如图8所示，在所述机械设备的智能远程管理方法的系统架构中，首先，获取由部署于车内的摄像头采集的车内监控图像以及由部署于车内的声音传感器采集的声音探测信号；接着，将所述车内监控图像通过使用通道注意力机制的第一卷积神经网络模型以得到通道增强车内监控特征图；然后，对所述通道增强车内监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到通道增强车内监控特征向量；接着，将所述声音探测信号的波形图通过使用空间注意力机制的第二卷积神经网络模型以得到空间增强声音探测特征图；然后，将所述空间增强声音探测特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到空间增强声音探测特征向量；接着，使用高斯密度图来融合所述空间增强声音探测特征向量和所述通道增强车内监控特征向量以得到分类特征矩阵；然后，对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵；接着，将所述校正后分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示车内是否存有生物；最后，响应于所述分类结果为车内存有生物，生成声光预警提示。

在一个具体示例中，在上述机械设备的智能远程管理方法中，所述将所述车内监控图像通过使用通道注意力机制的第一卷积神经网络模型以得到通道增强车内监控特征图，包括：使用所述第一卷积神经网络模型的多层卷积层对所述车内监控图像进行深度卷积编码以得到车内监控初始特征图；计算所述车内监控初始特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；将所述通道特征向量输入Softmax激活函数以得到通道加权特征向量；以及，以所述通道加权特征向量中各个位置的特征值作为权重分别对所述车内监控初始特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强车内监控特征图。

在一个具体示例中，在上述机械设备的智能远程管理方法中，所述将所述声音探测信号的波形图通过使用空间注意力机制的第二卷积神经网络模型以得到空间增强声音探测特征图，包括：使用所述第二卷积神经网络模型的卷积编码部分对所述声音探测信号的波形图进行深度卷积编码以得到高维特征图；将所述高维特征图输入所述第二卷积神经网络模型的空间注意力部分以得到空间注意力图；以及，计算所述高维特征图和所述空间注意力图的按位置点乘以得到所述空间增强声音探测特征图。

在一个具体示例中，在上述机械设备的智能远程管理方法中，所述使用高斯密度图来融合所述空间增强声音探测特征向量和所述通道增强车内监控特征向量以得到分类特征矩阵，包括：使用高斯密度图来融合所述空间增强声音探测特征向量和所述通道增强车内监控特征向量以得到融合高斯密度图；对所述融合高斯密度图中各个位置的高斯分布进行离散化处理以得到所述分类特征矩阵。

在一个具体示例中，在上述机械设备的智能远程管理方法中，所述对所述分类特征矩阵进行特征分布校正以得到校正后分类特征矩阵，进一步包括：以如下公式对所述分类特征矩阵进行特征分布校正以得到所述校正后分类特征矩阵；其中，所述公式为：

其中M表示所述分类特征矩阵，m

在一个具体示例中，在上述机械设备的智能远程管理方法中，所述将所述校正后分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示车内是否存有生物，包括：将所述校正后分类特征矩阵按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

这里，本领域技术人员可以理解，上述机械设备的智能远程管理方法中的各个步骤的具体操作已经在上面参考图1到图6的机械设备的智能远程管理系统的描述中得到了详细介绍，并因此，将省略其重复描述。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。