基于多协议自适应的设备智能感知物联网网关管理平台

技术领域

本发明涉及物联网技术领域，尤其涉及一种基于多协议自适应的设备智能感知物联网网关管理平台。

背景技术

在相关技术中，CN115696248A公开了一种基于LoRa通信的传输系统及无线通讯方法，所述传输系统包括：上位机、LoRa无线终端设备、LoRaWAN网关和网络服务器；LoRa无线终端设备用于采集多种传感器的传输数据并将采集的传感器通信方式通过预设接口发送至上位机；上位机用于根据接收到的传感器通信方式对LoRa无线终端设备上对应的数据采集接口进行接口配置；网络服务器与LoRaWAN网关进行通信连接；上位机还用于对LoRaWAN网关的通道进行设置，以使LoRa无线终端设备与LoRaWAN网关进行组网通信，将采集的传输数据上传至所述网络服务器。

CN115452046A公开了一种基于物联网的环保监测系统，包括：智能传感网关对接入的数据采集终端进行身份认证，接收身份认证通过的数据采集终端传输的数据，对接收的数据进行协议转换，并将转换后的数据传输到传感数据管理平台；传感数据管理平台对采集的监测数据进行融合处理得到融合结果，将监测数据质量信息最高的数据传输到数据分析模块进行分析；数据分析模块将实测生态环境曲线函数与无污染生态环境曲线函数做差运算得到差值，根据差值判断生态环境污染程度，并分析出生态环境污染的规律；预警模块根据生态环境污染程度进行预警，并作出相应的治理方案。

CN115567348A公开了一种多适配能力的边缘网关装置及电子设备，边缘网关装置包括：核心计算模块，具有边缘计算模块，用于对数据进行边缘计算；硬件扩展模块，与核心计算模块通信连接，用于添加外围接口并对外围接口进行管理；通信模块，与核心计算模块通讯连接，以支持与核心计算模块间的数据传输；异构网络控制模块，与核心计算模块通信连接，异构网络控制模块包括异构网络接入单元和通信协议处理单元。

因此，在相关技术中，可使用网关对终端设备的数据进行协议转换，从而获得云端设备能够使用的数据。然而，对于未知通信协议的终端设备发送的数据，网关则难以进行协议转换，导致数据难以被云端设备使用。

公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明实施例提供一种基于多协议自适应的设备智能感知物联网网关管理平台，能够在未知终端设备的通信协议的情况下，将终端设备的通信数据进行转换，使得云端设备和终端设备能够进行通信。

本发明实施例的第一方面，提供一种基于多协议自适应的设备智能感知物联网网关管理平台,所述平台用于执行以下步骤：

在检测到终端设备上电的情况下，通过默认网关向所述终端设备发送多个协议适配测试信息，其中，所述协议适配测试信息包括使所述终端设备执行并应答的一个或多个命令；

通过所述默认网关，接收所述终端设备对于所述协议适配测试信息的应答信息；

根据所述应答信息、与所述协议适配测试信息对应的应答标签信息、信息特征提取模型、以及与所述协议适配测试信息对应的特征变换矩阵，获得所述应答信息的适配评分，其中，所述应答标签信息为对于所述协议适配测试信息的期望执行结果信息；

在所述适配评分小于或等于预设评分阈值的情况下，根据所述应答信息、所述应答标签信息、所述信息特征提取模型和网关识别模型，获得网关矩阵；

根据所述终端设备的通信信息、所述信息特征提取模型和所述网关矩阵，获得通信信息特征表示；

对所述通信信息特征表示进行解码，获得接收信息。

在本发明的一些实施例中，根据所述应答信息、与所述协议适配测试信息对应的应答标签信息、信息特征提取模型、以及与所述协议适配测试信息对应的特征变换矩阵，获得所述应答信息的适配评分，包括：

通过所述信息特征提取模型，对所述应答信息进行特征提取处理，获得所述应答信息的第一顺序特征信息、第一数字特征信息、第一文本语义特征信息以及第一图像特征信息；

通过所述信息特征提取模型，对所述应答标签信息进行特征提取处理，获得所述应答标签信息的参考顺序特征信息、参考数字特征信息、参考文本语义特征信息以及参考图像特征信息；

根据所述特征变换矩阵，和所述第一顺序特征信息、所述第一数字特征信息、所述第一文本语义特征信息、所述第一图像特征信息、所述参考顺序特征信息、所述参考数字特征信息、所述参考文本语义特征信息以及所述参考图像特征信息，获得所述应答信息的适配评分。

在本发明的一些实施例中，所述特征变换矩阵包括顺序特征变换矩阵、数字特征变换矩阵、文本语义特征变换矩阵和图像特征变换矩阵，

其中，根据所述特征变换矩阵，和所述第一顺序特征信息、所述第一数字特征信息、所述第一文本语义特征信息、所述第一图像特征信息、所述参考顺序特征信息、所述参考数字特征信息、所述参考文本语义特征信息以及所述参考图像特征信息，获得所述应答信息的适配评分，包括：

根据所述顺序特征变换矩阵，对所述第一顺序特征信息和所述参考顺序特征信息分别进行映射变换，分别获得与所述第一顺序特征信息对应的第一顺序向量以及与所述参考顺序特征信息对应的参考顺序向量；

根据所述第一顺序向量和所述参考顺序向量，确定所述应答信息的顺序特征评分；

根据所述数字特征变换矩阵，对所述第一数字特征信息和所述参考数字特征信息分别进行映射变换，分别获得与所述第一数字特征信息对应的第一数字向量以及与所述参考数字特征信息对应的参考数字向量；

根据所述第一顺序向量、所述参考顺序向量、所述第一数字向量和所述参考数字向量，确定所述应答信息的数字特征评分；

根据所述文本语义特征变换矩阵，对所述第一文本语义特征信息和所述参考文本语义特征信息分别进行映射变换，分别获得与所述第一文本语义特征信息对应的第一文本语义向量以及与所述参考文本语义特征信息对应的参考文本语义向量；

根据所述第一顺序向量、所述参考顺序向量、所述第一文本语义向量和所述参考文本语义向量，确定所述应答信息的文本语义评分；

根据所述图像特征变换矩阵，对所述第一图像特征信息和所述参考图像特征信息分别进行映射变换，分别获得与所述第一图像特征信息对应的第一图像特征向量以及与所述参考图像特征信息对应的参考图像特征向量；

根据所述第一顺序向量、所述参考顺序向量、所述第一图像特征向量和所述参考图像特征向量，确定所述应答信息的图像特征评分；

根据所述顺序特征评分、所述数字特征评分、所述文本语义评分和所述图像特征评分，确定所述适配评分。

在本发明的一些实施例中，根据所述第一顺序向量、所述参考顺序向量、所述第一数字向量和所述参考数字向量，确定所述应答信息的数字特征评分，包括：

根据所述第一顺序向量、所述参考顺序向量，获得顺序变换矩阵；

根据公式

，a

在本发明的一些实施例中，所述平台还用于：

通过所述信息特征提取模型，获得应答信息样本的样本应答特征信息；

通过所述信息特征提取模型，获得与所述应答信息样本对应的标签信息的标签特征信息；

将所述样本应答特征信息和所述标签特征信息输入所述网关识别模型，获得样本网关矩阵；

通过所述样本网关矩阵，对所述样本应答特征信息进行变换，获得样本应答特征表示；

对所述样本应答特征表示和所述标签特征信息进行映射变换，获得所述样本应答特征表示的样本特征向量，以及所述标签特征信息的标签特征向量；

根据所述样本特征向量和所述标签特征向量，确定所述信息特征提取模型和所述网关识别模型的综合损失函数；

根据所述综合损失函数，训练所述信息特征提取模型和所述网关识别模型，获得训练后的信息特征提取模型和网关识别模型。

在本发明的一些实施例中，所述样本特征向量包括样本顺序向量、样本数字向量、样本语义向量和样本图像向量，所述标签特征向量包括标签顺序向量、标签数字向量、标签语义向量和标签图像向量，

其中，根据所述样本特征向量和所述标签特征向量，确定所述信息特征提取模型和所述网关识别模型的综合损失函数，包括：

根据所述样本顺序向量、所述样本数字向量、所述样本语义向量和所述样本图像向量，获得样本全局向量；

根据所述标签顺序向量、所述标签数字向量、所述标签语义向量和所述标签图像向量，获得标签全局向量；

根据所述样本全局向量和所述标签全局向量，确定全局损失函数；

根据所述样本顺序向量、所述标签顺序向量、所述样本全局向量和所述标签全局向量，确定顺序损失函数；

根据所述样本顺序向量、所述标签顺序向量、所述样本数字向量、所述标签数字向量、所述样本全局向量和所述标签全局向量，确定数字损失函数；

根据所述样本顺序向量、所述标签顺序向量、所述样本语义向量、所述标签语义向量、所述样本全局向量和所述标签全局向量，确定语义损失函数；

根据所述样本顺序向量、所述标签顺序向量、所述样本图像向量、所述标签图像向量、所述样本全局向量和所述标签全局向量，确定图像损失函数；

根据所述全局损失函数、所述顺序损失函数、所述数字损失函数、所述语义损失函数和所述图像损失函数，确定所述综合损失函数。

在本发明的一些实施例中，根据所述样本顺序向量、所述标签顺序向量、所述样本数字向量、所述标签数字向量、所述样本全局向量和所述标签全局向量，确定数字损失函数，包括：

根据样本顺序向量和所述标签顺序向量，获得样本顺序变换矩阵；

根据公式

，/>

本发明实施例的第二方面，提供一种基于多协议自适应的设备智能感知物联网网关管理装置，包括：

测试信息发送模块，用于在检测到终端设备上电的情况下，通过默认网关向所述终端设备发送多个协议适配测试信息，其中，所述协议适配测试信息包括使所述终端设备执行并应答的一个或多个命令；

应答信息接收模块，用于通过所述默认网关，接收所述终端设备对于所述协议适配测试信息的应答信息；

适配评价模块，用于根据所述应答信息、与所述协议适配测试信息对应的应答标签信息、信息特征提取模型、以及与所述协议适配测试信息对应的特征变换矩阵，获得所述应答信息的适配评分，其中，所述应答标签信息为对于所述协议适配测试信息的期望执行结果信息；

网关矩阵模块，用于在所述适配评分小于或等于预设评分阈值的情况下，根据所述应答信息、所述应答标签信息、所述信息特征提取模型和网关识别模型，获得网关矩阵；

通信表示模块，用于根据所述终端设备的通信信息、所述信息特征提取模型和所述网关矩阵，获得通信信息特征表示；

解码模块，用于对所述通信信息特征表示进行解码，获得接收信息。

在本发明的一些实施例中，所述适配评价模块进一步用于：

通过所述信息特征提取模型，对所述应答信息进行特征提取处理，获得所述应答信息的第一顺序特征信息、第一数字特征信息、第一文本语义特征信息以及第一图像特征信息；

通过所述信息特征提取模型，对所述应答标签信息进行特征提取处理，获得所述应答标签信息的参考顺序特征信息、参考数字特征信息、参考文本语义特征信息以及参考图像特征信息；

根据所述特征变换矩阵，和所述第一顺序特征信息、所述第一数字特征信息、所述第一文本语义特征信息、所述第一图像特征信息、所述参考顺序特征信息、所述参考数字特征信息、所述参考文本语义特征信息以及所述参考图像特征信息，获得所述应答信息的适配评分。

在本发明的一些实施例中，所述特征变换矩阵包括顺序特征变换矩阵、数字特征变换矩阵、文本语义特征变换矩阵和图像特征变换矩阵，

所述适配评价模块进一步用于：

根据所述顺序特征变换矩阵，对所述第一顺序特征信息和所述参考顺序特征信息分别进行映射变换，分别获得与所述第一顺序特征信息对应的第一顺序向量以及与所述参考顺序特征信息对应的参考顺序向量；

根据所述第一顺序向量和所述参考顺序向量，确定所述应答信息的顺序特征评分；

根据所述数字特征变换矩阵，对所述第一数字特征信息和所述参考数字特征信息分别进行映射变换，分别获得与所述第一数字特征信息对应的第一数字向量以及与所述参考数字特征信息对应的参考数字向量；

根据所述第一顺序向量、所述参考顺序向量、所述第一数字向量和所述参考数字向量，确定所述应答信息的数字特征评分；

根据所述文本语义特征变换矩阵，对所述第一文本语义特征信息和所述参考文本语义特征信息分别进行映射变换，分别获得与所述第一文本语义特征信息对应的第一文本语义向量以及与所述参考文本语义特征信息对应的参考文本语义向量；

根据所述第一顺序向量、所述参考顺序向量、所述第一文本语义向量和所述参考文本语义向量，确定所述应答信息的文本语义评分；

根据所述图像特征变换矩阵，对所述第一图像特征信息和所述参考图像特征信息分别进行映射变换，分别获得与所述第一图像特征信息对应的第一图像特征向量以及与所述参考图像特征信息对应的参考图像特征向量；

根据所述第一顺序向量、所述参考顺序向量、所述第一图像特征向量和所述参考图像特征向量，确定所述应答信息的图像特征评分；

根据所述顺序特征评分、所述数字特征评分、所述文本语义评分和所述图像特征评分，确定所述适配评分。

在本发明的一些实施例中，所述适配评价模块进一步用于：

根据所述第一顺序向量、所述参考顺序向量，获得顺序变换矩阵；

根据公式

，a

在本发明的一些实施例中，所述装置还包括训练模块，用于：

通过所述信息特征提取模型，获得应答信息样本的样本应答特征信息；

通过所述信息特征提取模型，获得与所述应答信息样本对应的标签信息的标签特征信息；

将所述样本应答特征信息和所述标签特征信息输入所述网关识别模型，获得样本网关矩阵；

通过所述样本网关矩阵，对所述样本应答特征信息进行变换，获得样本应答特征表示；

对所述样本应答特征表示和所述标签特征信息进行映射变换，获得所述样本应答特征表示的样本特征向量，以及所述标签特征信息的标签特征向量；

根据所述样本特征向量和所述标签特征向量，确定所述信息特征提取模型和所述网关识别模型的综合损失函数；

根据所述综合损失函数，训练所述信息特征提取模型和所述网关识别模型，获得训练后的信息特征提取模型和网关识别模型。

在本发明的一些实施例中，所述样本特征向量包括样本顺序向量、样本数字向量、样本语义向量和样本图像向量，所述标签特征向量包括标签顺序向量、标签数字向量、标签语义向量和标签图像向量，

所述训练模块进一步用于：

根据所述样本顺序向量、所述样本数字向量、所述样本语义向量和所述样本图像向量，获得样本全局向量；

根据所述标签顺序向量、所述标签数字向量、所述标签语义向量和所述标签图像向量，获得标签全局向量；

根据所述样本全局向量和所述标签全局向量，确定全局损失函数；

根据所述样本顺序向量、所述标签顺序向量、所述样本全局向量和所述标签全局向量，确定顺序损失函数；

根据所述样本顺序向量、所述标签顺序向量、所述样本数字向量、所述标签数字向量、所述样本全局向量和所述标签全局向量，确定数字损失函数；

根据所述样本顺序向量、所述标签顺序向量、所述样本语义向量、所述标签语义向量、所述样本全局向量和所述标签全局向量，确定语义损失函数；

根据所述样本顺序向量、所述标签顺序向量、所述样本图像向量、所述标签图像向量、所述样本全局向量和所述标签全局向量，确定图像损失函数；

根据所述全局损失函数、所述顺序损失函数、所述数字损失函数、所述语义损失函数和所述图像损失函数，确定所述综合损失函数。

在本发明的一些实施例中，所述训练模块进一步用于：

根据样本顺序向量和所述标签顺序向量，获得样本顺序变换矩阵；

根据公式

，/>

本发明还提供一种基于多协议自适应的设备智能感知物联网网关管理设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述步骤。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述步骤。

根据本发明的实施例的基于多协议自适应的设备智能感知物联网网关管理平台，可首先通过默认网关向接入的终端设备发送协议适配测试信息，并基于终端设备的应答信息确认默认网关是否能够用于协议转换，如果能够用于协议转换则直接使用默认网关进行后续正常通信中的协议转换处理，如果不能用于协议转换，则基于应答信息和应答标签信息获取对于终端设备的通信信息进行数据转换的网关矩阵，以基于网关矩阵将终端设备的通信信息转换为云端设备可用的接收信息，从而可在未知终端设备的通信协议的情况下，将终端设备的通信数据进行转换，使得云端设备和终端设备之间的通信不依赖于已知的通信协议和网关，提升云端设备和终端设备的适用范围以及通信便利性。并且，在确认默认网关是否能够用于协议转换以及训练信息特征提取模型和网关识别模型的过程中，均对于应答特征向量的顺序进行调整，便于与标签特征向量进行相似度比较，提升相似度的准确性，并可提升训练效果。

附图说明

图1示例性地示出本发明实施例的基于多协议自适应的设备智能感知物联网网关管理平台执行的步骤的流程示意图；

图2示例性地示出本发明实施例的基于多协议自适应的设备智能感知物联网网关管理装置的框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。

取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1示例性地示出本发明实施例的基于多协议自适应的设备智能感知物联网网关管理平台执行的步骤的流程示意图，如图1所示，所述平台用于执行以下步骤：

步骤S101，在检测到终端设备上电的情况下，通过默认网关向所述终端设备发送多个协议适配测试信息，其中，所述协议适配测试信息包括使所述终端设备执行并应答的一个或多个命令；

步骤S102，通过所述默认网关，接收所述终端设备对于所述协议适配测试信息的应答信息；

步骤S103，根据所述应答信息、与所述协议适配测试信息对应的应答标签信息、信息特征提取模型、以及与所述协议适配测试信息对应的特征变换矩阵，获得所述应答信息的适配评分，其中，所述应答标签信息为对于所述协议适配测试信息的期望执行结果信息；

步骤S104，在所述适配评分小于或等于预设评分阈值的情况下，根据所述应答信息、所述应答标签信息、所述信息特征提取模型和网关识别模型，获得网关矩阵；

步骤S105，根据所述终端设备的通信信息、所述信息特征提取模型和所述网关矩阵，获得通信信息特征表示；

步骤S106，对所述通信信息特征表示进行解码，获得接收信息。

根据本发明的实施例的基于多协议自适应的设备智能感知物联网网关管理平台，可首先通过默认网关向接入的终端设备发送协议适配测试信息，并基于终端设备的应答信息确认默认网关是否能够用于协议转换，如果能够用于协议转换则直接使用默认网关进行后续正常通信中的协议转换处理，如果不能用于协议转换，则基于应答信息和应答标签信息获取对于终端设备的通信信息进行数据转换的网关矩阵，以基于网关矩阵将终端设备的通信信息转换为云端设备可用的接收信息，从而可在未知终端设备的通信协议的情况下，将终端设备的通信数据进行转换，使得云端设备和终端设备之间的通信不依赖于已知的通信协议和网关，提升云端设备和终端设备的适用范围以及通信便利性。

在本发明的一些实施例中，所述平台可以是云端的服务器等设备，终端设备可以是与云端设备进行通信连接，并按照自身功能处理任务的设备，可接收云端设备的指令（例如，开始执行任何或结束执行任务的指令），并按照指令和自身功能执行任务，也可向云端设备发送数据，例如，执行任务的结果数据或过程数据等，例如，终端设备为分布在多个位置的监控摄像头，则终端设备可接收云端设备的命令，拍摄各个位置的视频，并将视频数据作为执行结果发送至云端设备。本公开对云端设备和终端设备的具体类型不做限制。

在本发明的一些实施例中，每个终端设备与云端设备需建立通信连接后才可进行正常通信，例如，可进行正常的数据传输。而云端设备和终端设备的通信协议可能不同，因此，可通过网关来进行协议转换，从而使得终端设备传输的数据能够被云端设备接收并使用。然而，终端设备的通信协议可能是未知的，或者，云端设备的网关无法转换终端设备的数据，造成云端设备难以接收或使用终端设备传输的数据。

在本发明的一些实施例中，对于以上问题，可使用上述基于多协议自适应的设备智能感知物联网网关管理平台来进行数据转换。首先可测试默认网关能否顺利转换终端设备的传输的数据，如果能够顺利转换，则可使用默认网关进行后续的通信信息的转换，如果不能顺利转换，则可生成网关矩阵作为数据转换的方式，对终端设备传输的通信信息进行数据转换。

在本发明的一些实施例中，在步骤S101中，可在检测到终端设备上电的情况下，通过默认网关向所述终端设备发送多个协议适配测试信息。在示例中，云端设备可与多个类型相同或相似的终端设备建立通信连接，例如，多个终端设备为监控摄像头。则如果检测到有新的终端请求与云端设备建立通信连接，则可使用与其他的终端设备相同（例如，与大多数终端设备相同）的网关作为默认网关，并测试新的终端设备能否使用默认网关与云端设备正常通信，如果能够使用默认网关与云端设备正常通信，则在后续通信中使用默认网关即可，反之，如果使用默认网关不能与云端设备正常通信，则可生成用于进行数据转换的网关矩阵，以用于对终端设备的通信信息进行转换。

在本发明的一些实施例中，在测试终端设备能否使用默认网关与云端设备正常通信时，可通过默认网关向终端设备发送多个协议适配测试信息，每个协议适配测试信息均可包括一个或多个命令，且这些命令为简单命令，例如，获取终端设备的某些信息的字段，或者要求终端设备进行某些单步骤或少量步骤的处理等，或者，一些通用命令，即，不需要协议转换或者仅使用通用的方式进行转换，即可被终端设备识别的命令。

在本发明的一些实施例中，终端设备可执行各个协议适配测试信息中的命令，并向云端设备发送应答信息，在步骤S102中，云端设备可通过默认网关来接收应答信息。然而，终端设备的应答信息的复杂程度可能较高，例如，应答信息中可包括数字信息、文本信息、图像信息等，在进行通信的过程中需要准确的网关才可进行协议转换，并使得云端设备能够获取到正确的信息，而不正确的网关则可能使得云端设备无法获得正确的应答信息（例如，信息是错乱的），甚至无法读取获得的应答信息。

在本发明的一些实施例中，在步骤S103中，云端设备可对接收到的应答信息进行评估，以确定应答信息是否正确，从而判断默认网关是否可用于终端设备和云端设备的通信。云端设备可根据所述应答信息、与所述协议适配测试信息对应的应答标签信息、信息特征提取模型、以及与所述协议适配测试信息对应的特征变换矩阵，获得所述应答信息的适配评分。在示例中，可确定出与各个协议适配测试信息对应的应答信息，并确定应答信息类别是否为协议适配测试信息的命令所应当获取到的信息的类别，例如，某个协议适配测试信息中的命令为获取终端设备的某个标识符，则可确定与该适配测试信息对应的应答信息的类别是否为标识符的类别，由于终端设备为新建立连接的设备，云端设备对于终端设备的信息是未知的，因此，可仅进行类别判断，而不进行具体内容的判断。在应答信息的类别与预期的类别一致的情况下，适配评分可较高，否则，适配评分可较低。当然，也可进一步确定所获得的应答信息的内容为正确内容还是错乱的内容，例如，正确的内容的格式是具有统一标准的，只是具体内容在各个终端设备之间所有区别，而所乱的内容则不符合上述格式标准，因此，可基于格式来判断内容的正确性。本公开对是否进行内容的判断不做限制。

在本发明的一些实施例中，步骤S103可包括：通过所述信息特征提取模型，对所述应答信息进行特征提取处理，获得所述应答信息的第一顺序特征信息、第一数字特征信息、第一文本语义特征信息以及第一图像特征信息；通过所述信息特征提取模型，对所述应答标签信息进行特征提取处理，获得所述应答标签信息的参考顺序特征信息、参考数字特征信息、参考文本语义特征信息以及参考图像特征信息；根据所述特征变换矩阵，和所述第一顺序特征信息、所述第一数字特征信息、所述第一文本语义特征信息、所述第一图像特征信息、所述参考顺序特征信息、所述参考数字特征信息、所述参考文本语义特征信息以及所述参考图像特征信息，获得所述应答信息的适配评分。

在本发明的一些实施例中，所述第一顺序特征信息可用于描述各个应答信息的顺序，例如，在打包发送应答信息时，可能由于通信协议的差异，使得各个应答信息的顺序变化，而正确的网关则可将顺序恢复为与各个协议适配测试信息对应的状态，而错误的网关则未必能将顺序恢复正确，因此，可确定第一顺序特征信息，并对第一顺序特征信息与正确的顺序对应的特征信息（即，参考顺序特征信息）进行对比，从而确定顺序是否恢复正确。

在本发明的一些实施例中，第一数字特征信息、第一文本语义特征信息以及第一图像特征信息中均可包括类型和/或格式信息，例如，第一数字特征信息为对于数字类型的应答信息提取的特征信息，可包括数字的格式和类型的特征表示，但可不包括数字内容的特征表示，类似地，第一文本语义特征信息为对于文本类型的应答信息提取的特征信息，第一图像特征信息为对于图像类型的应答信息提取的特征信息，第一文本语义特征信息和第一图像特征信息可包括格式和类型的特征表示，但可不包括具体内容的特征表示。

在本发明的一些实施例中，应答标签信息可描述应答信息的预期的类型和/或格式，例如，在通过信息特征提取模型对应答标签信息进行特征提取，可获得参考顺序特征信息、参考数字特征信息、参考文本语义特征信息以及参考图像特征信息，其中，参考数字特征信息为对于预期的类型为数字的应答标签信息提取的特征信息，参考文本语义特征信息为对于预期的类型为文本的应答标签信息提取的特征信息，参考图像特征信息为对于预期的类型为图像的应答标签信息提取的特征信息，参考数字特征信息、参考文本语义特征信息以及参考图像特征信息均可包括类型和/或格式的特征表示，但可不包括具体内容的特征表示。参考顺序特征信息则可表示各个应答标签信息的正确顺序，该正确顺序与多个协议适配测试信息的顺序一致。

在本发明的一些实施例中，可分别对比第一顺序特征信息和参考顺序特征信息、第一数字特征信息和参考数字特征信息、第一文本语义特征信息和参考文本语义特征信息、以及第一图像特征信息和参考图像特征信息，并对各组对比对象的匹配度进行评价，从而确定应答信息的适配评分。

在本发明的一些实施例中，所述特征变换矩阵包括顺序特征变换矩阵、数字特征变换矩阵、文本语义特征变换矩阵和图像特征变换矩阵，其中，根据所述特征变换矩阵，和所述第一顺序特征信息、所述第一数字特征信息、所述第一文本语义特征信息、所述第一图像特征信息、所述参考顺序特征信息、所述参考数字特征信息、所述参考文本语义特征信息以及所述参考图像特征信息，获得所述应答信息的适配评分，包括：根据所述顺序特征变换矩阵，对所述第一顺序特征信息和所述参考顺序特征信息分别进行映射变换，分别获得与所述第一顺序特征信息对应的第一顺序向量以及与所述参考顺序特征信息对应的参考顺序向量；根据所述第一顺序向量和所述参考顺序向量，确定所述应答信息的顺序特征评分；根据所述数字特征变换矩阵，对所述第一数字特征信息和所述参考数字特征信息分别进行映射变换，分别获得与所述第一数字特征信息对应的第一数字向量以及与所述参考数字特征信息对应的参考数字向量；根据所述第一顺序向量、所述参考顺序向量、所述第一数字向量和所述参考数字向量，确定所述应答信息的数字特征评分；根据所述文本语义特征变换矩阵，对所述第一文本语义特征信息和所述参考文本语义特征信息分别进行映射变换，分别获得与所述第一文本语义特征信息对应的第一文本语义向量以及与所述参考文本语义特征信息对应的参考文本语义向量；根据所述第一顺序向量、所述参考顺序向量、所述第一文本语义向量和所述参考文本语义向量，确定所述应答信息的文本语义评分；根据所述图像特征变换矩阵，对所述第一图像特征信息和所述参考图像特征信息分别进行映射变换，分别获得与所述第一图像特征信息对应的第一图像特征向量以及与所述参考图像特征信息对应的参考图像特征向量；根据所述第一顺序向量、所述参考顺序向量、所述第一图像特征向量和所述参考图像特征向量，确定所述应答信息的图像特征评分；根据所述顺序特征评分、所述数字特征评分、所述文本语义评分和所述图像特征评分，确定所述适配评分。

在本发明的一些实施例中，由于上述特征信息的格式未必可进行直接比较，例如，某些特征信息为矩阵的格式，无法直接确定矩阵之间的相似度，因此，可通过特征变换矩阵将特征信息进行映射变换，将特征信息变换为向量的格式，从而可确定向量之间的相似度。而对于能够直接对比相似度的特征信息，可无需特征变换矩阵进行变换，当然，也可使用特征变换矩阵进行变换，本发明对此不作限制。

在本发明的一些实施例中，可通过顺序特征变换矩阵，对第一顺序特征信息和参考顺序特征信息分别进行映射变换，获得第一顺序向量和参考顺序向量，并获得二者之间的相似度（例如，余弦相似度）作为顺序特征评分。

在本发明的一些实施例中，可通过数字特征变换矩阵，对第一数字特征信息和参考数字特征信息分别进行映射变换，获得第一数字向量和参考数字向量。而在确定二者的相似度时，可能无法直接确定。在示例中，第一数字特征信息可存在于应答信息的特征矩阵（由第一数字向量、第一文本语义向量和第一图像特征向量组成的矩阵，且特征矩阵中各向量的顺序与应答信息的顺序一致）中，第一数字向量的数量可能为多个，多个第一数字特征向量与多个参考数字特征向量之间无法直接确定总体的相似度，并且，第一数字特征向量在应答信息的特征矩阵中的顺序可能与参考数字特征在应答标签信息的特征矩阵（即，参考数字向量、参考文本语义向量以及参考图像特征向量组成的矩阵，且各向量在特征矩阵中的顺序与应答标签信息的顺序一致）中的顺序不一致，因此，也无法对矩阵中相对应的向量直接进行相似度比较。

在本发明的一些实施例中，为克服上述问题，可利用第一顺序向量红外参考顺序向量来去确定第一数字向量和参考数字向量的顺序关系，再对互相对应的第一数字向量和参考数字向量计算相似度。根据所述第一顺序向量、所述参考顺序向量、所述第一数字向量和所述参考数字向量，确定所述应答信息的数字特征评分，包括：根据所述第一顺序向量、所述参考顺序向量，获得顺序变换矩阵；根据公式（1）获得数字特征评分S

（1）

其中，

（2）

a

在本发明的一些实施例中，以第一数字向量和参考数字向量为行向量为例，可通过公式（1）确定其相似度，矩阵

在本发明的一些实施例中，文本语义评分的确定方法与数字特征评分的确定方法类似，即，首先可通过文本语义特征变换矩阵对第一文本语义特征信息和参考文本语义特征信息分别进行映射变换，获得第一文本语义向量和参考文本语义向量，并将公式（1）中的第一数字向量替换为第一文本语义向量，参考数字向量替换为参考文本语义向量，则公式（1）的结果为文本语义评分。

在本发明的一些实施例中，图像特征评分的确定方法与数字特征评分的确定方法类似，即，首先可通过图像特征变换矩阵对第一图像特征信息和参考图像特征信息分别进行映射变换，获得第一图像特征向量和参考图像特征向量，并将公式（1）中的第一数字向量替换为第一图像特征向量，参考数字向量替换为参考图像特征向量，则公式（1）的结果为图像特征评分。

在本发明的一些实施例中，以上获得了顺序特征评分、数字特征评分、文本语义评分和图像特征评分，可求解顺序特征评分、数字特征评分、文本语义评分和图像特征评分的加权求和值，或者加权平均值，作为所述适配评分，用于表述应答信息的类型和格式与应答标签信息的相似性，如果适配评分高于预设评分阈值，则可认为应答信息的类型和格式是正确的，且默认网关可用于终端设备与云端设备在后续通信过程中的协议转换。否则，在适配评分小于或等于预设评分阈值的情况下，则表示应答信息的类型和格式不正确，需要重新确定协议转换方案，即，确定网关矩阵，从而利用网关矩阵对终端设备传输的通信信息进行转换，获得云端设备可用的信息。

在本发明的一些实施例中，在步骤S104中，通过信息特征提取模型获取的应答信息的特征信息（例如，第一顺序特征信息、第一数字特征信息、第一文本语义特征信息以及第一图像特征信息）以及应答标签信息的特征信息（例如，参考顺序特征信息、参考数字特征信息、参考文本语义特征信息以及参考图像特征信息）可输入网关识别模型进行处理，从而确定二者之间的顺序、类型和/或格式的差异，从而确定可将应答信息的特征信息所表示的顺序、类型和/或格式，转换为应答标签信息的特征信息所表示的顺序、类型和/或格式的网关矩阵。进而可在后续通信过程中，即，在步骤S105中，通过信息特征提取模型提取终端设备的通信信息的特征信息，并利用网关矩阵转换通信信息的特征信息所表示的顺序、类型和/或格式，获得通信信息特征表示，其中，通信信息特征表示的顺序、类型和/或格式是云端设备可用的。进一步地，在步骤S106中，可对通信信息特征进行解码，获得接收信息，即，符合云端设备的顺序、类型和/或格式要求（即，符合云端设备的通信协议）的信息，从而实现在未知终端设备的通信协议以及正确的网关的情况下，生成能够进行协议转换的网关矩阵，从而对终端设备的通信信息的特征信息进行转换并解码，从而可在未知通信协议和网关的情况下，正确接收终端设备的信息。

在本发明的一些实施例中，以上信息特征提取模型和网关识别模型可在使用之前进行训练，所述平台还用于：通过所述信息特征提取模型，获得应答信息样本的样本应答特征信息；通过所述信息特征提取模型，获得与所述应答信息样本对应的标签信息的标签特征信息；将所述样本应答特征信息和所述标签特征信息输入所述网关识别模型，获得样本网关矩阵；通过所述样本网关矩阵，对所述样本应答特征信息进行变换，获得样本应答特征表示；对所述样本应答特征表示和所述标签特征信息进行映射变换，获得所述样本应答特征表示的样本特征向量，以及所述标签特征信息的标签特征向量；根据所述样本特征向量和所述标签特征向量，确定所述信息特征提取模型和所述网关识别模型的综合损失函数；根据所述综合损失函数，训练所述信息特征提取模型和所述网关识别模型，获得训练后的信息特征提取模型和网关识别模型。

在本发明的一些实施例中，通过信息特征提取模型进行信息提取的过程，、通过网关识别模型获得样本网关矩阵，以及通过样本网关矩阵对样本应答特征信息进行转换获得样本应答特征表示的过程与以上类似，在此不再赘述。

在本发明的一些实施例中，样本应答特征表示和标签特征信息之间可能由于格式或顺序等因素无法直接进行比较，因此，可进行映射变换，获得样本特征向量和标签特征向量，例如，可通过上述特征变换矩阵进行映射变换，从而变换为能够进行比较（例如，计算相似度）的向量。

在本发明的一些实施例中，所述样本特征向量包括样本顺序向量、样本数字向量、样本语义向量和样本图像向量，所述标签特征向量包括标签顺序向量、标签数字向量、标签语义向量和标签图像向量，其中，根据所述样本特征向量和所述标签特征向量，确定所述信息特征提取模型和所述网关识别模型的综合损失函数，包括：根据所述样本顺序向量、所述样本数字向量、所述样本语义向量和所述样本图像向量，获得样本全局向量；根据所述标签顺序向量、所述标签数字向量、所述标签语义向量和所述标签图像向量，获得标签全局向量；根据所述样本全局向量和所述标签全局向量，确定全局损失函数；根据所述样本顺序向量、所述标签顺序向量、所述样本全局向量和所述标签全局向量，确定顺序损失函数；根据所述样本顺序向量、所述标签顺序向量、所述样本数字向量、所述标签数字向量、所述样本全局向量和所述标签全局向量，确定数字损失函数；根据所述样本顺序向量、所述标签顺序向量、所述样本语义向量、所述标签语义向量、所述样本全局向量和所述标签全局向量，确定语义损失函数；根据所述样本顺序向量、所述标签顺序向量、所述样本图像向量、所述标签图像向量、所述样本全局向量和所述标签全局向量，确定图像损失函数；根据所述全局损失函数、所述顺序损失函数、所述数字损失函数、所述语义损失函数和所述图像损失函数，确定所述综合损失函数。

在本发明的一些实施例中，可在上述映射变换时，将样本顺序向量、样本数字向量、样本语义向量、样本图像向量、标签顺序向量、标签数字向量、标签语义向量和标签图像向量变换为相同维度的向量。将样本顺序向量、样本数字向量、样本语义向量和样本图像向量进行加权求和，可获得样本全局向量，将标签顺序向量、标签数字向量、标签语义向量和标签图像向量进行加权求和，可获得标签全局向量。当然，也可通过其他运算方式获得上述两个全局向量，本公开对具体运算方式不做限制。两个全局向量可表示样本特征向量和标签特征向量的整体特征。

在本发明的一些实施例中，可确定全局向量之间的全局损失函数，例如，可计算两个全局向量之间的相似度，而随着全局损失函数在训练过程中减小，两个全局向量之间的相似度增高，因此，全局损失函数与两个全局向量之间的相似度反相关，可使用两个全局向量之间的相似度的倒数，相反数等作为全局损失函数。或作为全局损失函数的项，并将所述全局损失函数的项与常数项相加或相乘来获得全局损失函数。本公开对全局损失函数的具体计算方式不做限制。

在本发明的一些实施例中，在训练过程中，可使得样本特征向量和标签特征向量之间的相似度提升，因此，样本全局向量和标签全局向量之间的相似度可逐步接近1，样本顺序向量和标签顺序向量之间的相似度也逐步接近1，可计算样本顺序向量和标签顺序向量之间的相似度，与样本全局向量和标签全局向量之间的相似度的比值，从而在上述两种相似度与1的差距较大时，可增大训练过程中的梯度，提升训练效率。进一步地，可取上述比值的负对数，作为所述顺序损失函数，从而使得真数部分接近1时，所述负对数接近0，从而实现在顺序损失函数在训练过程中减小（即，趋近0）时，使得真数部分接近1，从而同步提升样本顺序向量和标签顺序向量之间的相似度，与样本全局向量和标签全局向量之间的相似度。

在本发明的一些实施例中，在确定数字损失函数时，与以上对于数字特征评分的描述类似，样本数字向量和标签数字向量的顺序可能不一致，因此无法直接进行比较，因此，可对样本数字向量的顺序进行变换，调整为与标签数字向量一致的顺序，再进行相似度运算，并确定数字损失函数。

在本发明的一些实施例中，根据所述样本顺序向量、所述标签顺序向量、所述样本数字向量、所述标签数字向量、所述样本全局向量和所述标签全局向量，确定数字损失函数，包括：根据样本顺序向量和所述标签顺序向量，获得样本顺序变换矩阵；根据公式（3），确定所述数字损失函数L

（3）

其中，

（4）

为样本顺序向量中第i个元素，/>

在本发明的一些实施例中，语义损失函数的确定方式与数字损失函数的确定方式类似，将公式（3）中的样本数字向量替换为样本语义向量，并将公式（3）中的标签数字向量替换为标签语义向量，即可获得语义损失函数。

在本发明的一些实施例中，图像损失函数的确定方式与数字损失函数的确定方式类似，将公式（3）中的样本数字向量替换为样本图像向量，并将公式（3）中的标签数字向量替换为标签图像向量，即可获得图像损失函数。

在本发明的一些实施例中，在获得全局损失函数、顺序损失函数、数字损失函数、语义损失函数和图像损失函数后，可将上述损失函数进行加权求和，获得所述综合损失函数。

在本发明的一些实施例中，可利用综合损失函数进行反向传播，以调整信息特征提取模型和网关识别模型的参数，在进行多次训练后，在信息特征提取模型和网关识别模型满足进度要求的情况下，完成训练，获得训练后的信息特征提取模型和网关识别模型。

根据本发明的实施例的基于多协议自适应的设备智能感知物联网网关管理平台，可首先通过默认网关向接入的终端设备发送协议适配测试信息，并基于终端设备的应答信息确认默认网关是否能够用于协议转换，如果能够用于协议转换则直接使用默认网关进行后续正常通信中的协议转换处理，如果不能用于协议转换，则基于应答信息和应答标签信息获取对于终端设备的通信信息进行数据转换的网关矩阵，以基于网关矩阵将终端设备的通信信息转换为云端设备可用的接收信息，从而可在未知终端设备的通信协议的情况下，将终端设备的通信数据进行转换，使得云端设备和终端设备之间的通信不依赖于已知的通信协议和网关，提升云端设备和终端设备的适用范围以及通信便利性。并且，在确认默认网关是否能够用于协议转换以及训练信息特征提取模型和网关识别模型的过程中，均对于应答特征向量的顺序进行调整，便于与标签特征向量进行相似度比较，提升相似度的准确性，并可提升训练效果。

图2示例性地示出本发明实施例的基于多协议自适应的设备智能感知物联网网关管理装置的框图，如图2所示，所述装置包括：

测试信息发送模块101，用于在检测到终端设备上电的情况下，通过默认网关向所述终端设备发送多个协议适配测试信息，其中，所述协议适配测试信息包括使所述终端设备执行并应答的一个或多个命令；

应答信息接收模块102，用于通过所述默认网关，接收所述终端设备对于所述协议适配测试信息的应答信息；

适配评价模块103，用于根据所述应答信息、与所述协议适配测试信息对应的应答标签信息、信息特征提取模型、以及与所述协议适配测试信息对应的特征变换矩阵，获得所述应答信息的适配评分，其中，所述应答标签信息为对于所述协议适配测试信息的期望执行结果信息；

网关矩阵模块104，用于在所述适配评分小于或等于预设评分阈值的情况下，根据所述应答信息、所述应答标签信息、所述信息特征提取模型和网关识别模型，获得网关矩阵；

通信表示模块105，用于根据所述终端设备的通信信息、所述信息特征提取模型和所述网关矩阵，获得通信信息特征表示；

解码模块106，用于对所述通信信息特征表示进行解码，获得接收信息。

在本发明的一些实施例中，所述适配评价模块进一步用于：

通过所述信息特征提取模型，对所述应答信息进行特征提取处理，获得所述应答信息的第一顺序特征信息、第一数字特征信息、第一文本语义特征信息以及第一图像特征信息；

通过所述信息特征提取模型，对所述应答标签信息进行特征提取处理，获得所述应答标签信息的参考顺序特征信息、参考数字特征信息、参考文本语义特征信息以及参考图像特征信息；

根据所述特征变换矩阵，和所述第一顺序特征信息、所述第一数字特征信息、所述第一文本语义特征信息、所述第一图像特征信息、所述参考顺序特征信息、所述参考数字特征信息、所述参考文本语义特征信息以及所述参考图像特征信息，获得所述应答信息的适配评分。

在本发明的一些实施例中，所述特征变换矩阵包括顺序特征变换矩阵、数字特征变换矩阵、文本语义特征变换矩阵和图像特征变换矩阵，

所述适配评价模块进一步用于：

根据所述顺序特征变换矩阵，对所述第一顺序特征信息和所述参考顺序特征信息分别进行映射变换，分别获得与所述第一顺序特征信息对应的第一顺序向量以及与所述参考顺序特征信息对应的参考顺序向量；

根据所述第一顺序向量和所述参考顺序向量，确定所述应答信息的顺序特征评分；

根据所述数字特征变换矩阵，对所述第一数字特征信息和所述参考数字特征信息分别进行映射变换，分别获得与所述第一数字特征信息对应的第一数字向量以及与所述参考数字特征信息对应的参考数字向量；

根据所述第一顺序向量、所述参考顺序向量、所述第一数字向量和所述参考数字向量，确定所述应答信息的数字特征评分；

根据所述文本语义特征变换矩阵，对所述第一文本语义特征信息和所述参考文本语义特征信息分别进行映射变换，分别获得与所述第一文本语义特征信息对应的第一文本语义向量以及与所述参考文本语义特征信息对应的参考文本语义向量；

根据所述第一顺序向量、所述参考顺序向量、所述第一文本语义向量和所述参考文本语义向量，确定所述应答信息的文本语义评分；

根据所述图像特征变换矩阵，对所述第一图像特征信息和所述参考图像特征信息分别进行映射变换，分别获得与所述第一图像特征信息对应的第一图像特征向量以及与所述参考图像特征信息对应的参考图像特征向量；

根据所述第一顺序向量、所述参考顺序向量、所述第一图像特征向量和所述参考图像特征向量，确定所述应答信息的图像特征评分；

根据所述顺序特征评分、所述数字特征评分、所述文本语义评分和所述图像特征评分，确定所述适配评分。

在本发明的一些实施例中，所述适配评价模块进一步用于：

根据所述第一顺序向量、所述参考顺序向量，获得顺序变换矩阵；

根据公式

，a

在本发明的一些实施例中，所述装置还包括训练模块，用于：

通过所述信息特征提取模型，获得应答信息样本的样本应答特征信息；

通过所述信息特征提取模型，获得与所述应答信息样本对应的标签信息的标签特征信息；

将所述样本应答特征信息和所述标签特征信息输入所述网关识别模型，获得样本网关矩阵；

通过所述样本网关矩阵，对所述样本应答特征信息进行变换，获得样本应答特征表示；

对所述样本应答特征表示和所述标签特征信息进行映射变换，获得所述样本应答特征表示的样本特征向量，以及所述标签特征信息的标签特征向量；

根据所述样本特征向量和所述标签特征向量，确定所述信息特征提取模型和所述网关识别模型的综合损失函数；

根据所述综合损失函数，训练所述信息特征提取模型和所述网关识别模型，获得训练后的信息特征提取模型和网关识别模型。

在本发明的一些实施例中，所述样本特征向量包括样本顺序向量、样本数字向量、样本语义向量和样本图像向量，所述标签特征向量包括标签顺序向量、标签数字向量、标签语义向量和标签图像向量，

所述训练模块进一步用于：

根据所述样本顺序向量、所述样本数字向量、所述样本语义向量和所述样本图像向量，获得样本全局向量；

根据所述标签顺序向量、所述标签数字向量、所述标签语义向量和所述标签图像向量，获得标签全局向量；

根据所述样本全局向量和所述标签全局向量，确定全局损失函数；

根据所述样本顺序向量、所述标签顺序向量、所述样本全局向量和所述标签全局向量，确定顺序损失函数；

根据所述样本顺序向量、所述标签顺序向量、所述样本数字向量、所述标签数字向量、所述样本全局向量和所述标签全局向量，确定数字损失函数；

根据所述样本顺序向量、所述标签顺序向量、所述样本语义向量、所述标签语义向量、所述样本全局向量和所述标签全局向量，确定语义损失函数；

根据所述样本顺序向量、所述标签顺序向量、所述样本图像向量、所述标签图像向量、所述样本全局向量和所述标签全局向量，确定图像损失函数；

根据所述全局损失函数、所述顺序损失函数、所述数字损失函数、所述语义损失函数和所述图像损失函数，确定所述综合损失函数。

在本发明的一些实施例中，所述训练模块进一步用于：

根据样本顺序向量和所述标签顺序向量，获得样本顺序变换矩阵；

根据公式

，/>

本发明可以是平台、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的平台、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、平台和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。