装卸口状态检测方法、装置、服务器及存储介质

技术领域

本发明涉及物流技术领域，具体涉及一种装卸口状态检测方法、装置、服务器及存储介质。

背景技术

随着物流行业的发展，将货物进行集中整合然后再集中分发成为了提高运输效率所必不可少的流程，这个货物集中整合的地方就是中转场(或中转站)。

中转场(或中转站)是网络中的集散节点，基本功能是对快件进行集散和转运。这类网点也称为集散点集散中心等。集散中心的称谓在一般物流业中使用较多，快递业一般称为中转场、中转站、分拨场、中转中心等，除仓储、加工功能外，两者的其他功能基本相同。

快件抵达中转场后，需要进行装货、卸货等操作，再运输到目的地的中转场，进行相同的一系列操作，这些操作主要集中在中转场的工作平台，即装卸口。装卸口是货物被装载到运输工具上或者从运输工具被卸载下来的工作平台。对于装卸口的监管，目前主要是采用人工监控，人工估测的方式。这种方式由于人的主观性判断，导致装卸口的监管不够精准，存在严重的准确性问题。另外，运输工具进站或入港后，由于人工误差导致其可能没有直接驶入对应的装卸口，导致工作效率较低，人员时间浪费等问题。

发明内容

本发明实施例提供一种装卸口状态检测方法、装置、服务器及存储介质，可以自动对装卸口状态进行统计，通过装卸口状态可以辅助人员和物资的调动，提高装卸工作效率。

第一方面，本申请提供一种装卸口状态检测方法，所述装卸口状态监控方法包括：

获取监控装卸口的视频流数据；

根据所述视频流数据中相邻帧图像，获取装卸口融合图；

根据预设的装卸口分类模型对所述装卸口融合图进行装卸口状态检测，获取所述装卸口状态信息。

进一步的，所述根据所述视频流数据中相邻帧图像，获取装卸口融合图，包括：

对所述视频流数据中相邻帧图像计算光流，得到光流图；

对所述相邻帧图像中后一帧图像进行灰度处理，得到灰度图；

根据所述光流图和所述灰度图进行图像合成，得到三通道的装卸口融合图。

进一步的，所述光流图包括预设的x方向光流图和y方向光流图，所述根据所述光流图和所述灰度图进行图像合成，得到所述装卸口融合图，包括：

对所述x方向光流图、y方向光流图和所述灰度图进行通道叠加，形成三个通道图；

对所述三个通道图进行合成，得到所述装卸口融合图。

进一步的，所述根据预设的装卸口分类模型对所述装卸口融合图进行装卸口状态检测，获取所述装卸口状态信息，包括：

计算所述装卸口融合图的权重参数；

利用所述权重参数和所述装卸口融合图进行前向计算，输出所述装卸口状态检测值。

进一步的，所述装卸口分类模型中包括特征图处理子模型，所述计算所述装卸口融合图的权重参数，包括：

通过所述特征图处理子模型对所述装卸口融合图中的通道分别进行最大池化处理和平均池化处理，分别得到第一结果和第二结果；

对所述第一结果和第二结果进行叠加，得到第一叠加数据；

对所述第一叠加数据进行卷积，得到卷积数据；

根据预设的激活函数对所述卷积数据进行计算，得到第一装卸口特征图，所述第一装卸口特征图中每个像素的值组成所述装卸口融合图的第一权重参数。

进一步的，所述装卸口分类模型中包括通道处理子模型，所述计算所述装卸口融合图的权重参数，包括：

通过所述通道处理子模型对所述装卸口融合图中分别进行最大池化处理和平均池化处理，得到第一特征图和第二特征图；

对所述第一特征图和所述第二特征图分别进行全连接处理，得到第三结果和第四结果；

对所述第三结果和所述第四结果按位相加，得到第二叠加数据；

根据预设的激活函数对所述第二叠加数据进行计算，得到第二装卸口特征图，所述第二装卸口特征图中每个像素的值组成所述装卸口融合图的第二权重参数。

进一步的，所述利用所述权重参数和所述装卸口融合图进行前向计算，输出所述装卸口状态检测值，包括：

将所述装卸口融合图作为装卸口分类模型的输入；

计算输入和所述第一权重参数、所述第二权重参数的乘积；

计算乘积与预设的偏置值的和值，将所述和值作为装卸口状态检测值输出。

进一步的，在根据预设的装卸口分类模型对所述装卸口融合图进行装卸口状态检测，获取所述装卸口状态信息之前，所述方法还包括：

采集多张样本装卸口状态图；

将所述多张样本装卸口状态图及每张样本装卸口状态图对应的装卸口状态真实值添加到训练样本数据集合中；

分别以所述训练样本数据集合中每张样本装卸口状态图为目标样本图，将所述目标样本图输入到所述装卸口神经网络，以获取每张样本装卸口状态图的装卸口状态检测值；

对所述装卸口状态检测值和所述装卸口状态真实值进行收敛，得到所述装卸口分类模型。

第二方面，本申请提供一种装卸口状态获取装置，所述装卸口状态获取装置包括：

第一获取单元，用于获取监控装卸口的视频流数据；

第二获取单元，用于根据所述视频流数据中相邻帧图像，获取装卸口融合图；

检测单元，用于根据预设的装卸口分类模型对所述装卸口融合图进行状装卸口态检测，获取所述装卸口状态信息。

进一步的，所述光流图包括预设的x方向光流图和y方向光流图，所述第二获取单元具体用于：

对所述x方向光流图、y方向光流图和所述灰度图进行通道叠加，形成三个通道图；

对所述三个通道图进行合成，得到所述装卸口融合图。

进一步的，所述检测单元具体用于：

计算所述装卸口融合图的权重参数；

利用所述权重参数和所述装卸口融合图进行前向计算，输出所述装卸口状态检测值。

进一步的，所述装卸口分类模型中包括特征图处理子模型，所述检测单元具体用于：

通过所述特征图处理子模型对所述装卸口融合图中的通道分别进行最大池化处理和平均池化处理，分别得到第一结果和第二结果；

对所述第一结果和第二结果进行叠加，得到第一叠加数据；

对所述第一叠加数据进行卷积，得到卷积数据；

根据预设的激活函数对所述卷积数据进行计算，得到第一装卸口特征图，所述第一装卸口特征图中每个像素的值组成所述装卸口融合图的第一权重参数。

进一步的，所述装卸口分类模型中包括通道处理子模型，所述检测单元具体用于：

通过所述通道处理子模型对所述装卸口融合图中分别进行最大池化处理和平均池化处理，得到第一特征图和第二特征图；

对所述第一特征图和所述第二特征图分别进行全连接处理，得到第三结果和第四结果；

对所述第三结果和所述第四结果按位相加，得到第二叠加数据；

根据预设的激活函数对所述第二叠加数据进行计算，得到第二装卸口特征图，所述第二装卸口特征图中每个像素的值组成所述装卸口融合图的第二权重参数。

进一步的，所述检测单元具体用于：

将所述装卸口融合图作为装卸口分类模型的输入；

计算输入和所述第一权重参数、所述第二权重参数的乘积；

计算乘积与预设的偏置值的和值，将所述和值作为装卸口状态检测值输出。

进一步的，所述装卸口状态检测装置还包括：

训练单元，用于在根据预设的装卸口分类模型对所述装卸口融合图进行状态检测，获取所述装卸口状态信息之前，采集多张样本装卸口状态图；将所述多张样本装卸口状态图及每张样本装卸口状态图对应的装卸口状态真实值添加到训练样本数据集合中；分别以所述训练样本数据集合中每张样本装卸口状态图为目标样本图，将所述目标样本图输入到所述装卸口神经网络，以获取每张样本装卸口状态图的装卸口状态检测值；对所述装卸口状态检测值和所述装卸口状态真实值进行收敛，得到所述装卸口分类模型。

第三方面，本申请提供过一种服务器，所述服务器包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的装卸口状态检测方法。

第四方面，本申请提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行第一方面中任一项所述的装卸口状态检测方法中的步骤。

本发明实施例中通过视频流数据中相邻帧图像得到装卸口融合图，通过装卸口分类模型对装卸口融合图进行装卸口状态检测，获取装卸口状态信息，可以自动对装卸口状态进行统计，通过装卸口状态可以辅助人员和物资的调动，提高装卸工作效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的装卸口状态检测方法的一个实施例流程示意图；

图2是本发明实施例提供的装卸口状态检测方法中步骤S103的一个实施例流程示意图；

图3是本发明实施例提供的装卸口状态检测方法中步骤S201的一个实施例流程示意图；

图4是本发明实施例提供的装卸口状态检测方法中步骤S201的另一个实施例流程示意图；

图5是本发明实施例提供的装卸口状态检测装置的一个实施例结构示意图；

图6是本发明实施例提供的服务器的一个实施例结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本发明实施例提供一种装卸口状态检测方法、装置、服务器及存储介质，以下分别进行详细说明。

首先，本发明实施例中提供一种装卸口状态检测方法，所述装卸口状态检测方法包括：获取监控装卸口的视频流数据；根据所述视频流数据中相邻帧图像，获取装卸口融合图；根据预设的装卸口分类模型对所述装卸口融合图进行装卸口状态检测，获取所述装卸口状态信息。

如图1所示，为本发明实施例中装卸口状态检测方法的一个实施例流程示意图，该装卸口状态检测方法应用于装卸口状态检测装置，该装卸口状态检测装置可以位于服务器中，该装卸口状态检测方法包括：

S101、获取监控装卸口的视频流数据。

本发明实施例中，在中转场可以具有多个装卸口，每个装卸口可以对应一个监控设备(如监控摄像头)，装卸口状态检测装置可以获取该多个装卸口对应的多路视频流数据，其中每一路视频流数据与一个装卸口相对应，每一路视频流数据中，传输的数据是视频帧序列。本发明实施例中，装卸口可以指的是中转场中的一个装卸口，该视频流数据为该装卸口对应的视频流数据。

S102、根据所述视频流数据中相邻帧图像，获取装卸口融合图。

其中，可以根据所述视频流数据中相邻帧图像，获取装卸口融合图，目的是通过视频流数据中相邻帧图像提取出目标对象的动态特征，基于所述视频流数据中视频帧序列的动态特征，可以得到图像中目标对象的相对位置变化或者摄像机位置变化等运动信息。

其中，动态特征提取方法例如可以是光流法和块匹配算法。光流法，例如可以是TVL1算法，LK算法等。目标对象，例如可以是在传输带上运动的货物(也称为包裹、物品等)，或者在运输工具，例如运输车车厢内的工作人员的动作。本发明实施例中，可以通过检测相邻帧中货物的动态特征，或者工作人员的动态特征，或者二者相结合的方式来检测装卸口的当前行为。优选地，基于视频帧序列中相邻帧之间的光流图来判断装卸口的当前行为。当前行为例如可以是：装货行为、卸货行为、空闲行为。其中，装货行为是指货物(或快件，包裹)从传输带输入到运输工具中的传输行为。卸货行为是指货物(或快件，包裹)从运输工具输出到传输带上的传输行为。空闲行为是指传输带上无货物运动，或者工作人员没有对货物进行搬运操作。

具体的，在本发明一些实施例中，即所述根据所述视频流数据中相邻帧图像，获取装卸口融合图，可以包括：对所述视频流数据中相邻帧图像计算光流，得到光流图；对所述相邻帧图像中后一帧图像进行灰度处理，得到灰度图；根据所述光流图和所述灰度图进行图像合成，得到三通道的装卸口融合图。

其中，所述光流图包括预设的x方向光流图和y方向光流图，所述根据所述光流图和所述灰度图进行图像合成，得到所述装卸口融合图，包括：对所述x方向光流图、y方向光流图和所述灰度图进行通道叠加，形成三个通道图；对所述三个通道图进行合成，得到所述装卸口融合图。例如，可以分别计算视频流数据中相邻帧的光流图，从该光流图中提取x，y方向的光流图，对所述相邻帧图像中后一帧图像进行灰度处理，得到灰度图。然后，用x，y方向的光流图替换RGB图像中的R通道和G通道，用灰度图替代RGB图像中的B通道，得到新的图像帧，即三通道的装卸口融合图，将该装卸口融合图作为装卸口分类模型的输入图像。

在装卸口分类模型中，图像数据是三维的，高度(height)，、宽度(width)和通道(channel)，其中，通道(channel)可以是比如图片基本的三通道(RGB)。

S103、根据预设的装卸口分类模型对所述装卸口融合图进行装卸口状态检测，获取所述装卸口状态信息。

具体的，将该装卸口融合图输入到装卸口分类模型，经过装卸口分类模型检测，输出当前帧的行为的检测结果，即获取到所述装卸口状态信息。其中，装卸口分类模型可以是Incepition-V2，CNN网络模型、基于深度学习建立的图像分类模型等。

本发明实施例中通过视频流数据中相邻帧图像得到装卸口融合图，通过装卸口分类模型对装卸口融合图进行装卸口状态检测，获取装卸口状态信息，可以自动对装卸口状态进行统计，通过装卸口状态可以辅助人员和物资的调动，提高装卸工作效率。

本发明实施例中，该装卸口分类模型的结构可以包括：输入层，卷积层，池化层，规范层，全连接层、损失层。具体如下：

输入层：负责接受图片输入，例如装卸口融合图输入。

卷积层：主要用于对输入的图像(比如训练样本或需要识别的图像)进行特征提取(即将原始数据映射到隐层特征空间)，其中，卷积核大小可以根据实际应用而定，例如，第一层卷积层积核大小设置为(5，5)，，第一层卷积层积核大小设置为(3，3)，可选的，为了降低计算的复杂度，提高计算效率，装卸口分类模型中所有卷积层的卷积核大小也可以都设置为(3，3)；卷积层作为特征的检测器，使得装卸口分类模型可以获得从低层特征到高层特征。可选的，为了提高模型的表达能力，还可以通过加入非线性激活函数来加入非线性因素，在本发明实施例中，卷积层后面均连接有非线性激活函数，具体可以根据实际应用的需求进行设置，例如，非线性激活函数可以是f(x)＝max(0，x)。

池化层：池化层是对相邻区域合并，使得神经子网络模型可容忍一定的形变，提升模型鲁棒性。该池化层与卷积层的操作基本相同，只不过池化层的卷积核为只取对应位置的最大值(max pooling)或平均值(average pooling)等。

规范层：对池化层中的输出特征，分别经过规范层再进行拼接，其中的规范层会对特征进行归一化，使得池化层中的输出特征有着同样的数量级，便于特征的融合。

全连接层：然后将融合的特征输入全连接层，全连接层可以将学到的“分布式特征表示”映射到样本标记空间，其在整个装卸口分类模型中主要起到“分类器”的作用，全连接层的每一个结点都与上一层(如装卸口分类模型中的最后一个池化层)输出的所有结点相连，其中，全连接层的一个结点即称为全连接层中的一个神经元，全连接层中神经元的数量可以根据实际应用的需求而定，比如，全连接层的神经元数量可以均设置为20个。

可选的，在全连接层中，在得到融合后的向量后，会对融合后的向量可以进行一个线性变换，从而方便后续具体人脸属性的预测。该线性变换操作可以采用线性函数进行，例如Y＝a*X+b。其中，Y是输出，X是输入，a,b都是参数。比如输入X是10维的向量，a是4*10的一个矩阵，b是一个常量。如0.2。先做矩阵乘法，得到的结果加上这个常量b，即得到输出Y。

损失层：损失层用于计算比较人脸属性预测值和人脸属性真实值的差异，并通过反向传播算法对多通道神经网络中的参数进行不断地修正优化，得到多通道神经网络模型，其中，损失函数可以采用交叉熵损失函数。

发明人在对上述装卸口融合图分类结果的分析统计之后发现，装卸口的业务场景中对于目标对象的分析有些是重点对象，有些并不是重点对象，因此对于分类的准确度最高只能达到96％左右。因此，为了进一步提高分类准确度，本申请中，该装卸口分类模型内部进一步设计多个子模型，在每一个子模型中，同样可以包括上述卷积层和池化层等结构，子模型具体结构可以根据实际情况进行设定。

在上述实施例的基础之上，在本发明一些实施例中，如图2所示，步骤S103中所述根据预设的装卸口分类模型对所述装卸口融合图进行装卸口状态检测，获取所述装卸口状态信息可以包括：

S201、计算所述装卸口融合图的权重参数。

S202、利用所述权重参数和所述装卸口融合图进行前向计算，输出所述装卸口状态检测值。

在本发明一些实施例中，如图3所示，所述装卸口分类模型中可以包括特征图处理子模型，所述计算所述装卸口融合图的权重参数，可以包括：

S2011、通过所述特征图处理子模型对所述装卸口融合图中的通道分别进行最大池化处理和平均池化处理，分别得到第一结果和第二结果。

S2012、对所述第一结果和第二结果进行叠加，得到第一叠加数据。

S2013、对所述第一叠加数据进行卷积，得到卷积数据。

其中，进行卷积的卷积核可以预先设定好，例如7*7等。

S2014、根据预设的激活函数对所述卷积数据进行计算，得到第一装卸口特征图，所述第一装卸口特征图中每个像素的值组成所述装卸口融合图的第一权重参数。

下面以一具体示例描述计算第一装卸口特征图的具体过程：

假设装卸口融合图大小为c*h*w，基于channel通道，在这个通道至上进行池化，具体的，进行max pooling(最大池化处理)得到1*h*w(max)，进行average pooling(平均池化处理)得到1*h*w(average)；对平均池化处理的结果和最大池化处理的结果进行叠加，得到第一叠加数据；然后使用7*7的卷积核进行卷积，输出通道为1，得到卷积数据；再可以进行一次非线性化处理；根据预设的激活函数(该激活函数可以是sigmoid函数)对卷积数据进行计算，将参数进行变化，得到第一装卸口特征图1*h*w，其中，该第第一装卸口特征图中每个像素的值组成装卸口融合图的第一权重参数。。

在本发明另一些实施例中，如图4所示，所述装卸口分类模型中包括通道处理子模型，所述计算所述装卸口融合图的权重参数，还可以包括：

S2015、通过所述通道处理子模型对所述装卸口融合图中分别进行最大池化处理和平均池化处理，得到第一特征图和第二特征图。

S2016、对所述第一特征图和所述第二特征图分别进行全连接处理，得到第三结果和第四结果。

S2017、对所述第三结果和所述第四结果按位相加，得到第二叠加数据。

S2018、根据预设的激活函数对所述第二叠加数据进行计算，得到第二装卸口特征图，所述第二装卸口特征图中每个像素的值组成所述装卸口融合图的第二权重参数。

同样的，下面以一具体示例描述计算第二装卸口特征图的具体过程：

假设装卸口融合图大小为c*h*w，对c*h*w通道的图像进行最大池化处理和平均池化处理，得到c*1*1大小的两个特征图：第一特征图和第二特征图；对第一特征图和第二特征图进行全连接处理的操作，变成((1/4)*c)*1*1的两个结果，即得到第三结果和第四结果；然后对第三结果和第四结果进行线性处理，在使用全连接处理，将第三结果和第四结果变换回来，变成c*1*1大小；对c*1*1大小的第三结果和第四结果按位相加，得到第二叠加数据；根据预设的激活函数(该激活函数可以是sigmoid函数)对所述第二叠加数据进行计算，得到第二装卸口特征图，其中，第二装卸口特征图中每个像素的值组成所述装卸口融合图的第二权重参数。

由于该装卸口分类模型包括多个子模型，每个子模型均可以输出多个向量，且向量的数量与神经子网络模型神经元的数量一致，装卸口分类模型中全连接层可以将这多个向量进行拼接，得到一个融合后的向量，比如，装卸口分类模型包括特征图处理子模型和通道处理子模型，若特征图处理子模型和通道处理子模型可以分别输出10个向量；则全连接层对特征图处理子模型输出向量和通道处理子模型输出向量进行拼接，得到20个向量。

当装卸口分类模型包括特征图处理子模型和通道处理子模型时，在本发明一些实施例中所述利用所述权重参数和所述装卸口融合图进行前向计算，输出所述装卸口状态检测值，可以包括：将所述装卸口融合图作为装卸口分类模型的输入；计算输入和所述第一权重参数、所述第二权重参数的乘积；计算乘积与预设的偏置值的和值，将所述和值作为装卸口状态检测值输出。

在一种可能实现方式中，在前向计算的过程中，对应每个子模型，可以有多层计算，上一层对输入的特征进行计算，得到的输出作为下一层的输入，依次类推，得到最后一层的输出，并基于该最后一层的输出确定每个子模型对应的预测值。上述多层计算的过程在具体实施时，每层中可以先计算输入和权值的乘积，再计算乘积与偏置值的和值，将该和值作为输出。当然，该多层计算仅以该计算方式为例进行说明，在计算过程中可能还包括其他计算，本发明对此不多做赘述。

需要说明的，是上述描述的是装卸口分类模型中只包括两个子模型的情况，可以理解的是，在本发明其他实施例中，装卸口分类模型还可以包括更多的子模型，具体此处不作限定。

本发明实施例中，上述装卸口分类模型可以通过训练装卸口神经网络得到。具体的，即在根据预设的装卸口分类模型对所述装卸口融合图进行装卸口状态检测，获取所述装卸口状态信息之前，所述方法还可以包括：采集多张样本装卸口状态图；将所述多张样本装卸口状态图及每张样本装卸口状态图对应的装卸口状态真实值添加到训练样本数据集合中；分别以所述训练样本数据集合中每张样本装卸口状态图为目标样本图，将所述目标样本图输入到所述装卸口神经网络，以获取每张样本装卸口状态图的装卸口状态检测值；对所述装卸口状态检测值和所述装卸口状态真实值进行收敛，得到所述装卸口分类模型。

本发明实施例中，例如，可以采用损失层对装卸口状态检测值和装卸口状态真实值进行收敛，具体的，即采用预设损失函数对装卸口状态检测值和所述装卸口状态真实值进行收敛，得到多通道神经网络模型。其中，该损失函数可以根据实际应用需求进行灵活设置，比如，损失函数可以为交叉熵损失函数。通过降低每个样本装卸口状态图对应的装卸口状态检测值和装卸口状态真实值之间的误差，进行不断训练，以调整装卸口神经网络的参数至合适数值，便可得到装卸口分类模型。具体的，即根据预设损失函数对每个装卸口状态图对应的装卸口状态检测值和装卸口状态真实值进行计算，得到多个装卸口状态图装卸口状态预测的损失值；对装卸口神经网络的参数进行调整，直到调整后的参数使得多个样本装卸口状态图装卸口状态预测的损失值小于或等于预设阈值时，停止调整，得到装卸口分类模型。

为了进一步的提高装卸口状态分类准确度，本发明实施例中，还可以统计错误的分类数据，将其中错误分类的数据做成一个数据集，这就是制作的failure case数据集，对现有的装卸口分类模型进行进一步训练。

为了更好实施本发明实施例中装卸口状态检测方法，在装卸口状态检测方法基础之上，本发明实施例中还提供一种装卸口状态检测装置，该装卸口状态检测装置可以位于服务器，如图5所示，该装卸口状态检测装置500包括：

第一获取单元501，用于获取监控装卸口的视频流数据；

第二获取单元502，用于根据所述视频流数据中相邻帧图像，获取装卸口融合图；

检测单元503，用于根据预设的装卸口分类模型对所述装卸口融合图进行状装卸口态检测，获取所述装卸口状态信息。

本发明实施例中通过第一获取单元501获取视频流数据，第二获取单元502根据视频流数据中相邻帧图像得到装卸口融合图，检测单元503通过装卸口分类模型对装卸口融合图进行装卸口状态检测，获取装卸口状态信息，可以自动对装卸口状态进行统计，通过装卸口状态可以辅助人员和物资的调动，提高装卸工作效率。

进一步的，所述光流图包括预设的x方向光流图和y方向光流图，所述第二获取单元具体502用于：

对所述x方向光流图、y方向光流图和所述灰度图进行通道叠加，形成三个通道图；

对所述三个通道图进行合成，得到所述装卸口融合图。

进一步的，所述检测单元503具体用于：

计算所述装卸口融合图的权重参数；

利用所述权重参数和所述装卸口融合图进行前向计算，输出所述装卸口状态检测值。

进一步的，所述装卸口分类模型中包括特征图处理子模型，所述检测单元503具体用于：

通过所述特征图处理子模型对所述装卸口融合图中的通道分别进行最大池化处理和平均池化处理，分别得到第一结果和第二结果；

对所述第一结果和第二结果进行叠加，得到第一叠加数据；

对所述第一叠加数据进行卷积，得到卷积数据；

根据预设的激活函数对所述卷积数据进行计算，得到第一装卸口特征图，所述第一装卸口特征图中每个像素的值组成所述装卸口融合图的第一权重参数。

进一步的，所述装卸口分类模型中包括通道处理子模型，所述检测单元具体503用于：

通过所述通道处理子模型对所述装卸口融合图中分别进行最大池化处理和平均池化处理，得到第一特征图和第二特征图；

对所述第一特征图和所述第二特征图分别进行全连接处理，得到第三结果和第四结果；

对所述第三结果和所述第四结果按位相加，得到第二叠加数据；

根据预设的激活函数对所述第二叠加数据进行计算，得到第二装卸口特征图，所述第二装卸口特征图中每个像素的值组成所述装卸口融合图的第二权重参数。

进一步的，所述检测单元503具体用于：

将所述装卸口融合图作为装卸口分类模型的输入；

计算输入和所述第一权重参数、所述第二权重参数的乘积；

计算乘积与预设的偏置值的和值，将所述和值作为装卸口状态检测值输出。

进一步的，所述装卸口状态检测装置还包括：

训练单元，用于在根据预设的装卸口分类模型对所述装卸口融合图进行状态检测，获取所述装卸口状态信息之前，采集多张样本装卸口状态图；将所述多张样本装卸口状态图及每张样本装卸口状态图对应的装卸口状态真实值添加到训练样本数据集合中；分别以所述训练样本数据集合中每张样本装卸口状态图为目标样本图，将所述目标样本图输入到所述装卸口神经网络，以获取每张样本装卸口状态图的装卸口状态检测值；对所述装卸口状态检测值和所述装卸口状态真实值进行收敛，得到所述装卸口分类模型。

本发明实施例还提供一种服务器，其集成了本发明实施例所提供的任一种装卸口状态检测装置，所述服务器包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述日志采集方法实施例中任一实施例中所述的装卸口状态检测方法中的步骤。

本发明实施例还提供一种服务器，其集成了本发明实施例所提供的任一种装卸口状态检测装置。如图6所示，其示出了本发明实施例所涉及的服务器的结构示意图，具体来讲：

该服务器可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图6中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器601是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。

存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。

服务器还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：

获取监控装卸口的视频流数据；

根据所述视频流数据中相邻帧图像，获取装卸口融合图；

根据预设的装卸口分类模型对所述装卸口融合图进行装卸口状态检测，获取所述装卸口状态信息。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。该存储介质中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种装卸口状态检测方法中的步骤。例如，该指令可以执行如下步骤：

获取监控装卸口的视频流数据；

根据所述视频流数据中相邻帧图像，获取装卸口融合图；

根据预设的装卸口分类模型对所述装卸口融合图进行装卸口状态检测，获取所述装卸口状态信息。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。

具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。

以上对本发明实施例所提供的一种装卸口状态检测方法、装置、服务器及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。