小鼠行为分析方法、装置及电子设备

技术领域

本发明涉及动物行为分析技术领域，特别涉及一种小鼠行为分析方法、装置及电子设备。

背景技术

动物神经系统的功能是通过行为表现的，系统全面的动物行为学分析对揭示大脑功能极为重要。此外，行为分析在神经科学的基础研究与重大神经精神疾病临床研究中有着巨大的应用潜力。目前行为分析大多基于姿态估计方法，手工选取和标注关键点信息，如果用户想要跟踪多个运动对象，需要耗费大量的人力物力。动物行为中存在未知或难以定义的行为，标注少量身体部位会错过行为录像呈现的丰富的行为信息。此外，如何选取合适的特征描述动物行为成为行为分析的瓶颈。

光流估计检测物体的像素点在两帧视频帧之间的移动量，基于光流估计的特征提取的方法已经在人脸微表情识别中应用，但目前尚未推广到对啮齿动物的行为分析中。目前图像序列光流分析基于传统光流估计算法，其假设亮度恒定不变，时间连续或运动是“小运动”。实际应用场景中，这两条基本假设不容易满足，导致光流估计存在严重误差，难以找到合适阈值分割是否运动，干扰提取行为的下游分析。同时，传统光流估计方法计算过程复杂，计算速度慢，无法满足实时处理行为的要求。

发明内容

本发明提供一种小鼠行为分析方法、装置及电子设备，解决了人为选择特定特征进行小鼠行为分析导致错失丰富行为信息，实际场景中小鼠运动幅度大、亮度不恒定导致的严重误差，传统光流估计方法计算复杂，无法实时处理以及预测的非连续动作输出干扰下游任务的问题，缓解了噪声影响，提高了分割的性能，能够合理利用视频中丰富的行为信息。

本发明第一方面实施例提供一种小鼠行为分析方法，包括以下步骤：采集当前小鼠的当前行为视频数据，并对所述当前行为视频数据进行预处理，得到待分析行为视频数据；将所述待分析行为视频数据输入至预先构建的无监督光流估计模型，输出所述当前小鼠的过去光流场、未来光流场和遮挡图，其中，所述无监督光流估计模型由多个目标小鼠的待训练行为视频数据训练得到；根据所述未来光流场中水平平移分量和垂直平移分量的平方和得到运动能量值，并根据所述运动能量值将所述未来光流场划分为运动区域光流特征和非运动区域光流特征；基于预设的降维策略，根据预设的运动幅度和速度从所述运动区域光流特征获取目标特征值，并根据所述目标特征值对所述当前小鼠进行行为分析。

可选地，在将所述待分析行为视频数据输入至预先构建的所述无监督光流估计模型之前，还包括：采集目标小鼠在预设运动状态下的初始行为视频数据；对所述初始行为视频数据预处理后，基于预设的增强策略增强预处理后的所述初始行为视频数据，得到待训练行为视频数据，并根据所述待训练行为视频数据得到过去视频帧、参考视频帧和未来视频帧；将所述过去视频帧、所述参考视频帧和所述未来视频帧输入至预设的卷积神经网络，得到金字塔特征；并基于所述金字塔特征、预设的损失函数和预设的解码器构建所述无监督光流估计模型。

可选地，在得到所述金字塔特征之后，还包括：基于所述金字塔特征，将上一层光流场和遮挡变量进行多倍上采样，得到当前层的初始光流场和初始遮挡变量；通过所述初始光流场扭曲过去视频帧特征和未来视频帧特征，得到过去视频帧特征和参考视频帧特征的第一代价成本量，及未来视频帧特征和参考视频帧特征的第二代价成本量；将所述第一代价成本量和所述第二代价成本量堆叠得到目标成本量。

可选地，在得到所述过去视频帧特征和所述参考视频帧特征的第一代价成本量，及所述未来视频帧特征和所述参考视频帧特征的第二代价成本量之后，还包括：基于预设的归一化公式，对所述第一代价成本量和所述第二代价成本量进行归一化处理，其中，所述预设的归一化公式为：

其中，

可选地，所述预设的解码器包括过去光流场解码器，未来光流场解码器和遮挡解码器，所述方法还包括：将初始过去光流场、所述目标成本量、所述参考视频帧特征输入至所述过去光流场解码器，得到过去光流场；将初始未来光流场、所述目标成本量、所述参考视频帧特征输入至所述未来光流场解码器，得到未来光流场；将初始遮挡图、所述目标成本量和所述参考视频帧特征输入至所述遮挡解码器，得到遮挡图。

可选地，所述预设的损失函数为：

其中，

可选地，所述对所述当前行为视频数据进行预处理，包括：基于预设分类规则，从所述当前行为视频数据中获取初始训练视频数据；基于预设的增强策略增强所述初始训练视频数据，得到训练视频数据，并将所述训练视频数据中多个连续的视频帧作为视频帧序列；根据像素点在所述视频帧序列中参考视频帧的遮挡情况，得到多个遮挡变量。

可选地，所述预设的降维策略为：

其中，

本发明第二方面实施例提供一种小鼠行为分析装置，包括：处理模块，用于采集当前小鼠的当前行为视频数据，并对所述当前行为视频数据进行预处理，得到待分析行为视频数据；输出模块，用于将所述待分析行为视频数据输入至预先构建的无监督光流估计模型，输出所述当前小鼠的过去光流场、未来光流场和遮挡图，其中，所述无监督光流估计模型由多个目标小鼠的待训练行为视频数据训练得到；划分模块，用于根据所述未来光流场中水平平移分量和垂直平移分量的平方和得到运动能量值，并根据所述运动能量值将所述未来光流场划分为运动区域光流特征和非运动区域光流特征；分析模块，用于基于预设的降维策略，根据预设的运动幅度和速度从所述运动区域光流特征获取目标特征值，并根据所述目标特征值对所述当前小鼠进行行为分析。

可选地，在将所述待分析行为视频数据输入至预先构建的所述无监督光流估计模型之前，所述输出模块，还用于：采集目标小鼠在预设运动状态下的初始行为视频数据；对所述初始行为视频数据预处理后，基于预设的增强策略增强预处理后的所述初始行为视频数据，得到待训练行为视频数据，并根据所述待训练行为视频数据得到过去视频帧、参考视频帧和未来视频帧；将所述过去视频帧、所述参考视频帧和所述未来视频帧输入至预设的卷积神经网络，得到金字塔特征；并基于所述金字塔特征、预设的损失函数和预设的解码器构建所述无监督光流估计模型。

可选地，在得到所述金字塔特征之后，所述输出模块，还用于：基于所述金字塔特征，将上一层光流场和遮挡变量进行多倍上采样，得到当前层的初始光流场和初始遮挡变量；通过所述初始光流场扭曲过去视频帧特征和未来视频帧特征，得到过去视频帧特征和参考视频帧特征的第一代价成本量，及未来视频帧特征和参考视频帧特征的第二代价成本量；将所述第一代价成本量和所述第二代价成本量堆叠得到目标成本量。

可选地，在得到所述过去视频帧特征和所述参考视频帧特征的第一代价成本量，及所述未来视频帧特征和所述参考视频帧特征的第二代价成本量之后，所述输出模块，还用于：基于预设的归一化公式，对所述第一代价成本量和所述第二代价成本量进行归一化处理，其中，所述预设的归一化公式为：

其中，

可选地，所述预设的解码器包括过去光流场解码器，未来光流场解码器和遮挡解码器，所述输出模块，还用于：将初始过去光流场、所述目标成本量、所述参考视频帧特征输入至所述过去光流场解码器，得到过去光流场；将初始未来光流场、所述目标成本量、所述参考视频帧特征输入至所述未来光流场解码器，得到未来光流场；将初始遮挡图、所述目标成本量和所述参考视频帧特征输入至所述遮挡解码器，得到遮挡图。

可选地，所述预设的损失函数为：

其中，

可选地，所述处理模块，还用于：基于预设分类规则，从所述当前行为视频数据中获取初始训练视频数据；基于预设的增强策略增强所述初始训练视频数据，得到训练视频数据，并将所述训练视频数据中多个连续的视频帧作为视频帧序列；根据像素点在所述视频帧序列中参考视频帧的遮挡情况，得到多个遮挡变量。

可选地，所述预设的降维策略为：

其中，

本发明第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的小鼠行为分析方法。

本发明通过采集当前小鼠的当前行为视频数据，对当前行为视频数据进行预处理，得到待分析行为视频数据，将待分析行为视频数据输入至预先构建的无监督光流估计模型，输出当前小鼠的过去光流场、未来光流场和遮挡图，根据未来光流场中水平平移分量和垂直平移分量的平方和得到运动能量值，根据运动能量值将未来光流场划分为运动区域光流特征和非运动区域光流特征，基于预设的降维策略，根据预设的运动幅度和速度从运动区域光流特征获取目标特征值，根据目标特征值对当前小鼠进行行为分析。由此，解决了人为选择特定特征进行小鼠行为分析导致错失丰富行为信息，实际场景中小鼠运动幅度大、亮度不恒定导致的严重误差，传统光流估计方法计算复杂，无法实时处理以及预测的非连续动作输出干扰下游任务的问题，缓解了噪声影响，提高了分割的性能，能够合理利用视频中丰富的行为信息。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例提供的一种小鼠行为分析方法的流程图；

图2为根据本发明一个实施例的无监督光流估计模型示意图；

图3为根据本发明一个实施例的上采样模块示意图；

图4为根据本发明一个实施例的流模型示意图；

图5为根据本发明一个实施例的小鼠行为分析流程示意图；

图6为根据本发明实施例的小鼠行为分析装置的方框示意图；

图7为本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的小鼠行为分析方法、装置及电子设备。针对上述背景技术中提到的人为选择特定特征进行小鼠行为分析导致错失丰富行为信息，实际场景中小鼠运动幅度大、亮度不恒定导致的严重误差，传统光流估计方法计算复杂，无法实时处理以及预测的非连续动作输出干扰下游任务的问题，本发明提供了一种小鼠行为分析方法，在该方法中，采集当前小鼠的当前行为视频数据，对当前行为视频数据进行预处理，得到待分析行为视频数据；将待分析行为视频数据输入至预先构建的无监督光流估计模型，输出当前小鼠的过去光流场、未来光流场和遮挡图，其中，无监督光流估计模型由多个目标小鼠的待训练行为视频数据训练得到；根据未来光流场中水平平移分量和垂直平移分量的平方和得到运动能量值，根据运动能量值将未来光流场划分为运动区域光流特征和非运动区域光流特征；基于预设的降维策略，根据预设的运动幅度和速度从运动区域光流特征获取目标特征值，根据目标特征值对当前小鼠进行行为分析。由此，解决了人为选择特定特征进行小鼠行为分析导致错失丰富行为信息，实际场景中小鼠运动幅度大、亮度不恒定导致的严重误差，传统光流估计方法计算复杂，无法实时处理以及预测的非连续动作输出干扰下游任务的问题，缓解了噪声影响，提高了分割的性能，能够合理利用视频中丰富的行为信息。

具体而言，图1为本发明实施例所提供的一种小鼠行为分析方法的流程图。

如图1所示，该小鼠行为分析方法包括以下步骤：

在步骤S101中，采集当前小鼠的当前行为视频数据，并对当前行为视频数据进行预处理，得到待分析行为视频数据。

在实际执行过程中，本发明实施例使用RGB（Red green blue，红绿蓝）相机拍摄小鼠清醒运动状态下的行为视频，采集小鼠的当前行为视频数据。

进一步地，在一些实施例中，对当前行为视频数据进行预处理，包括：基于预设分类规则，从当前行为视频数据中获取初始训练视频数据；基于预设的增强策略增强初始训练视频数据，得到训练视频数据，并将训练视频数据中多个连续的视频帧作为视频帧序列；根据像素点在视频帧序列中参考视频帧的遮挡情况，得到多个遮挡变量。

可以理解的是，本发明实施例将采集的当前行为视频数据进行分类，并从当前行为视频数据中获取初始训练视频数据，定义训练视频帧序列集合

三个连续的 RGB 行为视频帧定义为视频帧序列

由于被遮挡的区域在其余视频帧中没有对应关系，计算光度一致性损失的时候应该特殊处理。考虑到未来视频帧和过去视频帧中信息对应关系，遮挡变量

在步骤S102中，将待分析行为视频数据输入至预先构建的无监督光流估计模型，输出当前小鼠的过去光流场、未来光流场和遮挡图，其中，无监督光流估计模型由多个目标小鼠的待训练行为视频数据训练得到。

可选地，在一些实施例中，在将待分析行为视频数据输入至预先构建的无监督光流估计模型之前，还包括：采集目标小鼠在预设运动状态下的初始行为视频数据；对初始行为视频数据预处理后，基于预设的增强策略增强预处理后的初始行为视频数据，得到待训练行为视频数据，并根据待训练行为视频数据得到过去视频帧、参考视频帧和未来视频帧；将过去视频帧、参考视频帧和未来视频帧输入至预设的卷积神经网络，得到金字塔特征；并基于金字塔特征、预设的损失函数和预设的解码器构建无监督光流估计模型。

具体地，本发明实施例通过RGB相机对目标小鼠在预设运动状态下进行拍摄视频，得到目标小鼠的初始行为视频数据，并对初始行为视频数据预处理，采用预设的增强策略增强预处理，包括随机交换颜色通道、改变色调或者图像水平翻转等策略，得到待训练行为视频数据，将三个连续的RGB行为视频帧定义为视频帧序列，分别为过去视频帧、参考视频帧和未来视频帧。

进一步地，如图2所示，本发明实施例将过去视频帧、参考视频帧和未来视频帧输入至预设的卷积神经网络，形成金字塔特征。

可选地，在一些实施例中，在得到金字塔特征之后，还包括：基于金字塔特征，将上一层光流场和遮挡变量进行多倍上采样，得到当前层的初始光流场和初始遮挡变量；通过初始光流场扭曲过去视频帧特征和未来视频帧特征，得到过去视频帧特征和参考视频帧特征的第一代价成本量，及未来视频帧特征和参考视频帧特征的第二代价成本量；将第一代价成本量和第二代价成本量堆叠得到目标成本量。

应该理解到的是，解码器按顺序从粗粒度到细粒度估计光流场和遮挡变量。本发明实施例将上一层光流场和遮挡变量进行多倍上采样，作为这一层初始光流场和初始遮挡变量，初始光流场扭曲过去视频帧特征和未来视频帧特征，构建两个代价成本量，第一个代价成本量是过去视频帧特征和参考帧特征的第一代价成本量，第二个代价成本量是未来视频帧特征和参考帧特征的第二代价成本量。其中，上采样模块的示意图如图3所示。

进一步地，在一些实施例中，在得到过去视频帧特征和参考视频帧特征的第一代价成本量，及未来视频帧特征和参考视频帧特征的第二代价成本量之后，还包括：基于预设的归一化公式，对第一代价成本量和第二代价成本量进行归一化处理，其中，预设的归一化公式为：

其中，

本领域技术人员应该理解到的是，本发明实施例将获取的第一代价成本量和第二代价成本量通过预设的归一化公式进行归一化处理，得到目标成本量。

可选地，在一些实施例中，预设的解码器包括过去光流场解码器，未来光流场解码器和遮挡解码器，方法还包括：将初始过去光流场、目标成本量、参考视频帧特征输入至过去光流场解码器，得到过去光流场；将初始未来光流场、目标成本量、参考视频帧特征输入至未来光流场解码器，得到未来光流场；将初始遮挡图、目标成本量和参考视频帧特征输入至遮挡解码器，得到遮挡图。

可以理解的是，本发明实施例使用三个不同的解码器分别预测未来光流场、过去光流场和遮挡图，其中包括过去光流场解码器，未来光流场解码器和遮挡解码器。其中，过去光流场解码器的输入为初始过去光流场、目标成本量、参考视频帧特征，输出结果为过去光流场；未来光流场解码器初始未来光流场、目标成本量、参考视频帧特征，输出结果为未来光流场；预设的遮挡解码器输入为初始遮挡图、目标成本量和参考视频帧特征，输出结果为遮挡图。其中，流模型的示意图如图4所示。

进一步地，光度一致性通过预测的光流场扭曲过去视频帧和未来视频帧，得到参考视频帧的估计量，比较与参考视频帧的强度残差和颜色残差。因此，光度一致性损失定义如下：

其中，

由于小鼠真实运动场景伴随亮度变化，经常违背亮度不变的假设，因此本发明实施例使用梯度恒定假设，比较两帧图像之间的像素强度的梯度。

由于小鼠运动的局部速度具有较高一致性，本发明实施例引入光流场平滑损失进行约束。光流场平滑损失对齐流边界与参考视频帧

其中，

小鼠运动过程中短时间窗口内通常以恒定速度运动，本发明实施例引入速度恒定损失项进行约束。即过去帧光流场和未来帧光流场应该在数值上相同，在方向上相反。速度恒定损失

自监督损失

其中，在一些实施例中，预设的损失函数为：

其中，

在步骤S103中，根据未来光流场中水平平移分量和垂直平移分量的平方和得到运动能量值，并根据运动能量值将未来光流场划分为运动区域光流特征和非运动区域光流特征。

本发明实施例将运动能量定义为参考视频帧

运动能量是划分运动区域光流特征和非运动区域光流特征的依据，通过二值法选取出运动区域。根据阈值选取方式的不同，二值化的算法可以分为固定阈值和自适应阈值，可使用的阈值算法如表1所示：

表1

由于阈值分割无法兼顾所有特征点，导致二值掩码图中存在孤立点，影响小鼠运动目标的提取。因此，本发明实施例采用数字图像处理中去噪方法，常用去噪方法如表2所示：

表2

本发明实施例去除二值图中孤立点噪声具体处理过程为先利用开运算去除孤立噪声点，平滑运动区域和非运动区域划分边界，然后使用闭运算，填充分割图的空洞。

在步骤S104中，基于预设的降维策略，根据预设的运动幅度和速度从运动区域光流特征获取目标特征值，并根据目标特征值对当前小鼠进行行为分析。

可选地，在一些实施例中，预设的降维策略为：

其中，

本领域技术人员可以理解的是，通过光流估计获取的小鼠视频运动特征，维度高，数据冗余。因此需要数据降维，数据降维的方法有主成分分析、t分布随机邻近嵌入法、UMAP（Uniform ManifoldApproximation and Projection，统一流形逼近和投影）降维技术等。本发明实施例首先将去噪处理后的分割图作为掩码，选取光流图中运动区域特征，去除非运动区域特征。然后应用SVD（Singular ValueDecomposition，奇异值分解）分解方法，根据预设的运动幅度和速度从运动区域光流特征获取目标特征值，并将获取的特征值按照由大到小排列，选取前个特征值对应的特征向量，用来描述运动状态。选取的运动特征可用于建立与大脑神经活动之间的关联，分析小鼠运动与决策的关系，分类小鼠运动状态，以及研究小鼠面部表情等研究工作。其中，小鼠行为分析流程如图5所示。

需要说明的是，无监督光流估计模型可以使用其他无监督光流估计模型代替，例如输入用两帧图像输入的模型代替三帧图像输入的模型，估计遮挡区域部分可以使用计算前向传播图和反向传播图的差实现，在此不做具体限定。

综上所述，本发明实施例的有益效果如下所示：

（1）基于无监督光流估计进行特征选择，直接对小鼠前后两帧的运动变化进行衡量，并且生成的光流图包含了前后两帧的所有运动区域的运动变化信息。使用SVD分解方法，将光流估计模型预测的光流场按照运动的幅度，速度等进行特征选择，合理利用视频中丰富的行为信息，有助于突破行为分析的瓶颈。

（2）使用无监督光流估计代替传统光流估计算法提取特征，不仅解决了实际场景中小鼠运动幅度大，亮度不恒定导致估计误差的问题，还提高了光流估计模型的推理速度，缩短了推理时间。

（3）使用两个归一化的特征内积计算代价成本量，明显提高收敛的效率和预测光流场的能力。速度恒定约束项可以平滑小鼠连续视频帧中运动速度，解决了预测结果中出现运动跳变的问题，保证下游任务顺利进行。

根据本发明实施例提出的小鼠行为分析方法，通过采集当前小鼠的当前行为视频数据，对当前行为视频数据进行预处理，得到待分析行为视频数据，将待分析行为视频数据输入至预先构建的无监督光流估计模型，输出当前小鼠的过去光流场、未来光流场和遮挡图，根据未来光流场中水平平移分量和垂直平移分量的平方和得到运动能量值，根据运动能量值将未来光流场划分为运动区域光流特征和非运动区域光流特征，基于预设的降维策略，根据预设的运动幅度和速度从运动区域光流特征获取目标特征值，根据目标特征值对当前小鼠进行行为分析。由此，解决了人为选择特定特征进行小鼠行为分析导致错失丰富行为信息，实际场景中小鼠运动幅度大、亮度不恒定导致的严重误差，传统光流估计方法计算复杂，无法实时处理以及预测的非连续动作输出干扰下游任务的问题，缓解了噪声影响，提高了分割的性能，能够合理利用视频中丰富的行为信息。

其次参照附图描述根据本发明实施例提出的小鼠行为分析装置。

图6是本发明实施例的小鼠行为分析装置的方框示意图。

如图6所示，该小鼠行为分析装置10包括：处理模块100、输出模块200、划分模块300和分析模块400。

其中，处理模块100，用于采集当前小鼠的当前行为视频数据，并对当前行为视频数据进行预处理，得到待分析行为视频数据；输出模块200，用于将待分析行为视频数据输入至预先构建的无监督光流估计模型，输出当前小鼠的过去光流场、未来光流场和遮挡图，其中，无监督光流估计模型由多个目标小鼠的待训练行为视频数据训练得到；划分模块300，用于根据未来光流场中水平平移分量和垂直平移分量的平方和得到运动能量值，并根据运动能量值将未来光流场划分为运动区域光流特征和非运动区域光流特征；分析模块400，用于基于预设的降维策略，根据预设的运动幅度和速度从运动区域光流特征获取目标特征值，并根据目标特征值对当前小鼠进行行为分析。

可选地，在一些实施例中，在将待分析行为视频数据输入至预先构建的无监督光流估计模型之前，输出模块200，还用于：采集目标小鼠在预设运动状态下的初始行为视频数据；对初始行为视频数据预处理后，基于预设的增强策略增强预处理后的初始行为视频数据，得到待训练行为视频数据，并根据待训练行为视频数据得到过去视频帧、参考视频帧和未来视频帧；将过去视频帧、参考视频帧和未来视频帧输入至预设的卷积神经网络，得到金字塔特征；并基于金字塔特征、预设的损失函数和预设的解码器构建无监督光流估计模型。

可选地，在一些实施例中，在得到金字塔特征之后，输出模块200，还用于：基于金字塔特征，将上一层光流场和遮挡变量进行多倍上采样，得到当前层的初始光流场和初始遮挡变量；通过初始光流场扭曲过去视频帧特征和未来视频帧特征，得到过去视频帧特征和参考视频帧特征的第一代价成本量，及未来视频帧特征和参考视频帧特征的第二代价成本量；将第一代价成本量和第二代价成本量堆叠得到目标成本量。

可选地，在一些实施例中，在得到过去视频帧特征和参考视频帧特征的第一代价成本量，及未来视频帧特征和参考视频帧特征的第二代价成本量之后，输出模块200，还用于：基于预设的归一化公式，对第一代价成本量和第二代价成本量进行归一化处理，其中，预设的归一化公式为：

其中，

可选地，在一些实施例中，预设的解码器包括过去光流场解码器，未来光流场解码器和遮挡解码器，输出模块200，还用于：将初始过去光流场、目标成本量、参考视频帧特征输入至过去光流场解码器，得到过去光流场；将初始未来光流场、目标成本量、参考视频帧特征输入至未来光流场解码器，得到未来光流场；将初始遮挡图、目标成本量和参考视频帧特征输入至遮挡解码器，得到遮挡图。

可选地，在一些实施例中，预设的损失函数为：

其中，

可选地，在一些实施例中，处理模块100，用于：基于预设分类规则，从当前行为视频数据中获取初始训练视频数据；基于预设的增强策略增强初始训练视频数据，得到训练视频数据，并将训练视频数据中多个连续的视频帧作为视频帧序列；根据像素点在视频帧序列中参考视频帧的遮挡情况，得到多个遮挡变量。

可选地，在一些实施例中，预设的降维策略为：

其中，

需要说明的是，前述对小鼠行为分析方法实施例的解释说明也适用于该实施例的小鼠行为分析装置，此处不再赘述。

根据本发明实施例提出的小鼠行为分析装置，通过采集当前小鼠的当前行为视频数据，对当前行为视频数据进行预处理，得到待分析行为视频数据，将待分析行为视频数据输入至预先构建的无监督光流估计模型，输出当前小鼠的过去光流场、未来光流场和遮挡图，根据未来光流场中水平平移分量和垂直平移分量的平方和得到运动能量值，根据运动能量值将未来光流场划分为运动区域光流特征和非运动区域光流特征，基于预设的降维策略，根据预设的运动幅度和速度从运动区域光流特征获取目标特征值，根据目标特征值对当前小鼠进行行为分析。由此，解决了人为选择特定特征进行小鼠行为分析导致错失丰富行为信息、实际场景中小鼠运动幅度大，亮度不恒定导致的严重误差、传统光流估计方法计算复杂，无法实时处理以及预测的非连续动作输出干扰下游任务的问题，缓解了噪声影响，提高了分割的性能，合理利用视频中丰富的行为信息。

图7为本发明实施例提供的电子设备的结构示意图。该电子设备可以包括：

存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。

处理器702执行程序时实现上述实施例中提供的小鼠行为分析方法。

进一步地，电子设备还包括：

通信接口703，用于存储器701和处理器702之间的通信。

存储器701，用于存放可在处理器702上运行的计算机程序。

存储器701可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

如果存储器701、处理器702和通信接口703独立实现，则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构（Industry StandardArchitecture，简称为ISA）总线、外部设备互连（PeripheralComponent，简称为PCI）总线或扩展工业标准体系结构（Extended IndustryStandardArchitecture，简称为EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器701、处理器702及通信接口703，集成在一块芯片上实现，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。

处理器702可能是一个中央处理器（Central Processing Unit，简称为CPU），或者是特定集成电路（Application SpecificIntegrated Circuit，简称为ASIC），或者是被配置成实施本发明实施例的一个或多个集成电路。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或N个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。