微表情识别方法及装置

技术领域

本发明涉及信息安全技术领域，具体涉及微表情识别方法及装置。

背景技术

微表情是一种持续时间很短的非常快速的表情，它可以传达人类的各种情绪。微表情目前在医疗、安全防护等领域有着良好的应用前景。

微表情视频传输加密技术是在微表情采集端进行人脸微表情视频采集时，马上对视频数据进行加密处理，实现微表情识别时端到端的传输加密，防止黑客仿冒、篡改、 盗用微表情视频信息，确保视频识别数据安全，提高微表情识别流程的安全性。但是， 由于增加视频加密功能，在提高安全性的同时，会增加整个微表情识别流程的耗时， 降低了微表情的识别效率。

发明内容

针对现有技术中的问题，本发明实施例提供微表情识别方法及装置，能够至少部分地解决现有技术中存在的问题。

第一方面，本发明提出一种微表情识别方法，包括：

获得待识别视频；

对所述待识别视频进行关键帧图像抽取，获得N个关键帧图像；其中，N为大 于等于2的正整数；

从每个关键帧图像中截取人脸微表情关键区域，获得每个关键帧图像的微表情关键区域图；

对N个关键帧图像的微表情关键区域图进行加密，获得微表情加密信息；

发送微表情识别请求以进行微表情识别，所述微表情识别请求包括微表情加密信息。

第二方面，本发明还提出一种微表情识别方法，包括：

接收微表情识别请求，所述微表情识别请求包括微表情加密信息；

对所述微表情加密信息进行解密，获得N个关键帧图像的微表情关键区域图； 其中，N为大于等于2的正整数；

对每个关键帧图像的微表情关键区域图进行微表情识别，获得每个微表情关键区域图的微表情识别结果。

第三方面，本发明提供一种微表情识别装置，包括：

获得单元，用于获得待识别视频；

抽取单元，用于对所述待识别视频进行关键帧图像抽取，获得N个关键帧图像； 其中，N为大于等于2的正整数；

截取单元，用于从每个关键帧图像中截取人脸微表情关键区域，获得每个关键帧图像的微表情关键区域图；

加密单元，用于对N个关键帧图像的微表情关键区域图进行加密，获得微表情 加密信息；

发送单元，用于发送微表情识别请求以进行微表情识别，所述微表情识别请求包括微表情加密信息。

第四方面，本发明还提供一种微表情识别装置，包括：

接收单元，用于接收微表情识别请求，所述微表情识别请求包括微表情加密信息；

解密单元，用于对所述微表情加密信息进行解密，获得N个关键帧图像的微表 情关键区域图；其中，N为大于等于2的正整数；

识别单元，用于对每个关键帧图像的微表情关键区域图进行微表情识别，获得每个微表情关键区域图的微表情识别结果。

第五方面，本发明提供一种电子设备，包括第一存储器、第一处理器及存储在所述第一存储器上并可在第一处理器上运行的第一计算机程序，所述第一处理器执行所 述第一计算机程序时实现如下微表情识别方法：

获得待识别视频；

对所述待识别视频进行关键帧图像抽取，获得N个关键帧图像；其中，N为大 于等于2的正整数；

从每个关键帧图像中截取人脸微表情关键区域，获得每个关键帧图像的微表情关键区域图；

对N个关键帧图像的微表情关键区域图进行加密，获得微表情加密信息；

发送微表情识别请求以进行微表情识别，所述微表情识别请求包括微表情加密信息。

第六方面，本发明提供一种计算机可读存储介质，其上存储有第一计算机程序，所述第一计算机程序被第一处理器执行时实现如下微表情识别方法：

获得待识别视频；

对所述待识别视频进行关键帧图像抽取，获得N个关键帧图像；其中，N为大 于等于2的正整数；

从每个关键帧图像中截取人脸微表情关键区域，获得每个关键帧图像的微表情关键区域图；

对N个关键帧图像的微表情关键区域图进行加密，获得微表情加密信息；

发送微表情识别请求以进行微表情识别，所述微表情识别请求包括微表情加密信息。

第七方面，本发明还提供一种电子设备，包括第二存储器、第二处理器及存储在所述第二存储器上并可在第二处理器上运行的第二计算机程序，所述第二处理器执行 所述第二计算机程序时实现如下微表情识别方法：

接收微表情识别请求，所述微表情识别请求包括微表情加密信息；

对所述微表情加密信息进行解密，获得N个关键帧图像的微表情关键区域图； 其中，N为大于等于2的正整数；

对每个关键帧图像的微表情关键区域图进行微表情识别，获得每个微表情关键区域图的微表情识别结果。

第八方面，本发明还提供一种计算机可读存储介质，其上存储有第二计算机程序，所述第二计算机程序被第二处理器执行时实现如下微表情识别方法：

接收微表情识别请求，所述微表情识别请求包括微表情加密信息；

对所述微表情加密信息进行解密，获得N个关键帧图像的微表情关键区域图； 其中，N为大于等于2的正整数；

对每个关键帧图像的微表情关键区域图进行微表情识别，获得每个微表情关键区域图的微表情识别结果。

本发明实施例提供的微表情识别方法及装置，能够获得待识别视频，对待识别视频进行关键帧图像抽取，获得N个关键帧图像，从每个关键帧图像中截取人脸微表 情关键区域，获得每个关键帧图像的微表情关键区域图，对N个关键帧图像的微表 情关键区域图进行加密，获得微表情加密信息，发送微表情识别请求以进行微表情识 别，通过获取N个关键帧图像并加密，能够提高微表情识别过程中信息传输的安全 性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅 是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提 下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明第一实施例提供的微表情识别系统的结构示意图。

图2是本发明第二实施例提供的微表情识别方法的流程示意图。

图3是本发明第三实施例提供的微表情识别方法的流程示意图。

图4是本发明第四实施例提供的微表情识别方法的流程示意图。

图5是本发明第五实施例提供的微表情识别方法的流程示意图。

图6是本发明第六实施例提供的微表情识别方法的流程示意图。

图7是本发明第七实施例提供的微表情识别方法的流程示意图。

图8是本发明第八实施例提供的微表情识别方法的流程示意图。

图9是本发明第九实施例提供的微表情识别方法的流程示意图。

图10是本发明第十实施例提供的微表情识别方法的流程示意图。

图11是本发明第十一实施例提供的从每个关键帧图像中截取人脸微表情关键区域的流程示意图。

图12是本发明第十二实施例提供的对N个关键帧图像的微表情关键区域图进行加密的流程示意图。

图13是本发明第十三实施例提供的微表情识别方法的流程示意图。

图14是本发明第十四实施例提供的微表情识别装置的结构示意图。

图15是本发明第十五实施例提供的微表情识别装置的结构示意图。

图16是本发明第十六实施例提供的电子设备的实体结构示意图。

图17是本发明第十七实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明， 但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例 及实施例中的特征可以相互任意组合。

图1是本发明第一实施例提供的微表情识别系统的结构示意图，如图1所示，本 发明实施例提供的微表情识别系统包括视频采集终端1和识别服务器2，其中：

视频采集终端1与识别服务器2通信连接；其中，视频采集终端1可以通过摄像 头实时采集获得待识别视频或者截取一段视频作为待识别视频，根据实际情况进行设 置，本发明实施例不做限定。视频采集终端1包括但不限于银行自助终端、台式计算 机等设备。

视频采集终端1用于对待识别视频进行处理，获得微表情加密信息，并将所述微表情加密信息携带在微表情识别请求中发送给识别服务器2。

识别服务器2接收所述微表情识别请求，解密所述微表情加密信息，获得每个关键帧图像的微表情关键区域图，再对每个关键帧图像的微表情关键区域图进行微表情 识别。

图2是本发明第二实施例提供的微表情识别方法的流程示意图，如图2所示，本 发明实施例提供的微表情识别方法包括：

S201、获取待识别视频；

具体地，视频采集终端可以获得待识别视频。其中，所述待识别视频可以是所述视频采集终端通过摄像头实时采集的，也可以是所述视频采集终端从视频中截取的， 根据实际需要进行设置，本发明实施例不做限定。其中，本发明实施例提供的微表情 识别方法的执行主体包括但不限于视频采集终端。

例如，客户到银行营业网点的自助设备办理业务时，自助设备可以通过摄像头实时采集客户人脸的一段时间的视频，作为待识别视频。

例如，需要对监控视频中出现的某个人进行微表情识别时，可以从监控视频中截取一段包括上述某个人的人脸的一段视频，作为待识别视频。

S202、对所述待识别视频进行关键帧图像抽取，获得N个关键帧图像；其中，N 为大于等于2的正整数；

具体地，所述视频采集终端在获得所述待识别视频之后，可以对所述待识别视频进行关键帧图像抽取，抽取出N个关键帧图像，N个关键帧图像用于在识别服务器 进行微表情识别。其中，N为大于等于2的正整数。

S203、从每个关键帧图像中截取人脸微表情关键区域，获得每个关键帧图像的微表情关键区域图；

具体地，所述视频采集终端在获得N个关键帧图像之后，对于每个关键帧图像， 都会从中截取人脸微表情关键区域，获得每个关键帧图像的微表情关键区域图。

例如，如果一个关键帧图像中只存在一个人脸区域，那么可以截取整个人脸区域，作为该关键帧图像的微表情关键区域图。

例如，如果一个关键帧图像中存在多个人脸区域，那么可以截取其中一个人脸区域，作为该关键帧图像的微表情关键区域图。

S204、对N个关键帧图像的微表情关键区域图进行加密，获得微表情加密信息；

具体地，所述视频采集终端会对N个关键帧图像的微表情关键区域图进行加密，获得微表情加密信息。其中，对N个关键帧图像的微表情关键区域图加密所采用的 加密方式，根据实际需要进行设置，本发明实施例不做限定。

S205、发送微表情识别请求，所述微表情识别请求包括微表情加密信息。

具体地，所述视频采集终端在获得微表情加密信息之后，可以发送微表情识别请求以进行微表情识别。其中，所述微表情识别请求包括微表情加密信息。

例如，所述视频采集终端可以将所述微表情加密信息携带在微表情识别请求中直接发送给识别服务器，所述识别服务器在接收到所述微表情识别请求之后，可以解密 所述微表情加密信息，获得N个关键帧图像的微表情关键区域图，再分别对每个关 键帧图像的微表情关键区域图进行微表情识别，获得每个关键帧图像的微表情关键区 域图对应的微表情。其中，对微表情关键区域图进行微表情识别所采用的识别算法， 根据实际需要进行选择，本发明实施例不做限定。

例如，所述视频采集终端可以将所述微表情加密信息携带在微表情识别请求中发送给业务服务器，业务服务器再将微表情识别请求转发给识别服务器，由所述识别服 务器进行后续的微表情识别。

本发明实施例提供的微表情识别方法，能够获得待识别视频，对待识别视频进行关键帧图像抽取，获得N个关键帧图像，从每个关键帧图像中截取人脸微表情关键 区域，获得每个关键帧图像的微表情关键区域图，对N个关键帧图像的微表情关键 区域图进行加密，获得微表情加密信息，发送微表情识别请求以进行微表情识别，通 过获取N个关键帧图像并加密，能够提高微表情识别过程中信息传输的安全性。此 外，由于无需对整个待识别视频进行加密和传输，在提高信息传输安全性的同时，降 低了加解密的耗时，从而提高了微表情识别的效率。

图3是本发明第三实施例提供的微表情识别方法的流程示意图，如图3所示，在 上述各实施例的基础上，进一步地，所述对所述待识别视频进行关键帧图像抽取，获 得N个关键帧图像包括：

S2021、若当前帧图像包括人脸微表情，则对比所述当前帧图像与上一帧图像；

具体地，所述视频采集终端会从所述待识别视频中逐帧地获取图像，对于每帧图像，可以通过微表情识别模型判断是否存在人脸微表情。所述视频采集终端如果判断 出当前帧图像包括人脸微表情，那么会获取当前帧图像的上一帧图像，然后将当前帧 图像与上一帧图像进行对比。其中，微表情识别模型例如可以采用Affectiva微表情 识别模型，根据实际需要进行选择，本发明实施例不做限定。

S2022、若所述当前帧图像与所述上一帧图像有差异，则抽取所述当前帧图像作为一个关键帧图像。

具体地，所述视频采集终端在对比所述当前帧图像与所述当前帧图像的上一帧图像时，可以判断出所述当前帧图像与所述上一帧图像是否存在差异，如果所述当前帧 图像与所述上一帧图像存在差异，那么抽取所述当前帧图像作为一个关键帧图像。

图4是本发明第四实施例提供的微表情识别方法的流程示意图，如图4所示，在 上述各实施例的基础上，进一步地，所述从每个关键帧图像中截取人脸微表情关键区 域，获得每个关键帧图像的微表情关键区域图包括：

S401、通过人脸定位算法定位所述关键帧图像中的所有人脸区域以及各自的位置信息；

具体地，所述视频采集终端可以通过人脸定位算法定位所述关键帧图像中的所有人脸区域以及各自的位置信息。其中，所述人脸定位算法根据实际需要进行选择，本 发明实施例不做限定。所述位置信息表明对应的人脸区域在所述关键帧图像中的位 置。

例如，所述人脸区域为矩形区域，可以用所述矩形区域的左上角的坐标以及所述矩形区域的长和宽作为所述人脸区域对应的位置信息。

S402、若获知只有一个人脸区域，则基于所述人脸区域的位置信息截取所述人脸区域作为所述关键帧图像的微表情关键区域图。

具体地，所述视频采集终端若获知只有一个人脸区域，即通过人脸定位算法在所述关键帧图像中只检测到一个人脸区域，那么可以基于所述人脸区域的位置信息，截 取所述人脸区域作为所述关键帧图像的微表情关键区域图，即将所述关键帧图像中所 述人脸区域的图片作为所述微表情关键区域图。

图5是本发明第五实施例提供的微表情识别方法的流程示意图，如图5所示，在 上述各实施例的基础上，进一步地，所述从每个关键帧图像中截取人脸微表情关键区 域，获得每个关键帧图像的微表情关键区域图包括：

S501、通过人脸定位算法定位所述关键帧图像中的所有人脸区域以及各自的位置信息；

具体地，所述视频采集终端可以通过人脸定位算法定位所述关键帧图像中的所有人脸区域以及各自的位置信息。其中，本步骤的具体实现过程与步骤S401类似，此 处不进行赘述。

S502、若获知有M个人脸区域且开启预设参数，则基于所述M个人脸区域中最 大的人脸区域的位置信息截取最大的人脸区域作为所述关键帧图像的微表情关键区 域图；其中，M为大于等于2的正整数。

具体地，所述视频采集终端可以统计所述关键帧图像中人脸区域的数量，若获知有M个人脸区域，并且预设参数被开启，那么可以计算M个人脸区域中每个人脸区 域的大小，经过对比获得其中最大的人脸区域，然后基于所述M个人脸区域中最大 的人脸区域的位置信息，截取最大的人脸区域作为所述关键帧图像的微表情关键区域 图。其中，M为正整数且M大于等于2。所述预设参数是预先设定的，用于指示进 行最大人脸区域判断。

图6是本发明第六实施例提供的微表情识别方法的流程示意图，阿如6所示，所 述从每个关键帧图像中截取人脸微表情关键区域，获得每个关键帧图像的微表情关键 区域图包括：

S601、通过人脸定位算法定位所述关键帧图像中的所有人脸区域以及各自的位置信息；

具体地，所述视频采集终端可以通过人脸定位算法定位所述关键帧图像中的所有人脸区域以及各自的位置信息。其中，本步骤的具体实现过程与步骤S401类似，此 处不进行赘述。

S602、若获知有M个人脸区域且未开启预设参数，则根据所述M个人脸区域中 每个人脸区域以及居中人脸判断规则，获得满足所述居中人脸判断规则的人脸区域； 其中，M为大于等于2的正整数；

具体地，所述视频采集终端可以统计所述关键帧图像中人脸区域的数量，若获知有M个人脸区域，并且预设参数未被开启，那么可以根据所述M个人脸区域中每个 人脸区域的位置信息以及居中人脸判断规则，判断是否存在满足所述居中人脸判断规 则的人脸区域，如果存在满足所述居中人脸判断规则的人脸区域，那么可以确定出所 述居中人脸判断规则的人脸区域。其中，所述居中人脸判断规则，用于从M个人脸 区域中确定一个最靠近所述关键帧图像的几何重心的人脸区域，根据实际需要进行设 置，本发明实施例不做限定。M为大于等于2的正整数。

例如，所述居中人脸判断规则为，获取各个人脸区域的几何重心与待识别图片的几何重心的最小距离，并且上述最小距离小于预设值。所述视频采集终端可以根据所 述M个人脸区域中每个人脸区域的位置信息，获得每个人脸区域的几何重心坐标， 然后计算每个人脸区域的几何重心坐标与待识别图片的几何重心之间的距离，从M 个距离中获得最小距离，再将上述最小距离与所述预设值进行比较，如果所述最小距 离小于所述预设值，那么将上述最小距离对应的人脸区域作为满足所述居中人脸判断 规则的人脸区域。其中，所述预设值根据实际经验进行设置，本发明实施例不做限定。

S603、基于满足所述居中人脸判断规则的人脸区域的位置信息，截取满足所述居中人脸判断规则的人脸区域作为所述关键帧图像的微表情关键区域图。

具体地，所述视频采集终端在获得满足所述居中人脸判断规则的人脸区域之后，可以根据满足所述居中人脸判断规则的人脸区域的位置信息，截取满足所述居中人脸 判断规则的人脸区域作为所述关键帧图像的微表情关键区域图。

在上述各实施例的基础上，进一步地，所述从每个关键帧图像中截取人脸微表情关键区域，获得每个关键帧图像的微表情关键区域图包括：

若所述M个人脸区域中的每个人脸区域都不满足所述居中人脸判断规则，则基 于所述M个人脸区域中最大的人脸区域的位置信息截取最大的人脸区域作为所述关 键帧图像的微表情关键区域图。

具体地，所述视频采集终端若获知有M个人脸区域，并且预设参数未被开启， 那么可以根据所述M个人脸区域中每个人脸区域的位置信息以及居中人脸判断规 则，判断是否存在满足所述居中人脸判断规则的人脸区域，如果不存在满足所述居中 人脸判断规则的人脸区域，那么可以计算M个人脸区域中每个人脸区域的大小，经 过对比获得其中最大的人脸区域，然后基于所述M个人脸区域中最大的人脸区域的 位置信息，截取最大的人脸区域作为所述关键帧图像的微表情关键区域图。

例如，所述居中人脸判断规则为，获取各个人脸区域的几何重心与待识别图片的几何重心的最小距离，并且上述最小距离小于预设值。所述视频采集终端可以根据所 述M个人脸区域中每个人脸区域的位置信息，获得每个人脸区域的几何重心坐标， 然后计算每个人脸区域的几何重心坐标与待识别图片的几何重心之间的距离，从M 个距离中获得最小距离，再将上述最小距离与所述预设值进行比较，如果所述最小距 离大于等于所述预设值，那么所述M个人脸区域中的每个人脸区域都不满足所述居 中人脸判断规则。所述视频采集终端可以计算M个人脸区域中每个人脸区域的大小， 经过对比获得其中最大的人脸区域，然后基于所述M个人脸区域中最大的人脸区域 的位置信息，截取最大的人脸区域作为所述关键帧图像的微表情关键区域图。

图7是本发明第七实施例提供的微表情识别方法的流程示意图，如图7所示，在 上述各实施例的基础上，进一步地，所述对N个关键帧图像的微表情关键区域图进 行加密，获得微表情加密信息包括：

S2041、通过对称加密密钥对N个关键帧图像的微表情关键区域图进行加密，获 得微表情密文；其中，所述对称加密密钥是随机生成的；

具体地，为对N个关键帧图像的微表情关键区域图进行加密，所述视频采集终 端可以随机生成对称加密密钥，并使用所述对称加密密钥对N个关键帧图像的微表 情关键区域图进行加密，获得微表情密文。其中，生成对称加密密钥所采用的算法根 据实际需要进行设置，本发明实施例不做限定。

S2042、使用非对称加密公钥对对称加密密钥进行加密，获得密钥密文；

具体地，所述视频采集终端使用非对称加密公钥对所述对称加密密钥进行加密，获得密钥密文。其中，所述非对称加密公钥是预设的。可理解的是，步骤S2041和步 骤S2042没有先后顺序关系，可以先执行步骤S2041也可以先执行步骤S2042。

S2043、将所述微表情密文、所述密钥密文和所述非对称加密公钥作为所述微表情加密信息。

具体地，所述视频采集终端在获得所述微表情密文和密钥密文之后，将所述微表情密文、所述密钥密文和所述非对称加密公钥作为所述微表情加密信息。

在上述各实施例的基础上，进一步地，本发明实施例提供的微表情识别方法还包括：

对截取后的每个关键帧图像进行补全操作，获得补全后的每个关键帧图像；

相应地，发送所述微表情识别请求包括：

发送携带补全后的各个关键帧图像的微表情识别请求。

具体地，对于每个关键帧图像，所述视频采集终端在截取所述人脸微表情关键区域之后，可以对截取后的关键帧图像进行补全操作，即对截取后的关键帧图像上原来 所述人脸微表情关键区域的位置进行颜色填充，使截取后的关键帧图像完整，获得补 全后的关键帧图像。其中，在进行颜色填充的时候，可以采用纯色填充，所述纯色例 如为黑色，根据实际需要进行设置，本发明实施例不做限定。

所述视频采集终端在发送微表情识别请求时，可以将补全后的各个关键帧图像携带在所述微表情识别请求中进行发送。

图8是本发明第八实施例提供的微表情识别方法的流程示意图，如图8所示，本 发明实施例提供的微表情识别方法，包括：

S801、接收微表情识别请求，所述微表情识别请求包括微表情加密信息；

具体地，视频采集终端可以向识别服务器发送微表情识别请求，所述微表情识别请求包括微表情加密信息。所述识别服务器会接收所述微表情识别请求。其中，所述 微表情加密信息包括加密后的N个关键帧图像的微表情关键区域图。本发明实施例 提供的微表情识别方法的执行主体包括但不限于识别服务器。

S802、对所述微表情加密信息进行解密，获得N个关键帧图像的微表情关键区 域图；其中，N为大于等于2的正整数；

具体地，所述识别服务器在接收微表情识别请求之后，会对所述微表情识别请求进行解密，获得N个关键帧图像的微表情关键区域图。其中，N为大于等于2的正 整数。

S803、对每个关键帧图像的微表情关键区域图进行微表情识别，获得每个微表情关键区域图的微表情识别结果。

具体地，所述识别服务器在获得N个关键帧图像的微表情关键区域图之后，可 以采用微表情识别模型对每个关键帧图像的微表情关键区域图进行微表情识别，获得 每个微表情关键区域图的微表情识别结果。其中，所述微表情识别模型例如可以采用Affectiva微表情识别模型，根据实际需要进行选择，本发明实施例不做限定。

本发明实施例提供的微表情识别方法，能够接收微表情识别请求，对微表情加密信息进行解密，获得N个关键帧图像的微表情关键区域图，对每个关键帧图像的微 表情关键区域图进行微表情识别，获得每个微表情关键区域图的微表情识别结果，能 够减少由于对微表情图像加密导致的解密耗时，在保证信息传输安全性的同时提高了 微表情识别效率。

图9是本发明第九实施例提供的微表情识别方法的流程示意图，如图9所示，在 上述各实施例的基础上，进一步地，所述微表情加密信息包括微表情密文、密钥密文 和非对称加密公钥；相应地，所述对所述微表情加密信息进行解密，获得N个关键 帧图像的微表情关键区域图包括：

S8021、根据所述非对称加密公钥，获取对应的非对称加密私钥；

具体地，所述微表情加密信息包括微表情密文、密钥密文和非对称加密公钥。所述识别服务器可以根据所述非对称加密公钥查询获得与所述非对称加密公钥对应的 非对称加密私钥。其中，所述非对称加密私钥是预先存储的，与所述非对称加密公钥 对应。

S8022、根据所述非对称加密私钥解密所述密钥密文，获得对称加密密钥；

具体地，所述识别服务器在获得所述非对称加密私钥之后，根据所述非对称加密私钥对所述密钥密文进行解密，可以获得对称加密密钥。

S8023、根据所述对称加密密钥对微表情密文进行解密，获得N个关键帧图像的 微表情关键区域图。

具体地，所述识别服务器在获得所述对称加密密钥之后，可以根据所述对称加密密钥对所述微表情密文进行解密，获得N个关键帧图像的微表情关键区域图。

图10是本发明第十实施例提供的微表情识别方法的流程示意图，如图10所示， 本发明实施例提供的微表情识别方法的流程如下：

第一步、获得待识别视频。视频采集终端可以实时采集获得待识别视频或者截取一段视频作为待识别视频。

第二步、判断视频图像质量。视频采集终端对待视频进行图像质量判断，判断视频图像是否存在过亮、过暗和模糊等质量问题，如果存在图像质量问题，那么回到第 一步重新获得待识别视频；如果不存在图像质量问题，那么进入第三步。其中，对视 频图像质量的判断采用的是现有技术，此处不进行赘述。

第三步、判断是否存在人脸图像。视频采集终端判断待识别视频中是否存在人脸图像，如果检测到人脸图像，那么进入到第四步；如果没有检测到人脸图像，那么回 到第一步重新获得待识别视频。

第四步、抽取操作。视频采集终端对所述待识别视频进行关键帧图像抽取，获得 N个关键帧图像；其中，N为大于等于2的正整数。

第五步、截取操作。视频采集终端从每个关键帧图像中截取人脸微表情关键区域，获得每个关键帧图像的微表情关键区域图。

第六步、加密操作。视频采集终端会对N个关键帧图像的微表情关键区域图进 行加密，获得微表情加密信息。

第七步、发送微表情识别请求。视频采集终端将微表情加密信息携带在微表情识别请求中发送给识别服务器，以进行微表情识别。

图11是本发明第十一实施例提供的从每个关键帧图像中截取人脸微表情关键区域的流程示意图，如图11所示，本发明实施例提供从每个关键帧图像中截取人脸微 表情关键区域的流程如下：

第一步、进行人脸区域定位。视频采集终端通过人脸区域定位算法对关键帧图像进行人脸检测，以检测出关键帧图像中的人脸区域以及对应的位置信息。

第二步、判断是否有多个人脸区域。视频采集终端统计检测到的人脸区域，判断是否有多个人脸区域，如果有多个人脸区域，那么进入到第三步；如果只有一个人脸 区域，那么进入到第六步。

第三步、判断是否开启预设参数。视频采集终端检测预设参数是否开启，如果预设参数开启，那么进入第六步；如果预设参数没有开启，那么进入第四步。

第四步、判断是否存在居中人脸。视频采集终端根据M个人脸区域中每个人脸 区域的位置信息以及居中人脸判断规则，判断是否存在满足居中人脸判断规则的人脸 区域。如果存在满足居中人脸判断规则的人脸区域，那么进入到第七步；如果不存在 满足居中人脸判断规则的人脸区域，那么进入到第五步。其中，N为大于等于2的正 整数。

第五步、定位最大人脸区域。视频采集终端计算M个人脸区域中每个人脸区域 的大小，经过对比获得其中最大的人脸区域，然后进入第八步。

第六步、定位绝对最大人脸区域。视频采集终端计算M个人脸区域中每个人脸 区域的大小，经过对比获得其中最大的人脸区域。

第七步、定位居中人脸区域。视频采集终端根据M个人脸区域中每个人脸区域 的位置信息，获得每个人脸区域的几何重心坐标，然后计算每个人脸区域的几何重心 坐标与待识别图片的几何重心之间的距离，从M个距离中获得最小距离，再将上述 最小距离与预设值进行比较，如果最小距离小于预设值，那么将上述最小距离对应的 人脸区域作为满足居中人脸判断规则的人脸区域，完成居中人脸区域的定位。

第八步、获得微表情关键区域图。视频采集终端基于人脸区域的位置信息，从关键帧图像中截取人脸区域作为关键帧图像的微表情关键区域图。

图12是本发明第十二实施例提供的对N个关键帧图像的微表情关键区域图进行加密的流程示意图，如图12所示，本发明实施例提供的对N个关键帧图像的微表情 关键区域图进行加密的流程包括：

第一步、获取非对称加密公钥。视频采集终端获取非对称加密公钥。其中，非对 称加密公钥是预设的。

第二步、判断是否获取到非对称加密公钥。视频采集终端获取到非对称加密公钥，那么进入到第三步；如果没有获取到非对称加密公钥，那么进入第七步。

第三步、生成对称加密密钥。视频采集终端随机生成对称加密密钥。其中，生成 对称加密密钥的算法根据实际需要进行设置，本发明实施例不做限定。

第四步、使用对称加密密钥进行加密。视频采集终端使用对称加密密钥对N个 关键帧图像的微表情关键区域图进行加密，获得微表情密文。

第五步、使用非对称加密公钥进行加密。视频采集终端对对称加密密钥进行加密，获得密钥密文。

第六步、获得微表情加密信息。视频采集终端将微表情密文、密钥密文和非对称加密公钥作为微表情加密信息，微表情加密信息会携带在微表情识别请求中发送给识 别服务器。

第七步、结束加密流程。

图13是本发明第十三实施例提供的微表情识别方法的流程示意图，如图13所示，本发明实施例提供的微表情识别方法的流程如下：

第一步、接收微表情识别请求。识别服务器接收视频采集终端发送的人脸识别请求，人脸识别请求包括微表情加密信息。

第二步、对微表情加密信息进行解密。识别服务器从微表情识别请求中获得微表情加密信息，然后对微表情加密信息进行解密，以获得N个关键帧图像的微表情关 键区域图。

第三步、判断是否解密成功。识别服务器如果获得到N个关键帧图像的微表情 关键区域图，那么进入第四步；如果没有获得N个关键帧图像的微表情关键区域图， 那么进入到第五步。

第四步、进行微表情识别。识别服务器采用微表情识别模型对每个关键帧图像的微表情关键区域图进行人脸识别，获得每张微表情关键区域图的识别结果。

第五步、流程结束。

本发明实施例提供的微表情识别方法，解决当前微表情识别过程中的信息传输安全的问题，满足传输安全的要求，提升微表情识别流程的安全防护能力，同时有效地 降低了传输加密耗时，解决加密后密文长度较大的问题，还降低了微表情识别的解密 耗时，在保证数据安全性的情况下，提高了微表情识别的效率，在微表情识别流程中 兼顾安全性和易用性。

图14是本发明第十四实施例提供的微表情识别装置的结构示意图，如图14所示，本发明实施例提供的微表情识别装置包括获得单元1401、抽取单元1402、截取单元 1403、加密单元1404和发送单元1405，其中：

获得单元1401用于获得待识别视频；抽取单元1402用于对所述待识别视频进行关键帧图像抽取，获得N个关键帧图像；其中，N为大于等于2的正整数；截取单 元1403用于从每个关键帧图像中截取人脸微表情关键区域，获得每个关键帧图像的 微表情关键区域图；加密单元1404用于对N个关键帧图像的微表情关键区域图进行 加密，获得微表情加密信息；发送单元1405用于发送微表情识别请求以进行微表情 识别，所述微表情识别请求包括微表情加密信息。

具体地，获得单元1401可以获得待识别视频。其中，所述待识别视频可以是所 述视频采集终端通过摄像头实时采集的，也可以是所述视频采集终端从视频中截取 的，根据实际需要进行设置，本发明实施例不做限定。

在获得所述待识别视频之后，抽取单元1402可以对所述待识别视频进行关键帧图像抽取，抽取出N个关键帧图像，N个关键帧图像用于在识别服务器进行微表情 识别。其中，N为大于等于2的正整数。

在获得N个关键帧图像之后，对于每个关键帧图像，截取单元1403都会从中截 取人脸微表情关键区域，获得每个关键帧图像的微表情关键区域图。

密单元1404会对N个关键帧图像的微表情关键区域图进行加密，获得微表情加 密信息。其中，对N个关键帧图像的微表情关键区域图加密所采用的加密方式，根 据实际需要进行设置，本发明实施例不做限定。

在获得微表情加密信息之后，发送单元1405可以发送微表情识别请求以进行微表情识别。其中，所述微表情识别请求包括微表情加密信息。

本发明实施例提供的微表情识别装置，能够获得待识别视频，对待识别视频进行关键帧图像抽取，获得N个关键帧图像，从每个关键帧图像中截取人脸微表情关键 区域，获得每个关键帧图像的微表情关键区域图，对N个关键帧图像的微表情关键 区域图进行加密，获得微表情加密信息，发送微表情识别请求以进行微表情识别，通 过获取N个关键帧图像并加密，能够提高微表情识别过程中信息传输的安全性。此 外，由于无需对整个待识别视频进行加密和传输，在提高信息传输安全性的同时，降 低了加解密的耗时，从而提高了微表情识别的效率。

图15是本发明第十五实施例提供的微表情识别装置的结构示意图，如图15所示，本发明实施例提供的微表情识别装置包括接收单元1501、解密单元1502和识别单元 1503，其中：

接收单元1501用于接收微表情识别请求，所述微表情识别请求包括微表情加密信息；解密单元1502用于对所述微表情加密信息进行解密，获得N个关键帧图像的 微表情关键区域图；其中，N为大于等于2的正整数；识别单元1503用于对每个关 键帧图像的微表情关键区域图进行微表情识别，获得每个微表情关键区域图的微表情 识别结果。

具体地，接收单元1501可以向识别服务器发送微表情识别请求，所述微表情识 别请求包括微表情加密信息。所述识别服务器会接收所述微表情识别请求。其中，所 述微表情加密信息包括加密后的N个关键帧图像的微表情关键区域图。

在接收微表情识别请求之后，解密单元1502会对所述微表情识别请求进行解密，获得N个关键帧图像的微表情关键区域图。其中，N为大于等于2的正整数。

在获得N个关键帧图像的微表情关键区域图之后，识别单元1503可以采用微表 情识别模型对每个关键帧图像的微表情关键区域图进行微表情识别，获得每个微表情 关键区域图的微表情识别结果。其中，所述微表情识别模型例如可以采用Affectiva 微表情识别模型，根据实际需要进行选择，本发明实施例不做限定。

本发明实施例提供的微表情识别装置，能够接收微表情识别请求，对微表情加密信息进行解密，获得N个关键帧图像的微表情关键区域图，对每个关键帧图像的微 表情关键区域图进行微表情识别，获得每个微表情关键区域图的微表情识别结果，能 够减少由于对微表情图像加密导致的解密耗时，在保证信息传输安全性的同时提高了 微表情识别效率。

本发明实施例提供的装置的实施例具体可以用于执行上述对应方法实施例的处理流程，其功能在此不再赘述，可以参照上述对应方法实施例的详细描述。

图16是本发明一实施例提供的电子设备的实体结构示意图，如图16所示，该电 子设备可以包括：第一处理器(Processor)1601、第一通信接口(Communications Interface)1602、第一存储器(Memory)1603和第一通信总线1604，其中，第一处理器 1601，第一通信接口1602，第一存储器1603通过第一通信总线1604完成相互间的 通信。第一处理器1601可以调用第一存储器1603中的逻辑指令，以执行如下方法， 例如包括：获得待识别视频；对所述待识别视频进行关键帧图像抽取，获得N个关 键帧图像；其中，N为大于等于2的正整数；从每个关键帧图像中截取人脸微表情关 键区域，获得每个关键帧图像的微表情关键区域图；对N个关键帧图像的微表情关 键区域图进行加密，获得微表情加密信息；发送微表情识别请求以进行微表情识别， 所述微表情识别请求包括微表情加密信息。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机 执行时，计算机能够执行如下方法，例如包括：获得待识别视频；对所述待识别视频 进行关键帧图像抽取，获得N个关键帧图像；其中，N为大于等于2的正整数；从 每个关键帧图像中截取人脸微表情关键区域，获得每个关键帧图像的微表情关键区域 图；对N个关键帧图像的微表情关键区域图进行加密，获得微表情加密信息；发送 微表情识别请求以进行微表情识别，所述微表情识别请求包括微表情加密信息。

本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储第一计算机程序，所述第一计算机程序使所述计算机执行如下方法，例如包括：获得待识别视 频；对所述待识别视频进行关键帧图像抽取，获得N个关键帧图像；其中，N为大 于等于2的正整数；从每个关键帧图像中截取人脸微表情关键区域，获得每个关键帧 图像的微表情关键区域图；对N个关键帧图像的微表情关键区域图进行加密，获得 微表情加密信息；发送微表情识别请求以进行微表情识别，所述微表情识别请求包括 微表情加密信息。

图17是本发明另一实施例提供的电子设备的实体结构示意图，如图17所示，该 电子设备可以包括：第二处理器(Processor)1701、第二通信接口(CommunicationsInterface)1702、第二存储器(Memory)1703和第二通信总线1704，其中，第二处理器 1701，第二通信接口1702，第二存储器1703通过第二通信总线1704完成相互间的 通信。第二处理器1701可以调用第二存储器1703中的逻辑指令，以执行如下方法， 例如包括：接收微表情识别请求，所述微表情识别请求包括微表情加密信息；对所述 微表情加密信息进行解密，获得N个关键帧图像的微表情关键区域图；其中，N为 大于等于2的正整数；对每个关键帧图像的微表情关键区域图进行微表情识别，获得 每个微表情关键区域图的微表情识别结果。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机 执行时，计算机能够执行如下方法，例如包括：接收微表情识别请求，所述微表情识 别请求包括微表情加密信息；对所述微表情加密信息进行解密，获得N个关键帧图 像的微表情关键区域图；其中，N为大于等于2的正整数；对每个关键帧图像的微表 情关键区域图进行微表情识别，获得每个微表情关键区域图的微表情识别结果。

本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储第二计算机程序，所述第二计算机程序使所述计算机执行如下方法，例如包括：接收微表情识 别请求，所述微表情识别请求包括微表情加密信息；对所述微表情加密信息进行解密， 获得N个关键帧图像的微表情关键区域图；其中，N为大于等于2的正整数；对每 个关键帧图像的微表情关键区域图进行微表情识别，获得每个微表情关键区域图的微 表情识别结果。

此外，上述的第一存储器1603和第二存储器1703中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存 储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的 部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储 在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，装 置，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的 存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机 存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序 代码的介质。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件 方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序 代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等) 上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流 程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的 每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些 计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设 备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执 行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方 框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包 括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一 个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算 机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或 方框图一个方框或多个方框中指定的功能的步骤。

在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些 实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合 该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施 例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或 示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例 或示例中以合适的方式结合。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发 明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等， 均应包含在本发明的保护范围之内。