图像处理方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种图像处理方法、装置、设备及计算机可读存储介质。

背景技术

智能驾驶已经成为未来汽车驾驶的趋势，而在多种驾驶测试场景中，需要利用摄像头获取周围环境中的人脸数据，从而对拍摄的图像进行脱敏处理，以此来进行车辆感知训练，相关技术可以利用人脸检测检测到人脸对象的整个头部区域，从而得到人脸数据。

然而，相关技术虽然可以检测到人脸数据，但是检测到的人脸数据大多仅限于正常角度下的人脸数据，对于一些旋转角度较大的人脸数据却无法准确地检测到，以致无法对人脸数据进行脱敏处理。

发明内容

本申请实施例公开一种图像处理方法、装置、设备及计算机可读存储介质，可检测到图像中旋转的人脸，以保证人脸检测的准确性。

本申请实施例公开一种图像处理方法，包括：

采集预设范围内的图像得到第一图像，所述第一图像包括一个或多个人脸；

根据第一人脸的第一状态，调整所述第一人脸在所述第一图像中的位置，得到第二图像，所述第一人脸为所述一个或多个人脸中的任一人脸；

根据所述第二图像中所述第一人脸的第二状态，确定所述第一人脸的旋转角度，得到第一旋转角度；

根据所述第一旋转角度，调整所述第二图像中所述第一人脸的人脸框的位置，得到第三图像。

相应的，本申请实施例公开一种图像处理装置，包括：

采集单元，用于采集预设范围内的图像得到第一图像，所述第一图像包括一个或多个人脸；

翻转单元，用于根据第一人脸的第一状态，调整所述第一人脸在所述第一图像中的位置，得到第二图像，所述第一人脸为所述一个或多个人脸中的任一人脸；

确定单元，用于根据所述第二图像中所述第一人脸的第二状态，确定所述第一人脸的旋转角度，得到第一旋转角度；

调整单元，用于根据所述第一旋转角度，调整所述第二图像中所述第一人脸的人脸框的位置，得到第三图像。

在一些实施例中，所述第二状态包括偏移状态，所述图像处理装置还包括：

第一分类单元，用于利用第一分类器确定所述第二图像中所述第一人脸的第二状态；

所述确定单元，具体用于若所述第二图像中所述第一人脸的第二状态为偏移状态，则确定所述第一人脸的第一旋转角度为第一预设角度。

在一些实施例中，所述第二状态还包括非偏移状态，所述确定单元，具体还用于若所述第二图像中所述第一人脸的第二状态为非偏移状态，则确定所述第一人脸的第一旋转角度为第二预设角度。

在一些实施例中，所述调整单元具体用于：

根据所述第一旋转角度，调整所述第二图像中所述第一人脸的人脸框的位置，得到第四图像；

利用预设角度校准器校准所述第四图像中所述人脸框的角度，得到第三图像。

在一些实施例中，所述图像处理装置还包括：

创建单元，用于根据所述第一人脸在所述第一图像中的位置信息，在所述第一图像中所述第一人脸所在位置添加人脸框；

第二分类单元，用于利用第二分类器识别添加人脸框后的第一图像中所述第一人脸的第一状态；

所述翻转单元具体用于：

若所述第一状态为倒置状态，则对所述添加人脸框后的第一图像中的第一人脸进行翻转；

根据所述人脸框，对翻转后的第一图像中的第一人脸进行位置校准，得到第二图像。

在一些实施例中，所述图像处理装置还包括：

确定单元，还用于若所述第一状态为非倒置状态，则根据所述第一图像中所述第一人脸的第二状态，确定所述第一人脸的旋转角度，得到第二旋转角度；

调整单元，还用于根据所述第二旋转角度，调整所述第一图像中所述第一人脸的人脸框的位置，得到第五图像。

在一些实施例中，图像处理装置还包括：

处理单元，用于对所述第三图像中的所述第一人脸进行模糊化处理，得到第六图像。

此外，本申请实施例还公开一种计算机设备，包括处理器和存储器，存储器存储有计算机程序，处理器用于运行存储器内的计算机程序实现本申请实施例公开的图像处理方法中的步骤。

此外，本申请实施例还公开一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请实施例所公开的任一种图像处理方法中的步骤。

此外，本申请实施例还公开一种计算机程序产品，计算机程序产品包括计算机指令，计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例所公开的任一种图像处理方法中的步骤。

本申请实施例中，采集预设范围内的图像得到第一图像，第一图像包括一个或多个人脸；根据第一人脸的第一状态，调整第一人脸在第一图像中的位置，得到第二图像，第一人脸为一个或多个人脸中的任一人脸；根据第二图像中第一人脸的第二状态，确定第一人脸的旋转角度，得到第一旋转角度；根据第一旋转角度，调整第二图像中第一人脸的人脸框的位置，得到第三图像。由此可得，本方案调整第一状态下的第一人脸，进行第一修正，若第一人脸处于偏移状态，则确定第一人脸对应的第一旋转角度，基于第一旋转角度进行再次修正，得到人脸框与第一人脸角度位置对应的图像；以此，将图像中人脸的旋转角度控制在较小范围，可以更容易地检测到不同角度位置的人脸，并且保证了人脸检测的准确性，帮助图像进行脱敏处理。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种图像处理系统的场景示意图；

图2是本申请实施例公开的一种图像处理方法的流程示意图；

图3是本申请实施例公开的人脸框创建示意图；

图4是本申请实施例公开的旋转图像的人脸检测示意图；

图5是本申请实施例公开的一种人脸模糊化处理方法对比的示意图；

图6是本申请实施例公开的另一种人脸模糊化处理方法对比的示意图；

图7是本申请实施例公开的模糊化处理对比的示意图；

图8是本申请实施例公开的另一种图像处理方法的流程示意图；

图9是本申请实施例公开的一种级联人脸检测器示意图；

图10是本申请实施例公开的一种二阶段模型结构示意图；

图11是本申请实施例公开的一种二阶段模型替换方案结构示意图；

图12是本申请实施例公开的一种图像处理装置的结构示意图；

图13是本申请实施例公开的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开一种图像处理方法、装置、设备及计算机可读存储介质。本申请实施例将从图像处理装置的角度进行描述，该图像处理装置具体可以集成在计算机设备中，该计算机设备可以是终端设备，具体可以是运输工具上所搭载的终端设备，即车载终端；此外，终端设备还可以是其他类型的设备，例如，该终端设备可以是电视、智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能穿戴设备等设备；此外，但并不局限于此。

例如，参见图1，图1是本申请实施例公开的一种图像处理系统的场景示意图。该场景包括终端设备或服务器。

具体的，该终端设备可以是车载终端，用于采集预设范围内的图像得到第一图像，第一图像包括一个或多个人脸；根据第一人脸的第一状态，调整第一人脸在第一图像中的位置，得到第二图像，第一人脸为一个或多个人脸中的任一人脸；根据第二图像中第一人脸的第二状态，确定第一人脸的旋转角度，得到第一旋转角度；根据第一旋转角度，调整第二图像中第一人脸的人脸框的位置，得到第三图像。

以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

在本申请实施例中，将从图像处理装置的角度进行描述，以该图像处理装置具体可以集成在计算机设备如终端设备或服务器中。参见图2，图2是本申请实施例公开的一种图像处理方法的流程示意图。以终端设备为例，该终端设备为车辆上搭载的终端设备，终端设备上的处理器执行图像处理方法对应的程序时，该图像处理方法可以包括以下步骤。

101、采集预设范围内的图像得到第一图像。

为了使车辆可以在驾驶过程中或停车时获取周围环境进行数据训练，可以先采集车辆预设范围内的图像得到第一图像，值得说明的是，采集车辆周围图像的具体实施方式可能因测试用例和具体实现细节而有所不同，一般情况下，可以在车辆外部安装一系列摄像头，在不同位置和角度捕获周围的图像。摄像头可以包括稳定式摄像头和自适应旋转摄像头，以适应不同的驾驶场景。车辆也可以使用激光雷达和雷达来捕获周围的图像。这些技术能够公开车辆周围的精确深度信息，并可以帮助识别障碍物和其他车辆。除此以外，车辆可以使用联网技术，如车载摄像头、车联网、卫星导航等，获取来自其他车辆和交通基础设施的即时交通信息和导航数据。由于采集到的第一图像中可能存在一个或多个人脸数据，还需要在后续识别出人脸，以此保护图像的保密性和安全性。

第一图像可以是指通过任意一个摄像设备获取的图像，包括但不限于安装在车辆内部或外部的摄像头、行车记录仪、交通监控摄像头等设备获取的图像。第一图像包括一个或多个人脸。

通过以上方式，可通过摄像头采集车辆预设范围内的图像，以此提取图像中的人脸数据，使得车辆可以对图像中的人脸数据进行脱敏处理，保证图像的隐私性。

102、根据第一人脸的第一状态，调整第一人脸在第一图像中的位置，得到第二图像，第一人脸为一个或多个人脸中的任一人脸。

第一人脸可以是指第一图像中人脸区域的数据，其中包含了人脸的位置、大小、姿态等信息。这些数据可以被用于人脸检测、人脸验证、面部表情分析等应用。通常，人脸数据可以用矩形框或多边形框来表示人脸区域。

第一状态可以是指第一图像中第一人脸的图像状态。第一状态可以根据第一人脸的角度和位置，划分为倒置状态和非倒置状态。其中，倒置状态可以是指第一人脸的眼睛高度低于嘴巴高度的状态，非倒置状态可以是指第一人脸的眼睛高度高于嘴巴高度的状态。

在采集到第一图像后，可以先识别第一图像中的人脸，之后可以判断第一图像中的第一人脸的第一状态是否为倒置状态。具体可以通过比较人脸关键点，判断第一人脸的第一状态。示例性的，可以根据人脸关键点(如眼睛、鼻子、嘴)之间的位置等，来判断第一人脸的第一状态是否处于倒置状态，若第一人脸的眼睛位置处于第一人脸的嘴巴上方，则可以确定第一人脸的第一状态为倒置状态，反之，若第一人脸的眼睛位置处于第一人脸的嘴巴下方，则可以确定第一人脸的第一状态为非倒置状态。

第二图像可以是指在第一图像的基础上，对第一人脸进行翻转处理后，生成的新图像，即第二图像。

具体的，在人脸检测的过程中，通常需要调整角度旋转过大的人脸图像，以此保证的人脸检测、人脸验证等操作的准确性。当第一图像中的第一人脸的旋转角度过大时，可以对第一人脸的位置进行调整，以此减少第一人脸的旋转角度。示例性的，当第一图像中的第一人脸旋转角度是逆时针旋转180°时，可以对第一图像中的第一人脸进行翻转处理，即将第一图像中的第一人脸进行180°翻转处理，得到人脸相对正立的第二图像。以此，通过第一次修正可以将倒置状态的人脸进行翻转，得到人脸处于非倒置状态的第二图像，从而提高人脸检测的准确性和人脸检测模型的鲁棒性。

在一些实施方式中，为了从采集的第一图像中将人脸与其他图像元素区别开，从而进行更准确的人脸检测，可以为第一人脸创建一个对应的人脸框。因此，在步骤102之前，该图像处理方法还可以包括：

根据第一人脸在第一图像中的位置信息，在第一图像中第一人脸所在位置添加人脸框；

则步骤102包括：

(102.1)若第一状态为倒置状态，则对添加人脸框后的第一图像中的第一人脸进行翻转；

(102.2)根据人脸框，对翻转后的第一图像中的第一人脸进行位置校准，得到第二图像。

具体的，在采集到车辆预设范围内的第一图像后，通常采用人脸框(矩形框)来表示人脸的位置和大小。可以先根据第一人脸对应的关键点来预测出第一人脸的位置，例如，可以利用Dlib库中的关键点获取检测到的第一人脸的区域位置信息，从而确定人脸框的创建位置，以此根据第一人脸在第一图像中的区域位置信息，创建第一人脸对应的人脸框。如图3所示，图3中，可以为所有状态下的人脸图像创建对应的人脸框。若第一图像中第一人脸的第一状态为倒置状态，可以对第一图像中的第一人脸进行翻转处理，即将第一图像中的第一人脸进行180°翻转处理，得到人脸相对正立的第二图像。以此，在该阶段对对应人脸进行0°、180°判断并翻转倒置图像之后，第一人脸可能出现的角度范围由原来[-180°～180°]缩小为[-90°～90°]。此时，第一人脸由于翻转处理，在图像中的位置信息可能会发生偏移，与人脸框的位置无法对应，为解决这一问题，可以以人脸框的位置为基准，对翻转后的第一人脸进行位置校准，从而得到第二图像。

通过以上方式，可通过第二分类器对第一人脸的角度位置进行第一次修正，得到第二图像，减轻了后续的预测难度，提高人脸检测的准确性。

103、根据第二图像中第一人脸的第二状态，确定第一人脸的旋转角度，得到第一旋转角度。

第二状态可以是指第一人脸在第二图像中的状态。第二状态可以为偏移状态(包括左偏移状态以及右偏移状态)，也可以为非偏移状态。

偏移状态可以是指第一人脸在第二图像中的位置相对于中心位置的存在偏离程度或角度。通常情况下，当第一人脸在第二图像中居中时，它被认为是处于非偏移状态。然而，当第一人脸在第二图像中偏离中心位置，或者出现旋转、倾斜等情况时，就可以认为它处于偏移状态。

第一旋转角度可以是指将第一人脸按照某个轴心旋转的角度。在图像处理中，通常以图像中心为轴心进行旋转，旋转角度一般采用角度制或弧度制表示。如果角度为正，则表示第一人脸对应的人脸框需要顺时针旋转；如果为负，则表示第一人脸对应的人脸框需要逆时针旋转。

具体的，将倒置的第一人脸翻转处理，得到第二图像后，识别第一人脸在第二图像中的第二状态，即识别第一人脸是左偏移旋转还是向右偏移旋转或者是无偏移旋转的状态，从而根据人脸的偏移状态，确定第一人脸图像的第一旋转角度是向左90°，还是向右90°，亦或者是0°。示例性的，第一人脸向左偏移旋转，则说明第一人脸对应的人脸框需要逆时针时针旋转90°，即第一旋转角度为(-90°)，以此，经过该阶段的校准处理，第一人脸的预测角度范围[-90°～90°]已经缩小为[-45°～45°]。以此，通过第二图像中第一人脸的旋转状态，确定图像的第一旋转角度，从而在后续为第一人脸的角度进行第二次修正提供修正角度。

在一些实施方式中，该图像处理的方法还可以利用分类器对第二图像中的第一人脸的第二状态做出识别，从而根据第一人脸的具体状态，确定对应的第一旋转角度，如步骤103之前，还可以包括：

利用第一分类器确定第二图像中第一人脸的第二状态；

则步骤103包括：

若第二图像中第一人脸的第二状态为偏移状态，则确定第一人脸的第一旋转角度为第一预设角度。

第一分类器可以是针对第一人脸分类问题的模型，用于将人脸数据分为三个类别。分类包括偏移状态(左偏移状态、右偏移状态)和非偏移状态(正立状态)。

具体的，得到第二图像后，使用训练好的第一分类器，对检测出的人脸进行偏移状态分类，具体可以通过比较人脸属性信息和预设的参考值，确定人脸的偏移状态。比如，人脸关键点(如眼睛、鼻子、嘴)之间的角度、倾斜角等，来计算出人脸是否处于左/右偏移状态。若第一分类器识别出第二图像中的第一人脸的第二状态为偏移状态，则直接将第一人脸的旋转角度确定为第一预设角度(±90°)。值得说明的是，还需要区分第一人脸属于左偏移状态还是右偏移状态，若第一人脸属于左偏移状态，则说明第一人脸对应的人脸框需要逆时针时针旋转90°，即第一旋转角度为(-90°)，同理，若第一人脸属于右偏移状态，则说明第一人脸对应的人脸框需要顺时针时针旋转90°，即第一旋转角度为(﹢90°)。以此，将第一人脸的旋转角度范围从[-90°、90°]转化至[-45°、45°]，减少了旋转预测范围，后续只需要在[-45°、45°]范围内对第一人脸进行角度预测。

因此，在一些实施方式中，当第二图像中第一人脸的第二状态为非偏移状态时，第一人脸的第一旋转角度会改变，如步骤(104)，还可以包括：

若第二图像中第一人脸的第二状态为非偏移状态，则确定第一人脸的第一旋转角度为第二预设角度。

具体的，若第一分类器识别出第二图像中的第一人脸的第二状态为非偏移状态，则直接将第一人脸的旋转角度确定为0°(第二预设角度)，即不对第一人脸做任何旋转调整。

通过以上方式，可以根据第一分类器识别第二图像中第一人脸的状态，确定对第一人脸进行第二次修正的第一旋转角度，极大提高后续人脸检测的准确性以及检测器的鲁棒性。

104、根据第一旋转角度，调整第二图像中第一人脸的人脸框的位置，得到第三图像。

在本申请实施例中，为了使人脸检测算法更加准确，需要对第一人脸的角度位置进行三次修正，以提高人脸检测的准确性和人脸检测模型的鲁棒性，第三次修正需要根据旋转角度，调整第二图像中第一人脸的人脸框的位置，得到第三图像。

第三图像可以是指第一人脸与其人脸框角度和位置均对齐后得到的图像，在第三图像中，可以清楚地分辨出第一人脸，后续可以在第三图像的基础上对图像进行脱敏处理。

具体的，确定了第一人脸在第二图像中的第一旋转角度后，然后，根据第一旋转角度，调整第一人脸对应的人脸框，得到人脸框和第一人脸角度对应的第三图像。示例性的，如果第一旋转角度为-90°，则将人脸框逆时针旋转90°，并在后续对旋转后的人脸框进行角度修正，以此，改变了第一人脸对应的人脸框的角度和位置，实现将第一人脸的角度预测范围限制在[-45°、45°]范围内的目的。

因此，在一些实施方式中，可以结合预设角度校准器对人脸框的角度进行调整，以此得到人脸框与人脸角度相同的第三图像，使得人脸检测更加准确，如步骤104，可以包括：

(104.1)根据第一旋转角度，调整第二图像中第一人脸的人脸框的位置，得到第四图像；

(104.2)利用预设角度校准器校准第四图像中人脸框的角度，得到第三图像。

第四图像可以是第一人脸对应的人脸框经过第一预设角度旋转后，得到的图像，第四图像中包括第一人脸以及第一预设角度旋转后的人脸框，第四图像中的人脸框经过预设角度器校准后，可以得到第三图像。

具体的，在确定第一人脸对应的第一旋转角度后，根据第一旋转角度，将第二图像中的第一人脸对应的人脸框按照第一预设角度进行旋转，例如，第一预设角度为-90度，则第一人脸对应的人脸框以逆时针为旋转方向，旋转90°，得到第四图像。此时人脸框的旋转范围已经缩小至[-45°、45°]，减轻了模型的预测难度，利用预设角度校准器对第四图像中的人脸框进行小范围的位置校准，调整人脸框的角度位置，得到人脸框与第一人脸角度位置匹配的第三图像。

示例性的，如图4所示，图4中左2图像中的第一人脸对应的第一预设角度为-90°，将第一人脸对应的人脸框逆时针旋转90°后，得到图4中左3图像，即第四图像，利用角度校准器进行校准，将图4中左3图像中的人脸框顺时针调整20°，得到图4中左4图像。即相对于第二图像中的第一人脸而言，只需要将第一人脸对应的人脸框逆时针旋转70°即可得到第三图像，使得第一人脸的角度位置与人脸框的角度位置完全匹配，以此可以通过第三图片精确地检测到旋转的人脸。

通过以上方式，可以根据第一旋转角度，再次调整第二图像中第一人脸的人脸框的位置，得到第三图像，提高了人脸检测的准确性和人脸检测模型的鲁棒性。

在本申请实施例中，若第一图像中的第一人脸的第一状态为非倒置状态，该图像处理方法的还可以包括步骤105，步骤105可以包括：

(105.1)若第一状态为非倒置状态，则根据第一图像中第一人脸的第二状态，确定第一人脸的旋转角度，得到第二旋转角度；

(105.2)根据第二旋转角度，调整第一图像中第一人脸的人脸框的位置，得到第五图像。

其中，第二旋转角度可以是指当第一人脸的第一状态处于非倒置状态时，将不会对第一人脸当前的旋转角度做出改变，即第二旋转角度为0°。如图4所示，左1图像中的第一人脸的第一状态为非倒置状态，所以第一张图像的旋转角度为0°，得到左2图像。

其中，第五图像和第三图像一样，可以是指第一人脸与其人脸框角度和位置均对齐后得到的图像，在第五图像中，可以清楚地分辨出第一人脸，后续可以在第五图像的基础上对图像进行脱敏处理。

具体的，若第一图像中的第一人脸处于非倒置状态，则无需将第一人脸做翻转处理，而是根据第一人脸在第一图像中的第二状态，确定第一人脸对应的第二旋转角度，并根据第二旋转角度调整第一人脸对应的人脸框的位置，得到人脸框与第一人脸角度位置相同的第五图像。

通过以上方式，可以直接对非倒置状态下的第一人脸进行第二状态识别，从而继续修正第一人脸对应的人脸框的旋转角度，保证人脸检测的准确性。

在本申请实施例中，该图像处理方法的还可以包括步骤106，步骤

106可以包括：对第三图像中的第一人脸进行模糊化处理，得到第六图像。

第六图像可以是将第三图像中的所有人脸进行脱敏处理后得到的图像。

具体的，在获取第三图像后，可以根据第三图像中的人脸框，将人脸框中的第一人脸进行模糊化处理，为了尽可能只模糊第一人脸区域而保留第一人脸周围区域原有的像素值，可以使用模糊化方法对第三图像中人脸框内的第一人脸进行处理，以此得到不包含敏感人脸数据的第五图像。

值得说明的是，常用的模糊化方式有3种，分别是：blackening(黑值填充)、blurring(模糊化)、pixelating(像素化)。如图5所示分别采用了强度为1三种模糊化方式blackening、blurring、pixelating，图6展示强度为0.1的三种模糊化方式。通过比较三种模糊化方法，blurring、pixelating不会改变原有图像的图像均值和标准差，blurring在低强度的参数下模糊效果比pixelating方式好。因此最终选择blurring的模糊化策略。为了解决人脸目标的模糊化处理尽可能只模糊人脸区域而保留周围原有的像素值，如图7所示对比原图(左上)、矩形框(右上)、椭圆(左下)、圆形(右下)的模糊化效果，椭圆的模糊化方式更适用于人脸敏感目标，椭圆的形状也最契合人脸形状。由此可得，可以选择blurring的模糊化策略对人脸区域以椭圆的形状进行模糊化处理。

通过以上方式，可以根据第三图像中人脸框的位置，将人脸框中的第一人脸进行模糊化处理，得到第三图像，保护了图像的隐私性。

通过实施本申请实施例中任意一个实施方式或实施方式组合，可实现图像处理过程的应用场景。

由上可知，本申请实施例中，采集预设范围内的图像得到第一图像，第一图像包括一个或多个人脸；根据第一人脸的第一状态，调整第一人脸在第一图像中的位置，得到第二图像，第一人脸为一个或多个人脸中的任一人脸；根据第二图像中第一人脸的第二状态，确定第一人脸的旋转角度，得到第一旋转角度；根据第一旋转角度，调整第二图像中第一人脸的人脸框的位置，得到第三图像。由此可得，本方案调整第一状态下的第一人脸，进行第一修正，若第一人脸处于偏移状态，则确定第一人脸对应的第一旋转角度，基于第一旋转角度进行再次修正，得到人脸框与第一人脸角度位置对应的图像；以此，将图像中人脸的旋转角度控制在较小范围，可以更容易地检测到不同角度位置的人脸，并且保证了人脸检测的准确性，帮助图像进行脱敏处理。

根据上面实施例所描述的方法，以下将举例作进一步详细说明。

本申请实施例以图像处理装置为例，对本申请实施例公开的图像处理方法作进一步叙述。其中，图3是本申请实施例公开的一种图像处理方法的另一步骤流程示意图。为了便于理解，本申请实施例结合图3进行描述。

在本申请实施例中，将从图像处理装置的角度进行描述，该图像处理装置具体可以集成在计算机设备如车载终端中。当车载终端上的处理器执行数据传输方法对应的程序指令时，该图像处理方法的具体流程如下：

201、采集预设范围内的图像得到第一图像。

为了使车辆可以在驾驶过程中或停车时获取周围环境数据进行数据训练，车载终端可以先采集车辆预设范围内的图像得到第一图像，值得说明的是，采集车辆周围图像的具体实施方式可能因测试用例和具体实现细节而有所不同，一般情况下，可以在车辆外部安装一系列摄像头，在不同位置和角度捕获周围的图像。摄像头可以包括稳定式摄像头和自适应旋转摄像头，以适应不同的驾驶场景。车辆也可以使用激光雷达和雷达来捕获周围的图像。这些技术能够公开车辆周围的精确深度信息，并可以帮助识别障碍物和其他车辆。除此以外，车辆可以使用联网技术，如车载摄像头、车联网、卫星导航等，获取来自其他车辆和交通基础设施的即时交通信息和导航数据。由于采集到的第一图像中可能存在一个或多个人脸数据，还需要在后续识别出人脸，以此保护图像的保密性和安全性。

第一图像可以是指通过任意一个摄像设备获取的图像，包括但不限于安装在车辆内部或外部的摄像头、行车记录仪、交通监控摄像头等设备获取的图像。第一图像包括一个或多个人脸。

202、根据第一人脸在第一图像中的位置信息，创建第一人脸的人脸框。

第一人脸可以是指第一图像中人脸区域的数据，其中包含了人脸的位置、大小、姿态等信息。这些数据可以被用于人脸检测、人脸验证、面部表情分析等应用。通常，人脸数据可以用矩形框或多边形框来表示人脸区域。

具体的，车载终端在采集到车辆预设范围内的第一图像后，通常采用人脸框(矩形框)来表示人脸的位置和大小。可以先根据第一人脸对应的关键点来预测出第一人脸的位置，例如，可以利用Dlib库中的关键点获取检测到的第一人脸的区域位置信息，从而确定人脸框的创建位置，以此根据第一人脸在第一图像中的区域位置信息，创建第一人脸对应的人脸框。

203、利用第二分类器识别第一图像中第一人脸的第一状态。

若第一图像中的第一人脸的第一状态为倒置状态，执行步骤204，若第一图像中的第一人脸的第一状态为非倒置状态，执行步骤206。

其中，第二分类器可以是针对第一人脸分类问题的模型，用于将人脸数据分为两个类别。分类包括倒置状态和非倒置状态。

第一状态可以是指第一图像中第一人脸的图像状态，包括倒置状态和非倒置状态。其中，倒置状态可以是指第一人脸的眼睛高度低于于嘴巴高度的状态，非倒置状态可以是指第一人脸的眼睛高度高于于嘴巴高度的状态。

第二分类器可以是针对第一人脸分类问题的模型，用于将人脸数据分为两个类别。分类包括倒置状态和非倒置状态。

在采集到第一图像后，车载终端可以先识别第一图像中的人脸，之后可以判断第一图像中的第一人脸的第一状态是否为倒置状态。具体可以通过比较人脸关键点，判断第一人脸的第一状态是否为倒置状态。示例性的，可以根据人脸关键点(如眼睛、鼻子、嘴)之间的位置等，来判断第一人脸的第一状态是否处于倒置状态，若第一人脸的眼睛位置处于第一人脸的嘴巴上方，则可以确定第一人脸的第一状态为倒置状态，反之，若第一人脸的眼睛位置处于第一人脸的嘴巴下方，则可以确定第一人脸的第一状态为非倒置状态。

204、将创建人脸框后的第一图像中的第一人脸进行翻转，并根据人脸框，对翻转后的第一图像中的第一人脸进行位置校准，得到第二图像。

第二图像可以是指在第一图像的基础上，对倒置状态下的第一人脸进行翻转处理后，生成的新图像，即第二图像。

具体的，在人脸检测的过程中，通常需要非倒置状态的人脸图像，以此保证的人脸检测、人脸验证等操作的准确性。当第一图像中的第一人脸处于倒置状态时，车载终端可以对第一图像中的第一人脸进行翻转处理，即将第一图像中的第一人脸进行180°翻转处理，得到人脸相对正立的第二图像。以此，在该阶段对对应人脸进行0°、180°判断并翻转倒置图像之后，第一人脸可能出现的角度范围由原来[-180°～180°]缩小为[-90°～90°]。以此，通过第一次修正可以将倒置状态的人脸进行翻转，得到人脸处于非倒置状态的第二图像，从而提高人脸检测的准确性和人脸检测模型的鲁棒性。

205、利用第一分类器确定第二图像中第一人脸的第二状态。

第一分类器可以是针对第一人脸分类问题的模型，用于将人脸数据分为三个类别。分类包括偏移状态(左偏移状态、右偏移状态)和非偏移状态(正立状态)。

第二状态可以是指第一人脸在第二图像中的状态。第二状态可以为偏移状态(包括左偏移状态以及右偏移状态)，也可以为非偏移状态。

偏移状态可以是指第一人脸在第二图像中的位置相对于中心位置的存在偏离程度或角度。通常情况下，当第一人脸在第二图像中居中时，它被认为是处于非偏移状态。然而，当第一人脸在第二图像中偏离中心位置，或者出现旋转、倾斜等情况时，就可以认为它处于偏移状态。

具体的，得到第二图像后，车载终端使用训练好的第一分类器，对第二图像中的第一人脸进行偏移状态分类，具体可以通过比较第一人脸关键点，确定第一人脸的第二状态。示例性的，可以根据第一人脸关键点(如眼睛、鼻子、嘴)之间的角度、倾斜角等，来计算出第一人脸是否处于偏移状态还是非偏执状态。

206、利用第一分类器确定第一图像中第一人脸的第二状态。

具体的，当第一图像中的第一人脸的第一状态为非倒置状态时，使用训练好的第一分类器，对第一图像中的第一人脸进行偏移状态分类，具体可以通过比较第一人脸关键点，确定第一人脸的第二状态。示例性的，可以根据第一人脸关键点(如眼睛、鼻子、嘴)之间的角度、倾斜角等，来计算出第一人脸是否处于偏移状态还是非偏执状态。

207、根据第一人脸的第二状态确定确定第一人脸对应的人脸框的第一旋转角度。

第一旋转角度可以是指将第一人脸按照某个轴心旋转的角度。在图像处理中，通常以图像中心为轴心进行旋转，旋转角度一般采用角度制或弧度制表示。如果角度为正，则表示第一人脸对应的人脸框需要顺时针旋转；如果为负，则表示第一人脸对应的人脸框需要逆时针旋转。

具体的，若第一分类器识别出第二图像中的第一人脸的第二状态为偏移状态，则直接将第一人脸的旋转角度确定为第一预设角度(±90°)，

值得说明的是，还需要区分第一人脸属于左偏移状态还是右偏移状态，若第一人脸属于左偏移状态，则说明第一人脸对应的人脸框需要逆时针时针旋转90°，即第一旋转角度为(-90°)，同理，若第一人脸属于右偏移状态，则说明第一人脸对应的人脸框需要顺时针时针旋转90°，即第一旋转角度为(﹢90°)。若第一分类器识别出第二图像中的第一人脸的第二状态为偏移状态，则将第一人脸对应的人脸框的第一旋转角度确定为第一预设角度(0°)；以此，将第一人脸的旋转角度范围从[-90°、90°]转化至[-45°、45°]，减少了旋转预测范围，后续只需要在[-45°、45°]范围内对第一人脸进行角度预测。

208、根据第一旋转角度，调整第一人脸的人脸框的位置，得到第四图像。

第四图像可以是第一人脸对应的人脸框经过第一预设角度旋转后，得到的图像，第四图像中包括第一人脸以及第一预设角度旋转后的人脸框，第四图像中的人脸框经过预设角度器校准后，可以得到第三图像。

具体的，车载终端在确定第一人脸对应的第一旋转角度后，根据第一旋转角度，将第二图像中的第一人脸对应的人脸框按照第一预设角度进行旋转，例如，第一预设角度为-90度，则第一人脸对应的人脸框以逆时针为旋转方向，旋转90°，得到第四图像。此时人脸框的旋转范围已经缩小至[-45°、45°]，减轻了模型的预测难度。

209、利用预设角度校准器校准第四图像中人脸框的角度，得到第三图像。

第三图像可以是指第一人脸与其人脸框角度和位置均对齐后得到的图像，在第三图像中，可以清楚地分辨出第一人脸，后续可以在第三图像的基础上对图像进行脱敏处理。

具体的，车载终端在获取到第四图像后，利用预设角度校准器对第四图像中的人脸框进行小范围的位置校准，调整人脸框的角度位置，得到人脸框与第一人脸角度位置匹配的第三图像。

示例性的，第一人脸对应的第一预设角度为-90°，将第一人脸对应的人脸框逆时针旋转90°后，得到第四图像，利用角度校准器进行校准，将第四图像中的人脸框顺时针调整20°，即相对于第二图像中的第一人脸而言，只需要将第一人脸对应的人脸框逆时针旋转70°即可得到第三图像，使得第一人脸的角度位置与人脸框的角度位置完全匹配，以此可以通过第三图片精确地检测到旋转的人脸。

另外的，通过以上应用场景实例，可以得出一种级联人脸检测器，如图9所示的级联人脸检测器是由三个神经网络模型构成，框架如图9所示。在获取到原始图像帧后，第一阶段的神经网络模型进行人脸检测后输出两个图像数据：第一个输出原始图像帧的人脸框的位置坐标，另一个输出人脸处于正立还是倒置状态(即通过二分类的方式判断该人脸的角度是0°还是180°)，如果该人脸处于倒置状态则翻转原始图像。如图4所示左1图像中的人脸为正立状态。在第一阶段对人脸进行0°、180°判断并翻转倒置图像之后，人脸可能出现的角度范围由原来[-180°～180°]缩小为[-90°～90°]。第二阶段接收第一阶段处理过的图像数据之后同样输出两个图像数据，首先在第一阶段人脸图像基础上输出二阶段判断的人脸位置坐标(即在一阶段人脸候选框位置进行坐标修正)，另一个输出人脸是处于正立状态、左偏执状态、右偏执状态(通过三分类方式判断该人脸的角度是-90°、0°、90°)。如果人脸角度为-90°，则逆时针旋转图像，由图4中左2图像变为左3图像。经过第二个阶段的校准处理，人脸的角度范围[-90°～90°]已经缩小为[-45°～45°]。第三个阶段同样接收由第二个阶段输出的图像数据作为输入，在第二阶段人脸候选框的基础上进行人脸框位置校准同时直接预测人脸旋转角度(前两个阶段仅是分类出人脸是否处于-90°、0°、90°、180°)，然后基于预测出的人脸旋转角度对人脸候选框进行相应的旋转操作，得到具有旋转角度的人脸目标，最后输出一个校准后的人脸。

除此以外，上述级联人脸检测器，还可以如图10所示经过三层的Conv2d+Maxpool进行特征最后通过全连接层输出人脸框坐标，角度分类，背景与人脸分类。也可以如图11所示将图10所示的网络结构替换为网络层数更多，模型参数更大的网络结构。

通过以上应用场景实例，可实现如下效果：在采集到车辆预设范围内的第一图像后，根据第一人脸的第一状态，对第一人脸进行第一次调整，缩小了人脸检测的角度，得到第二图像，然后利用第一分类器判断出第一人脸的第二状态为左偏移状态，从而确定第一人脸的第一旋转角度，从而对第一人脸进行第二次调整。根据第一旋转角度和预设角度校准器对第一人脸对应的人脸框进行调整，得到人脸框与第一人脸角度位置相同的第三图像，以此，完成了关于第一人脸的三次调整，缩小了第一人脸的人脸检测角度。在小角度范围内对第一人脸进行检测，使得人脸检测更加轻松，保证了人脸检测的准确性，为图像脱敏处理提供帮助。

由此可得，本方案调整第一状态下的第一人脸，进行第一修正，若第一人脸处于偏移状态，则确定第一人脸对应的第一旋转角度，基于第一旋转角度进行再次修正，得到人脸框与第一人脸角度位置对应的图像；以此，将图像中人脸的旋转角度控制在较小范围，可以更容易地检测到不同角度位置的人脸，并且保证了人脸检测的准确性，帮助图像进行脱敏处理。

为了更好地实施以上方法，本申请实施例还公开一种图像处理装置，该图像处理装置可以集成在计算机设备，比如车载终端等计算机设备中。

例如，如图12所示，该图像处理装置可以包括采集单元301、翻转确定单元302、确定单元303、调整单元304。

采集单元301，用于采集预设范围内的图像得到第一图像，第一图像包括一个或多个人脸；

翻转单元302，用于根据第一人脸的第一状态，调整第一人脸在第一图像中的位置，得到第二图像，第一人脸为一个或多个人脸中的任一人脸；

确定单元303，用于根据第二图像中第一人脸的第二状态，确定第一人脸的旋转角度，得到第一旋转角度；

调整单元304，用于根据第一旋转角度，调整第二图像中第一人脸的人脸框的位置，得到第三图像。

在一些实施例中，第二状态包括偏移状态，图像处理装置还包括：

第一分类单元305，用于利用第一分类器确定第二图像中第一人脸的第二状态。

确定单元303具体用于若第二图像中第一人脸的第二状态为偏移状态，则确定第一人脸的第一旋转角度为第一预设角度。

在一些实施例中，第二状态还包括非偏移状态，确定单元303，具体还用于若第二图像中第一人脸的第二状态为非偏移状态，则确定第一人脸的第一旋转角度为第二预设角度。

在一些实施例中，调整单元304具体用于：

根据第一旋转角度，调整第二图像中第一人脸的人脸框的位置，得到第四图像；

利用预设角度校准器校准第四图像中人脸框的角度，得到第三图像。

在一些实施例中，图像处理装置还包括：

创建单元306，用于根据第一人脸在第一图像中的位置信息，在第一图像中第一人脸所在位置添加人脸框；

第二分类单元307，用于利用第二分类器识别添加人脸框后的第一图像中第一人脸的第一状态；

翻转单元302具体用于：

若第一状态为倒置状态，则对添加人脸框后的第一图像中的第一人脸进行翻转；

根据人脸框，对翻转后的第一图像中的第一人脸进行位置校准，得到第二图像。

在一些实施例中，图像处理装置还包括：

确定单元303，还用于若第一状态为非倒置状态，则根据第一图像中第一人脸的第二状态，确定第一人脸的旋转角度，得到第二旋转角度；

调整单元304，还用于根据第二旋转角度，调整第一图像中第一人脸的人脸框的位置，得到第五图像。

在一些实施例中，图像处理装置还包括：

处理单元308，用于对第三图像中的第一人脸进行模糊化处理，得到第六图像。

由上可知，本方案调整第一状态下的第一人脸，进行第一修正，若第一人脸处于偏移状态，则确定第一人脸对应的第一旋转角度，基于第一旋转角度进行再次修正，得到人脸框与第一人脸角度位置对应的图像；以此，将图像中人脸的旋转角度控制在较小范围，可以更容易地检测到不同角度位置的人脸，并且保证了人脸检测的准确性，帮助图像进行脱敏处理。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

本申请实施例还公开一种计算机设备，如图13所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图13中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及图像处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如语音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以公开处理器401对存储器402的访问。

计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

采集预设范围内的图像得到第一图像，第一图像包括一个或多个人脸；根据第一人脸的第一状态，调整第一人脸在第一图像中的位置，得到第二图像，第一人脸为一个或多个人脸中的任一人脸；根据第二图像中第一人脸的第二状态，确定第一人脸的旋转角度，得到第一旋转角度；根据第一旋转角度，调整第二图像中第一人脸的人脸框的位置，得到第三图像。

以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

由上可知，本方案调整第一状态下的第一人脸，进行第一修正，若第一人脸处于偏移状态，则确定第一人脸对应的第一旋转角度，基于第一旋转角度进行再次修正，得到人脸框与第一人脸角度位置对应的图像；以此，将图像中人脸的旋转角度控制在较小范围，可以更容易地检测到不同角度位置的人脸，并且保证了人脸检测的准确性，帮助图像进行脱敏处理。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例公开一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所公开的任一种图像处理方法中的步骤。例如，该指令可以执行如下步骤：

采集预设范围内的图像得到第一图像，第一图像包括一个或多个人脸；根据第一人脸的第一状态，调整第一人脸在第一图像中的位置，得到第二图像，第一人脸为一个或多个人脸中的任一人脸；根据第二图像中第一人脸的第二状态，确定第一人脸的旋转角度，得到第一旋转角度；根据第一旋转角度，调整第二图像中第一人脸的人脸框的位置，得到第三图像。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

本申请还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中公开的图像处理方法。

由于该计算机可读存储介质中所存储的指令，可以执行本申请实施例所公开的任一种图像处理方法中的步骤，因此，可以实现本申请实施例所公开的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所公开的一种图像处理方法、装置、设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。