模型训练及图像处理方法、装置和存储介质

技术领域

本申请实施例涉及数据安全技术领域，尤其涉及一种模型训练方法及图像处理方法、装置和存储介质。

背景技术

随着神经网络的发展，其在图像处理领域展现了较好的优越性，基于神经网络的图像处理模型的安全性持续得到关注。

目前，针对模型的安全防护主要有两种方式，一种为基于私密框架的模型训练平台进行模型训练，另一种为对模型进行加密处理，再在使用模型的平台端，增加硬件解密，以支持使用模型。

然而，对于上述两种模型安全防护方式，使用私密框架对于大多数公司来说投入较大，一般可行性不够，而另一种增加硬件来解密模型的方法虽在模型传输、加载等过程中仍然存在攻克的可能性，即安全性较低。

发明内容

本申请实施例提供一种模型训练及图像处理方法、装置和存储介质，简单高效的提高了模型的安全性。

本申请实施例的技术方案是这样实现的：

本申请实施例提供了一种模型训练方法，包括：

获取样本图像；

采用预设图像数据转换方式，对所述样本图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的样本图像；

利用所述预处理的样本图像，对待训练图像处理模型进行模型训练，得到训练后的图像处理模型；所述训练后的图像处理模型，用于对采用所述预设图像数据转换方式转换的图像进行处理。

在上述模型训练方法中，所述预设图像数据转换方式至少包括加密、编码、乱序、通道分离中的一项或多项。

在上述模型训练方法中，所述利用所述预处理的样本图像，对待训练图像处理模型进行模型训练，得到训练后的图像处理模型之后，所述方法还包括：

按照预设模型调整方式，对所述训练后的图像处理模型进行调整；

所述预设模型调整方式至少包括以下其中一项或多项：量化、剪枝。

本申请实施例提供了一种图像处理方法，所述方法包括：

在满足预设图像处理条件的情况下，采用预设图像数据转换方式，对目标图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的目标图像；

利用训练后的图像处理模型，对所述预处理的目标图像进行图像处理，得到处理后的目标图像；其中，所述训练后的图像处理模型是通过上述模型训练方法训练得到的。

在上述图像处理方法中，所述采用预设图像数据转换方式，对目标图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的目标图像之前，所述方法还包括：

对所述目标图像进行移动行业处理，得到第一图像；

对所述第一图像进行图像信号处理，得到第二图像；

相应的，所述采用预设图像数据转换方式，对目标图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的目标图像，包括：

采用所述预设图像数据转换方式，对所述第二图像进行数据转换处理，得到所述预处理的目标图像。

本申请实施例提供了一种模型训练装置，包括：

获取模块，用于获取样本图像；

预处理模块，用于采用预设图像数据转换方式，对所述样本图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的样本图像；

训练模块，用于利用所述预处理的样本图像，对待训练图像处理模型进行模型训练，得到训练后的图像处理模型；所述训练后的图像处理模型，用于对采用所述预设图像数据转换方式转换的图像进行处理。

本申请实施例提供了一种图像处理装置，包括：

第一处理模块，用于在满足预设图像处理条件的情况下，采用预设图像数据转换方式，对目标图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的目标图像；

第二处理模块，用于利用训练后的图像处理模型，对所述预处理的目标图像进行图像处理，得到处理后的目标图像；其中，所述训练后的图像处理模型是通过上述模型训练方法训练得到的。

本申请实施例提供了一种模型训练装置，包括：第一处理器、第一存储器和第一通信总线；

所述第一通信总线，用于实现所述第一处理器和所述第一存储器之间的通信连接；

所述第一处理器，用于执行所述第一存储器中存储的一个或者多个程序，以实现上述模型训练方法。

本申请实施例提供了一种图像处理装置，包括：第二处理器、第二存储器和第二通信总线；

所述第二通信总线，用于实现所述第二处理器和所述第二存储器之间的通信连接；

所述第二处理器，用于执行所述第二存储器中存储的一个或者多个程序，以实现上述图像处理方法。

本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述模型训练方法。

本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法。

本申请实施例提供了一种模型训练及图像处理方法、装置和存储介质，模型训练方法包括：获取样本图像；采用预设图像数据转换方式，对样本图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的样本图像；利用预处理的样本图像，对待训练图像处理模型进行模型训练，得到训练后的图像处理模型；训练后的图像处理模型，用于对采用预设图像数据转换方式转换的图像进行处理。本申请实施例提供的模型训练方法，将样本图像采用数据转换的方式私有化后再用于模型训练，训练后的模型即使泄露也无法被使用，即基于数据源，简单高效的提高了模型的安全性。

附图说明

图1为本申请实施例提供的一种模型训练方法的流程示意图；

图2为本申请实施例提供的一种示例性的前置芯片的硬件架构图；

图3为本申请实施例提供的一种示例性的软件框架示意图；

图4为本申请实施例提供的一种图像处理方法的流程示意图；

图5为本申请实施例提供的一种示例性的模型训练和图像处理的流程示意图；

图6为本申请实施例提供的一种模型训练装置的结构示意图一；

图7为本申请实施例提供的一种模型训练装置的结构示意图二；

图8为本申请实施例提供的一种图像处理装置的结构示意图一；

图9为本申请实施例提供的一种图像处理装置的结构示意图二。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供了一种模型训练方法，通过模型训练装置实现。模型训练装置具体可以是服务器、终端等电子设备，本申请实施例不作限定。图1为本申请实施例提供的一种模型训练方法的流程示意图。如图1所示，模型训练方法主要包括以下步骤：

S101、获取样本图像。

在本申请的实施例中，模型训练装置可以先获取样本图像。

需要说明的是，在本申请的实施例中，样本图像为用于进行图像处理模型训练的图像。此外，样本图像可以包括多个图像。具体的样本图像，以及样本图像的数量可以根据实际需求和应用场景选择，本申请实施例不作限定。

需要说明的是，在本申请的实施例中，模型训练装置可以包括图像采集器件，例如，摄像头，模型训练装置可以通过图像采集器件直接实现样本图像的采集，当然，样本图像也可以是其它独立的图像采集装置采集到的，再由图像采集装置传输至模型训练装置的。具体的样本图像的获取方式本申请实施例不作限定。

需要说明的是，在本申请的实施例中，样本图像可以包括两种图像，一种图像为测试图像，另一种图像为训练图像，其中，训练图像用于模型训练，测试图像用于测试训练出的模型的效果。

S102、采用预设图像数据转换方式，对样本图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的样本图像。

在本申请的实施例中，模型训练装置在获取到样本图像之后，可以采用预设图像数据转换方式，对样本图像进行数据转换处理，从而得到不支持通用图像识别标准识别的预处理的样本图像。

需要说明的是，在本申请的实施例中，模型训练装置中存储有预设图像数据转换方式，可以实现图像的数据转换处理，模型训练装置对图像进行数据转换处理，也就是对图像进行差异化的操作，从而达到私有化的效果，即预处理的样本图像不支持通用图像识别标准识别，只有在获知预设图像数据转换方式的情况下，才能实现预处理的样本图像中数据的辨识。

具体的，在本申请的实施例中，预设图像数据转换方式至少包括加密、编码、乱序、通道分离中的一项或多项。

需要说明的是，在本申请的实施例中，模型训练装置可以对样本图像采用特定的方式进行加密、编码、乱序和通道分离等处理，这样，得到的预处理的样本图像对外其实是私有化而非公开的，不支持通用图像识别标准识别，除非获知预处理方式的相关规则，才能确定预处理的样本图像对应的真实的样本图像。具体的预设图像数据转换方式可以根据实际需求和应用场景设定，本申请实施例不作限定。

S103、利用预处理的样本图像，对待训练图像处理模型进行模型训练，得到训练后的图像处理模型；训练后的图像处理模型，用于对采用预设图像数据转换方式转换的图像进行处理。

在本申请的实施例中，模型训练装置在对样本图像进行私有化处理，得到预处理的样本图像之后，可以利用预处理的样本图像，对待训练图像处理模型进行模型训练，得到训练后的图像处理模型。

可以理解的是，在本申请的实施例中，如步骤S102所述，预处理的样本图像实际上是对原始的样本图像进行数据转换之后得到的不支持通用图像识别标准识别的图像，其区别于常规图像，与常规图像存在差异化，因此，模型训练装置利用预处理的样本图像对待训练图像处理模型进行模型训练，可以保证训练后的图像处理模型无法被二次训练，即使泄露也无法被使用，保证了模型的安全性。

需要说明的是，在本申请的实施例中，待训练图像处理模型可以为根据实际需求和应用场景设定的初始模型，例如，待训练图像处理模块可以为还未训练的、特定的图像增强模型、图像降噪模型等，本申请实施例不作限定。

可以理解的是，在本申请的实施例中，模型训练装置可以利用预处理的样本图像对待训练图像处理模型进行模型训练，直至模型的图像处理性能达到期望性能，从而将得到的模型确定为训练后的图像处理模型。

需要说明的是，在本申请的实施例中，模型训练装置利用预处理的样本图像，对待训练图像处理模型进行模型训练，得到训练后的图像处理模型之后，还可以执行以下步骤：按照预设模型调整方式，对训练后的图像处理模型进行调整；预设模型调整方式至少包括以下其中一项或多项：量化、剪枝。

可以理解的是，在本申请的实施例中，模型训练装置在得到训练后的图像处理模型之后，为了使模型具备更好的效果，使其更适用于部署到图像处理装置中，可以进一步对训练后的图像处理模型进行调整，例如，可以进行量化、剪枝处理，本申请实施例不作限定。

可以理解的是，在本申请的实施例中，由于训练后的图像处理模型是利用预处理的样本图像对待训练图像处理模型进行模型训练，预处理的样本图像是采用预设图像数据转换方式转换得到的样本图像，因此，训练后的图像处理模型仅支持对同样采用预设图像数据转换方式转换的图像进行图像处理。

需要说明的是，在本申请的实施例中，训练后的图像处理模型可以导出，部署在图像处理装置中，例如，手机、平板电脑等电子设备中，从而用于进行图像处理。

本申请实施例提供了一种模型训练方法，包括：获取样本图像；采用预设图像数据转换方式，对样本图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的样本图像；利用预处理的样本图像，对待训练图像处理模型进行模型训练，得到训练后的图像处理模型；训练后的图像处理模型，用于对采用预设图像数据转换方式转换的图像进行处理。本申请实施例提供的模型训练方法，将样本图像采用数据转换的方式私有化后再用于模型训练，训练后的模型即使泄露也无法被使用，即基于数据源，简单高效的提高了模型的安全性。

本申请实施例还提供了一种图像处理方法，通过图像处理装置实现，图像处理装置中部署有上述训练后的图像处理模型。图像处理装置具体可以是手机、平板电脑等电子设备，本申请实施例不作限定。在一些可实现的实施例中，图像处理装置具体可以是电子设备中配置的前置芯片，训练后的图像处理模型具体部署在前置芯片的网络处理器(Neural-network Processing Unit，NPU)中。

需要说明的是，在本申请的实施例中，在图像处理装置是电子设备中配置的前置芯片的情况下，如图2所示，相比于现有的前置芯片，本申请的前置芯片其增加了加密模块，即实现图像数据转换，即私有化处理的模块，后续图像处理方法中将详述相关处理过程。

需要说明的是，在本申请的实施例中，由于训练后的图像处理模型本身具有安全性，对于模型的部署在硬件上不需要额外考虑在传输、启动和加载等过程中的安全问题，在软件实现方面，可以将训练后的图像处理模型存放在包括前置芯片的电子设备的多媒体消息服务(Multimedia Messaging Service，MMS)的框架中，如图3所示，便于及时更新，能够实现更灵活。在应用训练后的图像处理模型时，可以直接从中传输到前置芯片的NPU中，用于图像处理。

需要说明的是，在本申请的实施例中，如图3所示，MMS架构中，MMS模块中存放前置芯片的模型，如前置芯片需要工作时在启动过程中通过模型加载模块加载模型，另外模型存放在MMS的框架中能够实现像应用程序包一样升级，功能增删，灵活操作；硬件抽象层(Hardware Abstraction Layer，HAL)主要基于MMS提供的参数、模型和驱动程序通信，主要用于模型切换、场景参数配置等相关；实时操作系统主要实现安全数字输入输出等模型传输，将应用端的数据、模型传输到前置芯片端；实时操作系统增加安全配置模块，主要对前置芯片的流水线中的用于私有化处理的模块加以控制，在需要NPU处理时候需要使能该模块。

图4为本申请实施例提供的一种图像处理方法的流程示意图。如图4所示，图像处理方法主要包括以下步骤：

S401、在满足预设图像处理条件的情况下，采用预设图像数据转换方式，对目标图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的目标图像。

在本申请的实施例中，在满足预设图像处理条件的情况下，图像处理装置可以采用预设图像数据转换方式，对目标图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的目标图像。

需要说明的是，在本申请的实施例中，图像处理装置可以检测是否满足预设图像处理条件，从而在满足预设图像处理条件的情况下，再进行目标图像的数据转换处理。

需要说明的是，在本申请的实施例中，预设图像处理条件，可以是当前场景属于预设场景，例如，处于在光线较暗的拍摄场景，或者，负载较低的场景等，具体的预设图像处理条件本申请实施例不作限定。

需要说明的是，在本申请的实施例中，目标图像可以为图像处理装置自身当前采集到的图像，例如，预设图像处理条件为处于在光线较暗的拍摄场景，在满足处于在光线较暗的拍摄场景的情况下，目标图像可以是图像处理装置实时采集的图像，此外，目标图像也可以是预先存储在图像处理装置中的图像。。具体的目标图像，以及目标图像的来源本申请实施例不作限定。

需要说明的是，在本申请的实施例中，图像处理装置采用预设图像数据转换方式，对目标图像进行数据转换处理，其中，预设图像数据转换方式与上述模型训练装置对样本图像进行数据转换处理的方式相同。图像处理装置对目标图像进行数据转换处理，实际上就是实现需要处理的图像与训练后的图像处理模型适配，使得后续可以使用训练后的图像处理模型进行图像处理。

S402、利用训练后的图像处理模型，对预处理的目标图像进行图像处理，得到处理后的目标图像；其中，训练后的图像处理模型是通过上述模型训练方法训练得到的。

在本申请的实施例中，图像处理装置在对目标图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的目标图像之后，即可利用上述模型训练得到的训练后的图像处理模型，对预处理的目标图像进行图像处理，从而得到处理后的目标图像。

可以理解的是，在本申请的实施例中，训练后的图像处理模型，为利用数据转换处理后、不支持通用图像识别标准识别的样本图像所训练得到的，因此，图像处理装置可以将同样进行数据转换处理的目标图像，即预处理的目标图像输入训练后的图像处理模型，从而得到处理后的目标图像。

需要说明的是，在本申请的实施例中，图像处理装置采用预设图像数据转换方式，对目标图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的目标图像之前，还可以执行以下步骤：对目标图像进行移动行业处理，得到第一图像；对第一图像进行图像信号处理，得到第二图像；相应的，图像处理装置采用预设图像数据转换方式，对目标图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的目标图像，包括：采用预设图像数据转换方式，对第二图像进行数据转换处理，得到预处理的目标图像。

可以理解的是，在本申请的实施例中，图像处理装置在对目标图像进行数据转换处理之前，可以进行基本的移动行业处理和图像信号处理，相应的，图像处理装置进行数据转换处理的对象，即为移动行业处理和图像信号处理后的目标图像，即第二图像。

需要说明的是，在本申请的实施例中，在不满足预设图像处理条件的情况下，图像处理装置将不针对图像进行数据转换处理，正常进行图像获取和传输等处理，本申请实施例不作限定。

本申请实施例提供了一种图像处理方法，包括：在满足预设图像处理条件的情况下，采用预设图像数据转换方式，对目标图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的目标图像；利用训练后的图像处理模型，对预处理的目标图像进行图像处理，得到处理后的目标图像；其中，训练后的图像处理模型是通过上述模型方法训练得到的。本申请实施例提供的图像处理方法，训练后的图像处理模型本身具有安全性，应用训练后的图像处理模型不需要考虑模型传输、启动和加载等过程中的安全问题，仅需要对图像预先同样采用数据转换的方式私有化即可，提高了图像处理的灵活性和安全性。

图5为本申请实施例提供的一种示例性的模型训练和图像处理的流程示意图。如图5所示，模型训练在服务器实现，服务器可以先进行模型环境处理，再用加密算法对样本图像采用加密的方式数据转换，即实现私有化处理，从而得到预处理的样本图像，再利用预处理的样本图像对待训练的图像处理模型进行训练，得到训练后的图像处理模型，之后，对训练后的图像处理模型行量化、剪枝等处理，导出到客户端。在客户端，可以将训练后的图像处理模型部署在MMS框架中，在相机启动时，判断所处场景是否需要调用模型进行图像处理，如果是，则通过MMS框架控制模型加载，输送到实时操作系统，实时操作系统的安全模块对前置芯片的加密模块进行配置，并将模型提供给前置芯片的NPU，之后，即可将相机工作过程中的图像通过前置芯片的加密模块后提供给NPU，通过NPU调用模型进行图像处理，如果否，则不需要配置NPU工作，MMS将配置参数传输到实时操作系统，实时操作系统即可配置禁止使能加密模块，相机图像直接传输到应用端。

本申请实施例提供了一种模型训练装置。图6为本申请实施例提供的一种模型训练装置的结构示意图一。如图6所示，模型训练装置包括：

获取模块601，用于获取样本图像；

预处理模块602，用于采用预设图像数据转换方式，对所述样本图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的样本图像；

训练模块603，用于利用所述预处理的样本图像，对待训练图像处理模型进行模型训练，得到训练后的图像处理模型；所述训练后的图像处理模型，用于对采用所述预设图像数据转换方式的图像进行处理。

在本申请一实施例中，所述预设图像数据转换方式至少包括加密、编码、乱序、通道分离中的一项或多项。

在本申请一实施例中，所述训练模块603，还用于按照预设模型调整方式，对所述训练后的图像处理模型进行调整；所述预设模型调整方式至少包括以下其中一项或多项：量化、剪枝。

图7为本申请实施例提供的一种模型训练装置的结构示意图二。如图7所示，模型训练装置包括：第一处理器701、第一存储器702和第一通信总线703；

所述第一通信总线703，用于实现所述第一处理器701和所述第一存储器702之间的通信连接；

所述第一处理器701，用于执行所述第一存储器702中存储的一个或者多个程序，以实现上述模型训练方法。

本申请实施例提供了一种图像处理装置，图8为本申请实施例提供的一种图像处理装置的结构示意图一。如图8所示，图像处理装置包括：

第一处理模块801，用于在满足预设图像处理条件的情况下，采用预设图像数据转换方式，对目标图像进行数据转换处理，得到不支持通用图像识别标准识别的预处理的目标图像；

第二处理模块802，用于利用训练后的图像处理模型，对所述预处理的目标图像进行图像处理，得到处理后的目标图像；其中，所述训练后的图像处理模型是通过上述模型训练方法训练得到的。

在本申请一实施例中，所述第一处理模块801，还用于对所述目标图像进行移动行业处理，得到第一图像；对所述第一图像进行图像信号处理，得到第二图像；

所述第一处理模块801，具体用于采用所述预设图像数据转换方式，对所述第二图像进行数据转换处理，得到所述预处理的目标图像。

图9为本申请实施例提供的一种图像处理装置的结构示意图二。如图9所示，图像处理装置包括：第二处理器901、第二存储器902和第二通信总线903；

所述第二通信总线903，用于实现所述第二处理器901和所述第二存储器902之间的通信连接；

所述第二处理器901，用于执行所述第二存储器中存储的一个或者多个程序，以实现上述图像处理方法。

需要说明的是，在本申请的实施例中，上述模型训练装置和图像处理装置可以包含于同一电子设备中，即一个电子设备可以同时实现上述模型训练方法和图像处理方法，当然，也可以是不同独立的设备，本申请实施例不作限定。

本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述模型训练方法。

本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法。

需要说明的是，在本申请的实施例中，计算机可读存储介质可以是是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。