电视机背板检测方法、模型训练方法、装置、设备和介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种电视机背板检测方法、模型训练方法、装置、设备和介质。

背景技术

现阶段，电视机产业市场巨大，电视机制造业前景广阔。而电视机背板作为电视机重要零部件，质量好坏直接影响成像，故而电视机背板的工件检测引起厂家高度重视。但现有生产工艺是在装配完成后，添加人工视检工位，通过人员在装配完成的电视机上，对装配的部件进行检测，就是俗称的机内检；通过机内检挑出装配异常的机器，进行二次返修，以保证产品的出厂质量。因此目前的电视机背板检测效率较低。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请实施例提供了一种电视机背板检测方法、模型训练方法、装置、设备和介质，解决了现有方法中针对目前的电视机背板检测效率较低的技术问题。

一方面，本申请实施例提供了一种电视机背板检测方法，包括：

获取目标背板图像；

将所述目标背板图像输入已训练的工件信息检测模型中，以获得工件信息检测结果；其中，所述工件信息检测模型基于第一样本图像集训练获得，所述第一样本图像集中包括电视机背板图像；

若所述工件信息检测结果为正常，则将所述目标背板图像输入已训练的目标工件状态检测模型中，以获得目标工件状态检测结果；其中，所述目标工件状态检测结果为状态正常或状态不正常；所述目标工件包括接插工件和遮光工件；所述目标工件状态检测模型基于第二样本图像集训练获得；

基于工件信息检测结果和目标工件状态检测结果，输出工件检测结果。

作为本申请一些可选实施方式，所述将所述目标背板图像输入已训练的工件信息检测模型中，以获得工件信息检测结果，包括：

将所述目标背板图像输入已训练的工件信息检测模型中，获得工件检测框；

将所述工件检测框和工件注册框对比，以获得工件信息检测结果；其中，所述工件注册框包括工件种类信息和工件位置信息。

在具体应用中，通过将所述工件检测框和工件注册框对比，判断所述工件检测框和工件注册框是否大小相同，以及所包含的工件种类是否相同，继而获得工件信息检测结果。若工件信息检测结果为异常，则直接剔除生产线，若工件信息检测结果为正常，则进行下一步。

作为本申请一些可选实施方式，所述将所述工件检测框和工件注册框对比，以获得工件信息检测结果，包括：

若工件注册框所在位置和所述工件检测框所在位置不一致，则所述工件信息检测结果为漏件；

若所述工件检测框所在位置和工件注册框所在位置一致，且所述工件检测框内的工件种类和所述工件注册框内的工件种类不一致，则所述工件信息检测结果为错件；

若所述工件检测框所在位置和工件注册框所在位置一致，且所述工件检测框内的工件种类和所述工件注册框内的工件种类一致，则所述工件信息检测结果为正常。

在具体应用中，通过对比工件注册框和工件检测框的位置，可以判读是否存在漏件和错件；若存在错件或漏件，则剔除生产线，无需后续检测。若不存在错件或漏件，则继续判断对比工件注册框所包含的工件种类和工件检测框所包含的工件种类是否相同，若相同，则代表工件信息正常，若不相同，则代表工件信息不正常。

作为本申请一些可选实施方式，所述工件种类包括接插件类、胶带类、螺丝类、异物类和卡夹类中至少一种。

在具体应用中，所述电视版背板上通常包含插件类、胶带类、螺丝类、异物类和卡夹类，因此可以按照上述方法对插件类、胶带类、螺丝类、异物类和卡夹类等工件进行工件信息检测，以获得工件信息检测结果。

作为本申请一些可选实施方式，所述获取目标背板图像的步骤之前，还包括：

获取所述第一样本图像集；所述第一样本图像集中包括电视机背板图像，所述电视机背板图像中的各工件种类和位置均采用矩形标注；

利用所述第一样本图像集对初始工件信息检测模型进行训练，获得所述工件信息检测模型。

在具体应用中，通过采用包含标注信息的电视机背板图像对初始工件信息检测模型进行训练，使得检测模型更适用于复杂工况时的全局检测，增加模型的稳定性。

作为本申请一些可选实施方式，所述获取目标背板图像的步骤之前，还包括：

获取所述第二样本图像集；所述第二样本图像集中包括电视机背板的目标工件融合样本图像，所述目标工件融合样本图像基于对所述电视机背板图像中的目标工件区域进行裁剪后合成获得的；

利用所述第二样本图像集对初始目标工件状态检测模型进行训练，获得所述目标工件状态检测模型。

在具体应用中，通过将所述电视机背板图像中的目标工件区域进行裁剪后合成获得的第二样本图像集对模型进行训练，以使得模型对这类工件有效识别，从而提高模型对工件识别的全面性，提高模型的泛化能力。

作为本申请一些可选实施方式，所述获取所述第二样本图像集的步骤之前，还包括：

对采集的电视机背板的原始样本图像进行目标工件裁剪，获得目标工件图像；其中，所述目标工件图像至少包括第一目标工件图像和第二目标工件图像，所述第一目标工件图像和所述第二目标工件图像中的工件类型相同，且所述第一目标工件图像和所述第二目标工件图像中的工件所在位置不同；

将所述第一目标工件图像和所述第二目标工件图像合成一张样本图像，以获得目标工件融合样本图像；

基于所述目标工件融合样本图像，获得第二样本图像集。

在具体应用中，通过上述方法获得的第二样本图像集可有效增加训练样本图像，以使得模型对这类工件有效识别，从而提高模型对工件识别的全面性，提高模型的泛化能力。

作为本申请一些可选实施方式，所述目标工件图像包括接插工件图像和遮光工件图像中的至少一种。

作为本申请一些可选实施方式，所述目标背板图像是利用多个图像采集设备从电视机背板的上方采集获得；

所述基于工件信息检测结果和目标工件状态检测结果，输出工件检测结果之后，还包括：

将工件检测结果为异常的电视机背板进行人工复判，获得人工复判结果；所述人工复判结果包括异常或无异常。

在具体应用中，通过上述步骤，可以进一步提高检测准确性，避免机器误判。

作为本申请一些可选实施方式，所述将工件检测结果为异常的电视机背板进行人工复判之后，还包括：

将人工复判结果为无异常的电视机背板保留在生产线；

将人工复判结果为异常的电视机背板剔除出生产线。

在具体应用中，通过上述步骤，可以有效保证出厂的良品率，有效降低了电视机背板由于工件异常而导致的后续返厂维修。

作为本申请一些可选实施方式，所述电视机背板图像包括工件种类标注信息和工件位置标注信息。

在具体应用中，通过对电视机背板图像中的工件种类以及工件位置进行标注，可以有效判断待检测电视机背板图像中的工件是否信息正常。

再一方面，本申请实施例提供了一种工件信息检测模型训练方法，包括：

获取第一样本图像集；所述第一样本图像集中包括电视机背板图像，所述电视机背板图像中的各工件的种类和位置均采用矩形标注；

利用所述第一样本图像集对初始工件信息检测模型进行训练，获得所述工件信息检测模型。

可选地，所述获取第一样本图像集，包括：

获取电视机背板原始图像；

对所述电视机背板原始图像中的各工件进行类型和位置标注，获得电视机背板图像；

基于所述电视机背板图像，获得所述第一样本图像集。

在具体应用中，通过采用包含标注信息的电视机背板图像对初始工件信息检测模型进行训练，使得检测模型更适用于复杂工况时的全局检测，增加模型的稳定性。

再一方面，本申请实施例提供了一种目标工件状态检测模型训练方法，其特征在于，包括：

获取第二样本图像集；所述第二样本图像集中包括电视机背板的目标工件融合样本图像，所述目标工件融合样本图像基于对所述电视机背板图像中的目标工件区域进行裁剪后合成获得的；

利用所述第二样本图像集对初始目标工件状态检测模型进行训练，获得所述目标工件状态检测模型。

可选地，所述获取第二样本图像集的步骤之前，还包括：

对采集的电视机背板的原始样本图像进行目标工件截取，获得目标工件图像；其中，所述目标工件图像至少包括第一目标工件图像和第二目标工件图像，所述第一目标工件图像和所述第二目标工件图像中的工件类型相同，且所述第一目标工件图像和所述第二目标工件图像中的工件所在位置不同；

将所述第一目标工件图像和所述第二目标工件图像合成一张样本图像，以获得目标工件融合样本图像；

基于所述目标工件融合样本图像，获得第二样本图像集。

可选地，所述目标工件图像包括接插件图像和遮光片图像中的至少一种。

在具体应用中，通过上述方法获得的第二样本图像集可有效增加训练样本图像，以使得模型对这类工件有效识别，从而提高模型对工件识别的全面性，提高模型的泛化能力。

再一方面，本申请实施例提供了一种电视机背板检测装置，包括：

图像获取模块，用于获取目标背板图像；

工件信息检测模块，用于将所述目标背板图像输入已训练的工件信息检测模型中，以获得工件信息检测结果；其中，所述工件信息检测模型基于第一样本图像集训练获得，所述第一样本图像集中包括电视机背板图像；

目标工件状态检测模块，用于若所述工件信息检测结果为正常，则将所述目标背板图像输入已训练的目标工件状态检测模型中，以获得目标工件状态检测结果；其中，所述目标工件状态检测结果为状态正常或状态不正常；所述目标工件包括接插工件和遮光工件；所述目标工件状态检测模型基于第二样本图像集训练获得；

输出模块，用于基于工件信息检测结果和目标工件状态检测结果，输出工件检测结果。

再一方面，本申请实施例提供了一种工件信息检测模型训练装置，包括：

第一样本获取模块，用于获取所述第一样本图像集；所述第一样本图像集中包括电视机背板图像，所述电视机背板图像中的各工件种类和位置均采用矩形标注；

模型训练模块，用于利用所述第一样本图像集对初始工件信息检测模型进行训练，获得所述工件信息检测模型。

再一方面，本申请实施例提供了一种目标工件状态检测模型训练装置，包括：

第二样本获取模块，用于获取所述第二样本图像集；所述第二样本图像集中包括电视机背板的目标工件融合样本图像，所述目标工件融合样本图像基于对所述电视机背板图像中的目标工件区域进行裁剪后合成获得的；

模型训练模块，用于利用所述第二样本图像集对初始目标工件状态检测模型进行训练，获得所述目标工件状态检测模型。

再一方面，本申请实施例提供了一种电子设备，包括：存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现前述方法。

再一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述处理器执行所述计算机程序，实现前述方法。

本申请的实施例提供一种电视机背板检测方法、模型训练方法、装置、设备和介质，该方法包括：获取目标背板图像；所述目标多个图像是基于采集设备从电视机背板的上方采集获得的，可能存在缺陷，也可能不存在缺陷，因此本申请先将所述目标背板图像输入已训练的工件信息检测模型中，以获得工件信息检测结果；其中，所述工件信息检测模型基于第一样本图像集训练获得，所述第一样本图像集中包括电视机背板图像；经过上述已训练的工件信息检测模型处理，输出图像中会包含工件信息检测结果，如对需要检测的目标工件进行的标注信息，若所述工件信息检测结果为异常则直接输出异常结果，检测结束；若所述工件信息检测结果为正常，则将所述目标背板图像输入已训练的目标工件状态检测模型中，以获得目标工件状态检测结果；其中，所述目标工件状态检测结果为状态正常或状态不正常；所述目标工件包括接插工件和遮光工件；所述目标工件状态检测模型基于第二样本图像集训练获得；该步骤的设置主要是为了检测如接插工件和遮光工件的到位状态，即在判断上述工件所在位置均正常的前提下，继续对接插工件是否接插到位、遮光工件是否完全遮光进行检测；从而避免由于细小工件位置正常、但状态异常而导致的漏检情况发生；再基于工件信息检测结果和目标工件状态检测结果，输出工件检测结果。通过上述方法，本申请提升了对电视机背板检测的效率，确保了检测的准确率。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种电子设备的结构示意图；

图2是本申请实施例提供的一种电视机背板检测方法的流程示意图；

图3是本申请实施例提供的一种工件信息检测模型训练方法的流程示意图；

图4是本申请实施例提供的一种目标工件状态检测模型训练方法的流程示意图；

图5是本申请实施例提供的一种电视机背板检测装置的结构示意图；

图6是本申请实施例提供的一种工件信息检测模型训练装置的结构示意图；

图7是本申请实施例提供的一种目标工件状态检测模型训练装置的结构示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例的主要解决方案是：获取目标背板图像；将所述目标背板图像输入已训练的工件信息检测模型中，以获得工件信息检测结果；其中，所述工件信息检测模型基于第一样本图像集训练获得，所述第一样本图像集中包括电视机背板图像；若所述工件信息检测结果为正常，则将所述目标背板图像输入已训练的目标工件状态检测模型中，以获得目标工件状态检测结果；其中，所述目标工件状态检测结果为状态正常或状态不正常；所述目标工件包括接插工件和遮光工件；所述目标工件状态检测模型基于第二样本图像集训练获得；基于工件信息检测结果和目标工件状态检测结果，输出工件检测结果。

现阶段，电视机产业市场巨大，电视机制造业前景广阔。而电视机背板作为电视机重要零部件，质量好坏直接影响成像，故而电视机背板的工件检测引起厂家高度重视。但现有生产工艺是在装配完成后，添加人工视检工位，通过人员在装配完成的电视机上，对装配的部件进行检测，就是俗称的机内检；通过机内检挑出装配异常的机器，进行二次返修，以保证产品的出厂质量。因此目前的电视机背板检测效率较低。

电视机制造业一般步骤为零部件生产、电视机装配、测试出厂。在电视机装配环节中由于工作方式为人工结合机械自动化，如何保证装配质量厂商给予高度的关注；目前，大多数厂商会在装配完成后，添加人工视检工位，通过人员在装配完成的电视机上，对装配的部件进行检测，就是俗称的机内检；通过机内检挑出装配异常的机器，进行二次返修，最终保证产品的出厂品质；但是人工质检由于效率问题无法实现全面检测，并且随着工作的进行，难免疲劳导致检测的准确性降低，增加了漏检的风险。

为此，本申请提供一种解决方案，在模型训练阶段和检测阶段都将过程分为全局检测/训练和细节检测/训练，即先对整个电视机背板所有工件的位置进行检测，避免出现错件或漏件，若存在错件或漏件则直接输出为不合格，剔除生产线。若所有工件位置为正常，则对于某些需要检测状态是否正常的工件进行检测，如接插工件或遮光工件，以避免出现该工件位置正常，但是实际状态异常的情况。可以看出，本申请同时对工件位置以及工件状态进行了检测，从而提升了电视机背板检测的准确率，并且在对工件状态进行检测之前也先对工件位置进行了检测，即只对所有工件位置正常的电视机背板进行工件状态检测，从而提高了检测效率。

参照图1，图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。

如图1所示，该电子设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及电子程序。

在图1所示的电子设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的电视机背板检测装置，并执行本申请实施例提供的电视机背板检测方法。

参见图2，本申请的实施例提供了一种电视机背板检测方法，包括：

步骤S10、获取目标背板图像。

需要说明的是，所述目标背板是指待检测的电视机背板，目标背板图像是指利用多个图像采集设备从电视机背板的上方进行拍摄获得的图像。在生产工艺中，电视机背板可能会存在一些缺陷，如缺件漏件、工件位置错位、工件状态异常等，因此本申请实施例中所述的目标背板图像可能是包含缺陷的。具体所述目标背板图像可以是从生产线上安装的图像采集设备对生产线上的电视机背板动态采集的，也可以是储存的历史图像。

步骤S20、将所述目标背板图像输入已训练的工件信息检测模型中，以获得工件信息检测结果；其中，所述工件信息检测模型基于第一样本图像集训练获得，所述第一样本图像集中包括电视机背板图像。

在具体实施过程中，本申请实施例所述第一样本图像集中的电视机背板图像中包含工件种类标注信息和工件位置标注信息；如所述工件种类标注信息可以是语义标注等，所述工件位置标注信息可以采用矩形标注框表示，也可以采用坐标方式进行标注。

具体地，所述第一样本图像集可以通过如下步骤获得：获取电视机背板原始图像；对所述电视机背板原始图像中的各工件进行类型和位置标注，获得电视机背板图像；基于所述电视机背板图像，获得所述第一样本图像集。需要说明的是，这里所述的电视机背板原始图像同样可以是从生产线上安装的图像采集设备对生产线上的电视机背板动态采集的，也可以是储存的历史图像。

在具体实施过程中，所述工件信息检测模型可以通过如下步骤训练获得：获取所述第一样本图像集；所述第一样本图像集中包括电视机背板图像，所述电视机背板图像中的各工件种类和位置均采用矩形标注；利用所述第一样本图像集对初始工件信息检测模型进行训练，获得所述工件信息检测模型。

具体地，所述初始工件信息检测模型采用全局网络构建获得，因此其所覆盖的部件更全。对应的，所述第一样本图像集中的电视机背板图像也应覆盖所述背板的全部工件，可以是在生产线上方架设足量相机以覆盖全部电视机背板区域，分别采集电视机背板各区域图片，再分别通过模型对区域内待检工件逐一检测，并根据业务需求检测异常工件。也可以是在获取电视机背板各区域图片后，将各区域图片进行图像融合后获得背板整体图像后，再通过模型对整体区域内待检工件进行统一检测。或采用一架全景相机进行拍摄获得，所述全景相机的拍摄范围足以覆盖全部电视机背板区域。

在具体实施过程中，步骤S20所述将所述目标背板图像输入已训练的工件信息检测模型中，以获得工件信息检测结果，包括：

步骤S21、将所述目标背板图像输入已训练的工件信息检测模型中，获得工件检测框。即所述已训练的工件信息检测模型输出后的图像中包含工件检测框，所述工件检测框包括工件检测种类信息和工件检测位置信息。

步骤S22、将所述工件检测框和工件注册框对比，以获得工件信息检测结果；其中，所述工件注册框包括工件种类信息和工件位置信息。其中，所述工件种类包括接插件类、胶带类、螺丝类、异物类和卡夹类中至少一种。

需要说明的是，所述工件注册框是指标准电视机背板图像上的工件注册框，如基于从生产线上安装的图像采集设备对标准电视机背板采集获得的标准电视机背板图像后，将该图像进行平铺处理，并根据电视机背板工件的实际种类和实际位置，使用矩形框进行标注，以获得工件注册框。具体地，平铺处理是由于电视机背板较大，因此无法使用单个相机完全覆盖，故较常使用多台相机进行拍摄，因此先将电视机背板按照工件分布进行摆放后，再进行标注，以便于后续应用。

在具体实施过程中，通过将所述工件检测框和工件注册框对比，以判断所述工件检测框所在位置和对应位置上的工件注册框大小是否相同，以及所述工件检测框中的工件种类和工件注册框中的工件种类是否相同。具体地，若工件注册框所在位置和所述工件检测框所在位置不一致，则所述工件信息检测结果为漏件；若所述工件检测框所在位置和工件注册框所在位置一致，且所述工件检测框内的工件种类和所述工件注册框内的工件种类不一致，则所述工件信息检测结果为错件；若所述工件检测框所在位置和工件注册框所在位置一致，且所述工件检测框内的工件种类和所述工件注册框内的工件种类一致，则所述工件信息检测结果为正常。

如，电视机背板总包含10颗螺丝，因此电视机背板标准图像上的螺丝工件注册框也为10个。将所述目标背板图像输入已训练的工件信息检测模型中，获得螺丝工件检测框后，与螺丝工件注册框进行大小、位置以及种类的对比，以获得工件信息检测结果。

若所述工件信息检测结果为漏检或错件，则将对应的电视机背板剔除出生产线。若所述工件信息检测结果为正常，则对其进一步进行检测。

步骤S30、若所述工件信息检测结果为正常，则将所述目标背板图像输入已训练的目标工件状态检测模型中，以获得目标工件状态检测结果；其中，所述目标工件状态检测结果为状态正常或状态不正常；所述目标工件包括接插工件和遮光工件；对应的，所述目标工件图像包括接插工件图像和遮光工件图像；所述目标工件状态检测模型基于第二样本图像集训练获得。

在具体实施过程中，所述目标工件状态检测模型通过如下步骤训练获得：获取所述第二样本图像集；所述第二样本图像集中包括电视机背板的目标工件融合样本图像，所述目标工件融合样本图像基于对所述电视机背板图像中的目标工件区域进行裁剪后合成获得的；利用所述第二样本图像集对初始目标工件状态检测模型进行训练，获得所述目标工件状态检测模型。具体的，所述目标工件状态检测模型是基于细节网络构建获得的，如细粒度测量模型。通过所述细粒度测量模型对目标工件的状态进行检测，可以减少检测干扰，适合于工况单一的检测。

需要说明的是，所述电视机背板的目标工件融合样本图像是指，对采集的电视机背板的原始样本图像进行目标工件裁剪，获得目标工件图像；其中，所述目标工件图像至少包括第一目标工件图像和第二目标工件图像，所述第一目标工件图像和所述第二目标工件图像中的工件类型相同，且所述第一目标工件图像和所述第二目标工件图像中的工件所在位置不同；将所述第一目标工件图像和所述第二目标工件图像合成一张样本图像，以获得目标工件融合样本图像。此方式主要目的在于，增加训练样本图像，以使得模型对这类工件有效识别，从而提高模型对工件识别的全面性，提高模型的泛化能力。

具体地，所述目标工件状态检测结果包括状态正常或状态不正常，如当所述目标工件为接插工件时，当所述接插工件完全插入，则目标工件状态检测结果为状态正常；当所述接插工件未完全插入，则目标工件状态检测结果为状态不正常。再如当所述目标工件为遮光工件时，则当所述遮光工件的遮光程度符合预期要求，则目标工件状态检测结果为状态正常；当所述遮光工件的遮光程度不符合预期要求，则目标工件状态检测结果为状态不正常。

步骤S40、基于工件信息检测结果和目标工件状态检测结果，输出工件检测结果。

在具体实施过程中，无论是工件信息检测结果为异常还是目标工件状态检测结果为不正常，所输出的工件检测结果均为异常。但为进一步提高检测准确性，避免机器误判，本申请在所述基于工件信息检测结果和目标工件状态检测结果，输出工件检测结果之后，还包括：将工件检测结果为异常的电视机背板进行人工复判，获得人工复判结果；所述人工复判结果包括异常或无异常。并以人工复判结果为最终检测结果。

在具体实施过程中，在所述将工件检测结果为异常的电视机背板进行人工复判之后，还包括：将人工复判结果为无异常的电视机背板保留在生产线；将人工复判结果为异常的电视机背板剔除出生产线。即以人工复判结果为最终检测结果。

在具体实施过程中，若工件信息检测结果为异常，则无需进行后续目标工件状态检测，直接输出工件检测结果为异常；若工件信息检测结果为正常，则再进行后续目标工件状态检测，并基于目标工件状态检测结果，输出工件检测结果。这样一方面可以减少无效的目标工件状态检测，即提高检测效率；另一方面，通过将深度学习模型融合的方式辅助以传统图像算法，对图像区域内待检项逐一检测，并根据业务需求检测异常部件；由于机器学习检出效率高可以实现产线的全检，且不会因为使用而导致检出效果波动，大大减少了漏检的风险。具体地，通过全局模型检测电视机背板的整体情况，再结合细节模型对具体的工件进行细节甄别的结果，检出异常的部件。

参见图3，基于同样的发明思路，本申请的实施例提供了一种工件信息检测模型训练方法，包括：

S011、获取第一样本图像集；所述第一样本图像集中包括电视机背板图像，所述电视机背板图像中的各工件的种类和位置均采用矩形标注。

在具体实施过程中，所述获取第一样本图像集，包括：获取电视机背板原始图像；对所述电视机背板原始图像中的各工件进行类型和位置标注，获得电视机背板图像；基于所述电视机背板图像，获得所述第一样本图像集。

具体地，所述电视机背板原始图像是指图像采集设备采集的存在工件异常的图像，可以是人工筛选出来的，也可以是以往模型筛选出来的。需要说明的是，这里所述的电视机背板原始图像同样可以是从生产线上安装的图像采集设备对生产线上的电视机背板动态采集的，也可以是储存的历史图像。前述实施例中已经对第一样本图像集包括的电视机背板图像进行举例说明，这里不再赘述。

S012、利用所述第一样本图像集对初始工件信息检测模型进行训练，获得所述工件信息检测模型。具体地，所述初始工件信息检测模型采用全局网络构建获得，因此其所覆盖的部件更全。对应的，所述第一样本图像集中的电视机背板图像也应覆盖所述背板的全部工件，可以是在生产线上方架设足量相机以覆盖全部电视机背板区域，分别采集电视机背板各区域图片，再分别通过模型对区域内待检工件逐一检测，并根据业务需求检测异常工件。也可以是在获取电视机背板各区域图片后，将各区域图片进行图像融合后获得背板整体图像后，再通过模型对整体区域内待检工件进行统一检测。或采用一架全景相机进行拍摄获得，所述全景相机的拍摄范围足以覆盖全部电视机背板区域。

参见图4，基于同样的发明思路，本申请的实施例提供了一种目标工件状态检测模型训练方法，其特征在于，包括：

S021、获取第二样本图像集；所述第二样本图像集中包括电视机背板的目标工件融合样本图像，所述目标工件融合样本图像基于对所述电视机背板图像中的目标工件区域进行裁剪后合成获得的。所述目标工件图像包括接插件图像和遮光片图像中的至少一种。

在具体实施过程中，所述第二样本图像集通过如下步骤获得：对采集的电视机背板的原始样本图像进行目标工件截取，获得目标工件图像；其中，所述目标工件图像至少包括第一目标工件图像和第二目标工件图像，所述第一目标工件图像和所述第二目标工件图像中的工件类型相同，且所述第一目标工件图像和所述第二目标工件图像中的工件所在位置不同；将所述第一目标工件图像和所述第二目标工件图像合成一张样本图像，以获得目标工件融合样本图像；基于所述目标工件融合样本图像，获得第二样本图像集。

需要说明的是，所述电视机背板的目标工件融合样本图像是指，对采集的电视机背板的原始样本图像进行目标工件裁剪，获得目标工件图像；其中，所述目标工件图像至少包括第一目标工件图像和第二目标工件图像，所述第一目标工件图像和所述第二目标工件图像中的工件类型相同，且所述第一目标工件图像和所述第二目标工件图像中的工件所在位置不同；将所述第一目标工件图像和所述第二目标工件图像合成一张样本图像，以获得目标工件融合样本图像。

在具体实施过程中，前述实施例中已经对目标工件融合样本图像进行举例说明，这里不再赘述。

S022、利用所述第二样本图像集对初始目标工件状态检测模型进行训练，获得所述目标工件状态检测模型。

具体地，在训练过程中，如当所述目标工件为接插工件时，当所述接插工件完全插入，则所述目标工件状态检测模型输出的目标工件状态检测结果为状态正常；当所述接插工件未完全插入，则所述目标工件状态检测模型输出的目标工件状态检测结果为状态不正常。再如当所述目标工件为遮光工件时，则当所述遮光工件的遮光程度符合预期要求，则所述目标工件状态检测模型输出的目标工件状态检测结果为状态正常；当所述遮光工件的遮光程度不符合预期要求，则所述目标工件状态检测模型输出的目标工件状态检测结果为状态不正常。

具体地，所述目标工件状态检测模型是基于细节网络构建获得的，如细粒度测量模型。通过所述细粒度测量模型对目标工件的状态进行检测，可以减少检测干扰，适合于工况单一的检测。

参见图5，基于同样的发明思路，本申请实施例还提供了一种电视机背板检测装置，包括：

图像获取模块，用于获取目标背板图像；

工件信息检测模块，用于将所述目标背板图像输入已训练的工件信息检测模型中，以获得工件信息检测结果；其中，所述工件信息检测模型基于第一样本图像集训练获得，所述第一样本图像集中包括电视机背板图像；

目标工件状态检测模块，用于若所述工件信息检测结果为正常，则将所述目标背板图像输入已训练的目标工件状态检测模型中，以获得目标工件状态检测结果；其中，所述目标工件状态检测结果为状态正常或状态不正常；所述目标工件包括接插工件和遮光工件；所述目标工件状态检测模型基于第二样本图像集训练获得；

输出模块，用于基于工件信息检测结果和目标工件状态检测结果，输出工件检测结果。

需要说明的是，本实施例中电视机背板检测装置中各模块是与前述实施例中的电视机背板检测方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述电视机背板检测方法的实施方式，这里不再赘述。

参见图6，基于同样的发明思路，本申请实施例提供了一种工件信息检测模型训练装置，包括：

第一样本获取模块，用于获取所述第一样本图像集；所述第一样本图像集中包括电视机背板图像，所述电视机背板图像中的各工件种类和位置均采用矩形标注；

模型训练模块，用于利用所述第一样本图像集对初始工件信息检测模型进行训练，获得所述工件信息检测模型。

需要说明的是，本实施例中模型训练装置中各模块是与前述实施例中的模型训练方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述模型训练方法的实施方式，这里不再赘述。

参见图7，基于同样的发明思路，本申请实施例提供了一种目标工件状态检测模型训练装置，包括：

第二样本获取模块，用于获取所述第二样本图像集；所述第二样本图像集中包括电视机背板的目标工件融合样本图像，所述目标工件融合样本图像基于对所述电视机背板图像中的目标工件区域进行裁剪后合成获得的；

模型训练模块，用于利用所述第二样本图像集对初始目标工件状态检测模型进行训练，获得所述目标工件状态检测模型。

需要说明的是，本实施例中模型训练装置中各模块是与前述实施例中的模型训练方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述模型训练方法的实施方式，这里不再赘述。

此外，在一种实施例中，本申请还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法的步骤。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。

以上所揭露的仅为本申请的局部实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。