掌桥专利:专业的专利平台
掌桥专利
首页

屏幕异常检测方法、装置、设备及可读存储介质

文献发布时间:2024-04-29 00:47:01


屏幕异常检测方法、装置、设备及可读存储介质

技术领域

本发明实施例涉及图像识别技术领域,具体涉及一种屏幕异常检测方法、装置、设备及可读存储介质。

背景技术

目前,随着目前车辆的功能日益增加,车辆上所搭载的屏幕也越来越多,相应的,屏幕出现问题的风险也就越高,故车辆在出厂之前会对车辆上搭载的屏幕进行检测,以保证屏幕可正常使用。但是,当前的检测方法主要是由测试人员通过肉眼来判断屏幕显示的画面是否出现异常,该方法不仅花费大量的人工成本且效率也较低。

发明内容

鉴于上述问题,本发明实施例提供了一种屏幕异常检测方法、装置、设备及可读存储介质,用于解决当前人工检测屏幕异常的方式人工成本高,且检测效率低下的问题。

根据本发明实施例的一个方面,提供了一种屏幕异常检测方法,所述方法包括:

获取待检屏幕的在工作中的画面图像;

基于与所述画面图像相关的异常特征选取目标卷积核

基于包括所述目标卷结核的卷积神经网络模型对所述画面图像进行异常检测得到所述待检屏幕的检测结果。

根据本发明实施例的另一方面,提供了一种屏幕异常检测装置,所述装置包括:

获取模块,用于获取待检屏幕的在工作中的画面图像;

选取模块,用于基于与所述画面图像相关的异常特征选取目标卷积核;

检测模块,用于基于包括所述目标卷结核的卷积神经网络模型对所述画面图像进行异常检测得到所述待检屏幕的检测结果。

根据本发明实施例的另一方面,提供了一种屏幕异常检测设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;

所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如上述的屏幕异常检测方法的操作。

根据本发明实施例的又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使屏幕异常检测设备/装置执行以下操作:

获取待检屏幕的在工作中的画面图像;

基于与所述画面图像相关的异常特征选取目标卷积核;

基于包括所述目标卷结核的卷积神经网络模型对所述画面图像进行异常检测得到所述待检屏幕的检测结果。

本发明实施例将获取待检屏幕在工作时的画面图像,并通过卷积神经网络模型对画面图像进行异常检测,由于卷积神经网络模型的目标卷积核基于画面图像相关异常特征选取的,故针对不同的异常特征可设置不同的卷积核,使得卷积神经网络模型可准确提取到不同的异常特征,并进行识别得到检测结果。可以理解的是,本实施例通过卷积神经网络模型代替了人工对屏幕进行异常检测,极大的减少了人工成本,提高了检测效率,而且由于检测过程是自动完成,故可提高检测时屏幕的测试压力,进而使得屏幕异常复现,保证检测的效果。

上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。

附图说明

附图仅用于示出实施方式,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:

图1示出了本发明提供的屏幕异常检测方法的第一实施例的流程示意图;

图2示出了本发明提供的屏幕异常检测方法的下采样过程示意图;

图3示出了本发明提供的屏幕异常检测方法中的卷积神经网络模型的结构示意图;

图4示出了本发明提供的屏幕异常检测方法的第二实施例的流程示意图;

图5示出了本发明提供的屏幕异常检测方法中的整体框架示意图;

图6示出了本发明提供的屏幕异常检测装置的第一实施例的结构示意图;

图7示出了本发明提供的屏幕异常检测设备的实施例的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。

图1示出了本发明屏幕异常检测方法的第一实施例的流程图,该方法由屏幕异常检测设备执行。如图1所示,该方法包括以下步骤:

步骤S110:获取待检屏幕的在工作中的画面图像。

需要说明的是,上述待检屏幕可以是装载在车辆上的显示屏,也可以是其他具有显示功能的显示设备,例如,电脑、监控器等,均可应用上述屏幕异常检测方法。

示例性的,可通过相应的视觉传感器获取待检屏幕在工作中的画面图像,例如,可设置相机或摄像头在待检屏幕的显示区域的前方,通过相机或摄像头采集待检屏幕显示区域得到上述画面图像。画面图像通常情况下会包括屏幕显示的UI(User Interface,用户界面)界面。而在屏幕异常情况下,画面图像将会呈现出异常现象,例如,黑屏、花屏以及闪屏等,具体的缺陷类型此处将不再赘述。

步骤S120:基于与所述画面图像相关的异常特征选取目标卷积核。

需要说明的是,在实际应用中,由于车辆的上搭载的屏幕可能存在多个,每种屏幕存在异常可能不相同,且不同屏幕出现同类型的异常其反映出的异常特征也不同。在本实施例中,为例了保证检测结果的准确性,即保证卷积神经网络模型识别异常的准确性,将根据与画面图像的相关异常特征来选取卷积神经网络模型的卷积核,也即上述目标卷积核。例如,屏幕可能会出现黑屏、色彩条纹带、重影以及雪花点等异常显示的情况,以雪花点为例进行说明,针对画面图像中雪花点区域像素值的分布特征构建3×3的卷积核,再通过该卷积核来提取画面图像中雪花点的异常特征。还需要说明的是,由于画面图像的相关异常特征可能存在多种,因此上述目标卷积核的数量可以是一个,也可以是多个,也即针对不同的异常可分别设置不同类型的卷积核,以便于可从一个画面图像中提取到不同的异常特征,保证卷积神经网络模型的准确性,避免漏检的和误检的情况出现。

步骤S130:基于包括所述目标卷结核的卷积神经网络模型对所述画面图像进行异常检测得到所述待检屏幕的检测结果。

需要说明的,为替代传统的人工测试方法,在本实施例中,将通过卷积神经网络模型检测画面图像上的异常特征,来达到检测待检屏幕是否存在异常的目的。

示例性的,可画面图像输入至上述包括目标卷结核的卷积神经网络模型,所述卷积神经网络模型包括有输入层、卷积层、池化层、全连接层和输出层,也即画面图像将依次经过卷积神经网络模型的输入层、卷积层、池化层、全连接层进行处理,最终由输出层输出检测结果,检测结果可包括待检屏幕是否存在有异常和异常的种类等,例如,屏幕存在异常,且异常为花屏。其中,卷积神经网络模型预先经过训练,例如,收集出现异常时的画面图像并标记异常用于卷积神经网络模型得训练,从而使得卷积神经网络模型具有识别异常特征的能力。

在本实施例中,将获取待检屏幕在工作时的画面图像,并通过卷积神经网络模型对画面图像进行异常检测,由于卷积神经网络模型的卷积核基于画面图像相关异常特征所选取的,故针对不同的异常特征可设置不同的卷积核,使得卷积神经网络模型可准确提取到不同的异常特征,并进行识别得到检测结果。可以理解的是,本实施例通过卷积神经网络模型代替了人工对屏幕进行异常检测,极大的减少了人工成本,提高了检测效率,而且由于检测过程是自动完成,故可提高检测时屏幕的测试压力,进而使得屏幕异常复现,保证检测的效果。

在一可行的实施方式中,所述待检屏幕为车辆的车载屏幕,所述获取待检屏幕的在工作中的画面图像,包括步骤S111-步骤S112:

步骤S111,控制所述车辆的车载屏幕上电工作。

步骤S112,通过指向所述车载屏幕的视觉传感器,获取所述车载屏幕中显示区域的画面图像,其中,所述车载屏幕设置有遮光罩,所述遮光罩用于遮挡投射至所述显示区域上外光源的光线。

示例性的,在本实施例中待检屏幕为车辆的车载屏幕,例如,中控屏、仪表屏、副驾驶屏以及后排娱乐屏等。控制车辆上电启动,车辆上装载的屏幕开始工作,例如,显示正常工作时的初始界面等。每种车载屏幕的前方可设置视觉传感器,例如,相机或摄像头等,通过各视觉传感器分别采集不同车载屏幕的显示区域,从而得到不同车载屏幕的画面图像,或同一车载屏幕在不同时刻的画面图像。其中,车载屏幕上可设置有遮光罩,遮光罩用于遮挡外光源的光线投射至该显示区域上,外光源是指除屏幕外的其他光源,例如,自然光,外界的灯光等。通过遮光罩对外光源进行遮挡中,可避免获取到的画面图像中因反光引发高亮区域,对最终的检测结果造成干扰。

在一可行的实施方式中,所述基于与所述画面图像相关的异常特征选取目标卷积核,包括步骤S121-步骤S126:

步骤S121:确定所述画面图像的来源设备。

步骤S122:将所述来源设备采集对象的种类作为所述画面图像所属屏幕的屏幕类型。

步骤S123:将屏幕类型关联的卷积核作为与所述画面图像相关异常特征对应的目标卷积核。

示例性的,上述画面图像的来源设备是指,采集得到该画面图像的视觉传感器,可以理解的是,不同的视觉传感器会对应不同的车载屏幕,上述来源设备的采集对象也即为车载屏幕,而该车载屏幕的屏幕类型也即为画面图像所属屏幕的屏幕类型,例如,屏幕类型可包括中控屏、仪表屏、副驾驶屏以及后排娱乐屏等。在实际应用中,可通过对不同来源设备产生的图像数据(画面图像)进行标记,再通过图像数据的标记来确定该图像数据的来源设备,而不同来源设备分别与不同的屏幕,故通过来源设备可确定画面图像所属屏幕的屏幕类型。针对屏幕类型技术人员可预先为不同屏幕类型关联不同的卷积核,确定画面图像所属屏幕的屏幕类型后,再将该屏幕类型关联的卷积核作为与画面图像相关异常特征对应的目标卷积核即可。可以理解的是,由于目标卷积核是针对画面图像所属屏幕的屏幕类型所确定的(也即画面图像中的异常特征),故从而使得包括目标卷结核的卷积神经网络模型可精确的检测出画面图像中的异常缺陷。

在一可行的实施方式中,所述基于包括所述目标卷结核的卷积神经网络模型对所述画面图像进行异常检测得到所述待检屏幕的检测结果,包括步骤S131-步骤S134:

步骤S131:基于所述目标卷积核对所述画面图像的图像数据进行卷积,提取所述画面图像上的图像特征。

步骤S132:基于所述图像特征确定所述画面图像中是否存在异常特征。

步骤S134:若所述画面图像中不存在异常特征,则所述检测结果为待检屏幕正常。

步骤S135:若所述画面图像中存在异常特征,则所述检测结果为待检屏幕异常。

示例性的,在本实施例中,卷积神经网络模型包括有输入层、卷积层、池化层、全连接层和输出层。其中,输入层主要任务是输入画面图像等信息,由于卷积神经网络主要处理的是图像相关的内容,对于输入的画面图像,首将其转换为对应的二维矩阵,该二位矩阵就是由画面图像中每一个像素的像素值大小组成的,对于其中的每一个像素值的范围是0~255(由纯黑色到纯白色),表示其颜色强弱变化。此外,该图像也可以是黑白图像,即该图像上由像素值0(表示纯黑色)和255(表示纯白色)。通常情况下,该图像为RGB(Red GreenBlue,红黄蓝)图像,有三个通道,分别是红色、绿色、蓝色。每个通道的每个像素值的范围也是0~255,表示其每个像素的颜色强弱。为便于后续处理可将RGB图像转换为灰度图像(灰度图像的值范围较小,颜色较单一),例如,在输入至神经网络之前先将RGB图像转换为灰度图像。输入层的作用就是将图像转换为其对应的由像素值构成的二维矩阵,并将此二维矩阵存储,等待后面步骤的处理。

而输入层输出的图像数据(二维矩阵)将被输入至卷积层,进行特征的提取。可以理解的是,由于针对不同类型的车载屏幕,存在有不同的异常特征。而本申请中所使用的卷积神经网络模型包括有针对画面图像中异常特征的目标卷积核,基于目标卷积核对画面图像的图像数据进行卷积,从而保证可以提取到准确的异常特征,例如,用过目标卷积核遍历该图像数据(即二维矩阵)进行卷积计算,卷积计算输出的结果即为提取的图像特征。

提取到的图像特征又将输入至池化层,池化层又称为下采样,当进行卷积操作后,再将得到的图像特征进行特征提取,将其中最具有代表性的特征提取出来,可以起到减小过拟合和降低维度的作用。如参照图2,为本申请中下采样过程示意图,池化层的输入为4×4的矩阵,经过下采样后得到2×2的矩阵。

池化层的输出结果将被输入至全连接层,全连接层将输入的所有图像特“展开”,各图像特征被展开后经过运算后会得到概率值,该概率值即为画面图像为异常的概率,也即该待测屏幕存在有异常的概率。

全连接层的输出将被输入到输出层,可以理解的是,屏幕异常会存在有多个不同的种类需要识别。例如,花屏、黑屏、花白点以及正常等,对于画面图像上的任意一个位置都会存在有多个概率值,例如,对于某个位置,为花屏的概率是a、为黑屏的概率是b、为花白点的概率是c、为正常的概率是d。若a为最大,则输出层输出的结果为画面图像中存在异常特征,相应的检测结果为待检屏幕异常,且异常种类为花屏。若d为最大值,则输出层输出的结果为画面图像不存在有异常特征,相应的检测结果为待检屏幕正常。

例如,参照图3,为本申请中的卷积神经网络模型的结构示意图,值得注意的是,对于卷积神经网络模型中的卷积层和池化层的数量可以由技术人员根据实际需求设置。

图4示出了本发明屏幕异常检测方法的第二实施例的流程图,该方法由屏幕异常检测设备执行。所述卷积神经网络配置有训练样本集,在所述基于卷积神经网络模型对所述画面图像进行异常检测得到所述待检屏幕的检测结果之前,还包括步骤S100-步骤S300:

步骤S100:获取所述车辆上不同车载屏幕在工作中的屏幕图像。

步骤S200:将被标记后的各所述屏幕图像作为训练样本集中的训练样本。

步骤S300:基于所述训练样本集对所述卷积神经网络模型进行训练。

示例性的,根据车辆配置的不同,车辆上所搭载的屏幕也不同。以车载屏幕包括中控屏、仪表屏、副驾驶屏以及后排娱乐屏为例进行说明。搭建测试环境:使用四个摄像头分别对中控屏、仪表屏、副驾驶屏以及后排娱乐屏相的显示区域进行图像采集;上位机程序打开串口,给继电器发送指令,此时车机系统开始上电运行,各车子屏幕开始工作在显示区域显示正常UI界面,设置的四个摄像头即可采集到各屏幕的画面图像。在对图像进行检测前,需要对屏幕图像中的目标进行标注,可直接将整张图作为目标,目标中心也就是屏幕图像的中心点。只需读取整张图像,获得其长、宽以及中心点的坐标,以完成标注。其中,各屏幕图像的标签可通过人工标注实现,例如,正常或异常,对于异常的标签也可进一步划分异常种类,例如,花屏、黑屏等。被标注后的各屏幕图像即可作为训练样本集中的训练样本。再基于训练样本集对卷积神经网络模型进行迭代训练。使得卷积神经网络模型具有识别异常特征的能力。

在一可行的实施方式中,所述基于所述训练样本集对所述卷积神经网络模型进行训练,包括步骤S310-步骤S330:

步骤S310:对所述训练样本集中的任意一个训练样本,将所述训练样本输入至卷积神经网络模型,得到所述训练样本的样本检测结果。

步骤S320:基于所述样本检测结果与所述训练样本的样本标签之间的差异确定所述卷积神经网络模型的模型损失。

步骤S330:基于所述模型损失更新所述卷积神经网络模型中的模型参数,基于新的训练样本返回执行将所述训练样本输入至卷积神经网络模型的步骤,直至所述卷积神经网络模型达到预设训练条件。

示例性的,在基于训练样本集对卷积神经网络模型进行训练时,对于训练样本集中的任意一个训练样本,将该训练样本输入至该卷积神经网络模型进行检测,同样的,训练样本也将依次经过输入层、卷积层、池化层、全连接层和输出层,得到训练样本的样本检测结果,卷积神经网络模型的检测过程可参照上述第一实施例,此处不再赘述。再基于样本检测结果与训练样本的样本标签之间的差异确定该卷积神经网络模型的模型损失,例如,将样本检测结果和样本标签带入预设的模型损失函数即可得到该卷积神经网络模型的模型损失,其中,模型损失与差异成正比,模型损失也可用于衡量当前卷积神经网络模型的模型性能,即卷积神经网络模型检测的准确性。再基于模型损失更新所述卷积神经网络模型中的模型参数,例如,基于模型损失和梯度下降法反向转播更新卷积神经网络模型中的模型参数。至此,即通过一个训练样本完成了一次模型训练。若卷积神经网络模型未达到预设训练条件,再基于新的训练样本返回执行将所述训练样本输入至卷积神经网络模型的步骤,直到卷积神经网络模型达到预设训练条件。其中,预设训练条件可根据实际进行设置,例如,卷积神经网络模型检测结果的准确率到达阈值,或卷积神经网络模型的训练次数达到设定次数,或卷积神经网络模型的模型损失小于预设阈值的等,卷积神经网络模型达到预设训练条件,即可用于实际的异常检测。

在一可行的实施方式中,在所述基于所述训练样本集对所述卷积神经网络模型进行训练之前,包括步骤S01:

步骤S01:通过优化算法确定所述卷积神经网络模型的初始模型参数,其中,所述初始模型参数为所述优化算法基于所述训练样本集迭代优化的结果。

需要说明的是,为进一步的加快卷积神经网络模型的模型训练速度,避免卷积神经网络模型陷入局部最优解的问题,在本实施例中,将通过预设优化算法确定卷积神经网络模型的初始模型参数,其中,预设优化算法优选为遗传粒子群优化算法,该算法结合遗传算法和粒子群优化算法的优点完成优化。例如,使用遗传算法来生成种群,而对于每个种群,使用粒子群优化算法来进行更新,寻找到优秀的个体并进行下一轮迭代直到优化完成。此外,上述优化算法还可以是遗传算法、帝国竞争算法、粒子群优化、局部优化、模拟退火、贪婪算法、邻域搜索等。示例性的,在实际应用中,优化算法优化过程可包括:

首先可在python(一种计算机编程语言)中实例化粒子群算法,定义相关算法类,设置与算法相关的成员,包括粒子维度(也即,基于训练样本集提取的结果),粒子数,优化算法迭代次数,被优化参数的最小值以及粒子每次移动的最大速度,种群最优位置,模型参数,每次迭代的最优适应值;对种群进行初始化;更新粒子速度:计算移动速度,计算方式为:惯性向量+自身移动向量+种群向量=计算移动速度(也每次迭代优化时粒子向种群最优位置优化的幅度);更新位置,计算方式为:当前位置=上次的位置+当前的偏移量,然后将位置点信息值放入适应函数中,当满足求解值小于初始化适应值或者求解值小于局部最优适应值,更新位置信息,最后每次迭代完把当前的最优适应度存到列表,也即模型参数。

可以理解的是,相比与直接使用卷积神经网络模型进行训练,通过优化算法对卷积神经网络模型的初始模型参数进行优化,从而减少卷积神经网络模型的训练时间,避免陷入到局部最优解的问题中,保证了检测的准确性。

例如,参照图5,为本申请中的整体框架示意图。通过PC(即上位机)发送控制指令至继电器,继电器闭合,DC(Direct Current,直流电V)12导通,车辆上电,向各车载屏幕发送LVDS(Low-Voltage Differential Signaling,低电压差分信号)信号,各车载屏幕(中控屏、仪表屏、副驾驶屏以及后排娱乐屏)开始工作,并分别被不同的相机采集显示的画面得到画面图像。在训练阶段,画面图像经过各项图像处理步骤,可生成带有标签的训练样本集(即数据集,此外还可划分出测试集)。对于卷积神经网络模型,卷积神经网络模型中的初始模型参数经过粒子群算法(遗传粒子群优化算法)进行优化,再通过训练样本集对优化了初始模型参数的卷积神经网络模型进行训练,而测试集则用于对训练后的卷积神经网络模型进行测试,若卷积神经网络模型对测试集的测试结果准确率到达预设(即大于0.98),则表示卷积神经网络模型已经训练完成,反之,则需要继续训练。

图6示出了本发明屏幕异常检测装置的实施例的结构示意图。如图6所示,该装置300包括:获取模块310、选取模块320和检测模块330。

在一种可选的方式中,获取模块310,用于获取待检屏幕的在工作中的画面图像;选取模块320,用于基于与所述画面图像相关的异常特征选取目标卷积核;检测模块330,用于基于包括所述目标卷结核的卷积神经网络模型对所述画面图像进行异常检测得到所述待检屏幕的检测结果。

在一种可选的方式中,所述选取模块320还用于:确定所述画面图像的来源设备;将所述来源设备采集对象的种类作为所述画面图像所属屏幕的屏幕类型;将屏幕类型关联的卷积核作为与所述画面图像相关异常特征对应的目标卷积核。

在一种可选的方式中,所述检测模块330还用于:基于所述目标卷积核对所述画面图像的图像数据进行卷积,提取所述画面图像上的图像特征;基于所述图像特征确定所述画面图像中是否存在异常特征;若所述画面图像中不存在异常特征,则所述检测结果为待检屏幕正常;若所述画面图像中存在异常特征,则所述检测结果为待检屏幕异常。

在一种可选的方式中,所述检测模块330还用于:确定所述画面图像的来源设备;将所述来源设备的采集对象的种类,作为所述画面图像所属屏幕的屏幕类型。

在一种可选的方式中,所述获取模块310还用于:控制所述车辆的车载屏幕上电工作;通过指向所述车载屏幕的视觉传感器,获取所述车载屏幕中显示区域的画面图像,其中,所述车载屏幕设置有遮光罩,所述遮光罩用于遮挡投射至所述显示区域上外光源的光线。

在一种可选的方式中,所述卷积神经网络配置有训练样本集,所述装置300还包括训练模块340,所述训练模块340用于:获取所述车辆上不同车载屏幕在工作中的屏幕图像;将被标记后的各所述屏幕图像作为训练样本集中的训练样本;基于所述训练样本集对所述卷积神经网络模型进行训练。

在一种可选的方式中,所述训练模块340还用于:对所述训练样本集中的任意一个训练样本,将所述训练样本输入至卷积神经网络模型,得到所述训练样本的样本检测结果;基于所述样本检测结果与所述训练样本的样本标签之间的差异确定所述卷积神经网络模型的模型损失;基于所述模型损失更新所述卷积神经网络模型中的模型参数,基于新的训练样本返回执行将所述训练样本输入至卷积神经网络模型的步骤,直至所述卷积神经网络模型达到预设训练条件。

在一种可选的方式中,所述训练模块340还用于:通过优化算法确定所述卷积神经网络模型的初始模型参数,其中,所述初始模型参数为所述优化算法基于所述训练样本集迭代优化的结果。

本申请提供的屏幕异常检测装置,采用上述实施例中的屏幕异常检测方法,旨在当前人工检测屏幕异常的方式人工成本高,且检测效率低下的问题。与现有技术相比,本申请实施例提供的电子设备的有益效果与上述实施例一提供的屏幕异常检测方法的有益效果相同,且该屏幕异常检测装置中的其他技术特征与上述实施例方法公开的特征相同,在此不做赘述。

图7示出了本发明屏幕异常检测设备的实施例的结构示意图,本发明具体实施例并不对屏幕异常检测设备的具体实现做限定。

如图7所示,该屏幕异常检测设备可以包括:处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中:处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404,用于与其它设备比如客户端或其它服务器等的网元通信。处理器402,用于执行程序410,具体可以执行上述用于屏幕异常检测方法实施例中的相关步骤。

具体地,程序410可以包括程序代码,该程序代码包括计算机可执行指令。

处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。屏幕异常检测设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。

存储器406,用于存放程序410。存储器406可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),示例性的至少一个磁盘存储器。

程序410具体可以被处理器402调用使屏幕异常检测设备执行以下操作:

获取待检屏幕的在工作中的画面图像;

基于与所述画面图像相关的异常特征选取目标卷积核;

基于包括所述目标卷结核的卷积神经网络模型对所述画面图像进行异常检测得到所述待检屏幕的检测结果。

在一种可选的方式中,所述程序410被处理器402调用使屏幕异常检测设备执行以下操作:

所述基于与所述画面图像相关的异常特征选取目标卷积核,包括:

确定所述画面图像的来源设备;

将所述来源设备采集对象的种类作为所述画面图像所属屏幕的屏幕类型;

将屏幕类型关联的卷积核作为与所述画面图像相关异常特征对应的目标卷积核。

在一种可选的方式中,所述程序410被处理器402调用使屏幕异常检测设备执行以下操作:

所述基于包括所述目标卷结核的卷积神经网络模型对所述画面图像进行异常检测得到所述待检屏幕的检测结果,包括:

基于所述目标卷积核对所述画面图像的图像数据进行卷积,提取所述画面图像上的图像特征;

基于所述图像特征确定所述画面图像中是否存在异常特征;

若所述画面图像中不存在异常特征,则所述检测结果为待检屏幕正常;

若所述画面图像中存在异常特征,则所述检测结果为待检屏幕异常。

在一种可选的方式中,所述程序410被处理器402调用使屏幕异常检测设备执行以下操作:

所述待检屏幕为车辆的车载屏幕,所述获取待检屏幕的在工作中的画面图像,包括:

控制所述车辆的车载屏幕上电工作;

通过指向所述车载屏幕的视觉传感器,获取所述车载屏幕中显示区域的画面图像,其中,所述车载屏幕设置有遮光罩,所述遮光罩用于遮挡投射至所述显示区域上外光源的光线。

在一种可选的方式中,所述程序410被处理器402调用使屏幕异常检测设备执行以下操作:

所述卷积神经网络配置有训练样本集,在所述基于卷积神经网络模型对所述画面图像进行异常检测得到所述待检屏幕的检测结果之前,还包括:

获取所述车辆上不同车载屏幕在工作中的屏幕图像;

将被标记后的各所述屏幕图像作为训练样本集中的训练样本;

基于所述训练样本集对所述卷积神经网络模型进行训练。

在一种可选的方式中,所述程序410被处理器402调用使屏幕异常检测设备执行以下操作:

所述基于所述训练样本集对所述卷积神经网络模型进行训练,包括:

对所述训练样本集中的任意一个训练样本,将所述训练样本输入至卷积神经网络模型,得到所述训练样本的样本检测结果;

基于所述样本检测结果与所述训练样本的样本标签之间的差异确定所述卷积神经网络模型的模型损失;

基于所述模型损失更新所述卷积神经网络模型中的模型参数,基于新的训练样本返回执行将所述训练样本输入至卷积神经网络模型的步骤,直至所述卷积神经网络模型达到预设训练条件。

在一种可选的方式中,所述程序410被处理器402调用使屏幕异常检测设备执行以下操作:

在所述基于所述训练样本集对所述卷积神经网络模型进行训练之前,包括:

通过优化算法确定所述卷积神经网络模型的初始模型参数,其中,所述初始模型参数为所述优化算法基于所述训练样本集迭代优化的结果。

本申请屏幕异常检测设备的具体实施方式与上述屏幕异常检测方法各实施例基本相同,在此不再赘述。

本发明实施例提供了一种计算机可读存储介质,所述存储介质存储有至少一可执行指令,该可执行指令在屏幕异常检测设备/装置上运行时,使得所述屏幕异常检测设备/装置执行上述任意方法实施例中的屏幕异常检测方法。

获取待检屏幕的在工作中的画面图像;

基于与所述画面图像相关的异常特征选取目标卷积核;

基于包括所述目标卷结核的卷积神经网络模型对所述画面图像进行异常检测得到所述待检屏幕的检测结果。

在一种可选的方式中,所述可执行指令使所述屏幕异常检测设备/装置执行以下操作:

所述基于与所述画面图像相关的异常特征选取目标卷积核,包括:

确定所述画面图像的来源设备;

将所述来源设备采集对象的种类作为所述画面图像所属屏幕的屏幕类型;

将屏幕类型关联的卷积核作为与所述画面图像相关异常特征对应的目标卷积核。

在一种可选的方式中,所述可执行指令使所述屏幕异常检测设备/装置执行以下操作:

所述基于包括所述目标卷结核的卷积神经网络模型对所述画面图像进行异常检测得到所述待检屏幕的检测结果,包括:

基于所述目标卷积核对所述画面图像的图像数据进行卷积,提取所述画面图像上的图像特征;

基于所述图像特征确定所述画面图像中是否存在异常特征;

若所述画面图像中不存在异常特征,则所述检测结果为待检屏幕正常;

若所述画面图像中存在异常特征,则所述检测结果为待检屏幕异常。

在一种可选的方式中,所述可执行指令使所述屏幕异常检测设备/装置执行以下操作:

所述待检屏幕为车辆的车载屏幕,所述获取待检屏幕的在工作中的画面图像,包括:

控制所述车辆的车载屏幕上电工作;

通过指向所述车载屏幕的视觉传感器,获取所述车载屏幕中显示区域的画面图像,其中,所述车载屏幕设置有遮光罩,所述遮光罩用于遮挡投射至所述显示区域上外光源的光线。

在一种可选的方式中,所述可执行指令使所述屏幕异常检测设备/装置执行以下操作:

所述卷积神经网络配置有训练样本集,在所述基于卷积神经网络模型对所述画面图像进行异常检测得到所述待检屏幕的检测结果之前,还包括:

获取所述车辆上不同车载屏幕在工作中的屏幕图像;

将被标记后的各所述屏幕图像作为训练样本集中的训练样本;

基于所述训练样本集对所述卷积神经网络模型进行训练。

在一种可选的方式中,所述可执行指令使所述屏幕异常检测设备/装置执行以下操作:

所述基于所述训练样本集对所述卷积神经网络模型进行训练,包括:

对所述训练样本集中的任意一个训练样本,将所述训练样本输入至卷积神经网络模型,得到所述训练样本的样本检测结果;

基于所述样本检测结果与所述训练样本的样本标签之间的差异确定所述卷积神经网络模型的模型损失;

基于所述模型损失更新所述卷积神经网络模型中的模型参数,基于新的训练样本返回执行将所述训练样本输入至卷积神经网络模型的步骤,直至所述卷积神经网络模型达到预设训练条件。

在一种可选的方式中,所述可执行指令使所述屏幕异常检测设备/装置执行以下操作:

在所述基于所述训练样本集对所述卷积神经网络模型进行训练之前,包括:

通过优化算法确定所述卷积神经网络模型的初始模型参数,其中,所述初始模型参数为所述优化算法基于所述训练样本集迭代优化的结果。

本申请计算机可读存储介质具体实施方式与上述屏幕异常检测方法各实施例基本相同,在此不再赘述。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。此外,本发明实施例也不针对任何特定编程语言。

在此处所提供的说明书中,说明了大量具体细节。然而能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。类似地,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。其中,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。

本领域技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。

相关技术
技术分类

06120116593360