掌桥专利:专业的专利平台
掌桥专利
首页

图像检测方法和相关装置、设备、存储介质

文献发布时间:2023-06-19 12:02:28


图像检测方法和相关装置、设备、存储介质

技术领域

本申请涉及图像处理技术领域,特别是涉及一种图像检测方法和相关装置、设备、存储介质。

背景技术

目前,在材料计算领域物体表面析出相的检测工作都是依赖人工。例如,在对碳化物的析出相的检测过程中,需要有经验的人员通过专门的软件手动对析出相进行标注,对于比较熟练的人员而言,若标注一百套数据,则需要耗时十几甚至二十多个工作日,由此可见,这种通过使用人工检测的效率太低,急需一种能够提高物体表面析出相检测效率的方法。

发明内容

本申请至少提供一种图像检测方法和相关装置、设备、存储介质。

本申请第一方面提供了一种图像检测方法,包括:获取待检测图像,其中,待检测图像包括物体的表面特征信息;利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果。

因此,直接利用图像检测模型对包含物体表面特征信息的待检测图像进行检测,即可得到关于物体的析出相的检测结果,无需人工检测,提高了检测效率。

其中,检测结果包括待检测图像中的像素点分别属于至少一种类别的概率,至少一种类别包括至少一种析出相。

因此,通过获取待检测图像中各个像素点分别属于各个类别的概率精确到像素,能够提高对待检测图像的检测精度。

其中,析出相包括初生相和次生相中的至少一种;和/或,至少一种类别还包括背景。

因此,通过将待检测图像中各个像素点的类别精确到初生相、次生相以及背景,提高了分类精度。

其中,在利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果之前,方法还包括:利用待检测图像得到若干张子图像,其中,每张子图像包括待检测图像中的至少部分像素点;利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果,包括:将若干张子图像输入图像检测模型,以得到各子图像对应的第二检测结果;其中,第一检测结果包括各子图像对应的第二检测结果。

因此,通过将待检测图像分为多张子图像,然后分别对子图像进行检测得到各子图像的检测结果,可以减小因待检测图像过大导致检测效率过低的问题出现。

其中,若干张子图像均为预设尺寸;和/或,若干张子图像的组合能够包含待检测图像中的所有像素点。

因此,通过将子图像固定在预设尺寸,使得检测过程中图像检测模型无需根据待检测图像的大小调整参数,能够加快图像检测速度。另外,子图像的像素点之和包含待检测图像中的所有像素点,可保证对待检测图像的完整检测。

其中,利用待检测图像得到若干张子图像,包括:利用预设尺寸的滑窗,依次从待检测图像中提取子图像,直至待检测图像的所有区域均被提取。

因此,通过滑窗的方式提取子图像且提取的子图像之间的像素点尽可能少,能够减小像素点被重复检测的数量,从而减小图像检测模型的计算量。

其中,子图像对应的第二检测结果包括子图像中的像素点分别属于至少一种类别的概率,至少一种类别包括至少一种析出相;在利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果之后,方法还包括:基于子图像对应的第二检测结果中各像素点的概率,确定子图像的第一分类结果,其中,第一分类结果包括子图像中的像素点所属的类别;将各子图像的第一分类结果进行融合,得到待检测图像的第二分类结果,其中,第二分类结果包括待检测图像中各所像素点所属的类别;或者将各子图像的第二检测结果进行融合,得到第三检测结果,其中,第三检测结果包括待检测图像中各所像素点的概率;基于第三检测结果中各像素点的概率,确定待检测图像的第二分类结果。

因此,能够获得待检测图像的完整检测结果,进而可将该完成检测结果呈现给用户,而且相比于直接呈现各子图像的检测结果,将各子图像的结果进行融合后呈现待检测图像的完整检测结果,可提高了检测结果的可视度。

其中,在利用待检测图像得到若干张子图像之后,方法还包括:记录每张子图像在待检测图像中的第一位置信息,并在子图像之间包含相同的像素点的情况下,记录相同的像素点在子图像中的第二位置信息;将各子图像的第一分类结果或第二检测结果进行融合,包括:参考第一位置信息和第二位置信息,将各子图像的第一分类结果或第二检测结果进行拼接。

因此,通过这种方式可以将各子图像重新拼接为待检测图像,实现子图像的检测结果的融合,进而获得待检测图像的完整检测结果。

其中,在利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果之前,方法还包括以下至少一个步骤:将待检测图像转换成预设格式;从多个图像检测模型中,选择与待检测图像的参数匹配的图像检测模型,其中,待检测图像的参数包括拍摄参数和实验参数中的至少一种,选择的图像检测模型用于对待检测图像进行检测。

因此,通过将待检测图像转换为预设格式可能更好地适应图像检测模型。从多个图像检测模型中选择与待检测图像的参数匹配的图像检测模型,使得单个图像检测模型能够有针对性地检测具有特定参数的待检测图像,从而提高检测准确性。

其中,图像检测模型是利用训练样本图像训练得到的;其中,训练样本图像经过预处理的,预处理包括高斯模糊处理、裁剪和旋转中的至少一种;和/或,图像检测模型的训练参数是根据用户输入信息调整得到的,训练参数包括图像检测模型的学习率和/或迭代训练次数。

因此,通过对训练样本图像进行预处理,使得训练完成的图像检测模型能够对多种形式的待检测图像进行处理,从而提高了图像检测模型的适应性。

其中,在利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果之后,方法还包括:获取第一检测结果的正确率;在正确率不满足预设要求的情况下,重新训练一图像检测模型。

因此,通过在待检测结果的正确率不满足要求的情况下,重新训练一个图像检测模型,使得图像检测模型可以及时的迭代更新,以便适应更多样式的待检测图像。

其中,获取待检测图像,包括:获取并存储用户上传的原始图像;接收网络端发送的图像检测请求,其中,图像检测请求包括图像存储位置;响应图像检测请求,从图像存储位置读取原始图像以作为待检测图像。

因此,不同网络端均可通过发送图像检测请求,来触发实现对待检测图像的检测,无需网络端具有检测功能,故可降低对网络端处理能力的要求,降低了本方案的使用难度,进而提高了实用性。

其中,响应图像检测请求,从图像存储位置读取原始图像以作为待检测图像,包括:在图像存储位置包括多张原始图像的情况下,从图像存储位置中读取预设类型的原始图像,以作为待检测图像;和/或,在接收网络端发送的图像检测请求之后,方法还包括以下至少一个步骤:向网络端反馈待检测图像的处理情况;响应于网络端发送的停止检测请求,停止当前执行步骤,其中,当前执行步骤包括利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果及其后续步骤。

因此,通过在图像存储位置存在多张图像的情况下,仅从存储位置中读取预设类型的原始图像作为待检测图像,以免将其他不符合条件或无需检测的图像输入图像检测模型增加计算量。通过向网络端反馈待检测图像的处理情况使得网络端能够及时查看图像检测进度。通过接收网络端发送的停止检测请求,停止当前执行步骤,使得在发生异常情况时,能够及时作出反应。

本申请第二方面提供了一种图像检测装置,包括:图像获取模块,用于获取待检测图像,其中,待检测图像包括物体的表面特征信息;图像检测模块,用于利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果。

本申请第三方面提供了一种电子设备,包括存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述图像检测方法。

本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述图像检测方法。

上述方案,直接利用图像检测模型对包含物体表面特征信息的待检测图像进行检测,即可得到关于物体的析出相的检测结果,无需人工检测,提高了检测效率。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。

图1是本申请图像检测方法一实施例的流程示意图;

图2是本申请图像检测方法一实施例中示出从待检测图像中提取子图像的过程示意图;

图3是本申请图像检测方法一实施例的部分流程示意图;

图4是本申请图像检测装置一实施例的结构示意图;

图5是本申请电子设备一实施例的结构示意图;

图6是本申请计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面结合说明书附图,对本申请实施例的方案进行详细说明。

以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。

本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

本申请可应用于具备图像处理能力的设备。此外,该设备可以具备图像采集或是视频采集功能,比如,该设备可以包括诸如摄像头等用于采集图像或是视频的部件。或是该设备可以通过与其他设备进行数据传输或是数据交互的方式,以从其他设备中获取所需的视频流或是图像,或是从其他设备的存储资源中访问所需的视频流或是图像等。其中,其他设备具备图像采集或是视频采集功能,且与该设备之间具备通信连接,比如,该设备可以与其他设备之间通过蓝牙、无线网络等方式进行数据传输或是数据交互,在此对于二者之间的通信方式不予限定,可以包括但不限于上述例举的情况。在一种实现方式中,该设备可以包括手机、平板电脑、可交互屏幕等,在此不予限定。

请参阅图1,图1是本申请图像检测方法一实施例的流程示意图。具体而言,可以包括如下步骤:

步骤S11:获取待检测图像,其中,待检测图像包括物体表面特征信息。

其中,物体为碳化物。待检测图像可以是对碳化物进行扫描得到的电镜扫描图像或直接对碳化物表面进行拍摄得到的图像。当然,在其他实施例中,待检测图像可以是经过预设处理之后的图像,预设处理可以是调整亮度、分辨率等。

获取待检测图像的方式有多种,例如,获取待检测图像的存储位置,然后通过访问该存储位置以获得待检测图像,或者通过各种传输方式,从其他设备中获取待检测图像,使得执行图像检测方法的设备能够对待检测图像进行检测。

步骤S12:利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果。

其中,图像检测模型可以是卷积神经网络模型,例如U-net网络。第一检测结果的呈现方式可以是在待检测图像中标注析出相所在位置以及各位置为析出相的概率等等。

其中,析出相指的是材料中以非连续状态分布于机体相中的,且在其中不可能包括有其他相的相。一些具体场景中,可以按照不同的分类方法得到析出相的类别,例如,按照与机体晶体之间的配合关系,分为共格、半共格和非共格析出相,按运动位错越过析出相颗粒的机制,分为可变形和不可变形析出相,按受到外力时与基体之间的结合被破坏的方式,分为解聚型和断裂型析出相,按化学组成特征,可将析出相分为正常价化合物、单质、金金属间化合物、间隙相和间隙化合物。当然,析出相具体还可以分为初生相和次生相。其中,初生相指的是包晶、亚共晶或过共晶凝固过程中首先从液相中形成的固相。次生相是初生相形成后的生长过程中,随后析出的其他相,其生长形态受初生相的约束。

上述方案,直接利用图像检测模型对包含物体表面特征信息的待检测图像进行检测,即可得到关于物体的析出相的检测结果,无需人工检测,提高了检测效率。

一些公开实施例中,图像检测模型是利用训练样本图像训练得到的。其中,训练样本图像可以是经过预处理的,也可以是未经过预处理的。

预处理方式可以是高斯模糊处理、裁剪以及旋转中的至少一种。其中,高斯模糊处理又可称之为高斯平滑,主要作用就是减少图像噪声以及降低细节层次,主要的做法是根据高斯曲线调节像素色值,有选择地模糊图像。裁剪,指的是将训练样本图像裁剪为不同大小的图像,例如将训练样本图像裁剪成尺寸为1024*2048或512*512大小的图像,当然,这尺寸仅是举例,在其他实施例中完全可以采取裁剪为其他尺寸的图像,因此,关于裁剪的尺寸此处不做具体规定。旋转可以是将训练样本图像旋转90°、180°或270°。当然,在其他实施例中,预处理方式还可以是调整分辨率等。

其中,图像检测模型的训练参数可以是根据用户输入信息调整得到的。训练参数包括图像检测模型的学习率和/或迭代训练次数。其中,调整学习率的方式可以是循环学习率、按照一定规律逐步降低或增大学习率。其中,循环学习率指的是周期性地在两个阈值之间调整学习率大小。当然,这仅是部分调整学习率的方式,其他任何调整学习率的方式均可,不限于上述几种方式。迭代训练次数包括某一批次的训练样本图像用于迭代训练图像检测模型的次数。可选地,用户输入信息可以是在训练图像检测模型之前获得,也可以是在训练图像检测模型的过程中获得,即在训练过程中根据最新获得的用户输入信息调整图像检测模型的训练参数。本公开实施例中,可以根据用户输入信息动态调整图像检测模型的学习率和/或迭代训练次数,在其他实施例中,还可固定图像检测模型的学习率和/或迭代训练次数。通过对训练样本图像进行预处理,使得训练完成的图像检测模型能够对多种形式的待检测图像进行处理,从而提高了图像检测模型的适应性。

进一步地,可根据训练样本图像的参数不同,训练多个图像检测模型。即,不同参数的训练样本图像可分别对应不同的图像检测模型。其中,这里的参数可以是拍摄参数和/或实验参数。其中,拍摄参数指的是拍摄设备在拍摄或扫描得到该训练样本时所使用的参数,例如电镜拍摄参数。而实验参数可以是拍摄或扫描物体时所处的环境参数或物体本身的参数等,例如环境温度或物体自身温度等等。当然,还可训练一个或多个对应多种参数的图像检测模型,使得训练完成之后的图像检测模型能够至少适用于一种或多种参数的待检测图像。

一些公开实施例中,获取待检测图像的方式包括以下步骤:获取并存储用户上传的原始图像。接收网络端发送的图像检测请求,其中,图像检测请求包含图像存储位置。其中,网络端可以使用执行图像检测方法的设备提供的网络接口,以post的方式发送图像检测请求。具体地,这里的接口为http接口。当然,获取并存储用户上传的原始图像与接收网络端发送的图像检测请求之间可以并非连续,可以间隔较长的时间,例如,间隔几个小时或几天等。即,获取并存储用户上传的原始图像与接收网络端发送的图像检测请求之间没有间隔时间要求。其中,这里的用户和网络端可以相同,也可以不同。例如,用户和/或网络端可以是执行图像检测方法的设备的使用者,也可以是与执行图像检测方法的设备上的网络接口连接的设备。在接收到网络端发送的图像检测请求之后,响应图像检测请求,从图像存储位置读取原始图像以作为待检测图像。不同网络端均可通过发送图像检测请求,来触发实现对待检测图像的检测,无需网络端具有检测功能,故可降低对网络端处理能力的要求,降低了本方案的使用难度,进而提高了实用性。

其中,在图像存储位置包括多张原始图像的情况下,从图像存储位置中读取预设类型的原始图像,以作为待检测图像。其中,也即是说图像检测请求中可以携带用于指示单个原始图像所在存储位置,也可以携带用于指示若干张原始图像所在存储位置,例如指示一个或多个文件夹。当然,图像检测请求中可以仅携带用于指示单个图像所在存储位置或用于指示若干张原始图像所在存储位置,也可以同时携带这两种指示。其中,一个文件夹下或许并不是所有的图像都需要进行图像检测,因此,为减少过多无需进行图像检测的原始图像输入到图像检测模型中,因计算量的增加,导致图像检测效率降低的问题出现,需要判断原始图像是否为预设类型的原始图像,例如,预设类型可以是文件后缀为svg.以及tif.的电镜扫描图像等,这里预设类型仅为举例,其他实施例中,还可以其他类型的图像,例如后缀为png.的电镜扫描图像等。若判断结果是原始图像为预设类型,则将其作为待检测图像。因此,通过在图像存储位置存在多张图像的情况下,仅从存储位置中读取预设类型的原始图像作为待检测图像以免将其他不符合条件或无需检测的图像输入图像检测模型增加计算量。

一些公开实施例中,在接收网络端发送的图像检测请求之后,还可包括以下至少一个步骤:

一是向网络端反馈待检测图像的处理情况。处理情况包括对待检测图像当前所处的状态,例如待检测图像处于等待中、待检测图像正在处理中、待检测图像已处理完毕、待检测图像处理完毕且没有其他待检测图像需要处理服务挂起,当然,处理情况还包括本次图像检测请求的唯一标识以及服务的版本号。当接收到图像检测请求之后,会对图像检测请求设置对应的标识以区分不同时刻接收到的图像检测请求,其中,不同的图像检测请求的标识不同。当然,在其他实施例中,图像检测请求的标识可以按照一定的规律循环设置。通过向网络端反馈待检测图像的处理情况使得网络端能够及时查看图像检测进度。通过区分不同图像检测请求的标识,以便后续查验或检查是否所有应该进行检测的图像都已进行图像检测,或者若图像检测过程中若出现了故障,则可以将未成功进行图像检测的待检测图像在故障排除之后,重新进行图像检测。服务的版本号可以是服务端的版本号或进行图像检测的次数。

二是由于待检测图像一般所占内存较大,考虑到在图像检测过程中难免出现故障等情况,因此,本方法还包括响应于网络端发送的停止检测请求,停止当前执行步骤。其中,当前执行步骤包括利用图像检测模型对待检测图像进行检测,得到物体的析出相的第一检测结果以及后续步骤。可选地,停止检测请求后若干时间内没有接收到网络端发送的启动检测请求,则保存当前执行记录并进入待机模式以节省电力资源。通过接收网络端发送的停止检测请求,停止当前执行步骤,使得在发生异常情况时,能够及时作出反应。

其中,在获得待检测图像之后,且在利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果之前,还包括以下至少一个步骤:一是将待检测图像转换为预设格式。预设格式可以是后缀为png.的图像格式,当然,这格式仅为举例,在其他实施例中可以根据用户需求或使用方便转换为其他类型的图像,关于预设格式此处不做具体规定。通过将所有需要进行图像检测的待检测图像转换为预设格式的图像,统一了输入图像检测模型的标准,从而加快了图像检测的速度以及提高了图像检测的准确度。二是从多个图像检测模型中,选择与待检测图像的参数匹配的图像检测模型。其中,待检测图像的参数包括拍摄参数和实验参数中的至少一种。其中,获取待检测图像的参数的方式包括但不限于以下几种:通过对待检测图像进行分析,得到待检测图像对应的参数,或,在用户上传待检测图像时,同时上传待检测图像的参数。具体地,可以是用户上传待检测图像时,以待检测图像的参数作为图像名,或待检测图像以压缩包或文件上传时,可以用待检测图像的参数作为对应的压缩包的名称或文件的名称。如上述,图像检测模型在训练过程中就会根据训练样本图像的拍摄参数和/或实验参数训练不同的图像检测模型,即,与待检测图像参数匹配的图像检测模型是利用与该参数对应的训练样本图像训练得到。通过将待检测图像转换为预设格式可能更好地适应图像检测模型。从多个图像检测模型中选择与待检测图像的参数匹配的图像检测模型,使得单个图像检测模型能够有针对性地检测具有特定参数的待检测图像,从而提高检测准确性。

可选地,在利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果之前,还包括以下步骤,首先利用待检测图像得到若干张子图像,其中,每张子图像包括待检测图像中的至少部分像素点。具体地,若干子图像均为预设尺寸,和/或若干子图像的组合能够包含待检测图像中的所有像素点。即这主要包含以下几种情况,第一种若干子图像均为预设尺寸但若干子图像的组合未能包含待检测图像中的所有像素点,第二种若干子图像并非均为预设尺寸但若干子图像的组合能够包含待检测图像中的所有像素点,第三种若干子图像均为预设尺寸且若干子图像的组合能够包含待检测图像中的所有像素点。其中,以上几种方式均可,本公开实施例以第三种为例。通过将子图像固定在预设尺寸,使得检测过程中图像检测模型无需根据待检测图像的大小调整参数,能够加快图像检测速度。另外,子图像的像素点之和包含待检测图像中的所有像素点,可保证对待检测图像的完整检测。

具体地,利用预设尺寸的滑窗,依次从待检测图像中提取子图像,直至待检测图像的所有区域均被提取。其中,每次提取的子图像与之前提取的子图像之间尽可能少相同的像素点。尽可能少其意思是若能没有相同的像素点就没有相同的像素点。其中,利用滑窗提取子图像的方式可以是从待检测图像的预设位置开始,例如预设位置可以是待检测图像的四个顶点。滑窗以其尺寸为步长移动,例如滑窗的尺寸为512*512,则滑窗移动的步长为512,滑窗通过按照其尺寸为步长移动,提取滑窗覆盖区域作为子图像,若待检测图像中剩余未提取区域的长宽均大于滑窗的长宽,则滑窗直接提取一个与之前提取区域完全不重叠的区域,如果剩余未提取区域的长或宽小于滑窗的长或宽,则移动滑窗,使得滑窗覆盖区域的长宽刚好等于滑窗的长宽,这种情况下,滑窗在提取未提取区域的基础上,也提取了部分已提取区域,即某些像素点被提取了至少两次。例如,滑窗移动到最后一行或最后一列发现提取的子图像尺寸不满足预设尺寸,则将滑窗往左移或上移直至子图像的尺寸符合预设尺寸为止,此时,称滑窗往左或上移为满足子图像预设尺寸的移动过程为逆向移动。通过滑窗的方式提取子图像且提取的子图像之间的像素点尽可能少,能够减小像素点被重复检测的数量,从而减小图像检测模型的计算量。

为更好地理解从待检测图像中提取子图像的过程,请参见下例:

同时参见图2,图2是本申请图像检测方法一实施例中示出从待检测图像中提取子图像的过程示意图。如图2所示,待检测图像B中的像素为6*8,滑窗的尺寸为3*3,即预设尺寸为3*3,所以滑窗的移动步长为3,其中,区域A是滑窗在待检测图像B中首次覆盖的区域,该区域对应从待检测图像B中提取的第一张子图像,区域A

其中,在利用待检测图像得到若干子图像之后,记录每张子图像在待检测图像中的第一位置信息,并在子图像之间包含相同的像素点的情况下,记录相同的像素点在子图像中的第二位置信息。具体地,是在不同的子图像之间包含相同的像素点的情况下,记录相同的像素点在子图像中的第二位置信息。当然,还可记录存在逆向移动这一操作。其中,第一位置信息可以是子图像中某个预设点在待检测图像中的位置,第二位置信息可以是所有重复提取的像素点在子图像中的位置信息,也可以是重复提取的像素点围成区域的边界所在子图像中的位置信息,除此之外,任何能够指示两个子图像所包含的相同像素点在各自子图像中的位置均可,此处不做具体规定。

接着,将若干张子图像输入图像检测模型,以得到各子图像对应的第二检测结果。其中,第一检测结果包括各子图像对应的第二检测结果。其中,第一检测结果包括待检测图像中的像素点分别属于至少一种类别的概率。至少一种类别包括至少一种析出相。这里的像素点指的是待检测图像中所有像素点。通过获取待检测图像中各个像素点分别属于各个类别的概率精确到像素,能够提高对待检测图像的检测精度。析出相包括初生相和次生相中的至少一种。至少一种类别还包括背景。第一检测结果包括待检测图像中所有像素点分别属于初生相、次生相和/或背景的概率。通过获取待检测图像中各个像素点分别属于各个类别的概率精确到像素,能够提高对待检测图像的检测精度。

其中,第二检测结果包括子图像中的像素点分别属于至少一种类别的概率。至少一种类别包括至少一种析出相。其中,类别包括初生相、次生相以及背景。接着,基于子图像对应的第二检测结果中各像素点的概率确定子图像的第一分类结果。其中,第一分类结果包括子图像中的像素点所属的类别。例如,某像素点是属于初生相、次生相还是背景。具体地,若某像素点的属于初生相的概率为0.2,属于次生相的概率为0.7,属于背景的概率为0.1,则确定该像素点的第一分类结果为次生相。将各子图像的第一分类结果进行融合,得到待检测图像的第二分类结果,其中,第二分类结果包括待检测图像中各像素点所属的类别。

其中将各子图像的第一分类结果进行融合的方式可以是参考第一位置信息和第二位置信息,将各子图像的第一分类结果进行拼接。通过这种方式可以将各子图像拼接为待检测图像。将各子图像的第一分类结果进行拼接即可得到待检测图像的分类结果。当然,在存在不同子图像中包含相同的像素的情况下,一般相同像素在不同的子图像中的分类结果相同,若出现相同像素在不同的子图像中的分类结果不同,则以其中一个子图像中的分类结果为准。进一步地,若出现位置邻近的多个像素在不同的子图像中的分类结果不一致时,所有像素点以其中一共同子图像的分类结果为准,同时在待检测图像的分类结果中标注这些像素为歧义像素以表示这些像素的分类结果有可能不准确。一般析出相所占像素不止一个像素,因此,只有在邻近多个像素的分类结果均存在问题的情况下,才在最终得到的待检测图像的分类结果中进行标注。通过标注歧义像素,以便后续用户在使用待检测图像或对图像检测结果的准确率进行评估时,能够有所参考。

当然,在他实施例中,可以先将各子图像的第二检测结果进行融合,得到第三检测结果。其中,第三检测结果包括待检测图像中各像素点的概率。并给予第三检测结果中各像素点的概率,确定待检测图像的第二分类结果。根据像素点的概率确定分类结果的方式如上述,此处不再赘述。将各子图像的第二检测结果进行融合的方式参见上述将各子图像的第一分类结果进行融合的方式,此处不做赘述。

其中,包含第一或第二分类结果的待检测图像可以是黑白的,也可以是彩色的。第一分类结果和第二分类结果的表现形式可以是采用0-2标识各像素点的分类情况,例如,0表示背景、1表示初生相、2表示次生相,第一分类结果和第二分类结果的表现形式还可以是通过不同的颜色以表示各像素点的分类情况,关于各个类别表示颜色的选择,此处不做具体规定。

当然,若图像检测请求中指示的图像存储位置中包括多张经过图像检测的图像,则将这部分图像对应的检测结果存储至同一存储位置。例如,图像存储位置为文件夹时,则将文件夹下确定的待检测图像对应的检测结果仍存储在同一文件夹下,其中,存储待检测图像的文件夹与存储待检测图像检测结果的文件夹可以相同也可以不同,此处不做具体规定。

为更好地理解上述从待检测图像中提取子图像,对子图像进行图像检测之后进而得到待检测图像的检测结果的过程,请参见下例:

同时参见图3,图3是本申请图像检测方法一实施例的部分流程示意图。如图3所示,在获得待检测图像之后,执行以下步骤。

步骤S21:利用预设尺寸的滑窗,依次从待检测图像中提取子图像。

其中,具体从待检测图像中提取子图像的方式如上述,此处不再赘述。

步骤S22:将若干子图像输入图像检测模型,以得到各子图像对应的第二检测结果。

其中,可以是按照各个子图像的提取顺序输入到图像检测模型,然后得到各子图像的第二检测结果。当然,在其他实施例中还可以是将部分各子图像并行输入图像检测模型,利用图像检测模型中的各分支对子图像进行图像检测。其中,第二检测结果所包含的内容如上述,此处不再赘述。在获得各子图像对应的第二检测结果之后,可以选择执行步骤S231或步骤S232中的一个。

步骤S231:基于子图像对应的第二检测结果中各像素点的概率,确定子图像的第一分类结果。

具体地,确定子图像的第一分类结果的过程如上述,此处不再赘述。

步骤S241:将各子图像的第一分类结果进行融合,得到待检测图像的第二分类结果。

其中,将各子图像的第一分类结果进行融合,得到待检测图像的第二分类结果的具体步骤如上述,此处不再赘述。

步骤S232:将各子图像的第二检测结果进行融合,得到第三检测结果。

其中,将各子图像的第二检测结果进行融合,得到第三检测结果的具体步骤如上述,此处不再赘述。

步骤S242:基于第三检测结果中各像素点的概率,确定待检测图像的第二分类结果。

其中,基于第三检测结果中各像素点的概率,确定待检测图像的第二分类结果的具体步骤如上述,此处不再赘述。

一些公开实施例中,在得到关于物体的析出相的第一检测结果之后,获取第一检测结果的正确率,在正确率不满足预设要求的情况下,重新训练一图像检测模型。其中,获取第一检测结果的正确率的方式可以是根据网络端输入确定。预设要求可以是正确率百分之八十,当然,在他实施例中,预设要求可根据具体需求确定,此处不对预设要求做过多限定。通过重新训练一图像检测模型使得更好地适应参数不断变化的待检测图像。

上述方案,直接利用图像检测模型对包含物体表面特征信息的待检测图像进行检测,即可得到关于物体的析出相的检测结果,无需人工检测,提高了检测效率。

其中,图像检测方法的执行主体可以是图像检测装置,例如,图像检测方法可以由终端设备或服务器或其它处理设备执行,其中,终端设备可以为用户设备(UserEquipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该图像检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

请参阅图4,图4是本申请图像检测装置一实施例的结构示意图。图像检测装置30包括图像获取模块31以及图像检测模块32。其中,图像获取模块31,用于获取待检测图像,其中,待检测图像包括物体的表面特征信息。图像检测模块32,用于利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果。

上述方案,直接利用图像检测模型对包含物体表面特征信息的待检测图像进行检测,即可得到关于物体的析出相的检测结果,无需人工检测,提高了检测效率。

一些公开实施例中,检测结果包括待检测图像中的像素点分别属于至少一种类别的概率,至少一种类别包括至少一种析出相。

上述方案,通过获取待检测图像中各个像素点分别属于各个类别的概率精确到像素,能够提高对待检测图像的检测精度。

一些公开实施例中,析出相包括初生相和次生相中的至少一种;和/或,至少一种类别还包括背景。

上述方案,通过将待检测图像中各个像素点的类别精确到初生相、次生相以及背景,提高了分类精度。

一些公开实施例中,图像检测模块32在利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果之前,图像获取模块31还用于:利用待检测图像得到若干张子图像,其中,每张子图像包括待检测图像中的至少部分像素点;图像检测模块32利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果,包括:将若干张子图像输入图像检测模型,以得到各子图像对应的第二检测结果;其中,第一检测结果包括各子图像对应的第二检测结果。

上述方案,通过将待检测图像分为多张子图像,然后分别对子图像进行检测得到各子图像的检测结果可以减小因待检测图像过大导致检测效率过低的问题出现。

一些公开实施例中,若干张子图像均为预设尺寸;和/或,若干张子图像的组合能够包含待检测图像中的所有像素点。

上述方案,通过将子图像固定在预设尺寸,使得检测过程中图像检测模型无需根据待检测图像的大小调整参数,能够加快图像检测速度。另外,子图像的像素点之和包含待检测图像中的所有像素点,可保证对待检测图像的完整检测。

一些公开实施例中,图像获取模块31利用待检测图像得到若干张子图像,包括:利用预设尺寸的滑窗,依次从待检测图像中提取子图像,直至待检测图像的所有区域均被提取。

上述方案,通过滑窗的方式提取子图像且提取的子图像之间的像素点尽可能少,能够减小像素点被重复检测的数量,从而减小图像检测模型的计算量。

一些公开实施例中,子图像对应的第二检测结果包括子图像中的像素点分别属于至少一种类别的概率,至少一种类别包括至少一种析出相;图像检测模块32在利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果之后,还用于:基于子图像对应的第二检测结果中各像素点的概率,确定子图像的第一分类结果,其中,第一分类结果包括子图像中的像素点所属的类别;将各子图像的第一分类结果进行融合,得到待检测图像的第二分类结果,其中,第二分类结果包括待检测图像中各所像素点所属的类别;或者将各子图像的第二检测结果进行融合,得到第三检测结果,其中,第三检测结果包括待检测图像中各所像素点的概率;基于第三检测结果中各像素点的概率,确定待检测图像的第二分类结果。

上述方案,能够获得待检测图像的完整检测结果,进而可将该完成检测结果呈现给用户,而且相比于直接呈现各子图像的检测结果,将各子图像的结果进行融合后呈现待检测图像的完整检测结果,可提高了检测结果的可视度。

一些公开实施例中,在利用待检测图像得到若干张子图像之后,图像获取模块31还用于记录每张子图像在待检测图像中的第一位置信息,并在子图像之间包含相同的像素点的情况下,记录相同的像素点在子图像中的第二位置信息;图像检测模块32将各子图像的第一分类结果或第二检测结果进行融合,包括:参考第一位置信息和第二位置信息,将各子图像的第一分类结果或第二检测结果进行拼接。

上述方案,通过这种方式可以将各子图像重新拼接为待检测图像,实现子图像的检测结果的融合,进而获得待检测图像的完整检测结果。一些公开实施例中,在利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果之前,图像获取模块31还用于执行以下至少一个步骤:将待检测图像转换成预设格式;从多个图像检测模型中,选择与待检测图像的参数匹配的图像检测模型,其中,待检测图像的参数包括拍摄参数和实验参数中的至少一种,选择的图像检测模型用于对待检测图像进行检测。

上述方案,通过将待检测图像转换为预设格式可能更好地适应图像检测模型。从多个图像检测模型中选择与待检测图像的参数匹配的图像检测模型,使得单个图像检测模型能够有针对性地检测具有特定参数的待检测图像,从而提高检测准确。

一些公开实施例中,图像检测模型是利用训练样本图像训练得到的;其中,训练样本图像经过预处理的,预处理包括高斯模糊处理、裁剪和旋转中的至少一种;和/或,图像检测模型的训练参数是根据用户输入信息调整得到的,训练参数包括图像检测模型的学习率和/或迭代训练次数。

上述方案,通过对训练样本图像进行预处理,使得训练完成的图像检测模型能够对多种形式的待检测图像进行处理,从而提高了图像检测模型的适应性。

一些公开实施例中,图像检测装置还包括训练模块(图未示),在利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果之后,训练模块用于:获取第一检测结果的正确率;在正确率不满足预设要求的情况下,重新训练一图像检测模型。

上述方案,通过在待检测结果的正确率不满足要求的情况下,重新训练一个图像检测模型,使得图像检测模型可以及时的迭代更新以便适应更多样式的待检测图像。

一些公开实施例中,图像获取模块31用于获取待检测图像的方式包括:获取并存储用户上传的原始图像;接收网络端发送的图像检测请求,其中,图像检测请求包括图像存储位置;响应图像检测请求,从图像存储位置读取原始图像以作为待检测图像。

上述方案,不同网络端均可通过发送图像检测请求,来触发实现对待检测图像的检测,无需网络端具有检测功能,故可降低对网络端处理能力的要求,降低了本方案的使用难度,进而提高了实用性。

一些公开实施例中,图像获取模块31响应图像检测请求,从图像存储位置读取原始图像以作为待检测图像,包括:在图像存储位置包括多张原始图像的情况下,从图像存储位置中读取预设类型的原始图像,以作为待检测图像;和/或,在接收网络端发送的图像检测请求之后,图像检测装置30还用于执行以下至少一个步骤:向网络端反馈待检测图像的处理情况;响应于网络端发送的停止检测请求,停止当前执行步骤,其中,当前执行步骤包括利用图像检测模型对待检测图像进行检测,得到关于物体的析出相的第一检测结果及其后续步骤。

上述方案,通过在图像存储位置存在多张图像的情况下,仅从存储位置中读取预设类型的原始图像作为待检测图像以免将其他不符合条件或无需检测的图像输入图像检测模型增加计算量。通过向网络端反馈待检测图像的处理情况使得网络端能够及时查看图像检测进度。通过接收网络端发送的停止检测请求,停止当前执行步骤,使得在发生异常情况时,能够及时作出反应。

上述方案,直接利用图像检测模型对包含物体表面特征信息的待检测图像进行检测,即可得到关于物体的析出相的检测结果,无需人工检测,提高了检测效率。

请参阅图5,图5是本申请电子设备一实施例的结构示意图。电子设备40包括存储器41和处理器42,处理器42用于执行存储器41中存储的程序指令,以实现上述任一图像检测方法实施例中的步骤。在一个具体的实施场景中,电子设备40可以包括但不限于:医疗设备、微型计算机、台式电脑、服务器,此外,电子设备40还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。

具体而言,处理器42用于控制其自身以及存储器41以实现上述任一图像检测方法实施例中的步骤。处理器42还可以称为CPU(Central Processing Unit,中央处理单元)。处理器42可能是一种集成电路芯片,具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器42可以由集成电路芯片共同实现。

上述方案,直接利用图像检测模型对包含物体表面特征信息的待检测图像进行检测,即可得到关于物体的析出相的检测结果,无需人工检测,提高了检测效率。

请参阅图6,图6是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质50存储有能够被处理器运行的程序指令51,程序指令51用于实现上述任一图像检测方法实施例中的步骤。

上述方案,直接利用图像检测模型对包含物体表面特征信息的待检测图像进行检测,即可得到关于物体的析出相的检测结果,无需人工检测,提高了检测效率。

在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

相关技术
  • 图像检测方法、图像显示方法、相关设备及存储介质
  • 图像检测方法及相关装置、设备和存储介质
技术分类

06120113147101