一种矿区影像识别方法、装置、服务器及存储介质

技术领域

本发明涉及图像识别领域，尤其涉及一种矿区影像识别方法、装置、服务器及存储介质。

背景技术

矿产资源是自然资源的重要组成部分，良好的矿业活动秩序是保障采矿生产安全、维护矿业市场公平、稳定推进生态文明建设的重要前提。然而由于利益驱使，偷采、盗采、乱采矿产资源的行为时有发生，尤其是开采门槛低、分布广、效益高的砂石土矿，作为社会建设、工程开发的主要砂石骨料，违法非法开采行为屡禁不止，造成国家资源的巨大损失，严重干扰矿业经济市场，并且带来较大的安全隐患。遥感技术作为自然资源监管工作的重要技术手段，具有大范围、非接触、高时效的特点，能够快发现和甄别地面矿产资源开采情况，是洞察矿业活动秩序异常的敏锐“天眼”。近年来，自然资源主管部门以卫星遥感为主要监测手段，以地面露天采矿图斑为监测对象，通过遥感解译及时掌控矿业活动现状，为监管执法和维护矿产资源开发秩序提供线索。

当前，遥感影像采矿图斑识别工作主要以人工解译的传统方式进行，依赖于大量有经验的技术员逐幅影像提取矿山范围、开采情况等信息，通过对比相关资料识别矿业活动秩序异常的线索，操作过程不仅费时费力，而且最终成果容易受人为主观意识的影响。

为实现遥感影像图斑自动分类识别，国内外学者开展了大量的研究，早期研究常用的方法有BP神经网络、支持向量机(SVM)等，然而这些分类方法难以应用于实际工作，究其原因主要在于其精度无法达到生产需求，因此难以代替人工解译。近年来，深度学习技术在计算机视觉、语音识别、信息检索等方面成效显著，具有高精度、高时效的特点，为多源数据综合处理、特征挖掘、信息提取和预测模拟提供了强有力技术手段，也为遥感影像图斑分类识别提供了新的思路。

基于深度学习模型，Chen等将栈式自编码网络应用于高光谱数据图像分类中，Luus等采用深度卷积神经网络进行遥感影像土地利用分类，Li等提出一种语义分割模型DeepUNet实现了遥感影像海陆分割，Zhao等将实例分割模型Mask R-CNN应用于遥感影像建筑提取。以上深度学习方法，在土地、海洋、建筑等应用场景的研究中均取得了一定的识别效果。

然而，采矿图斑分类识别是一个相对复杂的应用场景，比植被识别、建筑识别、道路分割等更具难度，其原因在于矿区地物构成复杂，几何形状不规则、空间结构和光谱反映不规律、不同矿种图斑特征差异小、成矿规模跨度大，对其特征的提取与总结更加困难，因此识别难度大，导致深度学习模型最终识别精度较差。

发明内容

本发明提供的一种矿区影像识别方法、装置、服务器及存储介质，主要解决的技术问题是：现有深度学习模型对于矿区图斑识别存在学习难度大，识别精度差的问题。

为解决上述技术问题，本发明提供一种矿区影像识别方法，包括：

获取待识别光学卫星遥感影像；

利用预先构建好的矿区影像识别模型，得到所述待识别光学卫星遥感影像的矿区识别结果；

所述矿区影像识别模型通过如下方式构建得到：

获取原始光学卫星遥感影像，对所述原始光学卫星遥感影像进行预处理生成第一图像块集合；

针对所述第一图像块集合中对应的第一图像块，采用预设特征提取算法提取所述第一图像块的纹理特征、光谱特征和指数特征；并基于所述第一图像块的纹理特征、光谱特征和指数特征，生成对应的纹理特征图、光谱特征图和指数特征图；

获取所述第一图像块对应的矿种标注信息；

将所述第一图像块对应的所述纹理特征图、所述光谱特征图、所述指数特征图以及矿种标注信息，输入深度学习模型用于模型训练，通过训练得到矿区影像识别模型。

可选的，所述预设特征提取算法包括纹理特征提取算法、光谱特征提取算法和指数特征提取算法；并利用所述纹理特征提取算法提取所述第一图像块的纹理特征，利用所述光谱特征提取算法提取所述第一图像块的光谱特征，利用所述指数特征提取算法提取所述第一图像块的指数特征。

可选的，所述对所述原始光学卫星遥感影像进行预处理生成第一图像块集合包括：

基于矿区轮廓，圈取矿区图斑；

获取所圈取的所述矿区图斑对应的标注矿种类型；

基于所圈取的所述矿区图斑，生成第二图像块集合；

将所述第二图像块集合中对应的第二图像块，按照设定图像大小进行切割，基于切割得到的图像块生成所述第一图像块集合。

可选的，在所述圈取矿区图斑之前，还包括：

将所述原始光学卫星遥感影像转换为设定空间坐标系，且色彩深度转换为设定色彩深度。

可选的，所述矿区影像识别方法还包括：

按照设定图像大小对所述待识别光学卫星遥感影像进行切割，得到待识别图像块；

采用预设特征提取算法提取所述待识别图像块的纹理特征、光谱特征和指数特征；并基于所述待识别图像块的纹理特征、光谱特征和指数特征，生成对应的纹理特征图、光谱特征图和指数特征图；

将所述待识别图像块对应的纹理特征图、光谱特征图和指数特征图，作为所述矿区影像识别模型的输入，以利用所述矿区影像识别模型得到所述待识别图像块的矿区识别结果；所述待识别光学卫星遥感影像的矿区识别结果基于各所述待识别图像块的矿区识别结果进行整合得到。

可选的，所述矿区识别结果包括矿区轮廓与矿种。

可选的，所述矿区影像识别方法还包括：

获取所述待识别光学卫星遥感影像的影像类型与拍摄时间；

将所述待识别光学卫星遥感影像的矿区识别结果对应的矿区影像转换为矢量图层，计算每个采矿图斑轮廓范围内的中心点坐标，作为对应采矿图斑的坐标信息；

将所述矢量图层与行政区划叠合，获得对应采矿图斑的详细地址；

将所述矢量图层与预设采矿管控区图层叠合，获得每个采矿图斑对应的占地信息；

将所述矢量图层与预设采矿权图层叠合，确定每个采矿图斑对应的采矿行为类型；

将所述待识别光学卫星遥感影像的矿区识别结果对应的矿区影像的坐标系，转换为投影坐标系，计算每个采矿图斑的面积，获得矿区开采面积；

将所述每个采矿图斑对应的所述矿种、所述坐标信息、所述详细地址、所述开采面积、所述占地信息、所述采矿行为类型、所述影像类型与所述拍摄时间进行整合，并获取采矿图斑影像，输出为一张信息整合表格。

本发明还提供一种矿区影像识别装置，包括：

获取模块，用于获取待识别光学卫星遥感影像；

矿区影像识别模型，用于对所述待识别光学卫星遥感影像进行矿区识别并输出矿区识别结果；

模型构建模块，用于按照如下方式构建所述矿区影像识别模型：

获取原始光学卫星遥感影像，对所述原始光学卫星遥感影像进行预处理生成第一图像块集合；

针对所述第一图像块集合中对应的第一图像块，采用预设特征提取算法提取所述第一图像块的纹理特征、光谱特征和指数特征；并基于所述第一图像块的纹理特征、光谱特征和指数特征，生成对应的纹理特征图、光谱特征图和指数特征图；

获取所述第一图像块对应的矿种标注信息；

将所述第一图像块对应的所述纹理特征图、所述光谱特征图、所述指数特征图以及矿种标注信息，输入深度学习模型用于模型训练，通过训练得到矿区影像识别模型。

本发明还提供一种服务器，包括处理器、存储器及通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的一个或者多个程序，以实现如权利要求1至7中任一项所述的矿区影像识别方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的矿区影像识别方法的步骤。

本发明的有益效果是：

根据本发明提供的一种矿区影像识别方法、装置、服务器及存储介质，通过获取待识别光学卫星遥感影像；利用预先构建好的矿区影像识别模型，得到待识别光学卫星遥感影像的矿区识别结果；其中矿区影像识别模型通过如下方式构建得到：获取原始光学卫星遥感影像，对原始光学卫星遥感影像进行预处理生成第一图像块集合；针对第一图像块集合中对应的第一图像块，采用预设特征提取算法提取第一图像块的纹理特征、光谱特征和指数特征；并基于第一图像块的纹理特征、光谱特征和指数特征，生成对应的纹理特征图、光谱特征图和指数特征图；获取第一图像块对应的矿种标注信息；将第一图像块对应的纹理特征图、光谱特征图、指数特征图以及矿种标注信息，输入深度学习模型用于模型训练，通过训练得到矿区影像识别模型。在模型训练过程中，对于不容易被深度学习模型直接学习总结的浅层特征，采用预设特征提取算法提取出相关浅层特征，生成训练数据，有助于深度学习模型继承经验性规则，从而约束深度学习模型训练和识别的错分范围，进而提高了识别矿区识别精度。

附图说明

图1为本发明实施例一的矿区影像识别模型构建方法流程示意图；

图2为本发明实施例一的预处理方法流程示意图；

图3为本发明实施例二的矿区影像识别方法流程示意图；

图4为本发明实施例三的矿区影像识别模型构建与影像识别方法流程示意图；

图5为本发明实施例三的部分原始样本示意图；

图6为本发明实施例三的切割后的样本示意图；

图7为本发明实施例三的特征融合示意图；

图8为本发明实施例三的矿区影像识别方法流程示意图；

图9为本发明实施例三的影像切割方法示意图；

图10为本发明实施例三的预测标注结果示意图；

图11为本发明实施例三的整幅影像预测标注结果示意图；

图12为本发明实施例三的影像图斑预测标注结果整合表格示意图；

图13为本发明实施例四的矿区影像识别模型构建装置结构示意图；

图14为本发明实施例五的矿区影像识别装置结构示意图；

图15为本发明实施例六的服务器结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一：

为了解决现有深度学习模型对于矿区图斑识别存在学习难度大，识别精度差的问题，本实施例提供一种矿区影像识别模型构建方法，通过获取原始光学卫星遥感影像，经预处理后，采用预设特征提取算法提取出相关浅层特征，生成训练数据，以用于训练深度学习模型得到识别精度更高的矿区影像识别模型；而非直接利用深度学习模型来学习影像浅层特征，避免由于影像矿区图斑属性复杂(例如矿区地物构成复杂，空间结构和光谱反映都不统一，规模跨度极大)，较难学习总结，导致模型精度较差的问题；有助于深度学习模型继承经验性规则，从而约束深度学习模型训练和识别的错分范围，进而提高了识别矿区识别精度。

请参见图1，本实施例提供的矿区影像识别模型构建方法主要包括如下步骤：

S101、获取原始光学卫星遥感影像；

光学卫星遥感影像即人眼可见的遥感影像，主要包含可见光和近红外波段，可通过高分一号卫星获取得到，本实施例对此不作限制。

S102、对原始光学卫星遥感影像进行预处理生成第一图像块集合；

第一图像块集合中包含若干图像块，这些图像块可通过对若干原始光学卫星遥感影像进行切分得到。应当理解的是，一张原始光学卫星遥感影像的数据量是很大的，其中可能包含较多个矿区图斑。通过对原始光学卫星遥感影像进行切分，可得到数据量较大的图像块，有利于提高模型训练样本数据量，进而有利于提高训练有效性。

在原始光学卫星遥感影像中，矿区图斑占比相对较低，若直接对原始光学卫星遥感影像进行切分，则存在大量的不包含矿区图斑的无效图像块，太多的无效图像块，一方面影像模型训练效率，另一方面由于样本分布不均衡(存在大量无效样本)，也可能影像模型识别精度。对此，在本发明的其他可选实施例中，可针对原始光学卫星遥感影像首先圈取出所存在的矿区图斑，然后以这些矿区图斑为基础，生成训练数据用于模型训练，提高模型训练效率和模型精度。

具体的，请参见图2所示，主要采用如下预处理方式：

S201、基于矿区轮廓，圈取矿区图斑；

其中矿区图斑的圈取可采用人工圈取方式(人眼对于光学卫星遥感影像矿区图斑的识别是容易的)，具体采用闭合曲线围合矿区图斑即可，例如采用矩形、圆形等闭合曲线圈取。应当理解的是，圈取的大小应当是至少包含矿区图斑，但两矿区图斑之间所圈取范围尽量避免重叠，也即是尽量避免圈取范围过大，保证圈取范围在合理区间范围即可，例如以矿区轮廓为中心外延100像素点作为圈取范围。具体外延范围可灵活设置。

当然，在本发明的一些实施例中，也可以采取自动圈取方式，以减少研发人员的工作量，毕竟原始光学卫星遥感影像中的矿区图斑数量是较大的。例如，采用现有任意轮廓识别算法提取矿区图斑轮廓，然后采用最小矩形框圈取对应的矿区图斑轮廓。进一步的，可对最小矩形框进行适当外延以圈取矿区图斑。

S202、获取所圈取的矿区图斑对应的标注矿种类型；

本实施例中，矿种类型的标注可通过人工方式标注。

其中，矿种类型包括但不限于石灰岩类、砂岩类、页岩类和其他类。

S203、基于所圈取的矿区图斑，生成第二图像块集合；

相对于直接切分的方式，极大降低了数据处理量，提高了模型训练效率。

S204、将第二图像块集合中对应的第二图像块，按照设定图像大小进行切割，基于切割得到的图像块生成第一图像块集合。

这里对第二图像块进行进一步切分以生成若干第一图像块，主要目的在于更好的适配模型需求，例如可更好地适配模型训练设备的硬件性能，提高训练效率和识别精度。具体可采用以设定滑窗大小和设定步长对第二图像块进行切割。设定滑窗大小和设定步长可具体灵活设置，对此不做限制。例如，以256×256像素的滑窗、248像素的步长对第二图像块进行切割。

在对原始光学卫星遥感影像进行预处理过程中，在圈取矿区图斑之前，为了获取更多的训练数据，可获取不同影像来源的原始光学卫星遥感影像，来提升训练数据量，有利于更好的进行模型训练。但这些影像在某些属性上可能存在区别，例如空间坐标系不同，色彩深度不同等，这将影响训练数据的质量。对此，在本发明的其他可选实施例中，将所有原始光学卫星遥感影像转换为设定空间坐标系，且色彩深度转换为设定色彩深度，保证原始光学卫星影像空间坐标系和色彩深度的统一。具体的，空间坐标系可转换为国家2000坐标系下高斯投影3度分带36度带，色彩深度统一转换为8位。应当理解的是，设定空间坐标系与设定色彩深度，具体可基于实际情况灵活设置，至于具体设置为何种具体的空间坐标系和何种具体的色彩深度并不做限制，主要目的在于统一坐标系和色彩深度即可。

S103、针对第一图像块集合中对应的第一图像块，采用预设特征提取算法提取第一图像块的纹理特征、光谱特征和指数特征；

这些特征并不容易被深度学习模型直接学习总结，在训练之前，采用预设特征提取算法提取出相关特征，作为训练输入数据，有助于深度学习模型继承经验性规则，从而约束深度学习模型训练和识别的错分范围，进一步提高识别精度。

本实施例中，预设特征提取算法包括纹理特征提取算法、光谱特征提取算法和指数特征提取算法；并利用纹理特征提取算法提取第一图像块的纹理特征，利用光谱特征提取算法提取第一图像块的光谱特征，利用指数特征提取算法提取所述第一图像块的指数特征。

其中，利用纹理特征提取算法提取第一图像块的纹理特征包括：

对第一图像块进行灰度共生矩阵变换，获得第一图像块的二阶矩、对比度、熵和反差分矩阵4个纹理特征；

可选的，针对第一图像块的每个像元，以像元自身为中心，确定该像元对应的灰度共生矩阵的窗口，根据窗口内的像元像素值，计算得到像元的二阶矩、对比度、熵和反差分矩阵4个纹理特征。

其中确定像元对应的灰度共生矩阵的窗口，具体可按照设定像素范围确定所述像元对应的灰度共生矩阵的窗口；针对位于图像边界处的像元，通过镜像填充的方式，使得位于图像边界处的像元具有与设定像素范围对应大小的窗口。

4个纹理特征的计算方式具体可采用如下方式：

像元的二阶矩ASM，采用如下式计算：

式中，ASM表示二阶矩，m表示窗口像素长度，n表示窗口像素宽度，p

像元的对比度CON，采用如下式计算：

式中，CON表示对比度；

像元的熵ENT，采用如下式计算：

式中，ENT表示熵；

像元的反差分矩阵IDM，采用如下式计算：

式中，IDM表示反差分矩阵。

其中，利用光谱特征提取算法提取第一图像块的光谱特征包括：

对第一图像块进行原始波段拆分，获得第一图像块的红光波段R、绿光波段G、蓝光波段B、近红外光波段NIR 4个光谱特征。

其中，利用指数特征提取算法提取第一图像块的指数特征包括：

利用第一图像块的光谱特征进行遥感指数变换，获得第一图像块的归一化植被指数NDVI、归一化水体指数NDWI、比值植被指数RVI和差值环境植被指数DVI 4个指数特征。

具体的，采用如下式计算第一图像块的归一化植被指数NDVI：

采用如下式计算第一图像块的归一化水体指数NDWI：

采用如下式计算第一图像块的比值植被指数RVI：

采用如下式计算第一图像块的差值环境植被指数DVI：

DVI＝NIR-R

S104、基于第一图像块的纹理特征、光谱特征和指数特征，生成对应的纹理特征图、光谱特征图和指数特征图；

本实施例中，纹理特征图包括二阶矩纹理特征图、对比度纹理特征图、熵纹理特征图和反差分矩阵纹理特征图。

生成对应的纹理特征图包括：

在得到第一图像块的所有像元的二阶矩、对比度、熵和反差分矩阵4个纹理特征后；根据第一图像块的所有像元的二阶矩纹理特征，生成与第一图像块大小一致的二阶矩纹理特征图；

根据第一图像块的所有像元的对比度纹理特征，生成与第一图像块大小一致的对比度纹理特征图；

根据第一图像块的所有像元的熵纹理特征，生成与第一图像块大小一致的熵纹理特征图；

根据第一图像块的所有像元的反差分矩阵纹理特征，生成与第一图像块大小一致的反差分矩阵纹理特征图。

本实施例中，光谱特征图包括红光波段R光谱特征图、绿光波段G光谱特征图、蓝光波段B光谱特征图、近红外光波段NIR光谱特征图。

其中，生成对应的光谱特征图包括：

在得到第一图像块的所有像元的红光波段R、绿光波段G、蓝光波段B和近红外光波段NIR 4个光谱特征后；根据第一图像块的所有像元的红光波段R，生成与第一图像块大小一致的红光波段R光谱特征图；

根据第一图像块的所有像元的绿光波段G，生成与第一图像块大小一致的绿光波段G光谱特征图；

根据第一图像块的所有像元的蓝光波段B，生成与第一图像块大小一致的蓝光波段B光谱特征图；

根据第一图像块的所有像元的近红外光波段NIR，生成与第一图像块大小一致的近红外光波段NIR光谱特征图。

本实施例中，指数特征图包括归一化植被指数NDVI特征图、归一化水体指数NDWI特征图、比值植被指数RVI特征图和差值环境植被指数DVI特征图；

其中，生成对应的指数特征图包括：

在得到第一图像块的所有像元的归一化植被指数NDVI、归一化水体指数NDWI、比值植被指数RVI和差值环境植被指数DVI 4个指数特征后；根据第一图像块的所有像元的归一化植被指数NDVI，生成与第一图像块大小一致的归一化植被指数NDVI特征图；

根据第一图像块的所有像元的归一化水体指数NDWI，生成与第一图像块大小一致的归一化水体指数NDWI特征图；

根据第一图像块的所有像元的比值植被指数RVI，生成与第一图像块大小一致的比值植被指数RVI特征图；

根据第一图像块的所有像元的差值环境植被指数DVI，生成与第一图像块大小一致的差值环境植被指数DVI特征图。

S105、获取第一图像块对应的矿种标注信息；

其中，矿种类型包括但不限于石灰岩类、砂岩类、页岩类和其他类。

S106、将第一图像块对应的纹理特征图、光谱特征图、指数特征图以及矿种标注信息，输入深度学习模型用于模型训练，通过训练得到矿区影像识别模型。

应当理解的是，所采用深度学习模型可根据实际情况灵活选择，本实施例对此不作限制。另外，基于训练数据训练深度学习模型的过程可采用现有任意训练方式，对此不再赘述。

本发明提供的矿区影像识别模型构建方法，在模型训练过程中，对于不容易被深度学习模型直接学习总结的浅层特征，采用预设特征提取算法提取出相关浅层特征，生成训练数据，有助于深度学习模型继承经验性规则，从而约束深度学习模型训练和识别的错分范围，进而提高了矿区识别精度。

实施例二：

本实施基于实施例一通过训练得到矿区影像识别模型的基础上，提供一种应用该矿区影像识别模型实现矿区影像识别的方法，请参见图3，该矿区影像识别方法主要包括：

S301、获取待识别光学卫星遥感影像；

S301、利用矿区影像识别模型，得到待识别光学卫星遥感影像的矿区识别结果。

基于实施例一训练得到的矿区影像识别模型，可有效提升矿区识别精度。

在将待识别光学卫星遥感影像输入矿区影像识别模型之前，可能需要对其进行预处理，以更好地满足模型预测要求，因此在本发明的一些可选实施例中，还可对待识别光学卫星遥感影像进行预处理后输入矿区影像识别模型。

可选的，按照设定图像大小对该待识别光学卫星遥感影像进行切割，得到待识别图像块；

采用预设特征提取算法提取待识别图像块的纹理特征、光谱特征和指数特征；并基于待识别图像块的纹理特征、光谱特征和指数特征，生成对应的纹理特征图、光谱特征图和指数特征图；

将待识别图像块对应的纹理特征图、光谱特征图和指数特征图，作为矿区影像识别模型的输入，以利用矿区影像识别模型得到待识别图像块的矿区识别结果。

由于对待识别光学卫星遥感影像进行切割分成了若干待识别图像块，因此待识别光学卫星遥感影像的矿区识别结果可基于各待识别图像块的矿区识别结果进行整合得到。具体的，可按照切割关系对各各待识别图像块的矿区识别结果(一幅携带有矿区轮廓与矿种信息的小块影像)进行拼接整合得到整个待识别光学卫星遥感影像的矿区识别结果(即存在多少个矿区图斑，各矿区图斑分布、轮廓和对应矿种信息等)。

在本发明的一些可选实施例中，为了更好地展示矿区识别结果，方便更多人浏览需求，在得到待识别光学卫星遥感影像对应的各待识别图像块的矿区识别结果后，可以对各待识别图像块的矿区识别结果进行数据整个，以信息表格的形式进行展示。

可选的，获取待识别光学卫星遥感影像的影像类型与拍摄时间；

将待识别光学卫星遥感影像的矿区识别结果对应的矿区影像转换为矢量图层，计算每个采矿图斑轮廓范围内的中心点坐标，作为对应采矿图斑的坐标信息；

将矢量图层与行政区划叠合，获得对应采矿图斑的详细地址；详细地址以重庆市为例，采用“重庆市-某区(县)-某乡镇(街道)-某村社(组团)”的形式表示。

将矢量图层与预设采矿管控区图层叠合，获得每个采矿图斑对应的占地信息；即是否侵占重点管控区信息及所侵占的管控区名称。重点管控区包含永久基本农田、自然保护区、生态保护红线、国家/地方公益林、高速公路/铁路沿线两侧1km范围。

将矢量图层与预设采矿权图层叠合，确定每个采矿图斑对应的采矿行为类型；包括但不限于合法采矿行为、无证采矿、越界采矿等采矿行为类型。采矿权范围采用全国矿业权人勘查开采信息公示系统。采矿行为的判定方式如下：若采矿图斑完全位于采矿权范围外，则判定该图斑为无证采矿；若采矿图斑部分位于采矿权范围外，则判定该图斑为越界采矿；若采矿图斑完全位于采矿权范围内，则判定该图斑合法采矿。

将待识别光学卫星遥感影像的矿区识别结果对应的矿区影像的坐标系，转换为投影坐标系，计算每个采矿图斑的面积，获得矿区开采面积；

将每个采矿图斑对应的矿种、坐标信息、详细地址、开采面积、占地信息、采矿行为类型、影像类型与拍摄时间进行整合，并获取采矿图斑影像，输出为一张信息整合表格。其中，采矿图斑周边影像可采用图斑外扩设定像素后的矩形窗口进行截图。

实施例三：

本实施例在上述实施例一和/或实施例二的基础上，提供一种矿区影像识别方法，主要包括矿区影像识别模型训练和利用训练好的矿区影像识别模型进行矿区影像识别两部分，请参见图4，主要包括：

1、样本制备

1-1样本采集

获取光学卫星遥感影像，通过圈取图斑轮廓、标注矿种类型，获得大量采矿图斑原始样本，样本量大于5000个。参见图5所示为其中部分样本。

其中光学卫星遥感影像可通过高分一号卫星获得，分辨率分别为2m，均为经校正、配准、融合后的合成影像，含红(R)、绿(G)、蓝(B)、近红外(Nir)四个波段，坐标系统均统一转国家2000坐标系下高斯投影3度分带36度带。

光学卫星遥感影像为高分一号卫星在2018年～2020年重庆市范围内拍摄成功的影像，共约96幅。

矿种类型为石灰岩类、砂岩类、页岩类和其他类共4类矿种。

1-2建立数据集

由于矿区规模不同，将每套原始样本按照一定大小进行切割，获得统一尺寸的新样本数据集，参见图6所示，新样本数据量相较原始样本个数更多。

切割方式为以矿区内的像素为中心、以256×256像素的滑窗、248像素的步长对原始样本进行切割。

2、特征提取与融合

2-1特征提取

2-1-1提取光谱特征

对每个新样本图像的原始波段进行拆分，获得R、G、B、Nir共4个光谱特征。

2-1-2提取纹理特征

对每个新样本图像进行灰度共生矩阵变换(Gray-level co-occurrencematrix)，获得角二阶矩(Angular Second Moment，简称ASM)、对比度(Contrast，简称CON)、熵(Entropy，简称ENT)、反差分矩阵(IDM)4个纹理特征。

ASM是图像灰度分布均匀程度和纹理粗细的一个度量，反映了图像灰度分布均匀程度和纹理粗细度。当图像纹理均一规则时，能量值较大；反之灰度共生矩阵的元素值相近，能量值较小。

CON反映了图像的清晰度和纹理的沟纹深浅。纹理越清晰反差越大对比度也就越大。

ENT度量了图像包含信息量的随机性，表现了图像的复杂程度。当共生矩阵中所有值均相等或者像素值表现出最大的随机性时，熵最大。

IDM又称同质度，反映了纹理的清晰程度和规则程度，纹理清晰、规律性较强、易于描述的值较大。

灰度共生矩阵变换是以图像每个像元(亦称像素点或像元点)为中心，领域5×5像素范围作为该像元灰度共生矩阵的窗口大小，分别计算窗口图块的ASM、CON、ENT、IDM，作为该点所对应的4类纹理特征值，对位于图像边界处的像元，先对图像边界进行镜像填充，确保边界附近像元均能按邻域5×5窗口划分到有效图块。遍历原图所有像元，即可得到与原图尺寸一致的纹理特征图。

2-1-3提取指数特征

对每个新样本图像进行遥感指数变换，获得归一化植被指数(NDVI)、归一化水体指数(NDWI)、比值植被指数(RVI)和差值环境植被指数(DVI)4个指数特征

由于矿区附近植被、水体是最常出现的地物，而房屋出现的情况较少，因此，选择归一化植被指数(NDVI)、归一化水体指数(NDWI)、比值植被指数(RVI)和差值环境植被指数(DVI)作为指数特征量化指标。

NDVI利用红波段(R)和近红外波段(Near Infrared，简称Nir)组合进行运算，是反映植被长势和营养信息的重要参数之一。

NDWI是利用遥感的绿波段(G)和近红外波段(Nir)经过差值处理，提取遥感影像中的水体信息。

RVI比值植被指数RVI是绿色植物的灵敏指示参数，与LAI、叶干生物量(DM)、叶绿素含量相关性高，可用于检测和估算植物生物量。

DVI与NDVI类似，与归一化植被指数类似，DVI同样用于反映植被覆盖情况。

2-2特征融合

2-2-1归一化处理

为消除上述提取的12类浅层特征(二阶矩、对比度、熵和反差分矩阵4个纹理特征，红光波段R、绿光波段G、蓝光波段B、近红外光波段NIR 4个光谱特征，以及归一化植被指数NDVI、归一化水体指数NDWI、比值植被指数RVI和差值环境植被指数DVI 4个指数特征)之间存在的量纲差异，对其进行归一化处理，从而确保特征之间的可比性。

作为优选，采用线性归一法对特征向量进行线性变换，将其映射到与原始影像灰度值区间相同的[0,255]范围内。

2-2-2特征融合

归一化处理后，形成共12维特征向量的融合数据，以此作为后续深度神经网络的输入(参见图7所示)。

3、模型训练

将12维特征向量的融合数据与对应矿种的标注输入深度学习模型进行训练，获得训练后模型。后续分类识别将使用该训练后的模型。

其中，深度学习模型可选用DeepLabV3+。

4、采矿图斑分类识别(参见图8所示)

4-1影像预处理

对输入待测影像预处理，规范空间坐标系、色彩深度，并按照一定大小切割为多幅统一尺寸的待识别图像块。坐标系统均统一转国家2000坐标系下高斯投影3度分带36度带，色彩深度统一为8位，切割方式为以矿区内的像素为中心、以256×256像素的滑窗、248像素的步长对原始样本进行切割，即采取有效区域咬合覆盖的方式进行切割(参见图9所示)。

4-2浅层特征提取

按2-1的方式提取待识别图像块的浅层特征，并按2-2的方式进行特征融合。

4-3采矿图斑预测

4-3-1输入模型识别

将所有待识别图像块的融合特征输入(3、模型训练)训练好的深度学习模型进行识别，获得采矿图斑的预测标注(参见图10所示)。

4-3-2预测结果拼接

采取与4-1切割过程相反的拼接操作，使对应各待识别图像块预测标注拼合为与原输入待测影像尺寸一致的完整图幅(参见图11所示)。

4-4信息分类整合

以上预测结果包含采矿图斑的轮廓形状与矿种信息。将轮廓形状进行一系列空间分析，获得空间分类信息。

4-4-1根据原始输入待测影像，读取影像类型、拍摄时间信息。

其中，影像类型包括但不限于高分一号卫星影像。拍摄时间采用“某年某月”的形式。

4-4-2将预测结果转换为矢量图层，计算每个采矿图斑面状轮廓的中心点坐标，获得坐标信息。其中中心点坐标可采用采矿图斑面状轮廓范围内所有像素点坐标均值计算得到，将中心点与行政区划叠合进行空间分析，以确定中心点所处地址信息，从而作为采矿图斑的详细地址。

其中，矢量图层可采用shapfile文件格式。

将其坐标系转换为投影坐标系，计算每个图斑的面积，获得开采规模(面积)。

坐标信息采用经纬度表示。投影坐标系采用国家2000大地坐标系下高斯投影。

详细地址以重庆市为例，采用“重庆市-某区(县)-某乡镇(街道)-某村社(组团)”的形式表示。

4-4-3将预测结果与重点管控区(即不允许开采的区域)叠合进行空间分析，获得采矿图斑占地信息，即是否侵占重点管控区信息及所侵占的管控区名称。

重点管控区包含永久基本农田、自然保护区、生态保护红线、国家/地方公益林、高速公路/铁路沿线两侧1km范围。

4-4-4将预测结果与采矿权范围(即允许合法开采的区域)叠合进行空间分析，获得采矿行为类型信息，即合法采矿行为、无证采矿、越界采矿。

其中，采矿权范围采用全国矿业权人勘查开采信息公示系统公开的数据。

采矿行为的判定方式如下：

若采矿图斑完全位于采矿权范围外，则判定该图斑为无证采矿；

若采矿图斑部分位于采矿权范围外，则判定该图斑为越界采矿；

若采矿图斑完全位于采矿权范围内，则判定该图斑合法采矿。

4-4-5信息整合

将矿种、坐标、详细地址、开采规模(面积)、占地信息、采矿行为类型、影像类型、拍摄时间八类信息进行整合，并截取采矿图斑周边影像，输出为一张信息整合表格，请参见图12所示。

其中，采矿图斑周边影像可采用图斑外扩100像素后的矩形窗口进行截图。

实施例四：

本实施例在上述实施例一和/或实施例三的基础上，提供一种矿区影像识别模型构建装置，主要用以实现实施例一和/或实施例三中所述的矿区影像识别模型构建方法的至少部分或者全部步骤，请参见图13，该矿区影像识别模型构建装置主要包括：

预处理模块131，用于获取原始光学卫星遥感影像，对原始光学卫星遥感影像进行预处理生成第一图像块集合。

光学卫星遥感影像即人眼可见的遥感影像，主要包含可见光和近红外波段，可通过高分一号卫星获取得到，本实施例对此不作限制。

第一图像块集合中包含若干图像块，这些图像块可通过预处理模块131对若干原始光学卫星遥感影像进行切分得到。应当理解的是，一张原始光学卫星遥感影像的数据量是很大的，其中可能包含较多个矿区图斑。通过对原始光学卫星遥感影像进行切分，可得到数据量较大的图像块，有利于提高模型训练样本数据量，进而有利于提高训练有效性。

在原始光学卫星遥感影像中，矿区图斑占比相对较低，若直接对原始光学卫星遥感影像进行切分，则存在大量的不包含矿区图斑的无效图像块，太多的无效图像块，一方面影像模型训练效率，另一方面由于样本分布不均衡(存在大量无效样本)，也可能影像模型识别精度。对此，在本发明的其他可选实施例中，可针对原始光学卫星遥感影像首先圈取出所存在的矿区图斑，然后以这些矿区图斑为基础，生成训练数据用于模型训练，提高模型训练效率和模型精度。

预处理模块131用于基于矿区轮廓，圈取矿区图斑；获取所圈取的矿区图斑对应的标注矿种类型；基于所圈取的矿区图斑，生成第二图像块集合；将第二图像块集合中对应的第二图像块，按照设定图像大小进行切割，基于切割得到的图像块生成第一图像块集合。

这里对第二图像块进行进一步切分以生成若干第一图像块，主要目的在于更好的适配模型需求，例如可更好地适配模型训练设备的硬件性能，提高训练效率和识别精度。具体可采用以设定滑窗大小和设定步长对第二图像块进行切割。设定滑窗大小和设定步长可具体灵活设置，对此不做限制。例如，以256×256像素的滑窗、248像素的步长对第二图像块进行切割。

在对原始光学卫星遥感影像进行预处理过程中，在圈取矿区图斑之前，为了获取更多的训练数据，可获取不同影像来源的原始光学卫星遥感影像，来提升训练数据量，有利于更好的进行模型训练。但这些影像在某些属性上可能存在区别，例如空间坐标系不同，色彩深度不同等，这将影响训练数据的质量。对此，在本发明的其他可选实施例中，预处理模块131还用于将所有原始光学卫星遥感影像转换为设定空间坐标系，且色彩深度转换为设定色彩深度，保证原始光学卫星影像空间坐标系和色彩深度的统一。具体的，空间坐标系可转换为国家2000坐标系下高斯投影3度分带36度带，色彩深度统一转换为8位。应当理解的是，设定空间坐标系与设定色彩深度，具体可基于实际情况灵活设置，至于具体设置为何种具体的空间坐标系和何种具体的色彩深度并不做限制，主要目的在于统一坐标系和色彩深度即可。

特征提取模块132，用于针对第一图像块集合中对应的第一图像块，采用预设特征提取算法提取第一图像块的纹理特征、光谱特征和指数特征；并基于第一图像块的纹理特征、光谱特征和指数特征，生成对应的纹理特征图、光谱特征图和指数特征图。

这些特征并不容易被深度学习模型直接学习总结，在训练之前，特征提取模块132通过采用预设特征提取算法提取出相关特征，作为训练输入数据，有助于深度学习模型继承经验性规则，从而约束深度学习模型训练和识别的错分范围，进一步提高识别精度。

本实施例中，预设特征提取算法包括纹理特征提取算法、光谱特征提取算法和指数特征提取算法；并利用纹理特征提取算法提取第一图像块的纹理特征，利用光谱特征提取算法提取第一图像块的光谱特征，利用指数特征提取算法提取所述第一图像块的指数特征。

其中，利用纹理特征提取算法提取第一图像块的纹理特征包括：

对第一图像块进行灰度共生矩阵变换，获得第一图像块的二阶矩、对比度、熵和反差分矩阵4个纹理特征；

可选的，针对第一图像块的每个像元，以像元自身为中心，确定该像元对应的灰度共生矩阵的窗口，根据窗口内的像元像素值，计算得到像元的二阶矩、对比度、熵和反差分矩阵4个纹理特征。

其中确定像元对应的灰度共生矩阵的窗口，具体可按照设定像素范围确定所述像元对应的灰度共生矩阵的窗口；针对位于图像边界处的像元，通过镜像填充的方式，使得位于图像边界处的像元具有与设定像素范围对应大小的窗口。

4个纹理特征的计算方式具体可采用如下方式：

像元的二阶矩ASM，采用如下式计算：

式中，ASM表示二阶矩，m表示窗口像素长度，n表示窗口像素宽度，p

像元的对比度CON，采用如下式计算：

式中，CON表示对比度；

像元的熵ENT，采用如下式计算：

式中，ENT表示熵；

像元的反差分矩阵IDM，采用如下式计算：

式中，IDM表示反差分矩阵。

其中，利用光谱特征提取算法提取第一图像块的光谱特征包括：

对第一图像块进行原始波段拆分，获得第一图像块的红光波段R、绿光波段G、蓝光波段B、近红外光波段NIR 4个光谱特征。

其中，利用指数特征提取算法提取第一图像块的指数特征包括：

利用第一图像块的光谱特征进行遥感指数变换，获得第一图像块的归一化植被指数NDVI、归一化水体指数NDWI、比值植被指数RVI和差值环境植被指数DVI 4个指数特征。

具体的，采用如下式计算第一图像块的归一化植被指数NDVI：

采用如下式计算第一图像块的归一化水体指数NDWI：

采用如下式计算第一图像块的比值植被指数RVI：

采用如下式计算第一图像块的差值环境植被指数DVI：

DVI＝NIR-R

特征提取模块132还用于基于第一图像块的纹理特征、光谱特征和指数特征，生成对应的纹理特征图、光谱特征图和指数特征图；

本实施例中，纹理特征图包括二阶矩纹理特征图、对比度纹理特征图、熵纹理特征图和反差分矩阵纹理特征图。

特征提取模块132用于在得到第一图像块的所有像元的二阶矩、对比度、熵和反差分矩阵4个纹理特征后；根据第一图像块的所有像元的二阶矩纹理特征，生成与第一图像块大小一致的二阶矩纹理特征图；根据第一图像块的所有像元的对比度纹理特征，生成与第一图像块大小一致的对比度纹理特征图；根据第一图像块的所有像元的熵纹理特征，生成与第一图像块大小一致的熵纹理特征图；根据第一图像块的所有像元的反差分矩阵纹理特征，生成与第一图像块大小一致的反差分矩阵纹理特征图。

本实施例中，光谱特征图包括红光波段R光谱特征图、绿光波段G光谱特征图、蓝光波段B光谱特征图、近红外光波段NIR光谱特征图。

特征提取模块132用于在得到第一图像块的所有像元的红光波段R、绿光波段G、蓝光波段B和近红外光波段NIR 4个光谱特征后；根据第一图像块的所有像元的红光波段R，生成与第一图像块大小一致的红光波段R光谱特征图；根据第一图像块的所有像元的绿光波段G，生成与第一图像块大小一致的绿光波段G光谱特征图；根据第一图像块的所有像元的蓝光波段B，生成与第一图像块大小一致的蓝光波段B光谱特征图；根据第一图像块的所有像元的近红外光波段NIR，生成与第一图像块大小一致的近红外光波段NIR光谱特征图。

本实施例中，指数特征图包括归一化植被指数NDVI特征图、归一化水体指数NDWI特征图、比值植被指数RVI特征图和差值环境植被指数DVI特征图；

特征提取模块132用于在得到第一图像块的所有像元的归一化植被指数NDVI、归一化水体指数NDWI、比值植被指数RVI和差值环境植被指数DVI 4个指数特征后；根据第一图像块的所有像元的归一化植被指数NDVI，生成与第一图像块大小一致的归一化植被指数NDVI特征图；根据第一图像块的所有像元的归一化水体指数NDWI，生成与第一图像块大小一致的归一化水体指数NDWI特征图；根据第一图像块的所有像元的比值植被指数RVI，生成与第一图像块大小一致的比值植被指数RVI特征图；根据第一图像块的所有像元的差值环境植被指数DVI，生成与第一图像块大小一致的差值环境植被指数DVI特征图。

第一获取模块133，用于获取第一图像块对应的矿种标注信息。

其中，矿种类型包括但不限于石灰岩类、砂岩类、页岩类和其他类。

训练模块134，用于将第一图像块对应的纹理特征图、光谱特征图、指数特征图以及矿种标注信息，输入深度学习模型用于模型训练，通过训练得到矿区影像识别模型。

应当理解的是，所采用深度学习模型可根据实际情况灵活选择，本实施例对此不作限制。另外，基于训练数据训练深度学习模型的过程可采用现有任意训练方式，对此不再赘述。

本发明提供的矿区影像识别模型构建装置，在模型训练过程中，对于不容易被深度学习模型直接学习总结的浅层特征，采用预设特征提取算法提取出相关浅层特征，生成训练数据，有助于深度学习模型继承经验性规则，从而约束深度学习模型训练和识别的错分范围，进而提高了矿区识别精度。

实施例五：

本实施例在上述实施例二和/或实施例三的基础上，提供一种矿区影像识别装置，主要用以实现实施例二和/或实施例三中所述的矿区影像识别模型构建方法的部分或者全部步骤，请参见图14，该矿区影像识别装置主要包括：

第二获取模块141，用于获取待识别光学卫星遥感影像；

矿区影像识别模型142，用于对所述待识别光学卫星遥感影像进行矿区识别并输出矿区识别结果；

模型构建模块143，用于按照如下方式构建矿区影像识别模型：

获取原始光学卫星遥感影像，对原始光学卫星遥感影像进行预处理生成第一图像块集合；

针对第一图像块集合中对应的第一图像块，采用预设特征提取算法提取第一图像块的纹理特征、光谱特征和指数特征；并基于第一图像块的纹理特征、光谱特征和指数特征，生成对应的纹理特征图、光谱特征图和指数特征图；

获取第一图像块对应的矿种标注信息；

将第一图像块对应的纹理特征图、光谱特征图、指数特征图以及矿种标注信息，输入深度学习模型用于模型训练，通过训练得到矿区影像识别模型。具体构建矿区影像识别模型的过程，请参见实施例一中的描述，在此不再赘述。

实施例六：

本实施例在上述实施例二和/或实施例三的基础上，提供一种服务器，主要用以实现实施例二和/或实施例三中所述的矿区影像识别模型构建方法的至少部分或者全部步骤，请参见图15，该矿服务器主要包括：

处理器151、存储器152及通信总线153；

通信总线153用于实现处理器151和存储器152之间的连接通信；

处理器151用于执行存储器152中存储的一个或者多个程序，以实现如实施例二和/或实施例三中所述的矿区影像识别方法的步骤。具体请参见实施例二和/或实施例三中的描述，在此不再赘述。

实施例七：

本实施例在上述实施例二和/或实施例三的基础上，提供一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如实施例二和/或实施例三中所述的矿区影像识别方法的步骤。具体请参见实施例二和/或实施例三中的描述，在此不再赘述。

显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。