图像处理方法、装置、设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及自动驾驶领域，具体涉及一种图像处理方法、装置、设备及存储介质。

背景技术

在数字孪生或自动驾驶等领域，为了仿真环境中还原道路的真实的路标信息，通常需要制作路标的纹理贴图。由于城市系统中的路标数量巨大，如何快速获得路标的纹理贴图逐渐成为研究热点。

发明内容

本公开提供了一种图像处理方法、装置、设备及存储介质。

根据本公开的一方面，提供了一种图像处理方法，包括：根据待提取图像的全景分割结果，确定待提取图像中包含目标对象的第一局部图像以及第一局部图像对应的目标蒙版；确定目标蒙版中与目标对象对应的第一区域的边界；根据第一区域的边界，确定第一区域的定位点；根据定位点的位置信息以及定位点的预期位置信息，对第一局部图像进行透视变换，得到目标对象的目标图像。

根据本公开的另一方面，提供了一种图像处理装置，包括：获取单元，用于根据待提取图像的全景分割结果，确定待提取图像中包含目标对象的第一局部图像以及第一局部图像对应的目标蒙版；第一确定单元，用于确定目标蒙版中与目标对象对应的第一区域的边界；第二确定单元，用于根据第一区域的边界，确定第一区域的定位点；变换单元，用于根据定位点的位置信息以及定位点的预期位置信息，对第一局部图像进行透视变换，得到目标对象的目标图像。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。

根据本公开实施例提供的图像处理方法、装置、设备及存储介质，通过根据待提取图像的全景分割结果，确定待提取图像中包含目标对象的第一局部图像以及第一局部图像对应的目标蒙版；确定目标蒙版中与目标对象对应的第一区域的边界；根据第一区域的边界，确定第一区域的定位点；根据定位点的位置信息以及定位点的预期位置信息，对第一局部图像进行透视变换，得到目标对象的目标图像。可以利用待提取图像自动生成目标对象的目标图像，无需人工处理，省时省力，且效率高。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一实施例提供的图像处理方法的流程图；

图2a至图2g是根据本公开一实施例提供的图像处理方法的过程示意图；

图3是根据本公开一实施例提供的由待提取图像得到第二局部图像的流程图；

图4是根据本公开一实施例提供的由第二局部图像得到第一局部图像和目标蒙版的流程图；

图5是根据本公开一实施例提供的图像处理方法的流程图；

图6是根据本公开一实施例提供的图像处理装置的结构图；

图7是用来实现本公开实施例的图像处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在数字孪生或自动驾驶领域，通常需要在仿真系统中模拟真实的道路情况，包括路标等。

相关技术中，通常需要人工从拍摄的环境图像中，提取路标所在区域的图像，然后人工对图像进行处理，从而得到路标的纹理贴图。

但是，一个城市中路牌数据巨大，该人工方法需要耗费大量人力，且处理效率低。

为了解决上述问题中的至少一个，本公开实施例提供一种图像处理方法、装置、设备及存储介质，通过根据待提取图像的全景分割结果，确定待提取图像中包含目标对象的第一局部图像以及第一局部图像对应的目标蒙版；确定目标蒙版中与目标对象对应的第一区域的边界；根据第一区域的边界，确定第一区域的定位点；根据定位点的位置信息以及定位点的预期位置信息，对第一局部图像进行透视变换，得到目标对象的目标图像。可以利用待提取图像自动生成目标对象的目标图像，无需人工处理，省时省力，且效率高。

以下结合附图对本公开实施例进行详细阐述。

图1是根据本公开第一实施例提供的图像处理方法的流程图；图2a至图2g是根据本公开第二实施例提供的图像处理方法的过程示意图。请参照图1至图2g，本公开实施例提供一种图像处理方法100，包括以下步骤S101至S104。

步骤S101，根据待提取图像的全景分割结果，确定待提取图像中包含目标对象的第一局部图像以及第一局部图像对应的目标蒙版。

步骤S102，确定目标蒙版中与目标对象对应的第一区域的边界。

步骤S103，根据第一区域的边界，确定第一区域的定位点。

步骤S104，根据定位点的位置信息以及定位点的预期位置信息，对第一局部图像进行透视变换，得到目标对象的目标图像。

目标对象为需要制作纹理贴图的对象，例如，其可以是路标、建筑物、动物或人体等等。

待提取图像可以为包含目标对象的真实场景图像，以目标对象是路标为例，待提取图像可以包括包含中路标的真实街景图像、真实道路图像、真实交通图像等等。图2a示出的待提取图像210为一种真实街景图像。

待提取图像的获取方式也可以有多种，例如可以通过手机、平板等带有摄像功能的电子设备获取，或者，也可以通过专业的监控摄像设备等获取。待提取图像可以是直接拍摄的图像，又或者，待提取图像还可以是由视频中截取的图像片段等等。

第一局部图像为待提取图像中的局部区域图像，该第一局部图像中包含目标对象。

以待提取图像为真实街景图像、目标对象为路标为例。待提取图像中通常可以包括多种对象，例如，真实街景图像中除了包含路标，还可以包含建筑物、植物、行人、车辆、天空等等其他对象。

第一局部图像可以为路标所在区域、且边界规则的图像。例如，第一局部图像可以是矩形图像，其可以通过矩形框截取路标所在区域而生成的图像。当然，在其他实施例中，第一局部图像还可以是其他规则形状，例如圆形等。

可以理解，由于真实街景图像的拍摄角度等原因，路标在图片中的位置可能并不规整。例如，路标是矩形的，但是在真实街景图像中，其可能是平行四边形或者不规则四边形等等。

图2c示出了图2a中的包含路标的第一局部图像230，如图2c，第一局部图像中除了包含目标对象，还可能包含目标对象外围的部分环境对象。但是，路标是第一局部图像中所占面积较大的主要对象。

目标蒙版为第一局部图像对应的图像蒙版，目标蒙版的尺寸与第一局部图像的尺寸形同，目标蒙版中可以包括与路标对应的第一区域。可以理解，当目标蒙版与第一局部图像重合时，第一区域可以与第一局部图像中的路标区域重合或大致重合。另外，目标蒙版中除第一区域外的区域为背景区域，背景区域和第一区域可以通过不同的颜色表示。

可以理解，第一局部图像和目标蒙版可以通过对待提取图像的全景分割结果确定。例如，利用全景分割模型对待提取图像进行处理，得到多个蒙版和多个蒙版对应的多个标签，然后从多个蒙版中确定标签为路标的蒙版，并由该蒙版确定目标蒙版，并从待提取图像中截取目标蒙版对应的第一局部图像。图2d示出了图2c对应的目标蒙版240，由图2c和图2d可以看出，第一局部图像230和目标蒙版240的尺寸相同，目标蒙版240中的白色区域241表示与第一局部图像230中的路标对应的第一区域，黑色区域242表示除第一区域外的背景区域。

步骤S101可以获取图2c的第一局部图像230以及第一局部图像230对应的目标蒙版240。

步骤S102能够在目标蒙版240中确定第一区域241的边界，例如由于第一区域与背景区域的色差较大，可以利用图像识别的方式提取颜色差异较大的边界作为第一区域的边界。

步骤S103能够利用第一区域241的边界确定第一区域的定位点，可以理解，对于多边形路标，定位点包括第一区域的角点。对于圆形区域，定位点包括圆心以及圆弧线上间隔的多个点。

为了便于说明，以下以第一区域的定位点包括角点为例，可以理解，在一些实施例中，可以先判断第一区域的边界是否具有角点，若第一区域的边界可以本身具有角点，此时，可以直接确定第一区域的角点。若第一区域的边界不具有角点，例如，如图2e所示，第一区域的边界在四个角处做了圆角处理，此时，可以通过先确定第一区域边界包含的四个直线段251，然后将4个直线段251进行延长，并将4个交点作为第一区域的4个定位点252。

以上以路标大致为矩形，第一区域具有四个角点为例进行说明，在其他实施例中，路标可以为三角形、多边形等，第一区域还可以具有3个、5个甚至更多个角点。

第一区域的定位点确定后，也可以得到各个定位点的位置信息，例如，定位点的坐标信息。定位点的预期位置信息是指最终生成的目标图像的定位点的预期位置，其可以为预先设置好的数值。例如，标准路标的长宽分别为300和600，那么可以确定目标图像，即最终生成的路标纹理贴图的尺寸为300和600。此时，定位点的预期位置信息可以包括四个角点的预期坐标(0，0)，(0，300)，(300，600)，(600，0)。本实施例中，其中一个角点的预期坐标为坐标原点，当然，在其他实施例中，角点的预期坐标中可以不包括原点，又或者，其中一个预期坐标可以与角点的位置信息中的一个角点坐标相同。

步骤S104能够利用定位点的坐标信息和定位点的预期位置信息，对第一局部图像进行透视变换，从而得到目标图像，如图2f中的路标纹理贴图260。

参照图2c和图2f，可以将待提取图像中的倾斜的路标图像进行校正，从而得到正视视角下的路标图像，即目标图像。

本实施例通过上述步骤S101至S104，可以自动由待提取图像生成目标对象的目标图像，例如，生成路标的纹理贴图。无需人工处理，节省了人力资源，且效率高，可以用于路标数量较多的场景。另外，通过全景分割结果可以直接快速提取第一局部图像对应的目标蒙版，从而直接利用目标蒙版确定第一区域的边界，进而得到用于透视变换所需的定位点，无需利用第一局部图像获取目标蒙版，处理流程简单，效率高。且由于目标蒙版只包含大面积色块，没有多余的文字或图形干扰，相比于直接在真实场景图像中提取路标的定位点，效率更高，且更简单易行。

在一些实施例中，步骤S102中的确定目标蒙版中与目标对象对应的第一区域的边界，可以包括：对目标蒙版进行直线检测，得到构成第一区域的至少部分边界的直线段；在目标蒙版中标示直线段。

步骤S103中根据第一区域的边界，确定第一区域的定位点，可以包括：对标示有直线段的目标蒙版进行角点检测，得到第一区域的角点，并将第一区域的角点作为第一区域的定位点。

如图2d所示，第一区域241的边界包括直线段和曲线段，可以通过直线检测方式获得第一区域边界中的直线段。直线检测的方式可以通过使用opencv(Open SourceComputer Vision Library，开源计算机视觉库)的直线检测函数cv2.HoughLines来实现。

如图2e所示，可以在目标蒙版中标示直线段251，为了便于表示，图中利用虚线表示出了边界的直线段。当然，在实际处理过程中，可以直接用具有颜色的直线在目标蒙版中标示直线段，例如使用蓝色或者绿色等颜色在目标蒙版中显示直线段251。

在标示出直线段251后，可以对目标蒙版进行角点检测，例如通过opencv的角点检测函数cv2.goodFeaturesToTrack对目标蒙版进行角点检测，得到第一区域的角点252。同时，还可以计算出角点的位置信息(各个角点的坐标)。

本实施例通过直线检测可以确定构成第一区域的边界的直线段，并通过对标示有直线段的目标蒙版进行角点检测，从而可以确定定位点。且该方法不仅可以用于具有尖角点的路标，还可以用于对角点位置进行过圆角处理的路标，适用性好。

在一些实施例中，步骤S101中根据待提取图像的全景分割结果，确定待提取图像中包含目标对象的第一局部图像以及第一局部图像对应的目标蒙版，包括以下步骤一和步骤二。

步骤一，根据待提取图像的第一全景分割结果，确定待提取图像中的包含目标对象的第二局部图像。

步骤二，根据第二局部图像的第二全景分割结果，确定第二局部图像中的第一局部图像以及与第一局部图像对应的目标蒙版。

第一全景分割结果可以利用全景分割模型实现，例如，将待提取图像输入全景分割模型，并根据得到的结果提取路标所在的第二局部图像，第二局部图像可以为由待提取图像中截取的规则形状的局部图像。

第二全景分割结果也可以利用全景分割模型实现，例如，将第二局部图像输入全景分割模型，并根据得到的结果提取第一局部图像。第一局部图像是第二局部图像中的局部图像。

请参照图2a至图2c，在对待提取图像进行全景分割后，可以得到图2b的第二局部图像220，在对第二局部局部图像进行全景分割处理后，可以得到图2c所示的第一局部图像230。

可以理解，由于待提取图像中目标对象所在的区域可能较小，由于像素等原因，在对待提取图像进行全景分割后，得到第二局部图像中可能包含较多的背景区域，或者第二局部图像中的与路标相对应的蒙版与真实路标的形状有较大差异。通过对第二局部图像进行全景分割，可以从第二局部图像中进一步精确地提取出路标，即去掉部分背景区域，生成第一局部图像。该方法使得得到的第一局部图像中第一区域的面积更大，而背景区域的面积更小，对于目标对象提取更加精确，且使得目标蒙版中的第一区域与真实路标的形状更加贴近。

图3是根据本公开一实施例提供的由待提取图像得到第二局部图像的流程图；请参照图3，在一些实施例中，步骤一中根据待提取图像的第一全景分割结果，确定待提取图像中的包含目标对象的第二局部图像，可以包括以下步骤S301至步骤S304。

步骤S301，对待提取图像进行第一全景分割处理，得到多个第一蒙版以及与多个第一蒙版分别对应的多个第一标签。

步骤S302，从多个第一标签中选取与目标对象的标签相一致的第一目标标签，并将第一目标标签对应的第一蒙版作为第一中间蒙版。

步骤S303，确定包围第一中间蒙版的第一边框。

步骤S304，从待提取图像中提取位于第一边框中的第二局部图像。

第一全景分割处理可以利用全景分割模型实现。全景分割模型可以是OneFormer(One Transformer to Rule Universal Image Segmentation，多任务通用图像分割框架)中的250_16_dinat_l_oneformer_ade20k_160k.pth模型，通过该模型可以对待提取图像实现全景分割。

如图2a所示，第一全景分割处理可以得到在待提取图像上的多个第一蒙版(选区)，每个第一蒙版对应一个第一标签，该第一标签用于表示对应的第一蒙版所覆盖的对象的类别，例如，树、天空、道路、路标、建筑物等等。

步骤S302可以从多个第一标签中选取与目标对象的标签一致的第一目标标签，例如，从多个第一标签中选择路标，并将路标作为第一目标标签。接着，可以从多个第一蒙版中找到第一目标标签对应的第一中间蒙版。

可以理解，第一中间蒙版的形状通常为不规则的形状，为了方便提取路标，可以先确定包围该第一中间蒙版的第一边框。第一边框可以是恰好包覆第一中间蒙版的最小矩形边框。

得到第一边框后，可以利用第一边框从待提取图像中截取包含目标对象的局部图像，即是第二局部图像220。

本实施例通过第一全景分割处理，可以快速得到待提取图像中路标所在位置的第二局部图像。且通过计算第一中间蒙版的第一边框，可以提取到形状规则的第二局部图像，操作方便，且效率高。

在一些实施例中，在步骤S303确定包围第一中间蒙版的第一边框之前，方法还可以包括：对第一中间蒙版进行开运算，以去除第一中间蒙版中位于第一区域外的第一背景区域，并扩大第一中间蒙版。

可以理解，路标通常会安装在路标杆上，在全景分割的时候，可能会将路标以及周围部分路标杆都作为一个第一蒙版，即第一中间蒙版可能会包含路标杆。第一区域是指路标所在区域，第一背景区域是指路标杆所在区域。

通过开运算，可以腐蚀第一中间蒙版的边界，从而去掉至少部分路标杆所在第一背景区域，然后可以向外扩大腐蚀后的边界，从而恢复被影响的第一区域，并略微扩大第一中间蒙版的边界。

可以理解，在扩大第一中间蒙版时，可以将扩大系数设置的比腐蚀系数稍大，通过合理设置扩大系数，可以使得被腐蚀后的第一中间蒙版可以向外恢复，并将第一中间蒙版略微扩大些，从而可以完整的覆盖路标，以免在提取第二局部图像时遗漏路标，使得第二中间蒙版更贴近路标。

由于模型精度以及图像像素的影响，第一中间蒙版与真实路标的重合度可能存在偏差，即路标的一些边界可能会落在第一中间蒙版的外部，以免遗漏部分路标区域，可以通过开运算去掉路标杆，并扩大第一中间蒙版，使得第一中间蒙版的形状和尺寸与路标更为贴近。

图4是根据本公开一实施例提供的由第二局部图像得到第一局部图像和目标蒙版的流程图；请参照图4，在一些实施例中，步骤二中根据第二局部图像的第二全景分割结果，确定第二局部图像中的第一局部图像以及与第一局部图像对应的目标蒙版，可以包括以下步骤S401至步骤S405。

步骤S401，对第二局部图像进行第二全景分割处理，得到多个第二蒙版以及与多个第二蒙版分别对应的多个第二标签。

步骤S402，从多个第二标签中选取与目标对象的标签相一致的第二目标标签，并将第二目标标签对应的第二蒙版作为第二中间蒙版。

步骤S403，确定包围第二中间蒙版的第二边框。

步骤S404，确定以第二边框为边界、且包含第二中间蒙版的目标蒙版。

步骤S405，从第二局部图像中提取位于第二边框中的第一局部图像。

第二全景分割处理也可以利用全景分割模型实现，全景分割模型可以是OneFormer中的250_16_dinat_l_oneformer_ade20k_160k.pth模型，通过该模型可以对待第二局部图像实现全景分割。

第二局部图像输入全景分割模型后，可以得到在第二局部图像上的多个第二蒙版(选区)，每个第二蒙版对应一个第二标签，该第二标签用于表示对应的第二蒙版所覆盖的对象的类别。

步骤S402可以从多个第二标签中选取与目标对象的标签一致的第二目标标签，例如，从多个第二标签中选择路标，并将路标作为第二目标标签。接着，可以从多个第二蒙版中找到第二目标标签对应的第二中间蒙版。

可以理解，第二中间蒙版的形状通常为不规则的形状，为了方便提取路标，可以先确定包围该第二中间蒙版的第二边框。第二边框可以是恰好包覆第二中间蒙版的最小矩形边框。

接着可以将第二边框作为边界，并在第二中间蒙版和第二边框之间的区域设置填充与第二中间蒙版中的颜色不同的颜色，得到目标蒙版。如图2d，第二中间蒙版为白色，外部为黑色。

还可以利用第二边框从第一局部图像中截取包含目标对象的局部图像，即是第一局部图像230。

本实施例通过第二全景分割处理，可以快速得到第二局部图像中路标所在位置的第一局部图像。且通过计算第二中间蒙版的第二边框，可以提取到形状规则的第一局部图像和目标蒙版，操作方便，且效率高。

在一些实施例中，在步骤S403中确定包围第二中间蒙版的第二边框之前，方法还可以包括：对第二中间蒙版进行开运算，以去除第二中间蒙版中位于第一区域外的第二背景区域，并扩大第二中间蒙版。

第一区域是指路标所在区域，第二背景区域是指路标杆所在区域。

可以理解，再经过第二次全景分割后，第二中间蒙版可能会包含部分路标杆。通过开运算，可以腐蚀第二中间蒙版的边界，从而去掉至少部分路标杆所在第二背景区域，并略微扩大第二中间蒙版的边界。

可以理解，在扩大第二中间蒙版时，可以将扩大系数设置的比腐蚀系数稍大，通过合理设置扩大系数，可以使得被腐蚀后的第二中间蒙版可以向外恢复，并将第二中间蒙版略微扩大些，从而可以完整的覆盖路标，以免在提取第一局部图像时遗漏路标，使得第二中间蒙版更贴近路标。

由于模型精度以及图像像素的影响，第二中间蒙版与真实路标的重合度可能存在偏差，即路标的一些边界可能会落在第二中间蒙版的外部，以免遗漏部分路标区域，可以通过开运算去掉路标杆，并扩大第二中间蒙版，使得第二中间蒙版的形状和尺寸与路标更为贴近。

在一些实施例中，第二边框可以恰好为包围第二中间蒙版的第二最小包围边框。

在一些实施例中，步骤S104中根据定位点的位置信息以及定位点的预期位置信息，对第一局部图像进行透视变换，得到目标对象的目标图像，可以包括以下子步骤一至子步骤三。

子步骤一，根据定位点的位置信息以及定位点的预期位置信息，确定透视变换矩阵。

子步骤二，根据透视变换矩阵，对第一局部图像进行透视变换，得到第一变换图像。

子步骤三，从第一变换图像中提取位于由定位点的预期位置信息所围成的区域内的目标图像。

例如，标准路标的长宽分别为300和600，那么可以确定目标图像，即最终生成的路标纹理贴图的尺寸为300和600。此时，定位点的预期位置信息可以包括四个角点的预期坐标(0，0)，(0，300)，(300，600)，(600，0)。

可以先利用定位点的位置信息、预期位置信息以及opencv的透视变换函数cv2.getPerspectiveTransform，得到透视变换矩阵。

然后可以将第一局部图像和透视变换矩阵输入透视变换函数cv2.warpPerspective，得到透视变换后的第一变换图像。

然后，可以从第一变换图像中截取位于四个预期坐标构成的矩形框中的图像，从而得到目标图像。

本实施例通过确定透视变换矩阵，并依靠透视变换矩阵对第一局部图像进行透视变换，从而可以校正由于透视倾斜的路标，得到能够用于路标纹理贴图的目标图像。

当然，在其他实施例中，还可以通过设置透视变换的输出图像的尺寸为300和600，使得透视变换后，可以直接生成目标图像。

在一些实施例中，在步骤S104中的得到目标对象的目标图像之后，方法100还可以包括：将目标图像输入超分辨模型，并利用超分辨模型的输出图像更新目标图像。

超分辨模型可以为ldm-super-resolution-4x-openimages模型。请参照图2f和图2g，在步骤S104得到的目标图像260中字迹比较模糊，通过超分辨模型对目标图像进行处理后，得到的新的目标图像270的字迹比较清晰。因此，利用超分辨模型可以得到降噪和超分辨后的高清图像，从而提高目标图像的清晰度。

在一些实施例中，目标对象包括路标；在步骤S104中得到目标对象的目标图像之后，方法100还可以包括：将目标图像添加至路资数据库。

其中，路标可以是道路指示标志，例如xx路，xx道。或者，路标可以是交通规则指示标志，例如，限速，违法停车等。路标可以包括图形或文字，或者，也可以同时包括图形和文字。路资数据库可以是指包含道路的仿真数据库。

在得到路标纹理贴图，即目标图像后，可以将作为新的路标贴图纹理添加至路资数据库中，也可以利用目标图像取代路资数据库原有的并不真实的路标纹理贴图，从而可以得到仿真效果更好的路资数据库，有利于自动驾驶的真实环境模拟。

在一些实施例中，待提取图像可以包括从车载终端中获取的道路图像。利用车载终端可以使得待提取图像为车载图像，在自动驾驶领域中，可以利用车辆自主获取待提取图像，无需人工拍摄，图像的获取更加快捷方便。

图5是根据本公开一实施例提供的图像处理方法的流程图；请参照图2a至图2g和图5，本实施例中，目标对象为路标，待提取图像为车载设备提取的车载图像。图像处理方法包括以下步骤S510至S580。

步骤S510，整图全景分割。基于OneFormer的250_16_dinat_l_oneformer_ade20k_160k.pth模型对车载图像210进行全景分割，得到图片中各个种类(第一标签)对应的第一蒙版(图2a所示)。

步骤S520，路标图像块(第二局部图像)提取。该步骤S520可以具体包括步骤S521至步骤S523。

步骤S521，提取路标图像区域。从第一蒙版中找到路标对应的蒙版区域(第一目标蒙版)。步骤S522，开运算增大路标区域。对第一目标蒙版其进行开运算，目的是腐蚀路标杆，并扩大路标区域，再计算其最小包围矩形框(第一边框)。步骤S523，截取图像块。通过截取待提取图像中最小包围矩形框的区域得到图2b所示的路标图像220(第二局部图像)。

步骤S530，图像块精细全景分割。再次基于OneFormer的250_16_dinat_l_oneformer_ade20k_160k.pth模型对路标图像(第二局部图像)分割，得到更精细的路标蒙版图(第二目标蒙版)。

步骤S540，提取路标图像区域，该步骤同步骤S520相同，可以进一步提取到如图2c所示的第一局部图像230。同时，还可以利用第二目标蒙版和第二边框对应得到图2d所示的目标蒙版。

步骤S550，矩形路标检测。利用opencv的直线检测函数cv2.HoughLines对目标蒙版进行直线检测，并在上面画出蓝色的直线(图2e中以虚线表示)。然后可以利用opencv的角点检测函数cv2.goodFeaturesToTrack再对目标蒙版进行角点检测，得到路标对应的四个角点(图2e中的四个角点252)。从而可以确定四个角点的坐标，即定位点的位置信息。

步骤S560，透视变换。假设标准路标的长宽分别为300和600，其对应的角点坐标为(0，0)，(0，300)，(300，600)，(600，0)，代表透视变换期望得到的角点坐标，即定位点的预期位置信息。利用opencv的透视变换函数cv2.getPerspectiveTransform和变换前后的角点的坐标，得到透视变换矩阵。再利用透视变换函数cv2.warpPerspective和透视变换矩阵对第一局部图像进行透视变换，得到透视变换后的目标图像260，如图2f所示。

步骤S570，降噪和超分辨。利用超分辨模型ldm-super-resolution-4x-openimages对目标图像260进行处理，得到降噪和超分辨后的高清路标，即图2g中的目标图像270。

步骤S580，生成路标纹理贴图，用于路标数资生成。将目标图像替换路标数资中的路标纹理区域，得到最终新的路标纹理贴图。

本实施例提供的方法，通过全景分割提取车载图像中的路标区域，得到对应的图像块，并通过检测出图像中的矩形角点，用于倾斜和透视校正，同时，利用超分辨模型生成更高清的路标图像，从而可以自动生成各种各样的路标纹理贴图，无需人工辅助，效率高。且可以将现实中的各种各样的路标引入数资库，大大提高数资库的丰富程度。

图6是根据本公开一实施例提供的图像处理装置的结构图；请参照图6，本公开实施例提供一种图像处理装置600，包括以下单元。

获取单元601，用于根据待提取图像的全景分割结果，确定待提取图像中包含目标对象的第一局部图像以及第一局部图像对应的目标蒙版。

第一确定单元602，用于确定目标蒙版中与目标对象对应的第一区域的边界。

第二确定单元603，用于根据第一区域的边界，确定第一区域的定位点。

变换单元604，用于根据定位点的位置信息以及定位点的预期位置信息，对第一局部图像进行透视变换，得到目标对象的目标图像。

在一些实施例中，第一确定单元602，还用于对目标蒙版进行直线检测，得到构成第一区域的至少部分边界的直线段；在目标蒙版中标示直线段；第二确定单元603，还用于对标示有直线段的目标蒙版进行角点检测，得到第一区域的角点，并将第一区域的角点作为第一区域的定位点。

在一些实施例中，获取单元601还用于：根据待提取图像的第一全景分割结果，确定待提取图像中的包含目标对象的第二局部图像；根据第二局部图像的第二全景分割结果，确定第二局部图像中的第一局部图像以及与第一局部图像对应的目标蒙版。

在一些实施例中，获取单元601还用于：对待提取图像进行第一全景分割处理，得到多个第一蒙版以及与多个第一蒙版分别对应的多个第一标签；从多个第一标签中选取与目标对象的标签相一致的第一目标标签，并将第一目标标签对应的第一蒙版作为第一中间蒙版；确定包围第一中间蒙版的第一边框；从待提取图像中提取位于第一边框中的第二局部图像。

在一些实施例中，装置600还包括：第一运算单元，用于对第一中间蒙版进行开运算，以去除第一中间蒙版中位于第一区域外的第一背景区域，并扩大第一中间蒙版。

在一些实施例中，获取单元601还用于：对第二局部图像进行第二全景分割处理，得到多个第二蒙版以及与多个第二蒙版分别对应的多个第二标签；从多个第二标签中选取与目标对象的标签相一致的第二目标标签，并将第二目标标签对应的第二蒙版作为第二中间蒙版；确定包围第二中间蒙版的第二边框；确定以第二边框为边界、且包含第二中间蒙版的目标蒙版；从第二局部图像中提取位于第二边框中的第一局部图像。

在一些实施例中，装置600还包括：第二运算单元，用于对第二中间蒙版进行开运算，以去除第二中间蒙版中位于第一区域外的第二背景区域，并扩大第二中间蒙版。

在一些实施例中，变换单元604还用于：根据定位点的位置信息以及定位点的预期位置信息，确定透视变换矩阵；根据透视变换矩阵，对第一局部图像进行透视变换，得到第一变换图像；从第一变换图像中提取位于由定位点的预期位置信息所围成的区域内的目标图像。

在一些实施例中，装置600还包括：超分辨单元，用于将目标图像输入超分辨模型，并利用超分辨模型的输出图像更新目标图像。

在一些实施例中，目标对象包括路标；装置600还包括：添加单元，用于将目标图像添加至路资数据库。

在一些实施例中，待提取图像包括从车载终端中获取的道路图像。

本实施例提供的图像处理装置可以利用待提取图像自动生成目标对象的目标图像，无需人工处理，省时省力，且效率高。

本公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

本公开实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项实施例所述的方法。

本公开实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述任一项实施例所述的方法。

本公开实施例还提供一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述任一项实施例所述的方法。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括根据一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。