图像实例中心线提取方法、装置、设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种图像实例中心线提取方法、装置、设备及存储介质。

背景技术

从图形提取中心线的方法，主要有两类：主曲线提取、图形细化算法，传统主曲线提取仅适用于直线提取，因此无法应对较为复杂的图形，图形细化算法存在细化后存在毛刺、分叉等问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种图像实例中心线提取方法、装置、设备及存储介质，旨在解决现有技术无法有效地提取较复杂的图像的中心线，并且提取的中心线质量和精度交底的技术问题。

为实现上述目的，本发明提供了一种图像实例中心线提取方法，所述方法包括以下步骤：

构建目标实例的轮廓关键点序列；

对所述轮廓关键点序列中各轮廓关键点进行匹配，获得至少一个关键点对；

确定各所述关键点对的中心点，并基于所述中心点提取所述目标实例的中心线。

可选地，所述构建目标实例的轮廓关键点序列，包括：

获取目标实例的边界轮廓；

从所述边界轮廓中提取多个边界轮廓点；

基于所述多个边界轮廓点构建初始轮廓序列；

对所述初始轮廓序列进行下采样，获得轮廓关键点序列。

可选地，所述对所述轮廓关键点序列中各轮廓关键点进行匹配，获得至少一个关键点对，包括：

获取所述轮廓关键点序列中各轮廓关键点之间的点距离；

基于所述点距离确定所述轮廓关键点序列中的近邻点，并基于所述近邻点构建近邻点集；

基于所述近邻点集的序列顺序从所述近邻点集中筛选出候选点；

基于各所述候选点之间的距离对各所述候选点进行匹配，获得至少一个关键点对。

可选地，所述基于各所述候选点之间的距离对各所述候选点进行匹配之后，还包括：

基于各所述候选点之间的距离对各所述候选点进行匹配；

基于匹配结果确定所述候选点中的未匹配点；

基于所述未匹配点的点序号对所述未匹配点进行配对，获得至少一个关键点对。

可选地，所述基于所述未匹配点的点序号对所述未匹配点进行配对，获得至少一个关键点对，包括：

基于所述未匹配点构建未匹配点集；

基于未匹配点集确定所述未匹配点的点序号；

基于所述点序号确定所述未匹配点集中所述未匹配点的目标远点和目标近点；

基于所述目标远点和所述目标近点构建数据边界；

基于所述数据边界对所述未匹配点进行配对，获得至少一个关键点对。

可选地，所述确定各所述关键点对的中心点，并基于所述中心点提取所述目标实例的中心线，包括：

将所述关键点对进行拼接，获得点对序列；

基于所述点对序列确定所述关键点对中各匹配对的中心点；

基于所述中心点构建中心点序列；

基于所述中心点序列提取所述目标实例的中心线。

可选地，所述点对序列确定所述关键点对中各匹配对的中心点，包括：

遍历所述点对序列；

基于遍历结果判断所述点对序列中是否存在错误配对；

若存在错误配对，则删除所述点对序列中的错误配对，并基于删除错误配对后的点对序列确定所述关键点对中各匹配对的中心点；

若未存在错误配对，则所述基于所述点对序列确定所述关键点对中各匹配对的中心点。

此外，为实现上述目的，本发明还提出一种图像实例中心线提取装置，所述图像实例中心线提取装置包括：

轮廓点序列构建模块，用于构建目标实例的轮廓关键点序列；

关键点匹配模块，用于对所述轮廓关键点序列中各轮廓关键点进行匹配，获得至少一个关键点对；

中心线提取模块，用于确定各所述关键点对的中心点，并基于所述中心点提取所述目标实例的中心线。

此外，为实现上述目的，本发明还提出一种图像实例中心线提取设备，所述图像实例中心线提取设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像实例中心线提取程序，所述图像实例中心线提取程序配置为实现如上文所述的图像实例中心线提取方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有图像实例中心线提取程序，所述图像实例中心线提取程序被处理器执行时实现如上文所述的图像实例中心线提取方法的步骤。

本发明通过构建目标实例的轮廓关键点序列，对所述轮廓关键点序列中各轮廓关键点进行匹配，获得至少一个关键点对，确定各所述关键点对的中心点，并基于所述中心点提取所述目标实例的中心线；由于本发明通过将目标实例的轮廓关键点序列进行匹配，确定匹配成功的关键点对的中心点，基于中心点从而准确地提取出目标实例的中心线，有效地提升了中心线的提取效率和提取质量，实现准确提取出道路路网中实例的骨架信息。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的图像实例中心线提取设备的结构示意图；

图2为本发明图像实例中心线提取方法第一实施例的流程示意图；

图3为本发明图像实例中心线提取方法第二实施例的流程示意图；

图4为本发明图像实例中心线提取方法第三实施例的流程示意图；

图5为本发明图像实例中心线提取装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的图像实例中心线提取设备结构示意图。

如图1所示，该图像实例中心线提取设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对图像实例中心线提取设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像实例中心线提取程序。

在图1所示的图像实例中心线提取设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明图像实例中心线提取设备中的处理器1001、存储器1005可以设置在图像实例中心线提取设备中，所述图像实例中心线提取设备通过处理器1001调用存储器1005中存储的图像实例中心线提取程序，并执行本发明实施例提供的图像实例中心线提取方法。

本发明实施例提供了一种图像实例中心线提取方法，参照图2，图2为本发明一种图像实例中心线提取方法第一实施例的流程示意图。

本实施例中，所述图像实例中心线提取方法包括以下步骤：

步骤S10：构建目标实例的轮廓关键点序列。

需要说明的是，本实施例应用于对道路路网中的实例的中心骨架进行提取，通过将目标实例的轮廓关键点序列进行匹配，确定匹配成功的关键点对的中心点，基于中心点从而准确地提取出目标实例的中心线，从而准确地提取出目标实例的骨架信息。

应当理解的是，本实施例方法的执行主体可以是具有数据处理、网络通信以及程序运行功能的图像实例中心线提取设备，例如计算机等，或者是其他能够实现相同或相似功能的装置或设备，此处以上述图像实例中心线提取设备(以下简称提取设备)为例进行说明。

需要说明的是，目标实例可以是道路路网中的实例，例如车道线、道路骨架、路口等。上述轮廓关键点序列可以是由目标实例的外轮廓上的关键点构建的点序列，上述关键点可以是从目标实例的外轮廓点中筛选出来的关键轮廓点。

在具体实现中，提取设备通过获取众包数据(例如可包含多个用户上传的感知数据和轨迹数据)，通过将众包数据映射至原始图像，获得道路候选图像，对道路候选图像进行实例分割，获得多个实例图像，即获得目标实例，通过对目标实例进行中心线提取，从而获得目标实例的骨架信息。

可以理解的是，提取设备可通过提取目标实例的外层轮廓，将外层轮廓转换为多个外轮廓点，基于各外轮廓点的坐标确定各外轮廓点对应的轮廓顺序，基于轮廓顺序构建有序外轮廓点序列，再对有序外轮廓点序列进行点序列DP下采样，仅保留关键点，基于关键点构建目标实例的轮廓关键点序列。

进一步地，为了准确地提取出目标实例外轮廓上的关键点，以构建轮廓关键点序列，上述步骤S10，可包括：

获取目标实例的边界轮廓；

从所述边界轮廓中提取多个边界轮廓点；

基于所述多个边界轮廓点构建初始轮廓序列；

对所述初始轮廓序列进行下采样，获得轮廓关键点序列。

需要说明的是，边界轮廓点可以是目标实例的外层边界轮廓。上述边界轮廓点可以是从目标实例外层边界轮廓上提起的轮廓点。上述对初始轮廓序列见下采样可有效地降低数据量，仅保留关键的轮廓点，提升计算效率，去除冗余信息。

在具体实现中，提取设备可预先对待检测的实例图像进行处理，获得目标实例，对目标实例进行边缘检测，提取目标实例的外层轮廓，将外层轮廓转换为点向量，从而获得外层轮廓上所有点坐标的向量，对每个轮廓点向量进行排序，以确保点按顺序连接，从而获得有序外轮廓点序列，对有序外轮廓点序列进行筛选，仅保留关键点，从而构建轮廓关键点序列。

步骤S20：对所述轮廓关键点序列中各轮廓关键点进行匹配，获得至少一个关键点对。

需要说明的是，关键点对可以是由两个互相配对的关键点组成的点对。

可以理解的是，提取设备通过对所述轮廓关键点序列中各轮廓关键点进行匹配，查找最佳匹配点对。

在具体实现中，提取设备通过确定轮廓关键点序列中的近邻点，将所述近邻点去除，然后获取去除近邻点后的轮廓关键点序列中各关键点支架您的距离，基于距离确定最佳匹配点，例如，取距离最近点作为最佳匹配点。

步骤S30：确定各所述关键点对的中心点，并基于所述中心点提取所述目标实例的中心线。

需要说明的是，依序对每个匹配对计算中心点，得到的中心点序列，即为曲线形实例的中心线点序列。在需要曲线表达形式时，可依此中心点序列进行曲线拟合及采样。

可以理解的是，提取设备可通过计算各关键点对的中心点，将所有中心点连接起来，形成一条中心线，于形成的中心线，可以进行进一步的处理和优化，以提高结果的准确性和平滑度。例如，可以使用曲线拟合算法(如最小二乘法)对中心线进行拟合，得到平滑的曲线表示。

本实施例通过构建目标实例的轮廓关键点序列，对所述轮廓关键点序列中各轮廓关键点进行匹配，获得至少一个关键点对，确定各所述关键点对的中心点，并基于所述中心点提取所述目标实例的中心线；由于本实施例通过将目标实例的轮廓关键点序列进行匹配，确定匹配成功的关键点对的中心点，基于中心点从而准确地提取出目标实例的中心线，有效地提升了中心线的提取效率和提取质量，实现准确提取出道路路网中实例的骨架信息。

参考图3，图3为本发明一种图像实例中心线提取方法第二实施例的流程示意图。

基于上述第一实施例，在本实施例中，所述步骤S20，包括：

步骤S21：获取所述轮廓关键点序列中各轮廓关键点之间的点距离。

需要说明的是，点距离可以是各轮廓关键点之间的距离。

步骤S22：基于所述点距离确定所述轮廓关键点序列中的近邻点，并基于所述近邻点构建近邻点集。

可以理解的是，本实施例可基于点距离查找所有距离小于目标实例的宽度的点。

可以理解的是，提取设备可通过预先设置距离阈值，判断轮廓关键点序列中各轮廓关键点之间的点距离是否小于所述距离阈值，基于判断结果查找出轮廓关键点序列中的近邻点。

例如，查找所有距离小于T的点，其中T为“条形”实例的宽度。

步骤S23：基于所述近邻点集的序列顺序从所述近邻点集中筛选出候选点。

可以理解的是，本实施例通过获取近邻点集的序列顺序，去除与参考点邻接或间接邻接的点，从而筛选出近邻点集中的候选点。

步骤S24：基于各所述候选点之间的距离对各所述候选点进行匹配，获得至少一个关键点对。

可以理解的是，提取设备在余下的候选点中，取距离最近点作为最佳匹配点。

进一步地，为了对未匹配点进行重新配对，上述步骤S24之后，可包括：

基于各所述候选点之间的距离对各所述候选点进行匹配；

基于匹配结果确定所述候选点中的未匹配点；

基于所述未匹配点的点序号对所述未匹配点进行配对，获得至少一个关键点对。

可以理解的是，在按序进行匹配点查找时，存在剩余未匹配点已被匹配的情况。即序列靠前的点，对序列中靠后的点，可能存在“一对多”的情况。需要在对应位置增加该配对，从而保证：所有非实例两端的点序列均已找到匹配，形成匹配点对，整个点对序列第一个点的点序号依次从大到小排列，从而实现遗漏点补全。

进一步地，为了准确地对未匹配点进行配对，上述基于所述未匹配点的点序号对所述未匹配点进行配对，获得至少一个关键点对，包括：

基于所述未匹配点构建未匹配点集；

基于未匹配点集确定所述未匹配点的点序号；

基于所述点序号确定所述未匹配点集中所述未匹配点的目标远点和目标近点；

基于所述目标远点和所述目标近点构建数据边界；

基于所述数据边界对所述未匹配点进行配对，获得至少一个关键点对。

可以理解的是，提取设备对首端未匹配点序列，查找第一个点的最远点S1、最后一个点的最远点S2，配对(S1，S2)作为第一匹配对；以S1，S2为界，将数据分为左右份，依次按最近距离进行左右配对，保证左右两侧均不遗留为配对点；对尾端未匹配点序列，做类似配对操作，从而得到完整的“端到端”的匹配点对序列。

本实施例通过获取所述轮廓关键点序列中各轮廓关键点之间的点距离，基于所述点距离确定所述轮廓关键点序列中的近邻点，并基于所述近邻点构建近邻点集，基于所述近邻点集的序列顺序从所述近邻点集中筛选出候选点，基于各所述候选点之间的距离对各所述候选点进行匹配，获得至少一个关键点对；由于本实施例通过从近邻点集合汇总筛选出候选点，再将各候选点进行匹配，从而准确地查找出最佳匹配点对，提升点对的匹配效率。

参考图4，图4为本发明一种图像实例中心线提取方法第三实施例的流程示意图。

基于上述第一实施例，在本实施例中，所述步骤S30，包括：

步骤S31：将所述关键点对进行拼接，获得点对序列；

步骤S32：基于所述点对序列确定所述关键点对中各匹配对的中心点；

步骤S33：基于所述中心点构建中心点序列；

步骤S34：基于所述中心点序列提取所述目标实例的中心线。

需要说明的是，依序对每个匹配对计算中心点，得到的中心点序列，即为曲线形实例的中心线点序列。在需要曲线表达形式时，可依此中心点序列进行曲线拟合及采样。

可以理解的是，对关键点对进行按序拼接，获得多个匹配对，基于匹配对组成“端到端”的点对序列。

应当理解的是，对点对序列中，未配对序列段之后，又开始的匹配对：交换匹配对的前后顺序，依次匹配到点对序列的头部。从而形成“端到端”的点对序列，所有未匹配点对均位于点对序列的两端。

可以理解的是，提取设备可通过计算各关键点对的中心点，将所有中心点连接起来，形成一条中心线，于形成的中心线，可以进行进一步的处理和优化，以提高结果的准确性和平滑度。例如，可以使用曲线拟合算法(如最小二乘法)对中心线进行拟合，得到平滑的曲线表示。

进一步地，为了去除错误配对，上述步骤S32，可包括：

步骤S321：遍历所述点对序列；

步骤S322：基于遍历结果判断所述点对序列中是否存在错误配对；

步骤S323：若存在错误配对，则删除所述点对序列中的错误配对，并基于删除错误配对后的点对序列确定所述关键点对中各匹配对的中心点；

步骤S324：若未存在错误配对，则所述基于所述点对序列确定所述关键点对中各匹配对的中心点。

可以理解的是，为了保证配对是依序进行，不存在交叉配对情况，遍历配对，保证所有待配对点序列为正序，所有配对点在序列中点序为逆序。删除不满足此顺序关系的错误配对。

本实施例通过将所述关键点对进行拼接，获得点对序列，基于所述点对序列确定所述关键点对中各匹配对的中心点，基于所述中心点构建中心点序列，基于所述中心点序列提取所述目标实例的中心线；由于本实施例通过对关键点对进行拼接，基于拼接后的点对确定各匹配对的中心点，基于中心点构建的中心点序列从而有效地提取目标实例的中心线，提升了中心线的提取精度。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有图像实例中心线提取程序，所述图像实例中心线提取程序被处理器执行时实现如上文所述的图像实例中心线提取方法的步骤。

由于本存储介质采用了上述所有实施例的全部技术方案，因此至少有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

参照图5，图5为本发明图像实例中心线提取装置第一实施例的结构框图。

如图5所示，本发明实施例提出的图像实例中心线提取装置包括：

轮廓点序列构建模块10，用于构建目标实例的轮廓关键点序列；

关键点匹配模块20，用于对所述轮廓关键点序列中各轮廓关键点进行匹配，获得至少一个关键点对；

中心线提取模块30，用于确定各所述关键点对的中心点，并基于所述中心点提取所述目标实例的中心线。

进一步地，所述轮廓点序列构建模块10，用于获取目标实例的边界轮廓；从所述边界轮廓中提取多个边界轮廓点；基于所述多个边界轮廓点构建初始轮廓序列；对所述初始轮廓序列进行下采样，获得轮廓关键点序列。

进一步地，所述关键点匹配模块20，还用于获取所述轮廓关键点序列中各轮廓关键点之间的点距离；基于所述点距离确定所述轮廓关键点序列中的近邻点，并基于所述近邻点构建近邻点集；基于所述近邻点集的序列顺序从所述近邻点集中筛选出候选点；基于各所述候选点之间的距离对各所述候选点进行匹配，获得至少一个关键点对。

进一步地，所述图像实例中心线提取装置，还包括：

遗漏点配对模块40，用于基于各所述候选点之间的距离对各所述候选点进行匹配；基于匹配结果确定所述候选点中的未匹配点；基于所述未匹配点的点序号对所述未匹配点进行配对，获得至少一个关键点对。

进一步地，所述遗漏点配对模块40，还用于基于所述未匹配点构建未匹配点集；基于未匹配点集确定所述未匹配点的点序号；基于所述点序号确定所述未匹配点集中所述未匹配点的目标远点和目标近点；基于所述目标远点和所述目标近点构建数据边界；基于所述数据边界对所述未匹配点进行配对，获得至少一个关键点对。

进一步地，所述中心线提取模块30，还用于将所述关键点对进行拼接，获得点对序列；基于所述点对序列确定所述关键点对中各匹配对的中心点；基于所述中心点构建中心点序列；基于所述中心点序列提取所述目标实例的中心线。

进一步地，所述中心线提取模块30，还用于遍历所述点对序列；基于遍历结果判断所述点对序列中是否存在错误配对；若存在错误配对，则删除所述点对序列中的错误配对，并基于删除错误配对后的点对序列确定所述关键点对中各匹配对的中心点；若未存在错误配对，则所述基于所述点对序列确定所述关键点对中各匹配对的中心点。

本实施例通过构建目标实例的轮廓关键点序列，对所述轮廓关键点序列中各轮廓关键点进行匹配，获得至少一个关键点对，确定各所述关键点对的中心点，并基于所述中心点提取所述目标实例的中心线；由于本实施例通过将目标实例的轮廓关键点序列进行匹配，确定匹配成功的关键点对的中心点，基于中心点从而准确地提取出目标实例的中心线，有效地提升了中心线的提取效率和提取质量，实现准确提取出道路路网中实例的骨架信息。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的图像实例中心线提取方法，此处不再赘述。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。