用于点云视图与交互模型协调的方法、设备和存储介质

技术领域

本发明涉及点云可视化交互技术领域，具体而言，涉及用于点云视图与交互模型协调的方法、设备和存储介质。

背景技术

作为三维建模的一种基础数据，点云数据已经被广泛应用于地形测绘、电力巡检、建筑施工监测和虚拟现实等诸多领域，可以向未带景物标识属性的原生点云数据中注入标签，以产生对应的附标签点云数据，任一标签可以包括适于标识对应景物的语义类别或/和实例编码。

为了便于用户查看和选择点云数据，一些点云可视化应用程序允许用户通过图形用户界面与显控设备进行多项交互，例如，三维视窗作为图形用户界面中的必要元素，通过鼠标或键盘等外设物，用户可以向三维视窗分别输入诸如点击、缩放以及文件拖放等若干操作，显控设备可以分别监测若干操作以及对应作出诸如窗内标点、缩放比例尺以及加载点云数据等若干响应，这些交互方式可以定义成基础交互模型；用户还可以向三维视窗依次输入绘框操作和反选操作，显控设备可以依次监测这些操作以及对应作出适于针对被展出在三维视窗中的点云场景区分框内外片区的响应，可以定义成区别于基础交互模型的框选式交互模型。

无论点云数据中有无标签，上述两种交互模型都会因摆脱标签而具备通用性，在此基础上，有待加强适配于附标签点云数据的专用交互性能，以更好的对接用户需求和习惯。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题，为达上述目的，本发明提供一种用于点云视图与交互模型协调的方法、显控设备和非临时性计算机可读存储介质。

第一方面，本发明提供一种用于点云视图与交互模型协调的方法，其包括：

在基础交互模型作用下，根据附标签点云数据分别生成点云场景图和标签菜单，所述基础交互模型定义了针对被展出在图形用户界面中的原三维视窗至少允许点击操作或/和文件拖放操作以及何以响应；

当所述点云场景图被展出在所述原三维视窗中时，自动触发适于指示从所述基础交互模型拓展其他交互模型的预定扩展事件；

响应于所述预定扩展事件，静默启动适于与所述附标签点云数据脱离的通用框选式交互模型，以及，根据所述标签菜单新建适于与所述附标签点云数据耦合的专用签选式交互模型。

第二方面，本发明提供一种显控设备，包括：

显示屏，用以显示图形用户界面；

存储器，用以存储点云可视化应用程序；

以及与所述存储器和所述显示屏通信的处理器，所述处理器在执行所述点云可视化应用程序时，实现如第一方面所述的方法。

第三方面，本发明提供一种非临时性计算机可读存储介质，其中存储有点云可视化应用程序，所述点云可视化应用程序被显控设备执行时，实现如第一方面所述的方法。

使用上述点云视图与交互模型协调的方法、显控设备以及非临时性计算机可读存储介质，在适配于附标签点云数据的点云场景图和标签菜单被制作完成以后，采用三维视窗在图形用户界面中呈现点云场景图，以此作为触发条件，继而自动地作出从基础交互模型扩展另两种交互模型的响应，加强了专用签选式交互模型与通用框选式交互模型兼容的性能，有助于降低交互复杂性和存储消耗量，便于更好的对接用户需求和习惯。

附图说明

图1为本发明一实施例的用于点云视图与交互模型协调的方法的流程示意图；

图2为本发明实施例的初始化GUI的示意图；

图3和图4分别为本发明实施例的GUI符合于基础交互模型与通用框选式交互模型均呈显性以及专用签选式交互模型呈隐性的示意图；

图5为本发明另一实施例的用于点云视图与交互模型协调的方法的流程示意图；

图6至图9分别为本发明实施例的GUI符合于三种交互模型均呈显性的示意图。

实施方式

下面将参照附图详细描述本发明的实施例，描述涉及附图时，除非另有表示，不同附图中的相同附图标定表示相同或相似的要素。要说明的是，以下示例性实施例中所描述的实施方式并不代表本发明的所有实施方式。它们仅是与如权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，本发明的范围并不局限于此。在不矛盾的前提下，本发明各个实施例中的特征可以相互组合。

此外，术语“第一”、“第二”仅用以描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

参照点云数据中有无标签，可以对现有的多款点云可视化应用程序加以分类，一类点云可视化应用程序适于兼容基础交互模型和通用框选式交互模型，另一类点云可视化应用程序适于兼容基础交互模型和必须依托附标签点云数据的专用签选式交互模型，但也强制了专用签选式交互模型与通用框选式交互模型被不同的两种点云可视化应用程序分隔开，其中，专用签选式交互模型至少定义了按照被用户指定的标签对附标签点云数据进行筛选以供作出在三维视窗中区分点云场景响应，可参见本发明具体实施例，此处不再赘述。

现有的任一点云可视化应用程序尚未顾及专用签选式交互模型与通用框选式交互模型兼容，出于一些半自动化点云控制需求，需要在专用签选式交互模型与通用框选式交互模型相配合下使指定的点云片区被准确地选择，用户必须有序地操作被至少一套显控设备运行的多款点云可视化应用程序，增加了交互复杂性和存储消耗量，有悖于用户操作被显控设备运行的某一点云可视化应用程序即可的习惯。

例如，两款点云可视化应用程序各自在被同一显控设备运行期间提供图形用户界面，可以区分为图形用户界面一和二，任一图形用户界面中展出三维视窗；附标签点云数据适于表征山区滑坡路段或建筑工地，根据其更新图形用户界面一以后，监测并响应于用户指示标签入选的操作，按照入选的标签从附标签点云数据中选出适于表征山体或地基的子点云，参照被选的子点云对被呈现在对应三维视窗中的点云场景图进行区分，以使山体片区或地基片区被屏蔽；以及，采用图形用户界面二中的三维视窗呈现前述被选的子点云，监测并响应于用户指示向三维视窗绘框的操作，采用框形式在山体片区中选出区别于正常山体分区的滑坡山体分区，或者，采用框形式在地基片区中选出区别于地面分区的基坑分区，可供后续分窗比对或/和对象化管理或/和土方测量等需求使用。

参见图1，本发明一实施例的用于点云视图与交互模型协调的方法，其包括S110至S320。

S110，在基础交互模型作用下，根据附标签点云数据分别生成点云场景图和标签菜单，基础交互模型定义了针对被展出在图形用户界面中的原三维视窗至少允许点击操作或/和文件拖放操作以及何以响应。

示例性地，预先可以采用点云语义分割、点云实例分割和点云全景分割中的任一种技术，对原生点云数据进行处理，以获得附标签点云数据。

示例性地，在指定的一套点云可视化应用程序被显控设备运行期间，初始化的图形用户界面如图2示出，可以采用平铺形式在前述图形用户界面中展开原三维视窗（3DView）及位于预留在其左侧的协作视图，两者都可以响应于用户操作而被删除（以“×”号控件示出）或放大（以位于“×”号控件左侧的双交叠框控件示出），原三维视窗还可以响应于用户操作而被隐藏（以“-”号控件示出）。

S210，当点云场景图被展出在原三维视窗中时，自动触发适于指示从基础交互模型拓展其他交互模型的预定扩展事件。

示例性地，预定扩展事件可以是预先模拟好的鼠标事件或键盘事件等，例如，模拟鼠标的右键被双击或长按3秒，或者，模拟键盘上的“shift”键和“E”键同时被按下，应当理解的是，还可以模拟语音或其他交互操作，预定扩展事件是以点云场景图呈现在原三维视窗中作为自动触发条件，无需用户操作，有助于简化交互性能和提升用户体验。

S310，响应于预定扩展事件，静默启动适于与附标签点云数据脱离的通用框选式交互模型。

S320，响应于预定扩展事件，根据标签菜单新建适于与附标签点云数据耦合的专用签选式交互模型。

示例性地，参见图3，默认允许用户可以针对被展出在原三维视窗中的点云场景图输入点击操作，符合用户习惯，在协作视图中，无论绘框反选开关处于关闭状态还是开启状态，都允许用户针对前述点云场景图输入框选操作，区别在于自适应地选择框内还是框外区域，也就是说，基础交互模型与通用框选式交互模型分别被控制呈显性，以及，对应于专用签选式交互模型的签选模态开关默认处于关闭状态，则禁止用户输入标签选择操作，对于用户而言，专用签选式交互模型被控制呈隐性。

示例性地，建立交互模型可以包括：以界面元素作为事件源（例如，开关控件、三维视窗、选择菜单和图标等），以及，通过事件监听器对事件源与事件处理器进行关联，其中，事件监听器可供监测适于用户指示针对事件源的输入（表示用户操作），事件处理器可供响应于输入而做出相应处理，采用现有技术即可实现，此处不再赘述。

使用上述方法，在适配于附标签点云数据的点云场景图和标签菜单被制作完成以后，采用三维视窗在图形用户界面中呈现点云场景图，以此作为触发条件，继而自动地作出从基础交互模型扩展另两种交互模型的响应，加强了专用签选式交互模型与通用框选式交互模型兼容的性能，有助于降低交互复杂性和存储消耗量，便于更好的对接用户需求和习惯。

可选地，S110包括：响应于数据加载事件，分别创建初始图层和初始菜单，跟随对附标签点云数据进行缓存的进度，采用初始图层对被缓存的各点进行备份，同步地，采用初始菜单对被缓存的各标签进行备份，直至缓存结束时对应形成与附标签点云数据并存的点云场景图和标签菜单，有助于提升数据加载效率。

示例性地，可以采用文件形式将附标签点云数据预先存储在显控设备，响应于用户指示针对“文件”栏的第一点击操作，在图形用户界面中调出文件导入控件（未展出），继而，响应于用户指示针对文件导入控件的第二点击操作，调出文件选择窗口，以供用户从中选择附标签点云数据所在的文件，以及，响应于用户指示该文件被打开的第三点击操作，触发数据加载事件，或者，响应于用户通过鼠标直接将该文件拖入至原三维视窗中的操作，触发数据加载事件，采用现有技术即可实现数据加载事件的具体触发方式，此处不再赘述。

示例性地，初始图层可以呈3D图形式，初始菜单可以呈下拉菜单形式，在制作标签菜单过程中，可以对重复的标签进行删除。

可选地，用于点云视图与交互模型协调的方法还包括适于被执行在S310以后的S311至S313。

S311，在通用框选式交互模型作用下，响应于用户指示针对点云场景图绘框的事件，检测被展出在协作视图中的第一开关控件是否处于关闭状态，若是，则执行S312，若否，则执行S313。

S312，对处在框中的第一点云片区进行醒目化显示调控，以及，维持处在框外的第二点云片区不变。

S313，依次对第二点云片区进行醒目化显示调控以及针对第一点云片区去框。

示例性地，可以采取涂刷形式或多点定位形式，在点云场景图中绘制规则或不规则的框形，绘框反选开关作为第一开关控件，可以呈按钮形式或勾选框形式或其他形式，本发明实施例不做限制。

示例性地，参见图4，以虚线表示框形，基于框形制作半透明蒙层，使适于表征采石场的第一点云片区得到增项显示，应当理解的是，醒目化显示形式还可以是不同于蒙层的其他形式，例如，高亮和纯色等。

示例性地，用户可以通过鼠标或手指等输入第三点击操作至绘框反选开关上，响应于第三点击操作，从关闭状态切换至开启状态，采用现有技术即可实现，此处不再赘述。

在适配于通用框选式交互模型的开关状态加持下，基于框对被展出在原三维视窗中的点云场景图进行区分，有助于加强用户主动控制点云片区的体验，有助于更好的对接用户习惯。

可选地，参见图5，用于点云视图与交互模型协调的方法还包括适于被执行在S320以后的S321。

S321，在专用签选式交互模型作用下，对被展出在协作视图中的第二开关控件进行状态监控，当第二开关控件从关闭状态切换至开启状态时，将标签菜单与点云分区控件组有序地展开在协作视图中。

示例性地，参见图3和图6，签选模态开关作为第二开关控件，用户可以输入第四点击操作至第二开关控件上，监测并响应于第四点击操作，从关闭状态切换至开启状态；还可以监测并响应于用户输入至第二开关控件上的第五点击操作，从开启状态复原至关闭状态，此时，可以对标签菜单与点云分区控件组进行隐藏。

示例性地，先展示标签菜单，继而在其以下区域展示点云分区控件组，标签菜单呈选择框形式，点云分区控件组可以呈图标形式，如果其中的标签数超过预定数量，可以通过上下滑动形式变换标签。

例如，预定数量为10，标签数为20，默认展示前十位标签，后十位标签被隐藏，光标处在标签菜单中时，监测并响应于用户滑动鼠标中滚轮的操作，可以展示后十位标签，与此同时，前十位标签被隐藏。

示例性地，参见图7，对于标签菜单中的任一标签，仅有语义类别而无实例编号，则可以呈一级选项设置，既有语义类别又有实例编号，则可以呈二级选项设置，例如，草地、树木、水域和采石场等作为背景，分别呈一级选项设置，多辆汽车、多栋房屋和多条道路等作为前景，分别呈二级选项设置。

示例性地，二级选项中，以箭头示出伸收控件，监测并响应于用户输入至伸缩控件上的第六点击操作，控制二级选项从收起状态切换至伸展状态，还可以监测并响应于用户输入至伸缩控件上的第七点击操作，控制二级选项从伸展状态复原至收起状态，参见图7中的车辆选项和道路选项，此处不再赘述。

在开关状态加持下，控制专用签选式交互模型切换显性与隐性，使点云分区控件组跟随标签菜单展开或隐藏，有助于加强用户主动控制专用签选式交互模型的体验，有助于在专用签选式交互模型不被用户采用情况下简洁界面。

可选地，参见图5，用于点云视图与交互模型协调的方法还包括适于被执行在S321以后的S322和S323。

S322，响应于用户指示使标签菜单中的任一标签选项入选或淘汰的事件，自适应地对默认淘汰状态和预定入选状态进行切换调控。

示例性地，参见图7和图8，用户可以输入第八点击操作至位于“采石场”左侧的矩形框上，监测并响应于第八点击操作，从默认淘汰状态切换切换至预定入选状态，其中，默认淘汰状态可以呈无色形式，预定入选状态可以呈黑色填满形式；用户还可以输入第九点击操作至前述矩形框上，监测并响应于第九点击操作，从预定入选状态复原至默认淘汰状态。

S323，响应于用户指示针对点云分区控件组中的选样控件触发的事件，按照处于预定入选状态的k项标签选项对附标签点云数据进行筛选，根据入选子点云对点云场景图进行区分显示调控，其中，k表示正整数。

示例性地，选样控件可以呈如图8示出的图标401形式，当监测到用户输入至图标401上的第十点击操作时，立即执行S323。

依托被用户选择的标签和附标签点云数据区分点云场景，有助于加强用户主动控制局部点云的体验，有助于更好的对接用户习惯，有助于提升区分点云的准确性。

可选地，根据入选子点云对点云场景图进行区分显示调控包括：将点云场景图分为与入选子点云一致的第三点云片区以及与第三点云片区互补的第四点云片区；检测第三点云片区拥有的点数与第四点云片区拥有的点数之差是否小于预定点数阈值；若是，则针对第三点云片区调高亮度或/和对比度，以及，维持第四点云片区不变；若否，则针对第四点云片区调低亮度或/和对比度，以及，维持第三点云片区不变。

示例性地，点云场景图中共计有7800个点，其中，适于表征采石场的第三点云片区共计有1500个点，其与第四点云片区拥有的点数之差可以表示为：1500-（7800-1500）=-3800，预定点数阈值可以为100，-3800小于100，仅对第三点云片区进行高亮显示（参见图8）。

在点数检测方式加持下，如果第三点云片区相比于第四点云片区的点数过多，可以反选第四点云片区加以增强显示，否则，直接选择第三点云片区加以增强显示，便于用户直观地分辨第三点云片区与第四点云片区，有助于加强自适应区分点云场景的性能和提升区分效率。

可选地，参见图5，用于点云视图与交互模型协调的方法还包括适于被执行在S323以后的S324。

S324，响应于用户指示针对点云分区控件组中的分窗控件触发的事件，将原三维视窗分成若干分视窗，并将经过区分的点云场景图自动地调入一个分视窗中，以及，在另一个分视窗中自动地绘制局部点云图，局部点云图适配于入选子点云或者明显表现在点云场景图中的片区，有助于加强用户主动控制点云分窗的体验，便于用户对比点云场景的整体与局部以及分开查看。

示例性地，分窗控件可以呈如图9示出的图标402形式，当监测到用户输入至图标402上的第十一点击操作时，立即执行S324。

示例性地，两个分视窗呈左右并列排布且尺寸相同，根据点云场景图的轮廓和左侧分视窗的尺寸自动测算合适的比例尺，在该比例尺下，点云场景图被全图缩小至左侧分视窗中，另外，局部点云图可以依据入选子点云或者如图8示出的第三点云片区或者该两者中任一与图4示出的第一点云片区重合的子点云绘制而成。

可选地，参见图5，用于点云视图与交互模型协调的方法还包括适于被执行在S324以后的S325。

S325，响应于用户指示针对点云分区控件组中的网格控件触发的事件，对局部点云图进行网格化处理，以获得对应的三角网格，有助于加强用户主动控制点云网格化的体验。

示例性地，网格控件可以呈如图9示出的图标403形式，当监测到用户输入至图标403上的第十二点击操作时，立即执行S325，例如，三角网格适于表征采石场的表面或者单条道路的路面等。

示例性地，点云分区控件中还可以增加适于供用户控制土方测量的其他图形控件，此处不再赘述。

本发明另一实施例的一种显控设备，包括：显示屏，用以显示图形用户界面；存储器，用以存储点云可视化应用程序；以及，通过通用串行总线与存储器和显示屏通信的处理器，该处理器在执行前述点云可视化应用程序时，实现上述用于点云视图与交互模型协调的方法，例如，前述显控设备可以是台式电脑和笔记本电脑等。

本发明另一实施例的一种非临时性计算机可读存储介质，其上存储有点云可视化应用程序，该点云可视化应用程序被显控设备执行时，实现上述用于点云视图与交互模型协调的方法。

一般来说，用以实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。

计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可以以一种或多种程序设计语言或其组合来编写用以执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或，连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

上述显控设备和非临时性计算机可读存储介质，可以参见如上对用于点云视图与交互模型协调的方法进行具体描述的实施内容及其有益效果，在此不再赘述。

尽管上面已经示出和描述了本发明的实施例，应当理解的是，上述实施例是示例性的，不能解释为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。