RPA知识图谱建立方法、装置、服务器和存储介质

技术领域

本发明实施例涉及RPA自动机器人领域，尤其涉及一种RPA知识图谱建立方法、装置、服务器和存储介质。

背景技术

知识图谱是一种图谱组织形式，通过语义关联把各种实体关联起来。知识图谱把结构化、非结构化的数据通过数据抽取、融合在一起，体现了数据治理、语义连接的思想，例如在对新用户进行软件使用指导的知识图谱，就是将用户操作信息和每个新页面开启的文本信息关联，使用结构化的图谱展示出来。

现有的对新用户进行软件使用指导的知识图谱，需要人手动去操作每个软件并进行手动截图或存储新开启页面的文本信息，该过程耗费人力物力，而且效率很低。

发明内容

本发明提供一种RPA知识图谱建立方法，本发明通过使用RPA自动执行需求收集功能，实现了生成软件的知识图谱，提高了知识图谱建立的效率。

第一方面，本发明提供了一种RPA知识图谱建立方法，由RPA需求收集器执行，包括：

基于RPA自动执行获取操作，所述获取操作包括获取用户使用待测软件的操作信息和所述软件的开启页面的页面图像；

对所述页面图像进行文字识别，获取文本信息；

基于所述操作信息与文本信息的关联关系生成知识图谱。

进一步地，所述对所述页面图像进行文字识别，获取文本信息，包括：

通过OCR识别技术对所述页面图像进行文字识别，获取文本信息。

进一步地，所述通过OCR识别技术对所述页面图像进行文字识别，获取文本信息，还包括：

将所述页面图像进行文本分割，生成一个或多个分割区域图像；

对每个所述分割区域图像进行文字识别，以获取分割区域文本；

将所述分割区域文本合并生成所述文本信息。

进一步地，所述对所述页面图像进行文字识别，获取文本信息之前，还包括：

对所述页面图像进行图像预处理。

进一步地，所述基于所述操作信息与文本信息的关联关系生成知识图谱之前，还包括：

获取所述待测软件的软件名称；

则基于所述操作信息与文本信息的关联关系生成知识图谱之后，还包括：

将所述软件名称作为关键字，将所述知识图谱作为数值，存储在预设的数据库中。

进一步地，将所述软件名称作为关键字，将所述知识图谱作为数值，存储在预设的数据库中之后，还包括：

获取用户输入的关键字；

基于所述关键字从预设数据库中获取对应的软件名称和所述知识图谱。

进一步地，所述基于RPA自动执行获取操作，所述获取操作包括获取用户使用待测软件的操作信息和所述软件的开启页面的页面图像，还包括：

基于RPA自动操作待测软件，存储预设的RPA操作信息；

基于RPA自动获取所述待测软件的开启页面的页面图像。

第二方面，本发明提供一种RPA知识图谱建立系统，包括：

获取模块，用于基于RPA自动执行获取操作，所述获取操作包括获取用户使用待测软件的操作信息和所述软件的开启页面的页面图像；

文字识别模块，用于对所述页面图像进行文字识别，获取文本信息；

知识图谱生成模块，基于所述操作信息与文本信息的关联关系生成知识图谱。

第三方面本发明提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上述任一所述的RPA知识图谱建立方法。

第四方面本发明提供一种终端可读存储介质，其上存储有程序，所述程序被处理器执行时能够实现如上述任一所述的RPA知识图谱建立方法。

本发明通过使用RPA自动执行需求收集功能，实现了自动执行和生成软件的知识图谱，提高了知识图谱建立的效率。

附图说明

如图1所示为本实施例一的RPA知识图谱建立方法。

如图2所示为本实施例二的RPA知识图谱建立方法。

如图3所示为本实施例二的替代实施例流程图。

如图4所示为本实施例二的替代实施例流程图。

如图5所示为本实施例三的的RPA知识图谱建立方法。

如图6所示为本实施例三的替代实施例流程图。

如图7所示为本实施例三的替代实施例流程图。

如图8所示为本实施例四的RPA知识图谱建立系统模块图。

如图9所示为本实施例四的替代实施例模块图。

如图10所示本实施例五的服务器结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，第一特征信息可以为第二特征信息或第三特征信息，类似地，第二特征信息、第三特征信息可以为第一特征信息。第一特征信息和第二特征信息、第三特征信息都是获取密接人员信息装置的特征信息，但其不是同一特征信息。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”、“批量”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

本实施例及下述实施例中提及的英文缩写及专有名词含义如下：

RPA机器人流程自动化(Robotic process automation)，可以帮助企业或者员工完成重复单调的流程性工作，减少人工失误，提高运营效率，降低运营成本。

OCR(Optical Character Recognition，光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。

实施例一

本发明提供一种用于自动创建软件知识图谱的方法，由RPA需求收集器执行，其中RPA需求收集器包括桌上型电脑软件集合，一个OCR识别器，一个大数据平台，一个知识图谱数据库(或序列数据库)，如图1所示，其步骤如下：

S101、基于RPA自动执行获取操作，所述获取操作包括获取用户使用待测软件的操作信息和所述软件的开启页面的页面图像；

该步骤的RPA自动执行操作指在软件被执行时自动获取产生的操作信息及页面图像，RPA自动执行为预先设置的获取用户操作信息及页面图像的预设脚本。其中，所述操作信息指用户的操作序列，例如“点击新建-点击插入-点击图表-点击饼图”等。

该步骤中，可选地，页面图像可以是开启页面的整个图像，也可以基于预设的截图范围只截取页面中某一个或多个区域的图像。

S102、对所述页面图像进行文字识别，获取文本信息；

该步骤的识别过程由OCR识别器实现。

S103、基于所述操作信息与文本信息的关联关系生成知识图谱。

依序将点击标的或输入等操作,与页面所呈现相应的文本内容配对，在不同的示例中，可以是一个操作信息对应多个文本信息，也可以是一个操作信息对应一个文本信息，或多个操作信息对应一个文本信息，多个操作信息对应多个文本信息。记录于知识图谱数据库中,余操作完成后上传至大数据平台,汇整众多操作者的动作,建立一个完整的操作-内容知识图谱。在替代实施例中，该步骤之后还包括：将所述知识图谱存入预设数据库。

在替代实施例中，可选的，在文本识别过程中，用户在搜索栏输入查询关键字作为操作信息，搜索出的页面上的文本信息(如标题、文本关键字)作为所述操作信息与文本信息的关联关系生成知识图谱。该过程中，可选地，采用预设的神经网络将上述获取的操作序列量化为向量表示，例如embedding(假设embedding维度为4维)成“1,3,0.3,2.4-0.45,33,5,6.9-3,56,12,34-……”，并将它们存储到知识图谱，体现操作的关联性。将神经网络形成的量化序列作为知识图谱模型存入预设数据库。也可以实现用户查询。

利用RPA自动执行需求收集功能的软件，对各网页和软件的操作路径和结果进行配对标签，建立操作与结果的知识图谱，新用户在接触到新的网页、软件、小程序等时，能够根据知识图谱获知什么操作会打开什么页面，快速上手新网页、软件、小程序，极大的协助新用户使用。本发明通过使用RPA自动执行需求收集功能，实现了自动执行和生成软件的知识图谱，方便了新用户使用。

实施例二

本实施例在上述基础上增加了对文本信息的识别过程，如图2，包括如下步骤：

S201、基于RPA自动执行获取操作，所述获取操作包括获取用户使用待测软件的操作信息和所述软件的开启页面的页面图像；

S202、通过OCR识别技术对所述页面图像进行文字识别，获取文本信息；

该步骤中，文字识别用于检测软件当前页面中包括的文本，确定文本的所在位置和范围及其布局，包括版面分析和文字行检测等。文字检测主要解决的问题是哪里有文字，文字的范围有多大。

例如，以excel为例,菜单栏区域可以识别到“开始”“插入”“视图”“图表”等信息，当用户操作或OCR自动操作开启“开始”菜单栏下，点击“图表”,此时OCR识别出“插入图表”“插入迷你图”“数据”,“柱形图”“折线图”“饼图”“条形图”“面积图”“散点图”“其他”,“折线图”“列”“盈/亏”,“选择”“切换绘图区”为新出现内容。

当用户操作或OCR自动操作点击“饼图”后，出现饼图子菜单，此时OCR识别出“二维饼图”“三维饼图”,“饼图”,“分离型饼图”“复合饼图”“复合条饼图”，“三维饼图”“三维分离型饼图”……以此类推。

在替代实施例中，当识别的消费小票图像进行文字检测未获取到文本区域，则生成检测失败反馈发送至自助积分设备，以使自助积分设备提示用户重新扫描该消费小票或自查小票是否可用于积分。

S203、基于所述操作信息与文本信息的关联关系生成知识图谱。

如图3，在替代实施例中，步骤S202还包括对页面图像进行分割识别，包括：

S2021、将所述页面图像进行文本分割，生成一个或多个分割区域图像；

S2022、对每个所述分割区域图像进行文字识别，以获取分割区域文本；

S2023、将所述分割区域文本合并生成所述文本信息。

如图4，在另一替代实施例中，步骤S202之前还包括：

S204、对所述页面图像进行图像预处理。

本实施例在上述实施例的基础上增加了对页面的分割识别，使页面的文字识别更准确。

实施例三

本实施例在上述实施例的基础上增加了基于关键字从数据库查询知识图谱的过程，如图5，包括如下步骤：

S301、基于RPA自动执行获取操作，所述获取操作包括获取用户使用待测软件的操作信息和所述软件的开启页面的页面图像；

S302、对所述页面图像进行文字识别，获取文本信息；

S303、获取所述待测软件的软件名称；

S304、基于所述操作信息与文本信息的关联关系生成知识图谱。

S305、将所述软件名称作为关键字，将所述知识图谱作为数值，存储在预设的数据库中。

如图6，在替代实施例中，S305之后还包括：

S306、获取用户输入的关键字；

S307、基于所述关键字从预设数据库中获取对应的软件名称和所述知识图谱。

当用户想搜索某一功能或想获得某一主题的内容时,就可以借由此知识图谱数据库,搜索标的内容,从而带出一个或多个操作路径。不仅是利用在软件操作上,包括文章内容的获取，也可以利用同样的技术，得到操作或搜索路径。这样可以自动的方式，而非人为的手册编辑手段，达到指引用户找到想要的内容及功能。

如图7，在另一种替代实施例中，S301还包括：

S3011、基于RPA自动操作待测软件，存储预设的RPA操作信息；

该步骤中，RPA通过预设脚本实现自动操作待测软件，模拟用户“鼠标双击打开软件”“点选菜单栏”“点选字菜单栏”“拖动滚动条”等操作。具体地，RPA通过预设脚本实现自动操作待测软件，模拟用户操作。这里所述自动操作机器人是基于python或VBS等语言开发的脚本，机器人位于虚拟化或物理环境中，不需要与系统开放任何接口，完全模拟人类操作，自动执行鼠标移动点击和键盘输入，模拟用户“鼠标双击打开软件”“点选菜单栏”“点选字菜单栏”“拖动滚动条”等操作。

S3012、基于RPA自动获取所述待测软件的开启页面的页面图像。

本实施例通过数据库实现了用户对知识图谱的查询，提高了使用便捷性。通过RPA自动操作软件，是用户不需要自己操作软件，进一步提高了效率。

实施例四

如图8，本实施例提供了一种RPA知识图谱建立系统4，包括如下模块：

获取模块401，用于基于RPA自动执行获取操作，所述获取操作包括获取用户使用待测软件的操作信息和所述软件的开启页面的页面图像。该模块还用于基于RPA自动操作待测软件，存储预设的RPA操作信息；基于RPA自动获取所述待测软件的开启页面的页面图像。

文字识别模块402，用于对所述页面图像进行文字识别，获取文本信息；本模块还包括：通过OCR识别技术对所述页面图像进行文字识别，获取文本信息。具体地，该模块还用于将所述页面图像进行文本分割，生成一个或多个分割区域图像；对每个所述分割区域图像进行文字识别，以获取分割区域文本；将所述分割区域文本合并生成所述文本信息。

知识图谱生成模块403，基于所述操作信息与文本信息的关联关系生成知识图谱。

如图9，在替代实施例中，还包括：

图像预处理模块404，用于在对所述页面图像进行文字识别，获取文本信息之前，对所述页面图像进行图像预处理。

在替代实施例中，还包括：

软件名称获取模块405，用于获取所述待测软件的软件名称；

存储模块406，用于在基于所述操作信息与文本信息的关联关系生成知识图谱之后，将所述软件名称作为关键字，将所述知识图谱作为数值，存储在预设的数据库中。

在替代实施例中，还包括：

查询模块407，用于在将所述软件名称作为关键字，将所述知识图谱作为数值，存储在预设的数据库中之后，获取用户输入的关键字；基于所述关键字从预设数据库中获取对应的软件名称和所述知识图谱。

在替代实施例中，还包括：

神经网络模块408，用于采用预设的神经网络将上述获取的操作序列量化为向量表示，例如embedding(假设embedding维度为4维)成“1,3,0.3,2.4-0.45,33,5,6.9-3,56,12,34-……”，并将它们存储到知识图谱，体现操作的关联性。将神经网络形成的量化序列作为知识图谱模型存入预设数据库。也可以实现用户查询。在文本识别过程中，用户在搜索栏输入查询关键字作为操作信息，搜索出的页面上的文本信息(如标题、文本关键字)作为所述操作信息与文本信息的关联关系生成知识图谱，可以使用神经网络学习的方法，

本发明实施例所提供的一种RPA知识图谱建立系统，可执行本发明任意实施例所提供的RPA知识图谱建立方法，具备功能模块相应的执行方法和有益效果。

实施例五

本实施例提供了一种服务器的结构示意图，如图10所示，该服务器包括处理器501、存储器502、输入装置503和输出装置504；服务器中处理器501的数量可以是一个或多个，图中以一个处理器501为例；设备/终端/服务器中的处理器501、存储器502、输入装置503和输出装置504可以通过总线或其他方式链接，图10中以通过总线链接为例。

存储器502作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的RPA知识图谱建立方法对应的程序指令/模块。处理器501通过运行存储在存储器502中的软件程序、指令以及模块，从而执行设备/终端/服务器的各种功能应用以及数据处理，即实现上述的RPA知识图谱建立方法。

存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器502可进一步包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络链接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置503可用于接收输入的数字或字符信息，以及产生与设备/终端/服务器的用户设置以及功能控制有关的键信号输入。输出装置504可包括显示屏等显示设备。

本发明实施例五通过提供一种服务器，可执行本发明任意实施例所提供的RPA知识图谱建立方法，具备执行方法相应的功能模块和有益效果。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的RPA知识图谱建立方法：

基于RPA自动执行获取操作，所述获取操作包括获取用户使用待测软件的操作信息和所述软件的开启页面的页面图像；

对所述页面图像进行文字识别，获取文本信息；

基于所述操作信息与文本信息的关联关系生成知识图谱。

本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电链接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。

存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—链接到用户计算机，或者，可以链接到外部计算机(例如利用因特网服务提供商来通过因特网链接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。