智能网页操作的方法、系统及其应用

技术领域

本申请涉及web开发技术领域，特别是涉及一种智能网页操作的方法、系统及其应用。

背景技术

随着人工智能技术的不断发展，机器学习技术也被广泛应用于网页开发中。例如，可以利用机器学习算法来识别用户的意图，从而改善用户界面和交互功能；可以利用机器学习算法来对网页内容进行分类、聚类和推荐，从而提高网页的信息服务质量；可以利用机器学习算法来对网页访问数据进行挖掘和分析，从而优化网页设计和业务逻辑。

然而，现有技术在前端或后端由开发人员手动维护页面中的功能作为用户意图，维护成本很高。此外，现有技术需要手动进行数据标注，人力成本也很高。另外，现有技术需要前期大量的用户主动输入的数据作为模型训练的数据集，但是由于前期模型识别准确率极低，导致用户给予负反馈，消磨用户使用的积极性，导致模型识别准确率难以提升。

此外，现有技术一般使用的是在识别用户意图后直接调用后端接口，没有实际的操作路径，所以无法在操作的实际路径过程中做一些数据收集操作以及主动干预操作，如二次确认或操作拦截等。同时，现有技术无法保留用户操作上下文，是一次性执行，这限制了连续操作的便捷性。现有技术的反馈机制单一，一般都是依靠用户主动触发反馈。

因此，亟待一种能够自动识别用户意图、降低维护成本、提高模型识别准确率、增加操作路径中的数据收集与主动干预、保留用户操作上下文并增加多种反馈机制的智能网页操作的方法、系统及其应用。

发明内容

本申请实施例提供了智能网页操作的方法、系统及其应用，针对目前技术需要手动标注数据、模型识别率低、功能存在局限性等问题。

本发明核心技术主要是利用页面意图自动识别、用户意图识别以及用户意图执行，结合多种深度学习手段，解决现有技术存在的问题。

第一方面，本申请提供了智能网页操作的方法，所述方法包括以下步骤：

S00、按照网页的tab进行截图，并对网页截图进行标注，标注出高亮的tab以及页面中的各种组件，得到标注好的第一数据集；

其中，tab为网页中的制表符，用于分隔文字和数据，对齐网页中的元素；

S10、采用用于目标检测的深度学习模型，输入第一数据集进行训练，将高亮的tab的文案作为页面主模块的名称，组件中的按钮根据颜色和文案作为操作名称和操作类型，输出页面模块名称和当前页面模块下的所有功能，得到已训练好的目标检测模型；

S20、使用目标检测模型输出的页面模块名称和当前页面模块下的所有功能作为用于用户识别的第二数据集，并进行随机组合；

S30、通过目标检测模型对第二数据集进自动化标注，得到已标注好的第二数据集；

S40、采用循环神经网络，输入第二数据集进行训练，得到已训练好的循环神经网络模型；

S50、输入用户文字，将该用户文字输入到循环神经网络模型，输出用户意图，该用户意图为各个模块和操作的组合；

S60、按照用户意图进行顺序编排后执行需求，并在执行路径中预置需干预模块；

S70、将执行的埋点数据和用户反馈数据用于继续训练循环神经网络模型。

进一步地，S10步骤中，用于目标检测的深度学习模型为Faster R-CNN模型。

进一步地，S60步骤中，将各个模块进行封装，并根据用户意图中的模块和操作组合的分类，按照顺序调用封装好的模块执行需求。

进一步地，S60步骤中，使用JavaScript进行封装。

进一步地，S70步骤中，继续训练循环神经网络模型的具体步骤为：

使用TensorFlow加载循环神经网络模型；

修改循环神经网络模型的最后一层，以适应新任务的类别数；

定义新的损失函数和优化器进行训练，以对循环神经网络模型进行增量更新。

进一步地，S70步骤中，定义新的损失函数和优化器的具体步骤为：

定义目标函数；

执行训练逻辑，并使用给定的参数进行训练；

运行循环神经网络模型并在训练过程中计算损失值；

定义超参数的搜索空间；

进行超参数搜索获取最优超参数；

加载新收集的数据集，该数据集为执行的埋点数据和用户反馈数据；

迁移学习的增量更新，以保存更新后的循环神经网络模型。

进一步地，S70步骤中，通过TPE算法进行超参数搜索获取最优超参数。

第二方面，本申请提供了一种智能网页操作的系统，包括：

页面意图自动识别装置，按照网页的tab进行截图，并对网页截图进行标注，标注出高亮的tab以及页面中的各种组件，得到标注好的第一数据集；采用用于目标检测的深度学习模型，输入第一数据集进行训练，将高亮的tab的文案作为页面主模块的名称，组件中的按钮根据颜色和文案作为操作名称和操作类型，输出页面模块名称和当前页面模块下的所有功能，得到已训练好的目标检测模型；

其中，tab为网页中的制表符，用于分隔文字和数据，对齐网页中的元素；

用户意图识别装置，使用目标检测模型输出的页面模块名称和当前页面模块下的所有功能作为用于用户识别的第二数据集，并进行随机组合；通过目标检测模型对第二数据集进自动化标注，得到已标注好的第二数据集；采用循环神经网络，输入第二数据集进行训练，得到已训练好的循环神经网络模型；

输入输出装置，用于输入用户文字，将该用户文字输入到用户意图识别装置的循环神经网络模型，输出用户意图，该用户意图为各个模块和操作的组合；

用户意图执行装置，按照用户意图进行顺序编排后执行需求，并在执行路径中预置需干预模块；

反馈装置，将执行的埋点数据和用户反馈数据用于继续训练循环神经网络模型。

第三方面，本申请提供了一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述的智能网页操作的方法。

第四方面，本申请提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据上述的智能网页操作的方法。

本发明的主要贡献和创新点如下：1、与现有技术相比，本申请通过网页截图并标注，然后进行模型训练操作，得到的模型可以输出页面模块名称及当前页面模块下的所有功能，这样就解决了需要手动维护页面中的功能的问题，也解决了需要手动进行数据标注问题，降低人力成本。

2、与现有技术相比，本申请后续通过该模型输出的模块和功能作为数据集再次训练得到循环神经网络模型，就可以生成一个可能是用户意图的语句，相反，通过这个生成的语句我们也能知道这条语句里面包含有哪些操作和模块，也就是可以对用户真实输入的语句进行识别的，可以从中识别出用户的操作意图，这里的用户意图其实就是各个模块和操作进行的组合。循环神经网络可以保留上下文，可以方便用户连续操作，如在完成订单查询后，直接进行关单操作等，这样就解决了上下文保留问题。

3、与现有技术相比，本申请将执行的埋点数据和用户反馈数据用于继续训练循环神经网络模型，即增加反馈机制，形成可持续集成的模型训练，因为经过前期的自动化数据集收集，大大提高了意图识别准确性，用户会更愿意使用，形成正向反馈；收集用户反馈和实际应用数据，不断改进模型以提高准确性和用户体验；同时可以对用户操作使用行业内通用的数据埋点进行记录，用户模型持续训练的数据集，这样就解决了反馈机制单一的问题。

4、与现有技术相比，本申请在在执行路径中，执行开发人员可以预置的需要干预的模块操作，解决了关键路径干预问题。

5、综上，本申请能够大大提高网页操作的便捷性和智能化，大大降低了人工维护页面功能的人力成本，大大提高了模型前期的识别准备率，大大降低了前期用户意图数据集收集的成本和时间，同时由于前期的页面意图识别，能够准确的按顺序执行用户的意图路径，所以可以自由的对用户执行的关键路径进行干预。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的智能网页操作的方法的流程图；

图2是本申请实施例的整体架构图；

图3是本申请一种实施方式的流程图；

图4是根据本申请实施例的电子装置的硬件结构示意图。

具体实施方式

这里将详细的对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的系统和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

实施例一

本申请旨在提出一种智能网页操作的方法，具体地，参考图1，所述方法包括以下步骤：

S00、按照网页的tab进行截图，并对网页截图进行标注，标注出高亮的tab以及页面中的各种组件，得到标注好的第一数据集；其中，tab为网页中的制表符，用于分隔文字和数据，对齐网页中的元素；

在本实施例中，针对一个较为混乱的项目可以自己对页面进行截图然后标注页面功能。而一般的项目都会使用统一的风格或者现成的开源组件库，所以可以理解成，在一个系统里面，是可以使用颜色和形状特征进行功能区分的。

对网页截图进行标注，主要标注出高亮的tab以及页面中的各种组件，如按钮、链接、面包屑(breadcrumb)等，由于网页开发中一般都是使用统一组件如业内常见的element-ui，或统一的主题样式，所以在后续S10步骤的模型训练完成后，可以使用训练好的模型进行自动化标注。

S10、采用用于目标检测的深度学习模型，输入第一数据集进行训练，将高亮的tab的文案作为页面主模块的名称，组件中的按钮根据颜色和文案作为操作名称和操作类型，输出页面模块名称和当前页面模块下的所有功能，得到已训练好的目标检测模型；

在本实施例中，使用标注好的数据集使用Faster R-CNN模型进行训练，将页面高亮的Tab文案作为页面主模块名称，按钮button根据颜色和文案作为操作名称和操作类型，如一般蓝色为创建，红色为删除等，最终输出页面模块名称及当前页面模块下的所有功能，这样就解决了需要手动维护页面中的功能的问题，也解决了需要手动进行数据标注问题，降低人力成本。

其中，Faster R-CNN(Region-based Convolutional Neural Network)是一种用于目标检测(Object Detection)任务的深度学习模型架构。它是在R-CNN和Fast R-CNN的基础上发展而来，旨在提高目标检测的速度和精度。在传统的目标检测方法中，首先需要生成候选区域(Region Proposal)，然后对这些候选区域进行分类和定位。Faster R-CNN将这两个步骤整合在一个神经网络中，从而实现了端到端的目标检测过程。且优势在于它的端到端训练、共享特征提取、更快的处理速度和更高的准确性，所以在本申请中只是为了准确识别网页的截图中的模块和功能。

S20、使用目标检测模型输出的页面模块名称和当前页面模块下的所有功能作为用于用户识别的第二数据集，并进行随机组合；

在本实施例中，第二数据集使用S10步骤输出的页面模块及功能，使用“模块名称+操作”进行随机组合，这样就解决了前期大量的用户意图收集问题，也解决了前期准确率很低的问题。

S30、通过目标检测模型对第二数据集进自动化标注，得到已标注好的第二数据集；

在本实施例中，对第二数据集进行自动化标注，因为知道句子的具体包含的操作所以可以自动化进行标注(在这些数据集里面已经标注了模块名称和操作了，所以只要进行随机组合就可以生成一个可能是用户意图的语句，相反，通过这个生成的语句也能知道这条语句里面包含有哪些操作和模块，所以用这个数据集训练过的模型，是可以对用户真实输入的语句进行识别的，可以从中识别出用户的操作意图，这里的用户意图其实就是各个模块和操作进行的组合)。

S40、采用循环神经网络，输入已标注的第二数据集进行训练，得到已训练好的循环神经网络模型；

在本实施例中，使用标注好的数据集使用循环神经网络(RNN)进行训练，循环神经网络可以保留上下文，可以方便用户连续操作，如在完成订单查询后，直接进行关单操作等，这样就解决了上下文保留问题。

其中，循环神经网络也叫递归神经网络(Recurrent Neural Network，RNN)是一种深度学习模型，主要用于处理序列数据，例如文本、音频、时间序列等具有时序关系的数据。本实施例中采用如Transformer是为了保留上下文信息。而上下文信息是指一个时间步的数据与之前时间步的数据之间的关系。例如，在自然语言处理中，一个单词的含义可能取决于它前面的单词。RNN可以通过反馈连接在处理当前时间步的数据时，保持之前时间步的信息，从而理解上下文信息。

模式和趋势：序列数据中可能存在重复出现的模式、趋势或规律。RNN可以通过学习序列中的这些模式，从而能够在未来的时间步中做出预测。例如，在时间序列预测中，RNN可以学习到某种模式，使其能够预测未来数据点的趋势。

长期依赖关系：对于长序列数据，很多情况下，当前时间步的信息可能依赖于较早的时间步。传统的前馈神经网络很难捕捉这种长期依赖关系，但LSTM和GRU等改进的循环神经网络可以通过门控机制来有效地捕捉这种关系。

即实际上，S10步骤的模型用于图像识别，S40步骤的模型用于自然语言识别，也就是第一个模型图像识别后才能够让后面的第二个模型进行训练。通过上面的训练可知道这个模型是可以识别出用户说的话中包含的意图关键字的，所以RNN是为了识别用户输入的意图，为了得到用户想要干什么，即识别用户输入的意图，比如用户输入“帮我查询下订单号为123456的订单”，那么可以提取到三个关键字‘订单’和‘订单号123456’和‘查询’，然后就能调用后面的执行步骤了。

S50、输入用户文字，将该用户文字输入到循环神经网络模型，输出用户意图，该用户意图为各个模块和操作的组合；

在本实施例中，这里需要用户主动输入文字，然后通过自然语言理解输出用户意图。

S60、按照用户意图进行顺序编排后执行需求，并在执行路径中预置需干预模块；

在本实施例中，使用JavaScript封装用户意图执行步骤，主要包含页面主模块切换模块、操作执行模块、操作干预模块等，具体可根据项目需要自行调整。然后使用循环神经网络模型识别用户意图分类，使用JavaScript封装后的操作模块，按顺序执行用户意图，在执行路径中，执行开发人员预置的需要干预的模块操作，这样就解决了路径干预问题。

S70、将执行的埋点数据和用户反馈数据用于继续训练循环神经网络模型。

在本实施例中，用户数据埋点：这里的埋点技术是一个通用的页面数据采集数据，不做具体说明，可以理解比如用户点击按钮的时候，对用户这个点击操作进行上报到数据库中存储，上报结果中包含了这个操作所在的页面模块，这个操作本身的名称，这个操作附带的一些参数等。

优选地，具体继续训练循环神经网络模型的技术(持续集成)实现如下：

这里的持续集成可以理解成增量学习，可以用以下示例步骤说明，只保留了关键步骤，没有附上代码：

1.1使用tenserflow加载已训练的基础模型(即用户意图识别模型)。

1.2修改模型的最后一层，以适应新任务的类别数：

因为页面持续在更新，用户的意图也在更新，所以需要增加新的类型，这里可以是自动化增加的，可以定义一个环境变量如nums在数据库中，如果发现用户意图识别中有新的关键词，那么数量nums+1即可，然后在执行训练程序时，只要获取这个num就行。

1.3定义新的损失函数和优化器：

在迁移学习(即增量学习)中，为新任务定义新的损失函数和优化器是为了适应新任务的特性和要求。基础模型通常是在旧任务上训练的，其最后一层可能不适用于新任务的类别数和特征。因此，需要根据新任务的特点重新定义损失函数和优化器。该步骤通过自动化实现，我们可以使用hyperopt进行超参数搜索具体技术实现步骤是：

1.3.1定义目标函数，该函数将返回一个损失值；

1.3.2执行训练逻辑，并使用给定的参数进行训练；

1.3.3运行模型训练并计算损失值；

1.3.4定义超参数搜索空间：

如定义在(-5,-2)的对数尺度上搜索学习率；

1.3.5使用TPE算法进行超参数搜索获取最优超参数：

TPE(Tree-structured Parzen Estimator)算法是一种用于超参数优化的算法，旨在通过使用概率模型来指导搜索过程，从而更有效地探索超参数空间。TPE算法属于序列模型优化(Sequential Model-Based Optimization，SMBO)的一种。

TPE算法的核心思想是将待优化的超参数视为随机变量，通过建立概率模型来估计这些变量的分布情况。该概率模型通常基于已经探索的超参数样本来构建。TPE算法通过评估目标函数在不同超参数值下的值，来根据建立的概率模型引导搜索过程，以寻找可能的最优超参数。

1.3.6加载新收集的数据集；

1.3.7迁移学习的增量更新；

1.3.8保存更新后的模型：

经过增量更新后的模型可以更准确识别用户意图。

实施例二

基于相同的构思，如图2所示，本申请还提出了一种智能网页操作的系统，包括：

页面意图自动识别装置，按照网页的tab进行截图，并对网页截图进行标注，标注出高亮的tab以及页面中的各种组件，得到标注好的第一数据集；采用用于目标检测的深度学习模型，输入第一数据集进行训练，将高亮的tab的文案作为页面主模块的名称，组件中的按钮根据颜色和文案作为操作名称和操作类型，输出页面模块名称和当前页面模块下的所有功能，得到已训练好的目标检测模型；

其中，tab为网页中的制表符，用于分隔文字和数据，对齐网页中的元素；

用户意图识别装置，使用目标检测模型输出的页面模块名称和当前页面模块下的所有功能作为用于用户识别的第二数据集，并进行随机组合；通过目标检测模型对第二数据集进自动化标注，得到已标注好的第二数据集；采用循环神经网络，输入已标注好的第二数据集进行训练，得到已训练好的循环神经网络模型；

输入输出装置，用于输入用户文字，将该用户文字输入到用户意图识别装置的循环神经网络模型，输出用户意图，该用户意图为各个模块和操作的组合；

用户意图执行装置，按照用户意图进行顺序编排后执行需求，并在执行路径中预置需干预模块；

反馈装置，将执行的埋点数据和用户反馈数据用于继续训练循环神经网络模型。

如此，如图3所示，可以实施以下步骤：

步骤201:输入网页截图，并进行标注；

步骤202:将步骤201标注后的截图用于训练网页意图识别装置，输出网页意图，并随机组合；

步骤203:将步骤202的输出结果用以训练用户意图识别装置；

步骤204:将用户输入，输入步骤203的用户意图识别装置，输出用户意图；

步骤205:将步骤204的用户意图按执行需求，按顺序编排后执行；

步骤206:将执行的埋点数据和用户反馈数据用于继续训练用户意图识别装置，形成可持续学习的良性循环。

实施例三

本实施例还提供了一种电子装置，参考图4，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

具体地，上述处理器402可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecificIntegratedCircuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器(HardDiskDrive，简称为HDD)、软盘驱动器、固态驱动器(SolidStateDrive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性(Non-Volatile)存储器。在特定实施例中，存储器404包括只读存储器(Read-OnlyMemory，简称为ROM)和随机存取存储器(RandomAccessMemory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-OnlyMemo ry，简称为PROM)、可擦除PROM(ErasableProgrammableRead-OnlyMemory，简称为EPROM)、电可擦除PROM(ElectricallyErasableProgrammableRead-Onl yMemory，简称为EEPROM)、电可改写ROM(ElectricallyAlterableRead-Only Memory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(StaticRandom-Acc essMemory，简称为SRAM)或动态随机存取存储器(DynamicRandomAccessM emory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器404(FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDateOutDynamicRandomAccessMe mory，简称为EDODRAM)、同步动态随机存取内存(SynchronousDynamicRa ndom-AccessMemory，简称SDRAM)等。

存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。

处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意智能网页操作的方法。

可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。

传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是输入文字等，输出的信息可以是执行结果等。

实施例四

本实施例还提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据实施例一的智能网页操作的方法。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。

本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以作出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。