一种网页的核心内容的智能化抽取方法及系统

S311、通过遍历标签树的叶子节点，获取对应的文本信息。

在本申请实施例中，由于网页中正文中也会嵌入各种标签，所以并不是网页的正文部分就只存在于一个叶子节点中，而是被分散存于不同的叶子节点中，因此需要通过遍历标签树的所有叶子节点，获取到相应的文本信息，获取核心文本信息的目的在于获取正文，并找到能获取到完整正文信息的路径。

S312、判断文本信息是否存在于核心文本信息。

在本申请实施例中，核心文本信息是上述通过文本密度和符号密度建模获取到的，其内容主体就是正文。对于遍历标签树中所有叶子节点所获取的文本信息，可以以核心文本信息作为参考，因为若叶子节点中所包含的文本信息属于正文的话，则该文本信息一定也存在于核心文本信息中，因此通过判断叶子节点包含的文本信息是否存在于核心文本信息来确认该文本信息是否是正文的一部分。

在一个实施例中，会对核心文本信息进行分段和切割整句的方式将核心文本信息切分为多个文本信息。通过将叶子节点所包含的文本信息和核心文本信息中进行一对多的文本相似度计算，当有相似度达到预设的阈值时，则认为文本信息存在于核心文本信息中。

在另一个实施例中，会直接将叶子节点所包含的文本信息在核心文本信息中进行字符串匹配，根据匹配度来确认文本信息是否存在于核心文本信息中。

S313、若存在，则将当前节点的绝对路径记为有效路径。

在本身实施例中，若文本信息不存在于核文本信息中，则记该文本信息所对应结点的绝对路径为无效路径，反正，若文本信息存在于核文本信息中，则将该文本信息所对应结点的绝对路径记为有效路径。

S314、对所有有效路径进行合并，以获取最长公共路径，即正文的规则模版。

在本申请实施例中，由于有效路径表征的是正文文本部分信息的获取路径，即根据有效路径能获取到一部分正文内容信息，现在需要的是找到一条路径可以获取到所有的正文内容，因此会对所有有效路径进行合并，以获取最长公共路径，也就是能获取到所有正文内容的路径，即正文的规则模版。

在本申请实施例中，对所有有效路径进行合并，以获取最长公共路径，具体包括如下步骤：

S3141、对有效路径进行两两相似度计算，获取相应的相似度路径值，并形成相似度集合。

在本申请实施例中，由于需要根据所有有效路径确定一条最长的公共路径，所以首先需要找到公共的路径，而对于公共的路径会通过相似度计算来进行确定，通过对有效路径进行两两相似度计算，即每一个有效路径都需要同其他的有效路径进行相似度计算，计算获取到所有的相似度值之后，会形成一个相似度集合，集合中包含有效路径以及与之相关的相似度值。

S3142、计算获取相识度集合中众数和平均数，获取有效路径的阈值点。

S3143、选取大于或等于有效路径的阈值点的相似度路径值对应的有效路径作为最相似的有效路径集合。

在本申请实施例中，获取到相似度集合后，通过计算可获取到所有相似度值的众数和平均数，众数表示的是相似度集合中出现次数最多的相似度值，如果平均数小于众数，则取众数的相似度路径值为有效路径的阈值点，否则取平均数的相似度路径值为有效路径的阈值点，从而保留所有大于等于有效路径的阈值点的相似度路径值对应的有效路径作为最相似的有效路径集合。

S3144、根据最相似的有效路径集合，获取同一位置节点的最大相同的路径和该位置的总路径的比值。

S3145、选取比值大于预设阈值的节点的最大相同的路径为有效公共路径。

在本申请实施例中，由于最相似的有效路径计算的是整个路径的相似度，最终获取的公共路径还需要考虑到路径中节点的顺序，可能两个有效路径相似度很高，只有中间一个节点不同，但这种情况下，只有中间不同节点之前的路径才是有效的，因此在获取到最相似的有效路径集合后，还会对同一位置节点的最大相同的路径和该位置的总路径的比值进行计算。

当同一位置的节点的最大相同的路径和该位置的总路径的比值大于预设的阈值时，认为是有效的公共路径，一般阈值为设置为0.9。例如，最相似的有效路径集合为[‘/html/body/div/div’,’/html/body/div/a’,’/html/body/a/div’]。则1位置html的比值为1；2位置body的比值为1；3位置div的比值为2/3,，a的比值为1/3；4位置div的相似度为2/3，a的比值为1/3。那么选取比值大于0.9的位置对应的标签为有效公共路径，则最终的最长公共路径为/html/body。

S3146、从所有有效公共路径中获取最长公共路径，即正文的规则模版。

在本申请实施例中，获取到所有有效公共路径之后，若有效公共路径不止一个，例如，有效公共路径为/html/body和/html/body/p，则选取最长的公共路径为正文的规则模版，也就是/html/body/p。因为目的是只获取正文信息，而不需要其他的内容部分，因此最长公共路径才是需要的正文规则模版。

在本申请实施例中，根据核心文本信息和网页结构信息，生成标题规则模版，具体包括如下步骤：

S320、根据网页结构信息，获取title标签的文本内容，记为实验组，获取h标签以及class包含title的div标签的文本内容，记为对照组。

在本申请实施例中，由于通过对大量的网页进行分析，发现一般网页的标题会在title标签、h标签、div下class包含title的标签，而出现在title标签的比重最高。

因此，会根据网页结构信息，获取title标签的文本内容，记为实验组，然后获取h标签以及class包含title的div标签的文本内容，记为对照组。

S321、对实验组和对照组计算最长公共子串，并对比包含最长公共子串的实验组和对照组的文本内容长度，选择文本内容更长的一组，作为标题以及标题的规则模版。

在本申请实施例中，由于网页标题一般具有高概括性、精简性特点，会包含一些关键词，关键语句等信息，因此通过实验组和对照组所提取的文本内容进行字符串匹配，若获取到公共子串，则说明两组文本内容均包含有同样的信息，可理解为该公共的信息为关键信息。

通常情况下，网页中正文部分标题的文字长度对比其它的一些标题对应的文字长度要长，因此，通过对比包含公共关键信息的所有候选标题的文本长度，选择文本内容更长的一组，作为标题以及标题的规则模版。

在本申请实施例中，根据核心文本信息和网页结构信息，生成发布时间规则模版，参见图4，具体包括如下步骤：

S330、根据网页结构信息，获取所有与日期、时间对应的字符串。

通过对大量的同类型网页的分析，发现一般网页的发布时间在网页结构中也是存在一定的规则。例如，新闻类型的详情页的发布时间会在标题和正文之间，并且发布时间给出的形式基本上都是标准化的时间形式，例如，2022-08-23 09:21:00、2022-08-22 08:52等形式，而网页中包含的其他关于日期时间的内容，很少会以上述的标准化时间格式呈现。因此可以通过对网页中提取的时间进行标准化，与标准时间格式进行匹配，根据匹配程度来判断是否是发布时间。

在本申请实施例中，根据网页结构信息，获取所有与日期、时间对应的字符串，主要是获取meta中包含的发布时间、包含class中包含date的标签内容以及包含发布时间/日期的文本中的发布时间、以及正文中的发布时间。

S331、依次对获取的所有字符串进行时间标准化处理，分别获取对应的标准化时间。

其中，标准化时间格式为yyyy-MM-dd hh:mm:ss，可以直接采用js中的时间格式转化方法将获取的时间字符串转为标准化格式。

在本申请实施例中，由于网页中除了发布时间外，还包含有其它有关日期、时间的信息，因此将所有时间字符串都转为标准时间格式，以获取对应的标准化时间，再根据标准化时间与标准化时间格式的匹配度来确定发布时间。

S332、通过预设的标准化时间模板，选取与其匹配度最高的标准化时间作为发布时间。

其中，预设标准化时间模板是根据标准时间格式设定的优先级序列，按年月日时分秒、年月日时分、年月日时、月日时分、年月日、年月、月日来设定优先级。例如yyyy-MM-ddhh:mm:ss这种优先最高，其次yyyy-MM-dd hh:mm，以此类推，最后MM-dd优先级最低。

在本申请实施例中，通过将所有时间字符串都转为标准时间格式，以获取对应的标准化时间后，可以根据标准化时间与优先级序列进行匹配，每一个标准化时间都能匹配到与之对应的优先级，最后将匹配优先级最高的标准化时间作为发布时间。

S333、根据发布时间对应的文本信息利用标签树进行逆向推算发布时间的绝对路径，即发布时间规则模版。

在本申请实施例中，根据上述方法获取到发布时间之后，还需要将这种方法转为制定的规则模版，以便于根据制定的规则模版即可直接获取到发布时间。根据发布时间对应的文本信息可以通过上述提到的标签树来获取相应的绝对路径，而这个路径即为发布时间模版。

在本申请实施例中，还考虑到网页中可能有出现一些对于时间比较精细化的情景，例如，火箭发射、监控场景下的帧识别等也可能会涉及到具体的分秒，还有网页中可能还会出现修改的时间，也会同发布时间一样有着相同的时间格式。

因此为了进一步提升对于发布时间获取的准确度，对于具有同样高优先级的候选发布时间，还会根据候选发布时间对应的文本信息所在节点位置进行进一步筛选，对于节点位置在标题和正文之间的候选发布时间赋予更高的优先级。

S400、根据正文规则模版、标题规则模版和发布时间规则模版，确定通用规则模版。

在本申请实施例中，获取的正文规则模版、标题规则模版和发布时间规则模版都是根据当前的网页所得到的，还需要根据当前的模版确定通用规则模版，以便于对于同类型的网页数据都能根据通用规则模版进行数据抽取。

在本申请实施例中，根据正文规则模版、标题规则模版和发布时间规则模版，确定通用规则模版，具体包括如下步骤：

S410、根据正文规则模版、标题规则模版和发布时间规则模版生成与预设的网页地址信息对应的专用规则模版，将专用规则模版储存到预设的与网页类别对应的数据库中，统计数据库中的专用规则模版数量，判断专用规则模版数量是否达到预设值。

S420、若不是，则使用当前的专用规则模版作为临时的通用规则模版；

S430、若是，根据数据库中的专用规则模版筛选出通用规则模版。

在本申请实施例中，将正文规则模版、标题规则模版和发布时间规则模版进行组合即为当前网页的专用规则模版，根据预设的网页地址信息可以获取到当前网页的所属类别，将专业规则模版存储到与所属类别对应的数据库中，当一个类型的网页专用规则模版达到一定数量，则可从中去筛选出通用规则模版。

通过统计数据库中的当前网页对应类别的专用规则模版数量，判断是否达到预设值，若没有达到预设值，则将当前网页对应的专用规则模版作为临时的通用规则模版。

若当前网页对应类别的专用规则模版数量达到预设值，则计算出当前网页对应类别的专用规则模版中的众数，也就是当前网页对应类别中，有多个专用规则模版是相同的，则将该相同的模版作为通用规则模版，只有当众数达到一定值，我们才会认为众数所对应的专用规则模版是具有较高的通用性，因此会设定一个众数阈值，若当前网页对应类别的专用模版中的众数达到预设众数阈值，则将众数对应的专用规则模版作为通用规则模版。

S500、基于通用规则模版，抽取当前网页的核心内容。

在本申请实施例中，在生成当前网页的专用规则模版后，可直接根据专用规则模版抽取当前网页的核心内容，当由于生成当前网页的专用模版之后，恰好可生成对应的通用规则模版，也就是在生成当前网页的专用规则模版之前，是没有与之对应的通用规则模版的，因此为了对获取到的通用规则模版进行测试，还会使用通用规则模版进行核心内容的提取，目的在于若通用规则模版不同于当前网页的专用规则模版时，可根据两者的核心内容抽取结果对新获取的通用规则模版进行评估。

以专用规则模版的抽取结果作为参考标准，通过计算核心内容的文本相似度来判断通用规则模版抽取的准确度，若准确度达到预设的标准，则认为当前通用规则模版是有效的，若准确度没有达到预设的标准，则认为当前通用规则模版未达到标准，还需要继续收集专用规则模版，以重新生成对应的通用规则模版。

所以基于通用规则模版，抽取当前网页的核心内容实际上是：若通用规则模版是临时的通用规则模版，则根据临时的通用规则模版，也就是当前网页的专用规则模版抽取核心内容，若通用规则模版不是临时的，则分别使用当前网页的专用规则模版和获取的通用规则模版进行核心内容的抽取。

在本申请实施例中，从网页结构信息中获取核心文本信息之前，还包括如下步骤：

S610、判断是否存在与预设网页信息所对应的通用规则模版。

S620、若是，则使用通用规则模版抽取网页核心内容；

S630、若不是，则从网页结构信息中获取核心文本信息。

在本申请实施例中，由于对网页根据设定的算法获取正文、标题和发布时间之后，会生成相应的规则模版，并将这些模版存储到对应网页类别的数据库中，当某一类别收集到规则模版达到预设值之后，会选出通用的规则模版，当再次抽取该类别网页的核心内容时，会直接使用通用规则模版进行抽取。

因此，根据网页地址信息获取到网页结构信息之后，从网页结构信息中获取核心文本信息之前，会根据网页地址信息所包含的类别来确定对应数据库中是否已有通用规则模版，若是，则使用通用规则模版抽取网页核心内容，若不是，则从网页结构信息中获取核心文本信息，并进行后续的步骤，即S300-S500。

本申请实施例还提供一种网页的核心内容的智能化抽取系统，参见图5，包括：网页数据获取模块101、规则模版生成模块102、核心内容抽取模块103。

其中，获取网页数据模块101用于根据预设的网页地址信息获取相应的网页结构信息，基于预设抽取方式，从网页结构信息中获取核心文本信息。

生成规则模版模块102用于根据核心文本信息和网页结构信息，分别生成正文规则模版、标题规则模版和发布时间规则模版，然后根据正文规则模版、标题规则模版和发布时间规则模版，确定通用规则模版。

核心内容抽取模块103用于基于通用规则模版，抽取当前网页的核心内容。

在本申请实施例中，网页数据获取模块具体用于根据待抽取网页的地址信息获取网页结构数据，并根据网页结构数据通过预设的抽取方式获取核心文本信息。

规则模版生成模块具体用于通过设定的算法根据网页结合数据和核心文本信息获取网页正文、标题和发布时间，并分别生成对应规则模版，然后将规则模版存储于与当前网页对应类别的数据库中，最后根据数据库的规则模版选出通用规则模版。

核心内容抽取模块具体用于根据获取的通用规则模版抽取当前网页的核心内容。

本申请实施例还提供一种计算机可读存储介质，存储有能够被处理器加载并执行上述一种网页的核心内容的智能化抽取方法的计算机程序。

本具体实施方式的实施例均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的原理所做的等效变化，均应涵盖于本申请的保护范围之内。