埋点采集数据校验的方法及装置

技术领域

本发明涉及埋点测试技术领域，尤其涉及一种埋点采集数据校验的方法及装置。

背景技术

数据采集是大数据技术的第一步，埋点质量的高低直接影响下游数仓建设，人物画像构成等。因此，提高埋点质量显得尤其重要，现有埋点采集数据校验的主要做法有下面两种：

1、前端直接进行校验，缺点在于校验规则修改需要进行前端发布，不够灵活，通用性不强，无法做到大批量页面的校验。同时，对于并发量高的网站影响前端性能。

2、后端校验离线数据，缺点在于由于测试环境、生产环境的不相通，校验规则存在环境间的差异，往往会影响校验结果的准确性。若将生产环境的校验规则同步至测试环境，存在同步不及时和代价大的问题。

发明内容

本发明的目的在于提供一种埋点采集数据校验的方法及装置，能够有效解决测试环境与生产环境中访问日志校验规则不统一，校验结果不准确的问题。

为了实现上述目的，本发明的第一方面提供一种埋点采集数据校验方法，包括：

统一测试环境和生产环境中埋点采集数据的校验规则，并配置测试页面的页面参数和业务参数；

定时从测试环境中获取待测页面的埋点采集数据，和/或，定时从生产环境中获取待测页面的埋点采集数据；

基于所述埋点采集数据查找对应测试页面的页面参数和业务参数，根据所述校验规则对所述埋点采集数据进行校验，输出校验结果。

优选地，配置测试页面的页面参数和业务参数的方法包括：

在页面管理系统中配置包括测试页面基础信息和埋点参数信息的页面参数，所述基础信息至少包括测试页面的页面编码，所述埋点参数信息包括多项埋点测试参数；

在业务管理系统中配置测试页面的业务参数，所述业务参数包括业务描述信息和校验规则信息。

较佳地，定时从测试环境中获取待测页面的埋点采集数据，和/或，定时从生产环境中获取待测页面的埋点采集数据的方法包括：

定时从测试环境和准生产环境获取访问日志，所述访问日志中包括埋点采集数据；和/或，定时从生产环境中获取离线表，所述离线表中包括埋点采集数据；

所述埋点采集数据中包括待测页面的基础信息和埋点参数信息。

优选地，基于所述埋点采集数据查找对应测试页面的页面参数和业务参数，根据所述校验规则对所述埋点采集数据进行校验，输出校验结果的方法包括：

校验从待测页面中获取所述埋点采集数据中的页面参数是否存在页面编码，若不存在则输出页面未埋点的校验结果；

若存在则基于所述页面编码从页面管理系统中匹配出对应测试页面的埋点参数和业务参数，并将所述埋点采集数据按照所述校验规则一一对应的与测试页面中的埋点参数和业务参数比对，根据比对结果输出校验结果。

优选地，将所述埋点采集数据按照所述校验规则一一对应的与测试页面中的埋点参数和业务参数比对，根据比对结果输出校验结果的方法包括：

识别所述埋点采集数据中的埋点项和每个埋点项的对应参数，判断所述埋点项在对应测试页面中是否为必要埋点，且埋点项的对应参数是否为固定参数；

对于埋点项为必要埋点且对应参数为固定参数的埋点项，将所述固定参数分别与测试页面中对应的埋点参数比对，在比对结果不一致时输出埋点项参数与页面参数不一致的校验结果，在比对结果一致时输出校验结果通过；

对于埋点项为必要埋点且对应参数为非固定参数的埋点项，将所述非固定参数分别与业务参数比对，当比对结果通过时输出校验结果通过，当比对结果不通过时输出校验结果不通过。

优选地，将所述非固定参数分别与业务参数比对的方法包括：

识别每个所述非固定参数的类别，并从业务参数的校验规则信息中抽取对应类别的规则对各所述非固定参数进行校验，并在每个所述非固定参数均校验通过后输出校验结果通过，否则输出校验结果不通过；

所述校验规则信息的类别包括维度规则、自定义枚举规则和正则规则。

优选地，还包括：

将校验结果可视化通知至相应的埋点负责人，并做告警提示。

与现有技术相比，本发明提供的埋点采集数据校验方法具有以下有益效果：

本发明提供的埋点采集数据校验方法中，首先统一试环境和生产环境中埋点采集数据的校验规则，同时配置测试页面的页面参数和业务参数，这些操作完成之后，可定时从测试环境中获取待测页面的埋点采集数据，和/或，定时从生产环境中获取待测页面的埋点采集数据，然后基于上述埋点采集数据查找对应测试页面的页面参数和业务参数，并根据校验规则对上述埋点采集数据进行校验，输出校验结果。

可见，本发明采用后端测试的方案，能够对测试环境和生产环境中产生的埋点采集数据提供统一的校验规则，进而可以克服因环境间差异造成的校验结果准确性不一致的情况。

本发明的第二方面提供一种埋点采集数据校验装置，应用于上述技术方案所述的埋点采集数据校验方法，所述装置包括：

配置单元，用于统一测试环境和生产环境中埋点采集数据的校验规则，并配置测试页面的页面参数和业务参数；

采集单元，用于定时从测试环境中获取待测页面的埋点采集数据，和/或，定时从生产环境中获取待测页面的埋点采集数据；

校验单元，用于基于所述埋点采集数据查找对应测试页面的页面参数和业务参数，根据所述校验规则对所述埋点采集数据进行校验，输出校验结果。

优选地，还包括：

提示单元，用于将校验结果不通过的消息发送至相应的埋点负责人，并做告警提示。

与现有技术相比，本发明提供的埋点采集数据校验装置的有益效果与上述技术方案提供的埋点采集数据校验方法的有益效果相同，在此不做赘述。

本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述埋点采集数据校验法的步骤。

与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的埋点采集数据校验方法的有益效果相同，在此不做赘述。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例中埋点采集数据校验方法的流程示意图；

图2为本发明实施例中埋点采集数据校验方法的技术架构示例图；

图3为本发明实施例中埋点采集数据校验方法的整体业务逻辑示例图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。

实施例一

请参阅图1-3，本实施例提供一种埋点采集数据校验方法，包括：

统一测试环境和生产环境中埋点采集数据的校验规则，并配置测试页面的页面参数和业务参数；定时从测试环境中获取待测页面的埋点采集数据，和/或，定时从生产环境中获取待测页面的埋点采集数据；基于所述埋点采集数据查找对应测试页面的页面参数和业务参数，根据所述校验规则对所述埋点采集数据进行校验，输出校验结果。

本实施例提供的埋点采集数据校验方法中，首先统一试环境和生产环境中埋点采集数据的校验规则，同时配置测试页面的页面参数和业务参数，这些操作完成之后，可定时从测试环境中获取待测页面的埋点采集数据，和/或，定时从生产环境中获取待测页面的埋点采集数据，然后基于上述埋点采集数据查找对应测试页面的页面参数和业务参数，并根据校验规则对上述埋点采集数据进行校验，输出校验结果。

可见，本实施例采用后端测试的方案，能够对测试环境和生产环境中产生的埋点采集数据提供统一的校验规则，进而可以克服因环境间差异造成的校验结果准确性不一致的情况。

上述实施例中，配置测试页面的页面参数和业务参数的方法包括：

在页面管理系统中配置包括测试页面基础信息和埋点参数信息的页面参数，基础信息至少包括测试页面的页面编码，埋点参数信息包括多项埋点测试参数；在业务管理系统中配置测试页面的业务参数，业务参数包括业务描述信息和校验规则信息。

具体实施时，页面管理系统中配置有多个测试页面的页面参数，业务管理系统中配置有多个测试页面的业务参数，不同的测试页面可以来自不同的站点，其中，基础信息通常包括页面编码、页面名称、所属产品线等信息。埋点参数信息用于纪录测试页面需要埋点的参数，如页面分类、商品品类、页面标签、页面标题、商品编码、店铺编码、供应商编码等。业务描述信息包括业务参数的基本信息，如参数英文简称、参数中文名称、业务场景描述、适用业务域等。校验规则信息可分为三大类，如维度规则、自定义枚举规则和正则规则。

上述实施例中，定时从测试环境中获取待测页面的埋点采集数据，和/或，定时从生产环境中获取待测页面的埋点采集数据的方法包括：

定时从测试环境和准生产环境获取访问日志，访问日志中包括埋点采集数据；和/或，定时从生产环境中获取离线表，离线表中包括埋点采集数据；埋点采集数据中包括待测页面的基础信息和埋点参数信息。

具体实施时，此处的测试环境包括实际测试环境和预生产环境，测试环境产生的数据量小，可直接提取访问日志进行校验，实际测试环境、预生产环境的访问日志聚合后，将会被存入到第三方存储平台，进而保证测试环境和预生产环境的数据不会污染生产环境的数据，另外，第三方存储平台提供跨域访问功能。而生产环境产生的数据量大，需从离线表中提取访问日志进行校验。可以理解的是，由于测试环境中访问日志的数据未经过清洗，属于直接提取获得的，因此校验结果更准确。

上述实施例中，基于所述埋点采集数据查找对应测试页面的页面参数和业务参数，根据所述校验规则对所述埋点采集数据进行校验，输出校验结果的方法包括：

校验从待测页面中获取埋点采集数据中的页面参数是否存在页面编码，若不存在则输出页面未埋点的校验结果；若存在则基于页面编码从页面管理系统中匹配出对应测试页面的埋点参数和业务参数，并将埋点采集数据按照校验规则一一对应的与测试页面中的埋点参数和业务参数比对，根据比对结果输出校验结果。

具体实施时，对于一条埋点采集数据，首先会校验其是否存在页面编码，如果不存在则表示未埋点，校验结果为“页面未埋点”，也即校验不通过。如果若存在页面编码，会在页面管理系统中进行匹配，若匹配不到，此时校验结果为“页面参数未配置”，此时会提醒业务方到页面管理系统中进行页面注册。若能匹配到，会根据页面管理系统中设定的埋点参数和业务参数，按照校验规则一一对应的对埋点采集数据进行匹配校验，仅在埋点采集数据中的全部项埋点测试参数均能在埋点参数和业务参数中匹配到，且对应的参数值符合阈值范围时，说明该条埋点采集数据检验通过，否则说明该条埋点采集数据检验未通过。

进一步地，上述实施例中将埋点采集数据按照校验规则一一对应的与测试页面中的埋点参数和业务参数比对，根据比对结果输出校验结果的方法包括：

识别埋点采集数据中的埋点项和每个埋点项的对应参数，判断埋点项在对应测试页面中是否为必要埋点，且埋点项的对应参数是否为固定参数；对于埋点项为必要埋点且对应参数为固定参数的埋点项，将固定参数分别与测试页面中对应的埋点参数比对，在比对结果不一致时输出埋点项参数与页面参数不一致的校验结果，在比对结果一致时输出校验结果通过；对于埋点项为必要埋点且对应参数为非固定参数的埋点项，将非固定参数分别与业务参数比对，当比对结果通过时输出校验结果通过，当比对结果不通过时输出校验结果不通过。

具体实施时，首先需判断埋点采集数据中的埋点项是否为对应测试页面中的必要埋点，必要埋点在对应测试页面中的页面参数中有记载，对于埋点项为必要埋点且对应参数为固定参数的埋点项，将固定参数分别与测试页面中对应的埋点参数比对，在比对结果不一致时输出埋点项参数与页面参数不一致的校验结果，在比对结果完全一致时输出校验结果通过。对于埋点项为必要埋点且对应参数为非固定参数的埋点项，将非固定参数分别与业务参数比对，当非固定参数处于对应业务参数的范围内时输出校验结果通过，否则输出校验结果不通过。

具体地，上述实施例中将非固定参数分别与业务参数比对的方法包括：

识别每个非固定参数的类别，并从业务参数的校验规则信息中抽取对应类别的规则对各非固定参数进行校验，并在每个非固定参数均校验通过后输出校验结果通过，否则输出校验结果不通过；校验规则信息的类别包括维度规则、自定义枚举规则和正则规则。

具体实施时，非固定参数的类别分为维度参数、自定义枚举参数和正则参数，例如，维度参数包括手机品牌维度、运营商维度等，自定义枚举参数为用户自定义的参数，正则参数如订单号位数。其中，维度参数可通过维度库来管理，如通过数据仓库提供对外的Http接口，实现统一的维度管理。自定义枚举参数，可以在业务管理系统中管理所需枚举参数。对于正则参数，如一些数字字母的参数，可以在业务管理系统设定正则匹配规则。例如，校验结果的错误类型可分为以下几类：

上述实施例中，还包括：将校验结果可视化通知至相应的埋点负责人，用于告警提示。

上述实施例中，对于校验结果不通过，会将报错数据存入生产环境的数据库中，提供给前端可视化查看。同时，平台会发送到具体页面埋点的负责人，负责人点击链接进入平台后，可以看到自己所负责页面的校验结果。对相应的页面埋点纰漏进行修改，提高埋点质量。对于特殊情况，埋点不需要修改的，或者不想再次接受通知的，可以选择忽略，通知即停止。

综上，本实施例提供测试环境和生产环境两种数据源的埋点校验，通过灵活配置页面参数和业务参数，实现了多个站点多个页面的不同配置。同时，测试环境和生产环境采用统一的校验规则，保证校验结果的一致性。给埋点方提供及时、准确、直观的校验结果展示，并做出相应的通知。

实施例二

本实施例提供一种埋点采集数据校验装置，包括：

配置单元，用于统一测试环境和生产环境中埋点采集数据的校验规则，并配置测试页面的页面参数和业务参数；

采集单元，用于定时从测试环境中获取待测页面的埋点采集数据，和/或，定时从生产环境中获取待测页面的埋点采集数据；

校验单元，用于基于所述埋点采集数据查找对应测试页面的页面参数和业务参数，根据所述校验规则对所述埋点采集数据进行校验，输出校验结果。

优选地，还包括：

提示单元，用于将校验结果不通过的消息发送至相应的埋点负责人，并做告警提示。

与现有技术相比，本发明实施例提供的埋点采集数据校验装置的有益效果与上述实施例一提供的埋点采集数据校验方法的有益效果相同，在此不做赘述。

实施例三

本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述埋点采集数据校验方法的步骤。

与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的埋点采集数据校验方法的有益效果相同，在此不做赘述。

本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。