一种测试方法、系统及计算机设备

技术领域

本申请涉及模型测试领域，尤其涉及一种基于投放模型算法效果的测试方法、系统及计算机设备。

背景技术

随着精准营销技术的发展，各企业都提升了对广告投放效果的要求。相比较过去凭借人工投放经验配置投放计划的模式，基于历史投放效果数据进行机器学习产出的智能投放模型更贴近企业的投放目标，能帮助企业得到更合理更科学的投放预算计划，得到更好的投放效果。基于上述背景，智能投放模型的引入增加了对于测试人员的模型验证的校验难度。机器学习存在一定的随机性与不确定性，针对投放模型产出的结果难以确认是否符合实际的需求。同时对于测试人员的技术水平提出了更高的要求，测试人员需同时掌握待测模型的方法论与历史效果数据处理的大数据研发技术。

由此，针对上述场景，我们使用python代码实现了一个针对投放模型算法效果的验证方法，本发明的输入项为投放模型的模型代码以及各维度的基础数据，输出项为投放计划配置结果和效果验证曲线报告。本发明提供了不同维度的验证方向，可基于测试需求调整输入数据，获取需要的效果曲线。减轻了测试人员的学习成本，并且产出的报告能帮助非技术同学更好的理解当前算法的分量效果情况。

发明内容

本申请实施例提供了一种基于投放模型算法效果的测试方法、系统及计算机设备，以至少解决相关技术中主观因素影响的问题。

本发明提供了一种测试方法，其中所述测试方法包括：

基础信息读取步骤：读取指定的基础信息；

结果信息获取步骤：根据所述基础信息调用投放模型获取结果信息；

结果信息验证步骤：验证所述投放模型输出的所述结果信息是否符合常规规范；

曲线报告获取步骤：根据所述投放模型输出的参数获取其各项指标，并生成输入参数序列与输出指标的线性关系图。

上述的测试方法，其特征在于，所述基础信息包括基础数据文件、模型入口信息、需调整的维度以及维度参数序列。

上述的测试方法，其特征在于，所述结果信息获取步骤具体包括，根据所述维度参数序列依次修改需调整的维度，调用所述投放模型获取结果信息。

上述的测试方法，其特征在于，结果信息验证步骤具体包括，验证所述投放模型输出的所述结果信息是否符合常规规范，并分别加入验证通过列表与验证失败列表，所述验证失败列表需包含失败信息。

上述的测试方法，其特征在于，曲线报告获取步骤具体包括，梳理所述验证通过列表的数据，根据所述投放模型输出的所述参数获取其各项指标，输入至excel文件并生成输入参数序列与输出指标的线性关系曲线图。

本发明还提供一种测试系统，其特征在于，适用于上述所述的测试方法，包括基础信息读取单元、结果信息获取单元、结果信息验证单元、曲线报告获取单元，其中：

基础信息读取单元：读取指定的基础信息；

结果信息获取单元：根据所述基础信息调用投放模型获取结果信息；

结果信息验证单元：验证所述投放模型输出的所述结果信息是否符合常规规范；

曲线报告获取单元：根据所述投放模型输出的参数获取其各项指标，并生成输入参数序列与输出指标的线性关系图。

上述的测试系统，其特征在于，包括基础数据文件、模型入口信息、需调整的维度以及维度参数序列。

上述的测试系统，其特征在于，根据所述维度参数序列依次修改需调整的维度，调用所述投放模型获取结果信息。

上述的测试系统，其特征在于，验证所述投放模型输出的所述结果信息是否符合常规规范，并分别加入验证通过列表与验证失败列表，所述验证失败列表需包含失败信息。

上述的测试系统，其特征在于，梳理所述验证通过列表的数据，根据所述投放模型输出的所述参数获取其各项指标，输入至excel文件并生成输入参数序列与输出指标的线性关系曲线图。

本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述的测试方法。

相比于相关技术，本申请实施例提供的一种基于投放模型算法效果的测试方法、系统及计算机设备，本发明测试人员无需再针对投放模型计算逻辑进行手工的数据验证，本方案可自动化的验证投放模型算法的准确性与有效性，减少了测试人员工作量，节省时间，提高工作效率。不会编写代码的测试人员也可通过本方法来测试投放模型算法，能清楚的从结果报告中观察到被测模型的效果情况。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的测试方法的框架图；

图2是根据本申请实施例的测试方法的流程图；

图3是图2中步骤S2的框架图；

图4是本发明的测试系统的结构示意图；

图5是根据本申请实施例的计算机设备的框架图；

图6为线性关系曲线图。

其中，附图标记为：根据本申请实施例的测试方法及系统框架图；

基础信息读取单元：11；

结果信息获取单元：12；

结果信息验证单元：13；

曲线报告获取单元：14；

81：处理器；

82：存储器；

83：通信接口；

80：总线。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本发明基于投放模型算法效果，下面进行简要的介绍。

智能模型也称为“基于知识的软件开发模型”，它把瀑布模型和专家系统结合在一起，利用专家系统来帮助软件开发人员的工作。该模型应用基于规则的系统，采用归纳和推理机制，使维护在系统规格说明一级进行。这种模型在实施过程中以软件工程知识为基础的生成规则构成的知识系统与包含应用领域知识规则的专家系统相结合，构成这一应用领域软件的开发系统。智能模型拥有一组工具(如数据查询、报表生成、数据处理、屏幕定义、代码生成、高层图形功能及电子表格等)，每个工具都能使开发人员在高层次上定义软件的某些特性，并把开发人员定义的这些软件自动地生成为源代码。这种方法需要四代语言的支持。4GL不同于三代语言，其主要特征是用户界面极端友好，即使没有受过训练的非专业程序员，也能用它编写程序；它是一种声明式、交互式和非过程性编程语言。4GL还具有高效的程序代码、智能缺省假设、完备的数据库和应用程序生成器。目前市场上流行的4GL都不同程度地具有上述特征。但4GL目前主要限于事务信息系统的中、小型应用程序的开发。

算法(Algorithm)是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。也就是说，能够对一定规范的输入，在有限时间内获得所要求的输出。如果一个算法有缺陷，或不适合于某个问题，执行这个算法将不会解决这个问题。不同的算法可能用不同的时间、空间或效率来完成同样的任务。一个算法的优劣可以用空间复杂度与时间复杂度来衡量。一个算法应该具有以下七个重要的特征：有穷性，算法的有穷性是指算法必须能在执行有限个步骤之后终止；确切性，算法的每一步骤必须有确切的定义；输入项，一个算法有0个或多个输入，以刻画运算对象的初始情况，所谓0个输入是指算法本身定出了初始条件；输出项，一个算法有一个或多个输出，以反映对输入数据加工后的结果。没有输出的算法是毫无意义的；可行性，算法中执行的任何计算步骤都是可以被分解为基本的可执行的操作步，即每个计算步都可以在有限时间内完成(也称之为有效性)；高效性，执行速度快，占用资源少；健壮性，对数据响应正确。计算机科学中，算法的时间复杂度是一个函数，它定量描述了该算法的运行时间。更确切地说，它是用另一个(通常更简单的)函数来描述一个函数数量级的渐近上界。在数学中，它一般用来刻画被截断的无穷级数尤其是渐近级数的剩余项；在计算机科学中，它在分析算法复杂性的方面非常有用。)表述，使用这种方式时，时间复杂度可被称为是渐近的，它考察当输入值大小趋近无穷时的情况。

Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python在设计上坚持了清晰划一的风格，这使得Python成为一门易读、易维护，并且被大量用户所欢迎的、用途广泛的语言。Python是完全面向对象的语言。函数、模块、数字、字符串都是对象。并且完全支持继承、重载、派生、多继承，有益于增强源代码的复用性。Python支持重载运算符和动态类型。相对于传统的函数式编程语言，Python对函数式设计只提供了有限的支持。虽然Python可能被粗略地分类为“脚本语言”，但实际上一些大规模软件开发计划也广泛地使用它，Python的支持者较喜欢称它为一种高级动态编程语言，原因是“脚本语言”泛指仅作简单程序设计任务的语言，如shellscript、VBScript等只能处理简单任务的编程语言，并不能与Python相提并论。Python本身被设计为可扩充的，并非所有的特性和功能都集成到语言核心。Python提供了丰富的API和工具，以便程序员能够轻松地使用C语言、C++、Cython来编写扩充模块，它编译器本身也可以被集成到其它需要脚本语言的程序内。因此，很多人还把Python作为一种“胶水语言”使用，使用Python将其他语言编写的程序进行集成和封装。Python在执行时，首先会将.py文件中的源代码编译成Python的字节码，然后再由Python虚拟机来执行这些编译好的字节码。然而，Python Virtual Machine与Java或.NET的VirtualMachine不同的是，Python的Virtual Machine是一种更高级的Virtual Machine。这里的高级并不是通常意义上的高级，不是说Python的Virtual Machine比Java或.NET的功能更强大，而是说和Java或.NET相比，Python的Virtual Machine距离真实机器的距离更远。或者可以这么说，Python的Virtual Machine是一种抽象层次更高的Virtual Machine。基于C的Python编译出的字节码文件，通常是.pyc格式。除此之外，Python还可以以交互模式运行，比如主流操作系统Unix/Linux、Mac、Windows都可以直接在命令模式下直接运行Python交互环境。直接下达操作指令即可实现交互操作。

本申请实施例提供的一种基于投放模型算法效果的测试方法、系统及计算机设备，本发明测试人员无需再针对投放模型计算逻辑进行手工的数据验证，本方案可自动化的验证投放模型算法的准确性与有效性，减少了测试人员工作量，节省时间，提高工作效率。不会编写代码的测试人员也可通过本方法来测试投放模型算法，能清楚的从结果报告中观察到被测模型的效果情况。

下面将以基于投放模型算法效果为例对本申请实施例进行说明。

实施例一

本实施例提供了一种基于投放模型算法效果的测试方法。请参照图1-图3，图1是根据本申请实施例的测试方法及系统框架图；图2是根据本申请实施例的测试方法流程图；图3是图2中步骤S2的框架图；如图1-图3所示，一种测试方法包括如下步骤：

基础信息读取步骤S1：读取指定的基础信息；

结果信息获取步骤S2：根据所述基础信息调用投放模型获取结果信息；

结果信息验证步骤S3：验证所述投放模型输出的所述结果信息是否符合常规规范；

曲线报告获取步骤S4：根据所述投放模型输出的参数获取其各项指标，并生成输入参数序列与输出指标的线性关系图。

实施例中，所述基础信息S1包括基础数据文件、模型入口信息、需调整的维度以及维度参数序列。

实施例中，所述结果信息获取步骤S2具体包括，根据所述维度参数序列依次修改需调整的维度，调用所述投放模型获取结果信息。

具体地说，参数序列循环遵循固定基础参数、调整指定单维度数据原则。通过观察调整的单维度数据变化与模型计算结果变化之间的关系，用于发现投放模型中的潜在问题与异常数据点。用户可指定本次测试过程中需要调整的单维度列，用于进行特定维度的模型计算结果验证。在未指定特定维度时，本方法可读取所有可调维度数据，根据默认参数序列值或字典值列表，对输入参数进行调整并获取结果数据。

实施例中，结果信息验证步骤S3具体包括，验证所述投放模型输出的所述结果信息是否符合常规规范，并分别加入验证通过列表与验证失败列表，所述验证失败列表需包含失败信息。

实施例中，曲线报告获取步骤S4具体包括，梳理所述验证通过列表的数据，根据所述投放模型输出的所述参数获取其各项指标，输入至excel文件并生成输入参数序列与输出指标的线性关系曲线图如图6所示。

由此，本发明实施例提供的一种基于投放模型算法效果的测试方法、系统及计算机设备，本发明测试人员无需再针对投放模型计算逻辑进行手工的数据验证，本方案可自动化的验证投放模型算法的准确性与有效性，减少了测试人员工作量，节省时间，提高工作效率。不会编写代码的测试人员也可通过本方法来测试投放模型算法，能清楚的从结果报告中观察到被测模型的效果情况。

实施例二

请参照图3，图3是本发明的测试系统的结构示意图。如图3所示，发明的测试系统适用于上述的测试方法，包括基础信息读取单元11、结果信息获取单元12、结果信息验证单元13、曲线报告获取单元14，其中：

基础信息读取单元11：读取指定的基础信息；

结果信息获取单元12：根据所述基础信息调用投放模型获取结果信息；

结果信息验证单元13：验证所述投放模型输出的所述结果信息是否符合常规规范；

曲线报告获取单元14：根据所述投放模型输出的参数获取其各项指标，并生成输入参数序列与输出指标的线性关系图。

在本实施例中，所述基础信息读取单元11包括基础数据文件、模型入口信息、需调整的维度以及维度参数序列。

在本实施例中，所述结果信息获取单元12根据所述维度参数序列依次修改需调整的维度，调用所述投放模型获取结果信息。

在本实施例中，所述结果信息验证单元13验证所述投放模型输出的所述结果信息是否符合常规规范，并分别加入验证通过列表与验证失败列表，所述验证失败列表需包含失败信息。

进一步地，所述曲线报告获取单元14梳理所述验证通过列表的数据，根据所述投放模型输出的所述参数获取其各项指标，输入至excel文件并生成输入参数序列与输出指标的线性关系曲线图。

实施例三

结合图4所示，本实施例揭示了一种计算机设备的一种具体实施方式。计算机设备可以包括处理器81以及存储有计算机程序指令的存储器82。

具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。

存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。

处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种文件系统容量管理优化方法、。

在其中一些实施例中，计算机设备还可包括通信接口83和总线80。其中，如图4所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。

通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线80包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该计算机设备可连接测试系统，从而实现结合图1、图2描述的方法。

另外，结合上述实施例中测试方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种测试方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。