引擎调度动作执行优先级的测试方法、装置、设备及介质

技术领域

本发明涉及网络安全技术领域，尤其涉及一种引擎调度动作执行优先级的测试方法、装置、设备及介质。

背景技术

安全编排、自动化响应技术(Security Orchestration Automation andResponse，SOAR)为安全运营提供了新的思路。它可以对现有的安全能力进行灵活编排，对于一个案例，可以通过编写剧本(playbook)完成对该案例的场景的构建，其中该剧本是SOAR系统中一系列动作(action)连接起来的，包含了该案例的安全运营完整的处理流程。

图1a-图1c为现有技术提供的典型的案例构建的过程示意图，其中图1a为漏洞攻击案例对应的编排过程，图1b为结构化查询语言(Structured Query Language，SQL)案例对应的编排过程，图1c为勒索软件案例对应的编排过程。

但是，在安全运营中，动作的执行是需要有优先级顺序的，即在引擎调度平台中，动作被调度顺序是有优先级的。每个动作都预先设置了优先级，引擎调度平台根据预先设置被调度顺序的优先级关系对动作进行调度，但是在应用过程中，引擎调度动作的实际被调度顺序的优先级关系与预先设置的被调度顺序的优先级关系可能会出现不一致的情况，引擎调度平台的引擎调度动作的实际被调度顺序的优先级关系发生错误，降低了后续SOAR使用的安全性和准确性，因此需要对引擎调度平台的引擎调度动作执行优先级进行测试。

发明内容

本发明提供了一种引擎调度动作执行优先级的测试方法、装置、设备及介质，用以提高后续SOAR使用的安全性和准确性。

本发明提供了一种引擎调度动作执行优先级的测试方法，所述方法包括：

向引擎调度平台发送测试指令，其中所述测试指令中携带有目标案例的案例信息，以及预设的调度轮数；

获取所述引擎调度平台每轮引擎调度动作执行优先级的关系；

根据KNN分类算法以及预先保存的分类样本库，对获取的引擎调度动作执行优先级的关系进行分类；

根据最大似然估计算法以及所述分类，确定对所述引擎调度平台的测试结果。

进一步地，所述获取所述引擎调度平台每轮引擎调度动作执行优先级的关系包括：

针对每轮引擎调度动作，确定该轮引擎调度动作调度每个优先级的动作的目标数量，根据每个优先级的动作被调度的目标数量，确定每个优先级的动作被调度顺序的优先级关系，将所述优先级关系作为该轮引擎调度动作执行优先级的关系，并将所述每个优先级动作被调度的目标数量进行统计并记录。

进一步地，所述根据KNN分类算法以及预先保存的分类样本库，对获取的引擎调度动作执行优先级的关系进行分类包括：

针对任一引擎调度动作执行优先级的关系，确定在样本空间中该引擎调度动作执行的优先级的关系对应的第一类别点与所述分类样本库中的各优先级的关系对应的第二类别点之间的距离；

将所述距离按照递减的顺序进行排序，获取排序靠前的K个目标第二类别点，其中K为大于1的整数；

确定每个目标第二类别点对应的目标分类，确定每个目标分类出现的频率，确定所述出现频率最高的目标分类为所述引擎调度动作执行优先级的关系所在的分类。

进一步地，所述根据最大似然估计算法以及所述分类，确定对所述引擎调度平台的测试结果包括：

根据所述最大似然估计法，以及所述每个引擎调度动作执行优先级的关系对应的分类，确定出现频率最高的分类对应引擎调度动作执行优先级的关系为所述引擎调度平台的测试结果。

本发明实施例还提供一种引擎调度动作执行优先级的测试装置，所述装置包括：

发送模块，用于向引擎调度平台发送测试指令，其中所述测试指令中携带有目标案例的案例信息，以及预设的调度轮数；

获取模块，用于获取所述引擎调度平台每轮引擎调度动作执行优先级的关系；

处理模块，用于根据KNN分类算法以及预先保存的分类样本库，对获取的引擎调度动作执行优先级的关系进行分类；根据最大似然估计算法以及所述分类，确定对所述引擎调度平台的测试结果。

进一步地，所述获取模块，具体用于针对每轮引擎调度动作，确定该轮引擎调度动作调度每个优先级的动作的目标数量，根据每个优先级的动作被调度的目标数量，确定每个优先级的动作被调度顺序的优先级关系，将所述优先级关系作为该轮引擎调度动作执行优先级的关系，并将所述每个优先级动作被调度的目标数量进行统计并记录。

进一步地，所述处理模块，具体用于针对任一引擎调度动作执行优先级的关系，确定在样本空间中该引擎调度动作执行的优先级的关系对应的第一类别点与所述分类样本库中的各优先级的关系对应的第二类别点之间的距离；将所述距离按照递减的顺序进行排序，获取排序靠前的K个目标第二类别点，其中K为大于1的整数；确定每个目标第二类别点对应的目标分类，确定每个目标分类出现的频率，确定所述出现频率最高的目标分类为所述引擎调度动作执行优先级的关系所在的分类。

进一步地，所述处理模块，具体用于根据所述最大似然估计法，以及所述每个引擎调度动作执行优先级的关系对应的分类，确定出现频率最高的分类对应引擎调度动作执行优先级的关系为所述引擎调度平台的测试结果。

本发明实施例还提供一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现上述任一的引擎调度动作执行优先级的测试方法的步骤。

本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的引擎调度动作执行优先级的测试方法的步骤。

由于本发明实施例向引擎调度平台发送测试指令，其中该测试指令中携带有目标案例的案例信息，以及预设的调度轮数，获取该引擎调度平台每轮引擎调度动作执行优先级关系，根据KNN分类算法以及预先保存的分类样本库，对获取的引擎调度动作执行优先级的关系进行分类，根据最大似然估计算法以及该分类，确定对该引擎调度平台的测试结果，从而实现对引擎调度平台的引擎调度动作执行优先级的测试，避免了将某次偶然测试引擎调度动作执行优先级的结果作为最终的优先级调度结果，提高了引擎调度测试的准确性和SOAR使用的安全性和准确性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a-图1c为现有技术提供的典型的案例构建的过程示意图；

图2为本发明实施例提供的一种引擎调度动作执行优先级的测试方法的过程示意图；

图3为本发明实施例提供的引擎调度平台的引擎调度动作的过程示意图；

图4为本发明实施例提供的引擎调度平台调度动作后的响应过程的流程示意图：

图5为本发明实施例提供的通过KNN算法对引擎调度动作执行优先级关系进行分类的示意图的过程示意图；

图6为本发明实施例提供的一种引擎调度动作执行优先级的测试装置的结构示意图；

图7为本发明实施例提供的一种电子设备结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

为了测试引擎对动作的调度的优先级，本发明实施例提供了一种引擎调度动作执行优先级的测试方法、装置、设备及介质。

实施例1：

图2为本发明实施例提供的一种引擎调度动作执行优先级的测试方法的过程示意图，该过程包括以下步骤：

S201：向引擎调度平台发送测试指令，其中所述测试指令中携带有目标案例的案例信息，以及预设的调度轮数。

本发明实施例提供的引擎调度动作执行的优先级测试方法是基于SOAR的，该引擎调度动作执行优先级测试方法应用于PC、服务器等具有处理能力的电子设备。

在本发明实施例中，在对引擎调度动作进行测试时，需要确定引擎调度平台对动作的调度结果，在进行测试时，该引擎调度平台可能处于未工作状态，还可能处于工作状态。若该引擎调度平台处于未工作状态，则向引擎调度平台发送测试指令，通过该测试指令控制引擎调度平台开始进行对目标案例的动作进行调度；若该引擎调度平台处于工作状态，由于在测试时需要测试完整的引擎调度动作的过程，当引擎调度平台处于工作状态时，该引擎调度平台接收到测试指令后，会放弃当前的引擎调度，然后根据该测试指令，针对测试指令中携带的目标案例的案例信息，进行引擎调度。

在本发明实施例中，该测试指令中携带有目标案例的案例信息，以及预设的调度轮数。具体的，每个目标案例是由剧本构成的，可以通过编写剧本完成对该目标案例的场景的构建，其中该剧本是SOAR系统中的目标动作构成的，包含了该目标案例的安全运营完整的处理流程，即目标案例中携带有对该案例对应的剧本进行运行的所有动作。引擎调度平台在接收到目标案例后，通过调度该目标案例的动作实现对该目标案例的处理。

在本发明实施例中，为了避免因以某轮偶然因素得到的引擎调度的结果作为该引擎调度动作执行优先级测试的结果，在本发明实施例中，通过预设调度轮数，使引擎调度平台对该目标动作进行预设轮数的引擎调度，提高了测试结果的准确性。

S202：获取所述引擎调度平台每轮引擎调度动作执行优先级的关系。

在本发明实施例中，在向引擎调度平台发送测试指令之后，引擎调度平台根据案例信息确定待被调度的动作，对这些待被调度的动作进行引擎调度，引擎调度平台每轮对动作的引擎调度都会产生引擎调度动作执行优先级的测试。由于向引擎调度平台发送的测试指令中，携带有预设的调度轮数，引擎调度平台会进行预设的调度轮数的引擎调度，因此可以获取每轮对动作进行引擎调度动作执行优先级的关系。

S203：根据KNN分类算法以及预先保存的分类样本库，对获取的引擎调度动作执行优先级的关系进行分类。

获取引擎调度平台每轮对动作进行引擎调度动作执行优先级的关系后，根据获取到的该引擎调度动作执行优先级的关系，确定该引擎调度平台的测试结果。具体的，在得到引擎调度动作执行优先级的关系后，根据预先保存的分类样本库以及KNN算法，对该引擎调度动作执行优先级的关系进行分类。具体的，在本发明实施例中，将引擎调度动作执行优先级的关系输入到特征空间中，每个引擎调度动作执行优先级的关系在该空间中对应有一个分类点，采用KNN算法对所有的分类点进行分类，其中该分类点与其对应的类别相同的分类点聚集在一起。

S104：根据最大似然估计算法以及所述分类，确定对所述引擎调度平台的测试结果。

在本发明实施例中，根据最大似然估计法，以及该引擎调度动作执行优先级的关系的分类，确定对该引擎调度平台的测试结果。具体的，可以将该引擎调度动作执行优先级的关系对应的分类中出现概率最大的分类，作为该引擎调度平台的测试结果。

例如，将引擎调度动作执行优先级的关系分类为高优先级＞中优先级＞低优先级，高优先级＞低优先级＞中优先级和中优先级＞高优先级＞低优先级三类，其中分类为高优先级＞中优先级＞低优先级的对应的引擎调度动作执行优先级的关系被调度的概率为1/2，高优先级＞低优先级＞中优先级的对应的引擎调度动作执行优先级的关系被调度的概率为1/3，中优先级＞高优先级＞低优先级的对应的引擎调度动作执行优先级的关系被调度的概率为1/4，则其中分类为高优先级＞中优先级＞低优先级中对应的引擎调度动作执行优先级的关系发生的概率最大，因此确定该引擎调度平台的测试结果为高优先级＞中优先级＞低优先级。

由于本发明向引擎调度平台发送测试指令，其中该测试指令中携带有目标案例的案例信息，以及预设的调度轮数，获取该引擎调度平台每轮引擎调度动作执行优先级关系，根据KNN分类算法以及预先保存的分类样本库，对获取的引擎调度动作执行优先级的关系进行分类，根据最大似然估计算法以及该分类，确定对该引擎调度平台的测试结果，实现对引擎调度平台的引擎调度动作执行优先级的测试，避免了将某次偶然测试引擎调度动作执行优先级的记过作为最终的优先级调度结果，提高了引擎调度测试的准确性和SOAR使用的安全性和准确性。

实施例2：

为了确定引擎调度动作的引擎调度动作执行优先级的关系，在上述实施例的基础上，在本发明实施例中，获取所述引擎调度平台每轮引擎调度动作执行优先级的关系包括：

针对每轮引擎调度动作，确定该轮引擎调度动作调度每个优先级的动作的目标数量，根据每个优先级的动作被调度的目标数量，确定每个优先级的动作被调度顺序的优先级关系，将所述优先级关系作为该轮引擎调度动作执行优先级的关系，并将所述每个优先级动作被调度的目标数量进行统计并记录。

在本发明实施例中，调度一个动作和每轮引擎调度动作不同的，其中调度一个动作是指引擎调度平台调度了一个动作，而引擎调度动作是指引擎调度平台完成一轮引擎调度的过程，得到引擎调度平台的引擎调度动作执行优先级的关系的过程，其中调度了多个动作，但每个动作仅被调度了一次。

在本发明实施例中，目标案例对应的动作是存在优先级的，其中优先级可以是高优先级、中优先级和低优先级，其中，引擎调度平台针对每个优先级别的动作进行调度时，如果没问题的话应该是根据引擎调度策略进行调度，一般情况下，该引擎调度策略为优先调度高优先级的动作，其次调度中优先级的动作，再次之调度低优先级的动作。

为了方便调度，引擎调度平台的引擎调度队列设置了引擎调度策略，即设置了三个队列，分别高优先级队列，中优先级队列和高优先级队列，然后设置一个共享信号量，即该三个队列所能容纳的最多数量的动作，针对每个动作，根据其对应的优先级，将其添加到所对应的优先级队列中。当该三个优先级队列被填满以后，即该三个队列所添加的动作的总量为该共享信号量时，远程过程调用协议(Remote Procedure Call Protocol，RPC)接口向数据调度程序(data dispatcher，datad)返回该引擎调度队列已满的信息，此时datad等待，且不再消耗kakfa数据，直至该引擎调度队列添加的动作的总量小于该共享信号量。引擎调度平台在进行动作调度时，是从每个优先级队列中，按照优先级的高低进行动作的调度。具体的，引擎调度平台会根据每个优先级队列被调度的概率从每个优先级队列中去调度动作。例如，高优先级队列被调度的概率为0.6，中优先级队列被调度的概率为0.3，低优先级队列被调度的概率为0.1。

在本发明实施例中，在每轮引擎调度动作中，都会产生每个优先级的动作被调度的目标数量，根据该目标数量可以确定每个优先级的动作被调度顺序的优先级关系。例如，在一轮引擎调度动作中，高优先级的动作被调度的目标数量是50次，中优先级的动作被调度的目标数量是25次，低优先级的动作被调度的目标数量是5次，可以确定每个优先级被调度的优先级关系是高优先级>中优先级>低优先级。

因为是对引擎调度平台进行测试的，也就是说如果引擎调度平台没问题，那引擎调度平台也会按照上述概率进行调度，调度后高优先级的动作被调度的概率最大，中优先级的动作被调度的概率次之，低优先级的动作被调度的概率再次之，但是引擎调度平台是根据每个优先级被调度的概率进行引擎调度动作的，因此可能在某一次的引擎调度动作中出现低优先级或中优先级的动作被调度的概率大于高优先级的动作被调度的概率的情况，因此需要大量多次的进行引擎调度平台的引擎调度动作执行优先级的测试，选取概率最大的优先级关系作为引擎调度平台的测试结果。这样避免了将某次偶然因素导致的小概率发生的优先级关系作为最终的测试结果，从而保证了引擎调度动作执行优先级测试的高准确性。

在本发明实施例中，将被调度顺序的优先级关系及每个优先级的动作被调度的目标数量作为该轮引擎调度动作执行优先级的关系。

图3为本发明实施例提供的引擎调度平台的引擎调度动作的过程示意图，如图3所示，该过程包括：

S301：根据测试指令中携带的目标案例的案例信息，确定目标案例的动作。

S302：确定所有待调度的动作。

S303：获取所有待调度的动作的优先级。

S304：将每个待调度的动作存入其对应优先级队列，针对每个待存入的动作，判断当前该调度队列已存入的动作的数量是否超过数量阈值。

在本发明实施例中，引擎调度平台针对每个优先级级别的动作都设置有一个队列，优先级相同的动作将存储到同一队列中，在获取到待调度的动作后，将每个待调度的动作存入其对应优先级队列，针对每个待存入的动作，判断当前该调度队列已存入的动作的数量是否超过数量阈值。

S305：若是，则停止获取目标案例的动作。

如果当前的待调度的动作超过数量阈值，则停止获取动作。

S305：若否，根据待调度的动作的优先级，将该待调度的动作加入到对应的优先级队列中。

S306：根据每个优先级队列被调度的概率，进行引擎调度动作。

其中引擎调度平台，按照引擎调度策略对动作进行调度，一般情况下，该引擎调度策略为优先调度高优先级的动作，其次调度中优先级的动作，再次之调度低优先级的动作。

在本发明实施例中，高优先级的动作被调度的概率为0.6，中优先级的动作被调度的概率为0.3，低优先级的动作被调度的概率为0.1。

图4为本发明实施例提供的引擎调度平台调度动作后的响应过程的流程示意图，如图4所示，该过程包括：

S401：开始引擎调度，确定被调度的动作。

S402：根据被调度的动作对应的目标案例的案例信息以及该被调度的动作，确定待运行的软件开发工具包(Softwave Development Kit，SDK)，通过该SDK执行相应的目标动作。

S403：判断SDK返回通知时间是否超时，若否，则执行S405。

S404：若是，发送携带有该动作执行失败的通知。

S405：继续引擎调度动作。

实施例3：

为了确定引擎调度平台的测试结果，在上述各实施例的基础上，在本发明实施例中，所述根据KNN分类算法以及预先保存的分类样本库，对获取的引擎调度动作执行优先级的关系进行分类包括：

针对任一引擎调度动作执行优先级的关系，确定在样本空间中该引擎调度动作执行的优先级的关系对应的第一类别点与所述分类样本库中的各优先级的关系对应的第二类别点之间的距离；

将所述距离按照递减的顺序进行排序，获取排序靠前的K个目标第二类别点，其中K为大于1的整数；

确定每个目标第二类别点对应的目标分类，确定每个目标分类出现的频率，确定所述出现频率最高的目标分类为所述引擎调度动作执行优先级的关系所在的分类。

在本发明实施例中，可能会出现引擎调度动作执行优先级的关系中的任意两个优先级的动作被调度的目标数量相同的情况，但是在对引擎调度动作进行测试时，是对被调度顺序的优先级关系的测试，而当有任意两个优先级的动作被调度的目标数量相同时，说明这两个动作的被调度顺序的优先级关系是相等关系，在对优先级关系进行分类时，这种情况是不被允许出现的，因此，在对引擎调度动作执行优先级的关系进行分类时，该引擎调度动作执行优先级的关系中的任意两个优先级的动作被调度的目标数量相同时，会将该引擎调度动作执行优先级的关系分类到任意两个优先级的动作被调度的目标数量不相同的分类中。

在本发明实施例中，在对引擎调度动作执行优先级的关系进行分类时，可以依据该引擎调度动作执行优先级的关系中每个目标动作被调度的目标数量，采用KNN算法将该引擎调度动作执行优先级的关系进行分类。具体的，将每个引擎调度动作执行优先级的关系输入到特征空间，根据每个引擎调度动作执行优先级的关系对应的目标数量确定每个引擎调度动作执行优先级的关系在特征空间中对应的第一类别点，然后再根据分类样本中各优先级的关系对应的第二类别点，以及KNN算法对该特征空间中的第一类别点进行分类。

具体的，在本发明实施例中，针对任一引擎调度动作执行优先级的关系，确定在特征空间中该擎调度动作执行的优先级的关系对应的第一类别点与第二类别点之间的距离，将确定的所有距离按照由低到高的顺序进行排列，选取排序靠前的K个目标第二类别点，确定每个目标第二类别点对应的目标分类，确定每个目标分类出现的频率，确定出现频率最高的分类为该引擎调度动作执行优先级的关系所在的分类。

其中，在本发明实施例中，该引擎调度动作执行优先级的关系可以被分为高优先级>中优先级>低优先级，中优先级>高优先级>低优先级，低优先级>中优先级>高优先级，高优先级>低优先级>中优先级，中优先级>低优先级>高优先级，低优先级>高优先级>中优先级这6类。

例如，针对某一引擎调度动作执行优先级的关系，在样本空间中选取了10个与其距离最近的目标第二类别点，其中，该10个目标第二类别点的中的5个目标第二类别点为高优先级>中优先级>低优先级这一分类，3个目标第二类别点为高优先级>低优先级>中优先级，2个目标第二类别点为中优先级>高优先级>低优先级，则确定该引擎调度动作执行优先级的关系所在的分类为高优先级>中优先级>低优先级这一分类。图5为本发明实施例提供的通过KNN算法对引擎调度动作执行优先级关系进行分类的示意图的过程示意图，如图5所示，A1分类为被调度顺序的优先级关系为高优先级>中优先级>低优先级，A2分类为被调度顺序的优先级关系为高优先级>低优先级>中优先级，A3分类为被调度顺序的优先级关系为中优先级>高优先级>低优先级，A4分类为被调度顺序的优先级关系为中优先级>低优先级>高优先级，A5分类为被调度顺序的优先级关系为低优先级>中优先级>高优先级，A6分类为被调度顺序的优先级关系为低优先级>高优先级>中优先级，A0为优先级关系不明确的分类。

此时要确定A0的分类，需要通过KNN算法，确定A0与其他引擎调度动作执行优先级的关系的距离，确定K个距离较近的引擎调度动作执行优先级的关系，在图5中该K＝6，即确定了6个与A0较近的引擎调度动作执行优先级的关系对应的分类点，由图5可知，这6个分类点对应的引擎调度动作执行优先级的关系中有3个属于A1分类，有2个属于A3分类，有1个属于A6分类，其中属于A1分类的引擎调度动作执行优先级的关系的数量最多，因此把A0划分到A1分类，则A0的优先级关系为A1类中的优先级关系，即高优先级>中优先级>低优先级。

实施例4：

为了确定引擎调度平台的测试结果，在上述各实施例的基础上，在本发明实施例中，所述根据最大似然估计算法以及所述分类，确定对所述引擎调度平台的测试结果包括：

根据所述最大似然估计法，以及所述每个引擎调度动作执行优先级的关系对应的分类，确定出现频率最高的分类对应引擎调度动作执行优先级的关系为所述引擎调度平台的测试结果。

在本发明实施例中，针对每一个引擎调度动作都会产生一个引擎调度动作执行优先级的关系，因此在本发明实施例中，引擎调度平台进行预设数量的引擎调度动作，会产生预设数量的引擎调度动作执行优先级的关系。

在本发明实施例中，在测试引擎调度平台的优先级关系时，采用最大似然估计法以及每个引擎调度动作执行优先级的关系对应的分类，确定出现频率最高的分类对应的引擎调度动作执行优先级的关系为该引擎调度平台的测试结果。

例如，引擎调度平台进行了15次的引擎调度动作，得到了15个引擎调度动作执行优先级的关系，其中分类为高优先级＞中优先级＞低优先级的对应的引擎调度动作执行优先级的关系被调度的概率为1/2，高优先级＞低优先级＞中优先级的对应的引擎调度动作执行优先级的关系被调度的概率为1/4，中优先级＞高优先级＞低优先级的对应的引擎调度动作执行优先级的关系被调度的概率为1/4，则其中高优先级＞中优先级＞低优先级中对应的分类出现的频率最高，因此确定该引擎调度平台的测试结果为高优先级＞中优先级＞低优先级。

实施例5：

图6为本发明实施例提供的一种引擎调度动作执行优先级的测试装置的结构示意图，该装置包括：

发送模块601，用于向引擎调度平台发送测试指令，其中所述测试指令中携带有目标案例的案例信息，以及预设的调度轮数；

获取模块602，用于获取所述引擎调度平台每轮引擎调度动作执行优先级的关系；

处理模块603，用于根据KNN分类算法以及预先保存的分类样本库，对获取的引擎调度动作执行优先级的关系进行分类；根据最大似然估计算法以及所述分类，确定对所述引擎调度平台的测试结果。

在一种可能的实施方式中，所述获取模块602，具体用于针对每轮引擎调度动作，确定该轮引擎调度动作调度每个优先级的动作的目标数量，根据每个优先级的动作被调度的目标数量，确定每个优先级的动作被调度顺序的优先级关系，将所述优先级关系作为该轮引擎调度动作执行优先级的关系，并将所述每个优先级动作被调度的目标数量进行统计并记录。

在一种可能的实施方式中，所述处理模块603，具体用于针对任一引擎调度动作执行优先级的关系，确定在样本空间中该引擎调度动作执行的优先级的关系对应的第一类别点与所述分类样本库中的各优先级的关系对应的第二类别点之间的距离；将所述距离按照递减的顺序进行排序，获取排序靠前的K个目标第二类别点，其中K为大于1的整数；确定每个目标第二类别点对应的目标分类，确定每个目标分类出现的频率，确定所述出现频率最高的目标分类为所述引擎调度动作执行优先级的关系所在的分类。

在一种可能的实施方式中，所述处理模块603，具体用于根据所述最大似然估计法，以及所述每个引擎调度动作执行优先级的关系对应的分类，确定出现频率最高的分类对应引擎调度动作执行优先级的关系为所述引擎调度平台的测试结果。

实施例6：

图7为本发明实施例提供的一种电子设备结构示意图，在上述各实施例的基础上，本发明实施例还提供了一种电子设备，如图7所示，包括：处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信；

所述存储器703中存储有计算机程序，当所述程序被所述处理器701执行时，使得所述处理器701执行如下步骤：

向引擎调度平台发送测试指令，其中所述测试指令中携带有目标案例的案例信息，以及预设的调度轮数；

获取所述引擎调度平台每轮引擎调度动作执行优先级的关系；

根据KNN分类算法以及预先保存的分类样本库，对获取的引擎调度动作执行优先级的关系进行分类；

根据最大似然估计算法以及所述分类，确定对所述引擎调度平台的测试结果。

在一种可能的实施方式中，所述获取所述引擎调度平台每轮引擎调度动作执行优先级的关系包括：

针对每轮引擎调度动作，确定该轮引擎调度动作调度每个优先级的动作的目标数量，根据每个优先级的动作被调度的目标数量，确定每个优先级的动作被调度顺序的优先级关系，将所述优先级关系作为该轮引擎调度动作执行优先级的关系，并将所述每个优先级动作被调度的目标数量进行统计并记录。

在一种可能的实施方式中，所述根据KNN分类算法以及预先保存的分类样本库，对获取的引擎调度动作执行优先级的关系进行分类包括：

针对任一引擎调度动作执行优先级的关系，确定在样本空间中该引擎调度动作执行的优先级的关系对应的第一类别点与所述分类样本库中的各优先级的关系对应的第二类别点之间的距离；

将所述距离按照递减的顺序进行排序，获取排序靠前的K个目标第二类别点，其中K为大于1的整数；

确定每个目标第二类别点对应的目标分类，确定每个目标分类出现的频率，确定所述出现频率最高的目标分类为所述引擎调度动作执行优先级的关系所在的分类。

在一种可能的实施方式中，所述根据最大似然估计算法以及所述分类，确定对所述引擎调度平台的测试结果包括：

根据所述最大似然估计法，以及所述每个引擎调度动作执行优先级的关系对应的分类，确定出现频率最高的分类对应引擎调度动作执行优先级的关系为所述引擎调度平台的测试结果。

由于上述电子设备解决问题的原理与引擎调度动作执行优先级的测试方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口702用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

实施例7：

在上述各实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：

向引擎调度平台发送测试指令，其中所述测试指令中携带有目标案例的案例信息，以及预设的调度轮数；

获取所述引擎调度平台每轮引擎调度动作执行优先级的关系；

根据KNN分类算法以及预先保存的分类样本库，对获取的引擎调度动作执行优先级的关系进行分类；

根据最大似然估计算法以及所述分类，确定对所述引擎调度平台的测试结果。

在一种可能的实施方式中，所述获取所述引擎调度平台每轮引擎调度动作执行优先级的关系包括：

针对每轮引擎调度动作，确定该轮引擎调度动作调度每个优先级的动作的目标数量，根据每个优先级的动作被调度的目标数量，确定每个优先级的动作被调度顺序的优先级关系，将所述优先级关系作为该轮引擎调度动作执行优先级的关系，并将所述每个优先级动作被调度的目标数量进行统计并记录。

在一种可能的实施方式中，所述根据KNN分类算法以及预先保存的分类样本库，对获取的引擎调度动作执行优先级的关系进行分类包括：

针对任一引擎调度动作执行优先级的关系，确定在样本空间中该引擎调度动作执行的优先级的关系对应的第一类别点与所述分类样本库中的各优先级的关系对应的第二类别点之间的距离；

将所述距离按照递减的顺序进行排序，获取排序靠前的K个目标第二类别点，其中K为大于1的整数；

确定每个目标第二类别点对应的目标分类，确定每个目标分类出现的频率，确定所述出现频率最高的目标分类为所述引擎调度动作执行优先级的关系所在的分类。

在一种可能的实施方式中，所述根据最大似然估计算法以及所述分类，确定对所述引擎调度平台的测试结果包括：

根据所述最大似然估计法，以及所述每个引擎调度动作执行优先级的关系对应的分类，确定出现频率最高的分类对应引擎调度动作执行优先级的关系为所述引擎调度平台的测试结果。

由于上述提供的计算机可读取介质解决问题的原理与引擎调度动作执行优先级的测试方法相似，因此处理器执行上述计算机可读取介质中的计算机程序后，实现的步骤可以参见上述其他实施例，重复之处不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。