一种测试方法、装置及设备
文献发布时间:2023-06-19 11:49:09
技术领域
本申请涉及人工智能技术领域,特别涉及一种测试方法、装置及设备。
背景技术
随着科技的不断发展,智能客服机器人的使用在各行各业中变得越来越普遍。然而,智能客服机器人在交付使用前需要进行测试,以便其可以满足业务需求。
现有技术中,对智能客服机器人的测试主要是由测试人员在智能客服机器人中针对某一个业务场景提交外呼任务,然后智能客服机器人拨电话给测试人员进行交互。这种方式只能依靠人工进行,当需要对大量智能客服机器人进行测试时,没有足够的人力来同时进行通话,从而无法进行压力测试,使得测试效率较低。
因此,业内亟需一种可以解决上述技术问题的技术方案。
发明内容
本说明书实施例提供了一种测试方法、装置及设备,可以实现对智能客服机器人的自动化测试,提高测试效率。
本说明书提供的一种测试方法、装置及设备是包括以下方式实现的。
一种测试方法,应用于自动化测试系统,所述自动化测试系统中存储有包含测试场景上下文关系的测试案例,所述方法包括:接收被测系统播报的第一语音流;从所述测试案例中获取第一预期测试结果和第一应答内容;校验所述第一语音流与所述第一预期测试结果,记录校验结果;将所述第一应答内容发送至所述被测系统;所述第一应答内容用于使所述被测系统进行下一轮交互;判断所述测试案例中上下文是否测试完;在测试完成的情况下,获取所有校验结果。
一种测试装置,包括:接收模块,用于接收被测系统播报的第一语音流;第一获取模块,用于从所述测试案例中获取第一预期测试结果和第一应答内容;校验模块,用于校验所述第一语音流与所述第一预期测试结果,记录校验结果;发送模块,用于将所述第一应答内容发送至所述被测系统;所述第一应答内容用于使所述被测系统进行下一轮交互;判断模块,用于判断所述测试案例中上下文是否测试完;第二获取模块,用于在测试完成的情况下,获取所有校验结果。
一种测试设备,包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现本说明书实施例中任意一个方法实施例的步骤。
一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现本说明书实施例中任意一个方法实施例的步骤。
本说明书提供的一种测试方法、装置及设备。一些实施例中可以接收被测系统播报的语音流,从测试案例中获取预期测试结果和应答内容,然后校验语音流与预期测试结果,记录校验结果。进一步,可以将应答内容发送至被测系统,以使被测系统根据该应答内容进行下一轮交互,直至测试案例中上下文测试完,获取所有校验结果。由于本申请是通过搭建基于语音流的自动化测试系统,实现包含上下文关系的智能客服语音机器人系统的自动化测试,从而可以降低人力投入,提高测试效率。采用本说明书提供的实施方案,可以实现对智能客服机器人的自动化测试,提高测试效率。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,并不构成对本说明书的限定。在附图中:
图1是本说明书提供的一种测试方法的一个实施例的流程示意图;
图2是本说明书提供的一种测试方法的一个具体实施例的示意图;
图3是本说明书提供的一种测试装置的一个实施例的模块结构示意图;
图4是本说明书提供的一种测试服务器的一个实施例的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书中的一部分实施例,而不是全部的实施例。基于本说明书中的一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书实施例保护的范围。
下面以一个具体的应用场景为例对本说明书实施方案进行说明。具体的,图1是本说明书提供的一种测试方法的一个实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构,但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。
本说明书提供的一种实施方案可以应用到客户端、服务器等中。所述客户端可以包括终端设备,如智能手机、平板电脑等。所述服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式系统的服务器结构等。
需要说明的是,下述实施例描述并不对基于本说明书的其他可扩展到的应用场景中的技术方案构成限制。具体的一种实施例如图1所示,本说明书提供的一种测试方法的一种实施例,可以应用于自动化测试系统,所述自动化测试系统中存储有包含测试场景上下文关系的测试案例。所述方法可以包括以下步骤。
S0:接收被测系统播报的第一语音流。
其中,被测系统可以为智能客服语音机器人、需要测试语音功能的系统。
一些实施例中,自动化测试系统接收被测系统播报的第一语音流前,可以先发送任务创建请求至被测系统,以使被测系统启动呼叫任务。
一些实施场景中,可以通过自动或手动方式触发自动化测试系统向被测系统发送任务创建请求。例如一些实施场景中,可以预先在自动化测试系统中设置测试时间,这样,可以在到达测试时间时自动触发自动化测试系统向被测系统发送任务创建请求。另一些实施场景中,可以通过测试人员点击自动化测试系统上的预设按钮手动触发自动化测试系统向被测系统发送任务创建请求。当然,上述只是进行示例性说明,触发自动化测试系统向被测系统发送任务创建请求的方式不限于上述举例,所属领域技术人员在本申请技术精髓的启示下,还可能做出其它变更,但只要其实现的功能和效果与本申请相同或相似,均应涵盖于本申请保护范围内。
一些实施场景中,被测系统在接收到自动化测试系统发送的创建任务请求后,可以启动呼叫任务,向自动化测试系统播报语音流。例如一些实施场景中,自动化测试系统可以根据测试案例向被测试语音机器人发送任务创建请求,启动呼叫任务,然后语音机器人按照预设逻辑播报语音流。
一些实施场景中,可以是被测系统向自动化测试系统发出任务创建请求,其中,该任务创建请求中包括被测系统播报的第一语音流。
一些实施场景中,第一语音流可以是被测系统固有的,可以不在测试案例中体现。例如,对于外呼任务,拨通后会先播报开场白,比如“您是xxx吗?”,此时,“您是xxx吗?”可以理解为第一语音流。当然,上述只是进行示例性说明,第一语音流不限于上述举例,所属领域技术人员在本申请技术精髓的启示下,还可能做出其它变更,但只要其实现的功能和效果与本申请相同或相似,均应涵盖于本申请保护范围内。
S2:从所述测试案例中获取第一预期测试结果和第一应答内容。
本说明书实施例中,在接收被测系统播报的第一语音流后,可以从测试案例中获取第一预期测试结果和第一应答内容。其中,预期测试结果可以用于验证接收到的语音流是否准确,即被测系统播报的语音流是否准确。一些实施场景中,验证接收到的语音流是否准确可以包括验证信息内容是否满足预设条件、验证逻辑跳转是否满足预设规则等。其中,预设条件可以包括信息内容相似度是否达到预设值,如85%、90%等。预设规则可以包括逻辑跳转是否满足预设逻辑顺序等。应答内容可以用于使被测系统进入下一轮交互。
一些实施例中,自动化测试系统中预先存储有包含测试场景上下文关系的测试案例。一些实施场景中,由于测试人员对于被测系统中的每个场景流程是了解的,所以在对被测系统进行测试前,测试人员可以针对不同的流程(或场景)准备不同的覆盖案例,然后将其预先储存在自动化测试系统中。不同的流程(或场景)准备的覆盖案例可以理解为包含测试场景上下文关系的测试案例。需要说明的是,每一组测试案例中可以理解为是针对被测系统的被测场景的一种情况,自动化测试系统每收到被测系统的一句话(即语音流),可以从测试案例中取出一句回答(即应答内容)和一句预期测试结果。
例如一些实施场景中,自动化测试系统接收到的第一语音流为问题1,从测试案例中获取的第一预期测试结果为预期测试结果1,第一应答内容为回答1,此时,预期测试结果1可以用于验证被测系统播报的问题1是否准确,回答1可以用于后续与被测系统进行交互。
一些实施例中,自动化测试系统可以根据测试案例中上下文逻辑顺序从测试案例中获取第一预期测试结果和第一应答内容。当然,上述只是进行示例性说明,获取第一预期测试结果和第一应答内容的方式不限于上述举例,所属领域技术人员在本申请技术精髓的启示下,还可能做出其它变更,但只要其实现的功能和效果与本申请相同或相似,均应涵盖于本申请保护范围内。
S4:校验所述第一语音流与所述第一预期测试结果,记录校验结果。
一些实施例中,在从测试案例中获取第一预期测试结果和第一应答内容后,可以校验第一语音流与第一预期测试结果并记录校验结果。其中,校验结果可以包括信息内容是否满足预设条件,逻辑跳转是否满足预设规则等。
一些实施例中,所述校验所述第一语音流与所述第一预期测试结果,记录校验结果,可以包括:将所述第一语音流转化为第一文本;校验所述第一文本与所述第一预期测试结果,记录校验结果。
一些实施场景中,由于从测试案例中获取的预期测试结果是以文本信息存储的,所以在与接收到的语音流进行校验前,可以先将接收到的语音流通过语音识别方式转化为文本,然后将转化后的文本与预期测试结果进行比较。当然,一些实施场景中,可以在接收到被测系统发送的语音流后,就通过语音识别方式将其转化为文本,然后再相应的从测试案例中获取预期测试结果和应答内容,所属领域技术人员在本申请技术精髓的启示下,还可能做出其它变更,但只要其实现的功能和效果与本申请相同或相似,均应涵盖于本申请保护范围内。
一些实施例中,所述校验所述第一文本与所述第一预期测试结果,记录校验结果,可以包括:比较所述第一文本与所述第一预期测试结果的逻辑跳转是否满足预设规则;比较所述第一文本与所述第一预期测试结果包括的内容是否满足预设条件。
一些实施场景中,比较第一文本与第一预期测试结果的逻辑跳转是否满足预设规则,可以通过获取相应的逻辑结构,比较逻辑结构是否一致,从而确定逻辑跳转是否满足预设规则。其中,预设规则可以根据实际场景进行设定,本说明书对此不作限定。
一些实施场景中,比较第一文本与第一预期测试结果包括的内容是否满足预设条件,可以通过计算二者的相似度,然后判断该相似度是否满足预设条件。其中,预设条件可以是预设相似度,如85%、90%等,本说明书对此不做限定。当然,上述只是进行示例性说明,校验第一文本与第一预期测试结果的方式不限于上述举例,所属领域技术人员在本申请技术精髓的启示下,还可能做出其它变更,但只要其实现的功能和效果与本申请相同或相似,均应涵盖于本申请保护范围内。
一些实施例中,当第一文本与第一预期测试结果包括的内容满足预设条件时,可以说明被测系统播报的内容是比较准确的,此时记录的校验结果可以为“第一语音流播报内容准确”,否则,则说明被测系统播报的内容不准确,记录的校验结果可以为“第一语音流播报内容不准确”。当第一文本与第一预期测试结果的逻辑跳转满足预设规则时,可以说明被测系统播报的内容满足预设跳转逻辑,此时记录的校验结果可以为“第一语音流满足逻辑跳转”,否则,记录的校验结果可以为“第一语音流不满足逻辑跳转”。当然,上述只是进行示例性说明,校验结果的记录方式不限于上述举例,所属领域技术人员在本申请技术精髓的启示下,还可能做出其它变更,但只要其实现的功能和效果与本申请相同或相似,均应涵盖于本申请保护范围内。
S6:将所述第一应答内容发送至所述被测系统;所述第一应答内容用于使所述被测系统进行下一轮交互。
本说明书实施例中,在校验第一语音流与所述第一预期测试结果,记录校验结果后,可以将第一应答内容发送至被测系统,以使被测系统进行下一轮交互。
一些实施例中,将所述第一应答内容发送至所述被测系统前,可以将所述第一应答内容转化为第一应答语音流,然后将所述第一应答语音流发送至所述被测系统。
为了提高交互效率,一些实施场景中,在将应答内容发送至被测系统前,可以将其转换为语音流后再发送给被测系统。
一些实施场景中,自动化测试系统中可以包括语音转换模块,这样,可以利用语音转换模块将应答内容转换为语音流,然后发送给被测系统。
S8:判断所述测试案例中上下文是否测试完。
S10:在测试完成的情况下,获取所有校验结果。
一些实施例中,在将第一应答内容发送至被测系统后,可以判断测试案例中上下文是否测试完。
一些实施例中,在确定测试完成的情况下,可以获取所有校验结果。
一些实施例中,在确定测试未完成的情况下,可以重复执行步骤S0-S8,直至整个测试案例的上下文全部完成测试,获取所有校验结果。
例如一些实施场景中,在确定测试未完成的情况下,可以接收所述被测系统播报的第二语音流;相应的,可以从所述测试案例中获取第二预期测试结果和第二应答内容;校验所述第二语音流与所述第二预期测试结果,记录校验结果;将所述第二应答内容发送至所述被测系统;所述第二应答内容用于使所述被测系统进行下一轮交互;判断所述测试案例中上下文是否测试完;在测试完成的情况下,获取所有校验结果。
一些实施例中,获取所有校验结果后,可以对所有校验结果进行统计,获得被测系统在该场景下的测试结果。
一些实施例中,获取所有校验结果后,还可以接收查看测试结果的请求;展示所述测试结果。
一些实施例中,在展示测试结果后,测试人员可以对其进行核对检查,从而保证测试准确度。
本说明书实施例中,可以基于容器技术搭建自动化测试系统,这样可以支持大规模并发,从而实现对智能客服语音机器人系统的压力测试(同时进行大量的并发交互,如几百或几千)。
本说明书实施例基于语音流可以高效的进行大规模压力测试。
本说明书实施例中,自动化测试系统与被测系统之间通过语音流交互,不同通话间不存在互相干扰,从而可以解决语音交互方式下多通通话声音相互干扰的问题,为多通并发提供前提条件。
本说明书实施例中,基于容器化技术搭建自动化测试系统,可以方便快速部署多台系统,实现对智能客服语音机器人系统的压力测试。
当然,上述只是进行示例性说明,本说明书实施例不限于上述举例,所属领域技术人员在本申请技术精髓的启示下,还可能做出其它变更,但只要其实现的功能和效果与本申请相同或相似,均应涵盖于本申请保护范围内。
下面以具体实施场景对上述测试方法进行说明,然而,值得注意的是,该具体实施例仅是为了更好地说明本申请,并不构成对本申请的不当限定。其中,基于语音流的自动化测试装置可以理解为是自动化测试系统,被测系统可以为智能客服语音机器人。基于语音流的自动化测试装置中可以包括测试案例库、语音转换模块、语音识别模块、测试结果收集模块。其中,测试案例库用于存储不同场景中的覆盖案例(测试案例),语音转换模块可以用将应答内容转换为语音流,语音识别模块可以用于将语音流转换为文本,测试结果收集模块可以用于记录校验结果。基于语音流的自动化测试装置可以基于容器技术搭建,支持大规模并发,以实现对智能客服语音机器人的压力测试。如图2所示,图2是本说明书提供的一种测试方法的一个具体实施例的示意图,本实施例具体可以包括以下步骤。
S101:测试人员导入包含上下文关系的自动化测试案例。
S102:基于语音流的自动化测试装置将案例导入测试案例库。
S103:基于语音流的自动化测试装置根据测试案例向智能客服语音机器人发送任务创建请求,启动呼叫任务。
S104:智能客服语音机器人按照预设逻辑播报语音流。
S105:基于语音流的自动化测试装置调用语音识别模块将收到的语音流转换为文本。
S106:基于语音流的自动化测试装置从测试案例中取出测试案例中的应答内容及预期测试结果。
S107:基于语音流的自动化测试装置将识别出的文字与预期测试结果进行比较,并将比较结果保存到测试结果搜集模块中。
S108:基于语音流的自动化测试装置调用语音转换模块将测试案例中的应答内容转换为语音流。
S109:基于语音流的自动化测试装置将转换后的语音流播报给智能客服语音机器人。
S110:重复步骤S101-S109直至整个测试上下文结束,获得所有比较结果。
本实施例中,在获得所有比较结果(也叫验证结果)后,测试人员可以查看并进行核对检查。
上述实施例中是以自动化测试系统根据测试案例向智能客服语音机器人发送任务创建请求启动呼叫任务进行示例性说明。一些实施场景中,也可以是智能客服语音机器人向自动化测试系统发出任务创建请求,启动呼叫任务,其中,任务创建请求中包括智能客服语音机器人按照预设逻辑播报语音流,自动化测试系统在接收到任务创建请求后,可以获取对应场景的测试案例,进一步,自动化测试系统可以调用语音识别模块将收到的语音流转换为文本,从测试案例中取出测试案例中的应答内容及预期测试结果,将识别出的文字与预期测试结果进行比较,并将比较结果保存到测试结果搜集模块中,最后调用语音转换模块将测试案例中的应答内容转换为语音流播报给智能客服语音机器人,直至整个测试上下文结束,获得所有比较结果。
从以上的描述中,可以看出,本申请实施例可以接收被测系统播报的语音流,从测试案例中获取预期测试结果和应答内容,然后校验语音流与预期测试结果,记录校验结果。进一步,可以将应答内容发送至被测系统,以使被测系统根据该应答内容进行下一轮交互,直至测试案例中上下文测试完,获取所有校验结果。由于本申请是通过搭建基于语音流的自动化测试系统,实现包含上下文关系的智能客服语音机器人系统的自动化测试,从而可以降低人力投入,提高测试效率。
本说明书中上述方法的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参照即可,每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
基于上述所述一种测试方法,本说明书一个或多个实施例还提供一种测试装置。所述的装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思,本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似,因此本说明书实施例具体的装置的实施可以参见前述方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
具体地,图3是本说明书提供的一种测试装置的一个实施例的模块结构示意图,如图3所示,本说明书提供的一种测试装置可以包括:接收模块120,第一获取模块122,校验模块124,发送模块126,判断模块128,第二获取模块130。
接收模块120,可以用于接收被测系统播报的第一语音流;
第一获取模块122,可以用于从所述测试案例中获取第一预期测试结果和第一应答内容;
校验模块124,可以用于校验所述第一语音流与所述第一预期测试结果,记录校验结果;
发送模块126,可以用于将所述第一应答内容发送至所述被测系统;所述第一应答内容用于使所述被测系统进行下一轮交互;
判断模块128,可以用于判断所述测试案例中上下文是否测试完;
第二获取模块130,可以用于在测试完成的情况下,获取所有校验结果。
需要说明的,上述所述的装置根据方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本说明书还提供一种测试设备的实施例,包括处理器及用于存储处理器可执行指令的存储器,所述指令被所述处理器执行时实现包括以下步骤:接收被测系统播报的第一语音流;从所述测试案例中获取第一预期测试结果和第一应答内容;校验所述第一语音流与所述第一预期测试结果,记录校验结果;将所述第一应答内容发送至所述被测系统;所述第一应答内容用于使所述被测系统进行下一轮交互;判断所述测试案例中上下文是否测试完;在测试完成的情况下,获取所有校验结果。
需要说明的,上述所述的设备根据方法或装置实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本说明书所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图4是本说明书提供的一种测试服务器的一个实施例的硬件结构框图,该服务器可以是上述实施例中的测试装置或测试设备。如图4所示,服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器200、以及用于通信功能的传输模块300。本领域普通技术人员可以理解,图4所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器10还可包括比图4中所示更多或者更少的组件,例如还可以包括其他的处理硬件,如数据库或多级缓存、GPU,或者具有与图4所示不同的配置。
存储器200可用于存储应用软件的软件程序以及模块,如本说明书实施例中的测试方法对应的程序指令/模块,处理器100通过运行存储在存储器200内的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器200可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器200可进一步包括相对于处理器100远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输模块300包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块300可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上,所述的存储介质可以计算机读取并执行,实现本说明书实施例所描述方案的效果。所述存储介质可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质可以包括:利用电能方式存储信息的装置如,各式存储器,如RAM、ROM等;利用磁能方式存储信息的装置如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置如,CD或DVD。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等等。
本说明书提供的上述测试方法或装置实施例可以在计算机中由处理器执行相应的程序指令来实现,如使用windows操作系统的c++语言在PC端实现、linux系统实现,或其他例如使用android、iOS系统程序设计语言在智能终端实现,以及基于量子计算机的处理逻辑实现等。
需要说明的是说明书上述所述的装置、设备、系统根据相关方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照对应方法实施例的描述,在此不作一一赘述。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个时可以把部分模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。
本发明是参照根据本发明实施例的方法、装置、设备、系统的流程图和/或方框图来描述的。应理解可由计算机程序指令实现,可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
本领域技术人员应明白,本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。
以上所述仅为本说明书一个或多个实施例的实施例而已,并不用于限制本本说明书一个或多个实施例。对于本领域技术人员来说,本说明书一个或多个实施例可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在权利要求范围之内。
- RTC模块测试方法、Android设备生产多模块自动化测试方法和装置
- 电梯设备的测试方法和用于实施该测试方法的监控装置