音视频质量测评系统、方法、计算机设备及存储介质

技术领域

本发明实施例涉及音视频技术领域，尤其涉及音视频质量测评系统、方法、计算机设备及存储介质。

背景技术

随着计算机网络技术的快速发展，诸如音视频社交类等应用软件越来越普及，给人们的生活娱乐、学习及工作带来了极大的便利。在实际应用中，用户对一款应用产品的体验好坏影响了该款应用产品在大众范围内的普及程度，对于音视频社交类应用软件而言，其对用户体验的影响主要在于音视频通话过程中音视频质量的高低。由此，软件开发商在项目开发阶段对音视频应用软件的音视频质量测评能够为音视频应用软件的优化提供帮助。

音视频质量测评中需要测评的指标主要包括：音频音质平均意见得分(meanopinion score，MOS)、音视频端到端时延、音视频发送码率以、流畅度、清晰度、终端资源占用情况等。现有对上述指标进行测评主要包括主观测评和客观测评，主观测评需要人工在终端上启动音视频通话或者直播的应用，然后通过测评人员的主观感受进行各指标的打分；客观评测则主要是使用相应的评测工具分别进行各项指标的评测。

上述音视频质量的评测方式需要大量的专业测评人员参与，耗时、费力、重复操作步骤繁多，测评成本太高；并且音视频质量评测的部分评测结果主观性强，并不能为音视频类应用产品的优化提供有价值的参考数据。

发明内容

有鉴于此，本发明实施例提供了音视频质量测评系统、方法、计算机设备及存储介质，以实现音视频质量的有效测评。

第一方面，本发明实施例提供了一种音视频质量测评系统，包括：测评服务平台以及测评执行平台；

所述测评服务平台包含测评服务器，所述测评服务器用于根据所接收测评参数形成音视频质量的测评任务，并将所述测评任务添加至任务缓存表，其中，所述测评参数由用户在所述测评服务平台提供的前端交互界面中选定；

所述测评执行平台包括至少一个测评执行室，各所述测评执行室用于在接收到所述测评服务器相应下发的目标测评任务后，执行所述目标测评任务获得相应的音视频质量测评数据。。

第二方面，本发明实施例提供一种音视频质量测评方法，由本发明第一方面实施例提供的音视频质量测评系统执行，包括：

通过测评服务平台中的测评服务器根据所接收测评参数形成音视频质量的测评任务，并将所述测评任务添加至任务缓存表，其中，所述测评参数由用户在所述测评服务平台提供的前端交互界面中选定；

通过测评执行平台中的测评执行室在接收到所述测评服务器相应下发的目标测评任务后，执行所述目标测评任务获得相应的音视频质量测评数据。。

第三方面，本发明实施例提供了一种计算机设备，作为本发明第一方面实施例提供的音视频质量测评系统中测评服务平台上的测评服务器，用于执行相应方法步骤；或者，作为本发明第一方面实施例提供的音视频质量测评系统中测评执行平台上测评执行室内的测评执行终端，用于执行相应的方法步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第二方面实施例提供的音视频质量测评方法。

本发明实施例提供的音视频质量测评系统、方法、计算机设备及存储介质中，该系统中的测评服务平台包含测评服务器，该测评服务器用于根据所接收测评参数形成音视频质量的测评任务，并将所述测评任务添加至任务缓存表，其中测评参数由用户在测评服务平台提供的前端交互界面中选定；该系统中的测评执行平台包含至少一个测评执行室，每个测评执行室可以在接收到测评服务器相应下发的目标测评任务后，通过对目标测评任务的执行获得相应的音视频指令测评数据。本发明实施例提供的音视频质量测评系统，相当于一个整合的音视频质量评测体系，能够将原本相对各音视频质量测评项的单独测评进行统一化集成，化零为整；通过测评服务平台实现了待测任务的智能化生成，通过测评执行平台实现了待测任务中待测项的自动化测评，整个过程中用户只需要通过测评服务平台提供的前端交互界面进行测评所需参数的选择，无需参与后续测评操作，简单易操作，也无需限定专业测评人员参与，极大的减轻了测评人员的重复操作的步骤，也更好的降低了测评成本；同时，整个音视频质量的测评均通过测评执行平台实现，避免了人工的主观测评，大大提升了评测结果的精准度，为音视频类应用产品的优化提供了有效参考数据。

附图说明

图1给出了本发明实施例一提供的一种音视频质量测评系统的结构框图；

图1a给出了本发明实施例一所提供音视频质量测评系统中测评执行室的架构展示图；

图2给出了本发明实施例二提供的一种音视频质量测评方法的流程示意图；

图2a给出了本发明实施例二中通过音视频质量评测系统实现音视频质量评测的实现示例图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例方式作进一步地详细描述。应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

实施例一

图1给出了本发明实施例一提供的一种音视频质量测评系统的结构框图，该系统适用于对音视频应用产品进行音视频质量评估的情况，如图1所示，该音视频质量测评系统包括：测评服务平台1以及测评执行平台2；

该测评服务平台1包含测评服务器11，该测评服务器11用于根据所接收测评参数形成音视频质量的测评任务，并将该测评任务添加至任务缓存表111，其中，该测评参数由用户在该测评服务平台1提供的前端交互界面12中选定；

该测评执行平台2包括至少一个测评执行室21，各该测评执行室21用于在接收到该测评服务器11相应下发的目标测评任务后，通过对该目标测评任务的执行获得相应的音视频质量测评数据。

在本实施例中，该测评服务平台1具体可看作一个为用户提供测评交互接口以及进行测评任务管理的平台，该测评执行平台2具体可以看作一个根据测评服务平台1所下发测评任务进行音视频质量测评的实际测评平台。其中，用户可优选为具备音视频应用软件测评需求的技术人员。

对于测评服务平台1而言，其主要包括了供用户进行待测评参数信息输入或者相关测评信息数据查询的前端交互界面12，以及根据用户所输入的各种参数信息生成测评任务并对各测评任务进行分配调度管理的测评服务器11。示例性的，用户通过前端交互界面12所输入的测评参数可以包括待测评软件的属性信息，如软件名称，需要对待测评软件进行测评的测评项(如音视频的流畅度、清晰度以及端到端延时程度等)，各测评项所处网络环境的网络环境参数(如网络丢包率，网速限制以及网络抖动频率等)。

其中，前端交互界面12上为用户提供的待测评软件中可以为至少包括了软件开发人员所研发的音视频应用软件，还可以包括其他软件开发商已发布的作为竞品的音视频应用软件。各种音视频应用软件可能具备的功能包括了：实时音视频通话、语音聊天以及直播服务等。该任务缓存列表中包括了按照任务创建时间排列的各条已创建的测评任务。

在本实施例中，优选采用一个开源软件项目Jenkins与一个软件开发框架SpringBoot相结合的框架来构造测评服务平台1，其中，Jenkins可认为是基于面向对象程序语言Java开发的持续一种持续集成工具，能够实现测评任务的持续性管理(如测评任务的创建、任务排队下发以及任务停止等)，所加入的SpringBoot框架以及前端交互界面12设计中所使用的的Vue.js均可认为实现了测评服务平台1所具备各项功能的简化开发。

在本实施例中，该测评任务具体可看作一个包含了用户所选定各项测评参数的软件测评请求，测评服务器11可以在接收到用户通过前端交互界面12提交的测评参数后，通过这些测评参数创建一个测评任务，新创建的测评任务并不直接下发到测评执行平台2，而是先缓存在一个预设定的任务缓存列表内等待到测评执行平台2的下发。

对于测评执行平台2而言，其包含了至少一个测评执行室21，所包含的各测评执行室21均与测评服务平台1中的测评服务器11存在通信连接，且各测评执行室21均具备进行音视频质量测评操作的能力，其主要基于测评服务器11下发的测评任务启动音视频质量的测评，并可在测评过程中获得测评任务中各测评项相关的测评数据，本实施例将所获得测评数据优选记为音视频质量测评数据。

本实施例考虑将测评执行平台2中的各测评执行室21以分布式形式进行部署，使得各测评执行室21在物理空间上相互独立，该种部署形式能够解决测评需求多，测评任务排队等待时间过程等问题，也可以有效应对后续增加的测评需求，以此来提供更高的可扩展性；此外，本实施例对各测评执行室21所进行的分布式部署为在物理空间上的独立部署，以此可以有效避免不同测评执行室21中无线网络信号在信道上的互相干扰，进而可以避免测评网络环境带来的干扰。

需要说明的是，本实施例优选记测评执行室21所接收到的测评任务为目标测评任务，测评服务器11可以通过一定的分配策略将任务缓存列表中的测评任务逐一下发给相对应的测评执行平台2。对于一个测评执行室21而言，接收到一个目标测评任务后，如果该目标测评任务之前不存在等待执行或者正在执行的其他目标测评任务，则可直接启动对该目标测评任务的执行，如果该目标测评任务之前还存在其他目标测评任务，则可将该目标测评任务缓存在一个任务队列中，以等待相应的执行时机。

本发明实施例一提供的一种音视频质量测评系统，相当于一个整合的音视频质量评测体系，能够将原本相对各音视频质量测评项的单独测评进行统一化集成，化零为整；通过测评服务平台实现了待测任务的智能化生成，通过测评执行平台实现了待测任务中待测项的自动化测评，整个过程中用户只需要通过测评服务平台提供的前端交互界面进行测评所需参数的选择，无需参与后续测评操作，简单易操作，也无需限定专业测评人员参与，极大的减轻了测评人员的重复操作的步骤，也更好的降低了测评成本；同时，整个音视频质量的测评均通过测评执行平台实现，避免了人工的主观测评，大大提升了评测结果的精准度，为音视频类应用产品的优化提供了有效参考数据。

进一步地，图1a给出了本发明实施例一所提供音视频质量测评系统中测评执行室的架构展示图；如图1a所示，该测评执行室21中包括：测评执行终端211、网络交换机212、网络损伤仪213、第一路由器214以及第二路由器215；

该测评执行终端211通过网线与该网络交换机212连接；

该网络损伤仪213通过专线网络与该网络交换机212连接，并通过网线与该第一路由器214连接；

该测评执行终端211与该测评服务器11建立通信，用于接收该测评服务器11下发的目标测评任务，并控制该网络损伤仪213按照该目标测评任务中的网络环境参数进行网络环境模拟，以使该第一路由器214提供信号有损的第一无线网络信号；

该第二路由器215通过网线与该网络交换机212连接；用于提供信号正常的第二无线网络信号。

在本实施例中，各测评执行室21中具体包括了一个作为测评执行控制设备的测评执行终端211，对外，该测评执行终端211与测评服务器11建立通信连接，可以接收到测评服务器11下发的测评任务(记为目标测评任务)；对内，测评执行终端211与测评执行室21内包括的网络交换机212连接，用以通过网络交换机212为测评执行室21提供局域网。此外，测评执行室21还包括了分别与网络交换机212连接，用于形成无线网络信号的第一路由器214以及第二路由器215，其中，本实施例为了模仿弱网环境，还增加了设置在网络交换机212与第一路由器214之间的网络损伤仪213。

具体的，在测评执行终端211相对一个目标测评任务启动测评操作时，首先可以对目标测评任务进行分析，获得该目标测评任务中包括的网络环境参数，以此来基于该网络环境参数控制网络损伤仪213模拟该目标测评任务所需的弱网环境的网络信号输出，而第一路由器214可以将该弱网环境下的网络信号转化为无线网络信号输出，其中，该无线网络信号记为第一无线网络信号，网络损伤仪213所模仿的弱网环境所存在的问题可能有丢包、限速带宽、或者网络抖动等。

此外，本实施例还通过与网络交换机212连接的第二路由器215，在测评执行室21中设置正常网络环境下的无线网络信号，该无线网络信号记为第二无线网络信号。

进一步地，测评执行室21中还包括：通过通用串行总线(Universal Serial Bus，USB)与该测评执行终端211连接的第一测评终端216和第二测评终端217；

该第一测评终端216通过与该第一路由器214建立无线连接处于联网状态，该第二测评终端217通过与该第二路由器215建立无线连接处于联网状态，以使该第一测评终端216具备与该网络环境参数匹配网络通信状态。

在本实施例中，为了实现音视频质量的评测，测评执行室21除了需要包括上述进行网络环境模拟的网络设备外，还包括有能够集成、安装并运行待测评音视频应用软件的测评终端，考虑到音视频质量的评测至少涉及音视频发送端和音视频接收端，本实施例在测评执行室21内设置了第一测评终端216和第二测评终端217。

具体的，第一测评终端216以及第二测评终端217可以通过所配备的无线装置分别接入第一路由器214以及第二路由器215，进而处于联网状态，其中，由于第一路由器214所形成的第一无线网络信号受网络损伤仪213的限制，第一测评终端216具备了与网络环境参数匹配的网络通信状态；而第二路由器215形成的第二网络信号为正常无线信号，第二测评局端具备正常网络环境的网络通信状态。

进一步地，该测评执行终端211，包括：

测评配置模块，用于根据该目标测评任务中所包含待测评软件的链接信息，控制该第一测评终端216与该第二测评终端217下载及安装该待测评软件，并通过预先部署的测评框架控制该第一测评终端216及该第二测评终端217运行该待测评软件，以进入目标测评任务的待测评模式。

在本实施例中，第一测评终端216以及第二测评终端217在进行音视频测评之前，需要先安装有待测评软件。具体的，测评执行终端211可以通过对目标测评任务的分析获得用户期望测评的待测评软件的链接信息，从而可通过该链接信息下载到该待测评软件的安装包；同时，本实施例在第一测评终端216以及第二测评终端217上配置了系统界面自动化框架(本实施例优选为安卓界面自动化框架uiautomator2)，通过该系统界面自动化框架可以将待测评软件的安装包自动化安装在第一测评终端216以及第二测评终端217上，并可以自动化的运行待测评软件以进入目标测评任务对应的待测评模式(如，音视频通话模式或者音视频直播模式)；本实施例优选第一测评终端216为音视频发送端，可以发送音视频通话的申请，第二测评终端217为音视频接收端，可以接收第一测评终端216所发送的音视频通话申请。

此外，第一测评终端216以及第二测评终端217通过USB与测评执行终端211连接后，测评执行终端211可以监测到第一测评终端216以及第二测评终端217在带测评模式下运行时的码率、CPU占用以及内存占用等信息，作为音视频质量测评中的一种测评信息；同时，测评执行终端211还可以作为供电电源为第一测评终端216以及第二测评终端217供电。

进一步地，该测评执行室21中还包括：分别与该测评执行终端211连接的终端显示器218、光信号采集装置219以及音频质量测试器210；

该光信号采集装置219与该第二测评终端217连接；

该音频质量测试器210通过音频信号线分别与该第一测评终端216及第二测评终端217连接。

在本实施例中，测评执行室21内除了需要包括音视频质量测评所需网络环境模拟的网络设备以及待测评软件的运行载体(测评终端)外，还进一步包括了用于音视频质量测评的测评工具，测评工具可细分为音频质量测评工具，如音频质量测试器210，本实施例优选为Spirent MOS机器，以及视频质量测评工具，如光信号采集装置219，此外，测评执行室21中还包括由视频质量测评的辅助工具，如终端显示器218。

具体的，为保证音视频质量的正常测评，本实施例优选进行音视频操作的接收端(第二测评终端217)与光信号采集装置219连接，使得光信号采集装置219可以获取到第二测评终端217上所呈现视频画面的光变化信号；以及优选音频质量测试器210分别与作为发送端和接收端的第一测评终端216以及第二测评终端217连接，使得音频质量测试器210可以向第一测评终端216播放音频信号，也可以从第二测评终端217侧采集到所播放的音频信号，其中，光信号采集装置可优选为光敏传感器。

本发明实施例所提供音视频质量测评系统中的测评执行室，集成了音视频质量测评所需的各种硬件设备，通过各种硬件设备的架设，结合测评服务器11，实现了音视频质量的集成化测评以及自动化测评，极大减轻了技术人员测评工作，简化了测评执行步骤，同时，所架设的硬件设备中包含了精准的测试工具，实现了测评项的精准测评。

进一步地，该测评执行终端211，还包括：

信息确定模块，用于根据该目标测评任务确定相对该待测评软件的待测评项；

视频质量测评模块，用于针对该待测评项中的视频质量待测评项，通过对该终端显示器218、第一测评终端216、第二测评终端217以及光信号采集装置219的控制，确定各该视频质量待测评项的视频质量测评数据；

音频质量测评模块，用于针对该待测评项中的音频质量待测评项，通过对该第一测评终端216、第二测评终端217以及音频质量测试器210的控制，确定各该音频质量待测评项的音频质量测评数据；

该视频质量待评测项包括下述之一：视频流畅度、视频清晰度以及视频端到端延时；

该音频质量待评测项包括下述之一：平均意见得分以及音频端到端延时。

在本实施例中，基于上述包含了网络设备，测评终端以及测评工具的测评执行室21，就可以实现对该目标测评任务的响应以及执行。在目标测评任务的具体执行过程中，可以通过信息确定模块对目标测评任务进行分析，从而获得用户期望对待测评软件进行测评的待测评项。可以知道的是，该待测评项中包含了视频质量待测评项以及音频质量待测评项；本实施例可以通过视频质量测评模块，结合终端显示器218、第一测评终端216、第二测评终端217以及光信号采集装置219，获得视频质量待测评项对应的视频质量测评数据；还可以通过音频质量测评模块，结合第一测评终端216、第二测评终端217以及音频质量测试器210，获得音频质量待测评项的音频质量测评数据。

可以知道的是，在上述各模块如信息确定模块、视频质量测评模块以及音频质量测评模块运行之前，已经通过网络设备构建了对应目标测试任务的网络环境，还在两测试终端中安装了待测试软件并自动运行进入到了待测试模式。由此，在确定待测评项(如，视频质量待测项中的视频流畅度、视频清晰度以及视频端到端延时；又如，音频质量待撤项中的平均意见得分以及音频端到端延时)之后，可以控制视频质量测评模块以及音频质量测评模块来实现相应待测评项所对应测评数据的获得。

进一步地，该视频质量测评模块，具体用于：

确定该待测评项中包含视频质量待测评项时，控制该终端显示器218播放预设的视频测评序列；

控制该第一测评终端216采集该终端显示器218播放的视频测评序列，以使该视频测评序列在该待测评状态下由该第一测评终端216传输至该第二测评终端217；

接收该第二测评终端217相对该视频测评序列反馈的流畅度和/或清晰度测评数据；和/或，

控制该光信号采集装置219接收该第二测评终端217播放该视频测评序列时对应的光变化信号，并通过光信号采集装置219反馈的脉冲信号确定视频端到端延时测评数据。

在本实施例中，测评执行终端211上包含有预设的视频测评序列，可以在满足播放条件时，将视频测评序列通过终端显示器218进行呈现，第一测评终端216可以通过其具备的摄像头捕获到该视频测评序列(模拟音视频通话场景中处于发送端侧的场景画面的捕获)；第二测评终端217可以接收到该视频测评序列并进行视频内容的呈现。

可以知道的是，第二测评终端217上集成有视频流畅度和/或清晰度的采集分析工具，在接收到视频测试序列后，可以通过该采集分析工具确定出该视频测试序列在该网络环境下所具备的流畅度和/或清晰度，本实施例将其记为流畅度和/或清晰度由第二测评终端217通过USB数据线反馈给测评执行终端211。

此外，当视频质量待测评项中还包括视频端到端延时的待测评项时，第二测评终端217输出的视频测评序列画面可以以光变化信号的形式由光信号采集装置219捕获，光信号采集装置219可以将该光变化信号转化为可传输给测评执行终端211的脉冲信号，其中，该脉冲信号可优选为电流信号，测评执行终端211则可根据该电流信号确定出视频端到端延时的时长，并可将该时长确定为视频端到端延时测评数据。

需要说明的是，对于视频端到端延时测评数据的确定，测评执行终端211的实现过程可以表述为：对光信号采集装置219反馈的脉冲信号进行分析，获得一个特征值序列及各特征值的接收时间戳(第二测评终端217接收到该视频测评序列的时间戳)；将各特征值的接收时间戳与发送该视频测评序列时所对应标准特征值序列的发送时间戳进行比对，可以确定出视频端到端延时。

进一步地，该音频质量测评模块，具体用于：

确定该待测评项中包含音频质量待测评项时，控制该音频质量测试器210向该第一测评终端216播放预设的音频参考样本，以使该音频参考样本在该待测评状态下由该第一测评终端216传输至该第二测评终端217；

控制该音频质量测试器210录制该第二测评终端217播放的音频参考样本；

接收该音频质量测试器210相对所音频参考样本反馈的平均意见得分和/或音频端到端延时。

在本实施例中，测评执行终端211上还包含有音频参考样本，测评执行终端211可以将该音频参考样本通过音频质量测试器210传输给第一测评终端216进行播放，该音频参考样本可以经第一测评终端216传输至第二测评终端217，由此，测评执行终端211可以控制音频质量测试器210再次录制第二测评终端217播放的该音频参考样本。音频质量测试器210可以通过发送给第一测评终端216的音频参考样本以及从第二测评终端217采集的音频参考样本，确定出该待测评软件中跟音频质量有关的各测评数据(如平均意见得分和/或音频端到端延时)，其中，音频质量测试器210可以通过集成在其上的感知客观听力质量评估POLQA算法来确定音频端到端的延时。

可以知道的是，音频质量中的音频流畅度、清晰度等也可直接由第二测评终端217通过其上配置的相关测评软件分析获得，并进而反馈给测评执行终端211。

进一步地，该测评执行终端211，还包括：

终端性能测评模块，用于当在该待测评项中包括性能测评项时，接收该第一测评终端216及该第二测评终端217处于音视频通话状态时具备的下述参数信息之一：终端的编/解码码率、终端的处理器占用率以及内存占用率。

在本实施例中，第一测评终端216以及第二测评终端217运行该待测评软件时所占用的CPU资源以及内存资源均可以通过配置在相应测评终端上的相关软件监控分析所获得，所获得的上述参数信息可用于评测待测评软件在执行终端上兼容性。

进一步地，该测评服务平台1的前端交互界面12中包括：待测评软件选择列表、网络环境配置项、测评项选择列表、测评终端选择列表以及测评信息搜索入口；

该测评参数至少包括：待测评软件链接信息、网络环境参数、待测评项以及测评终端参数。

在本实施例中，测评服务平台1中的前端交互界面12相当于一个用户进行测评的可操作界面，该可操作界面中可以包括待测评软件的软件列表，用于供用户选择需要测评的软件，还包括由网络环境配置所需的网络环境配置项、也包括的测评项选择列表，向用户提供待测评软件相关测试项的选择项。

同时，该可操作界面中还包括由测评终端选择列表，测评终端选择列表内包括了测评执行室21内所配备各测试终端的终端配置信息；可以知道的是，不同的测评执行室21中所配备的测试终端型号或者硬器件型号存在不同，在用户想要确定待测评软件在不同机型或者硬器件类型终端上的运行性能时，可以进行所期望测试终端的选择。

在本实施例中，该测评信息搜索入口相当于为用户提供的一个查询入口，通过该查询入口，用户可以查询到相关测试任务的运行状态，或者测评数据等信息。此外，本实施例中，用户通过前端交互界面12中不同选择项的选定，可以获得所选定的各测评参数，具体可以包括待测评软件链接信息、网络环境参数(抖动、带宽或者丢包率等)、待测评项(音视频流畅度、清晰度或者端到端延时等)以及测评终端参数(测评终端应当具备的机型以及硬器件型号等)。

进一步地，该测评服务器11还用于：

通过设定的任务下发机制从该任务缓存表111中确定待下发测评任务；

根据该待下发测评任务中包括的测评终端参数，从该测评执行平台2确定该待下发测评任务匹配的测评执行室21，并将该待下发任务作为目标测评任务下发至该测评执行室21。

在本实施例中，测评服务器11可以将所创建的各测评任务缓存在任务缓存表111中，之后可以采用预先设定的任务下发机制(如时间顺序下发、测试终端匹配下发等机制)进行测评任务下发；本实施例优选任务下发机制为测试终端匹配下发与时间顺序下发相结合。具体的，测评服务器11可以按照时间顺序从任务缓存表111选择当前待下发的待下发测评任务；然后，可以分析该待下发测评任务中包括的测评终端参数，之后可以确定测评执行平台2上与该测评终端参数匹配的测评终端存在于哪个测评执行室21(优选测评执行平台2的各测评执行室21内能够包含市面所流行终端设备的终端组合)中，最终将待下发任务作为目标测评任务下发至包含相匹配测评终端的测评执行室21中。

进一步地，该测评服务平台1，还包括：数据库13；

该测评服务器11，还用于：

监测所下发目标测评任务对应的当前执行状态，并将该当前执行状态与该目标测评任务作为第一关联项存储至该数据库13；

接收测评执行室21相对该目标测评任务反馈的音视频质量测评数据，并将该音视频质量测评数据与该目标测评任务作为第二关联项存储在该数据库13。

在本实施例中，还在测评服务平台1上优化增设了数据库13，该数据库13优选为MySQL。在该优选的基础上，本实施例可进一步限定测评服务器11具备将目标测评任务与该任务当前所处状态关联存储至数据库13的功能。具体的，测评服务器11可以对测评执行平台2上个测评执行室21内所接收各目标测评任务的状态进行监测，由此可以确定哪个测评任务处于等待状态，哪些测评任务处于正在处理状态；之后，测评服务器11可以将所获得各目标测评任务的当前执行状态与相应的目标测评任务关联存储至数据库13。

同样的，本实施例中还可以实时接收测评执行室21相对正在处理的目标测评任务反馈的音视频质量测评数据，其音视频质量测评数据同样可以和目标测评任务关联存储在数据库13上。

进一步地，该测评服务器11还用于：

接收到测评状态查询请求时，确定对应该测评状态查询请求的状态查询结果并反馈至该前端交互界面12进行展示；

接收到测评结果查询请求时，确定对应该测评结果查询请求的状态查询结果并反馈至该前端交互界面12进行展示；

其中，该测评状态查询请求及测评结果查询请求由用户通过该前端交互界面12中测评信息搜索入口生成。

在本实施例中，对应于测评服务器11上述具备的信息存储功能，测评服务器11可以在接收到查询请求时，执行相应的查询功能，并给出相应的信息反馈。所接收的查询请求可以由通过测评信息搜索入口对用户所编辑的信息响应并生成。

实施例二

图2给出了本发明实施例二提供的一种音视频质量测评方法的流程示意图，该方法适用于对音视频应用产品进行音视频质量评估的情况，具体可以由本发明实施例一所提供音视频质量测评系统执行。

如图2所示，本发明实施例二提供的一种音视频质量测评方法，具体可以包括下述步骤：

S201、通过测评服务平台中的测评服务器根据所接收测评参数形成音视频质量的测评任务，并将所述测评任务添加至任务缓存表。

其中，所述测评参数由用户在所述测评服务平台提供的前端交互界面中选定。

示例性的，前端交互界面可以供用户进行待测评参数信息输入或者相关测评信息数据查询；测评服务器可以根据用户所输入的各种参数信息生成测评任务并对各测评任务进行分配调度管理；测评任务具体可看作一个包含了用户所选定各项测评参数的软件测评请求；测评服务器可以在接收到用户通过前端交互界面提交的测评参数后，通过这些测评参数创建一个测评任务，该测评任务可预先缓存在任务缓存表中，以在满足任务下发机制所设定的条件后作为目标测评任务下发给相应的测评执行时。

S202、通过测评执行平台中的测评执行室在接收到所述测评服务器相应下发的目标测评任务后，执行所述目标测评任务获得相应的音视频质量测评数据。。

示例性的，测评执行室测评执行室均与测评服务平台中的测评服务器存在通信连接，且主要基于测评服务器下发的测评任务启动音视频质量的测评，并可在测评过程中获得测评任务中各测评项相关的测评数据。

本发明实施例提供的一种音视频测评方法，通过测评服务平台实现了待测任务的智能化生成，通过测评执行平台实现了待测任务中待测项的自动化测评，整个过程中用户只需要通过测评服务平台提供的前端交互界面进行测评所需参数的选择，无需参与后续测评操作，简单易操作，也无需限定专业测评人员参与，极大的减轻了测评人员的重复操作的步骤，也更好的降低了测评成本；同时，整个音视频质量的测评均通过测评执行平台实现，避免了人工的主观测评，大大提升了评测结果的精准度，为音视频类应用产品的优化提供了有效参考数据。

为更好的理解本实施例所提供音视频测评系统的方法执行，本实施例通过下述描述进行示例性说明。图2a给出了本发明实施例二中通过音视频质量评测系统实现音视频质量评测的实现示例图。如图2a所示，给出了参与音视频质量评测的各执行主体，具体包括：前端交互界面31、测评服务器32和测评执行终端33，通过各执行主体，音视频质量评测的执行流程如下：

S1、前端交互界面获取用户选定的待测评软件链接信息、网络环境参数、待测评项以及测评终端参数并形成测评参数提交至测评服务器。

S2、测评服务器根据接收的测评参数创建测评任务并存放至任务缓存表。

S3、测评服务器从任务缓存表挑选当前的待下发测评任务，作为目标测评任务下发至相应的测评执行室。

S4、测评执行室从目标测评任务中获取网络环境参数，控制所述网络损伤仪按照所述网络环境参数进行网络环境模拟，以及控制第一测评终端及第二测评终端处于联网状态。

S5、测评执行室从目标测评任务中所包含待测评软件的链接信息，控制第一测评终端与第二测评终端下载及安装待测评软件，并通过预先部署的测评框架控制第一测评终端及第二测评终端运行待测评软件，以进入目标测评任务的待测评模式。

S6、测评执行室确定目标测评任务中相对待测评软件的待测评项。

S7、测评执行室通过对终端显示器、第一测评终端、第二测评终端以及光信号采集装置的控制，确定各视频质量待测评项的视频质量测评数据。

S8、测评执行室通过对第一测评终端、第二测评终端以及音频质量测试器的控制，确定各音频质量待测评项的音频质量测评数据。

其中，可以根据待测评项的实际内容选择执行S7或者S8，又或者即执行S7又执行S8。

S9、测评服务器接收包含视频质量测评数据和/或音频质量测评数据的测评数据并与目标测评任务关联存储至数据库。

相应的，当实际应用中只执行S7时，只能接收到视频质量测评数据；只执行S8时只能接收到音频质量测评数据；当S7和S8均执行时，可以接收到视频质量测评数据和音频质量测评数据。

S10、测评服务器接收到测评结果查询请求时，确定对应所述测评结果查询请求的状态查询结果并反馈至所述前端交互界面进行展示。

实施例三

本发明实施例三提供了一种计算机设备，该计算机设备可以作为本发明实施例一所提供音视频质量测评系统中测评服务平台内的测评服务器，并可以执行测评服务器相对应的方法步骤，如，根据所接收测评参数形成音视频质量的测评任务，并将所述测评任务添加至任务缓存表，其中，所述测评参数由用户在所述测评服务平台提供的前端交互界面中选定。

此外，该计算机设备也可以作为本发明本发明实施例一所提供音视频质量测评系统中测评执行平台内各测评执行室中的测评执行终端，并可以执行测评服务器相对应的方法步骤，如，从所述测评服务器所下发目标测评任务中获取网络环境参数，并控制所述网络损伤仪按照所述网络环境参数进行网络环境模拟，以使所述第一路由器提供信号有损的第一无线网络信号。

本发明实施例三还提供一种计算机可读存储介质，所述存储介质中的程序由计算机设备的处理器执行时，使得计算机设备能够执行如上述实施例所述的音视频质量测评方法。示例性的，上述实施例所述的音视频质量测评方法包括：通过测评服务平台中的测评服务器根据所接收测评参数形成音视频质量的测评任务，并将所述测评任务添加至任务缓存表，其中，所述测评参数由用户在所述测评服务平台提供的前端交互界面中选定；

通过测评执行平台中的测评执行室在接收到所述测评服务器相应下发的目标测评任务后，执行所述目标测评任务获得相应的音视频质量测评数据。。

需要说明的是，对于装置、计算机设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可，也同样可以达到上述方法实施例的有益效果。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的音视频质量测评方法。

值得注意的是，上述音视频质量测评系统中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。