多媒体数据编码方法、装置、设备及介质

技术领域

本申请涉及金融科技领域或其他相关领域，尤其涉及一种多媒体数据编码方法、装置、设备及介质。

背景技术

随着科技的发展，在录制多媒体数据后，由于原始文件占用空间较大，为了减小占用空间，可使用多媒体数据编码方法对多媒体数据进行编码。对多媒体数据进行编码的方式也由恒定比特率编码发展到可变比特率编码。

现有技术中，恒定比特率编码采用固定的比特率进行编码，即每秒传输的数据量为固定值，对于构图复杂、颜色量多、变化速度快的片段，会造成画面较差的情况。可变比特率编码可根据视频片段的构图复杂度、颜色数量、画面变化速度来动态调节编码比特率，可使得在构图复杂、颜色量多、变化速度快的片段，画面更清晰。但是在业务数据处理场景下，为了保证业务数据处理流程的安全性，以及保障用户的合法权益，通常会对业务数据处理过程进行多媒体数据的录制，进而进行编码，要求重点的业务数据处理流程对应的多媒体数据清晰度要高，现有技术中的编码方式仅考虑构图、颜色量、变化速度，并不适用于业务数据处理场景。

综上所述，现有的对媒体数据编码方式仅考虑构图、颜色量、变化速度，导致业务数据处理流程与编码后的多媒体数据清晰度的匹配度较低。

发明内容

本申请实施例提供一种多媒体数据编码方法、装置、设备及介质，用于解决现有的对媒体数据编码方式仅考虑构图、颜色量、变化速度，导致业务数据处理流程与编码后的多媒体数据清晰度的匹配度较低的问题。

第一方面，本申请实施例提供一种多媒体数据编码方法，包括：

获取原始多媒体数据和业务数据信息，所述原始多媒体数据包括音频数据和视频数据，所述业务数据信息包括业务标识；

根据所述业务标识，确定所述业务标识对应的业务配置信息，所述业务配置信息包括至少一个业务提供方流程、所有业务提供方流程中的重点业务流程；

根据所述原始多媒体数据中的音频数据，确定业务提供方文本信息和业务办理方文本信息；其中，所述业务提供方文本信息包括至少一条业务提供方文本和每条业务提供方文本对应的文本时段，所述业务办理方文本信息包括至少一条业务办理方文本和每条业务办理方文本对应的文本时段；

根据所述业务提供方文本信息、所述业务办理方文本信息、所述业务配置信息、所述原始多媒体数据和所述业务数据信息，生成每个业务提供方流程对应的业务提供方流程时段信息、至少一个业务办理方答复流程时段信息、至少一个业务办理方动作流程时段信息；其中，每个业务提供方流程时段信息包括提供方流程时段和重要性等级，每个业务办理方答复时段信息包括答复流程时段和重要性等级，每个业务办理方动作时段信息包括动作流程时段和重要性等级；

根据所有业务提供方流程时段信息、所有业务办理方答复流程时段信息、所有业务办理方动作流程时段信息，对所述原始多媒体数据进行编码。

在一种具体实施方式中，所述根据所述原始多媒体数据中的音频数据，确定业务提供方文本信息和业务办理方文本信息，包括：

对所述音频数据进行话者分离处理，得到业务提供方音频数据和业务办理方音频数据；

对所述业务提供方音频数据进行语音转文字处理，得到至少一条业务提供方文本和每条业务提供方文本对应的文本时段，生成所述业务提供方文本信息；

对所述业务办理方音频数据进行语音转文字处理，得到至少一条业务办理方文本和每条业务办理方文本对应的文本时段，生成所述业务办理方文本信息。

在一种具体实施方式中，所述根据所述业务提供方文本信息、所述业务办理方文本信息、所述业务配置信息、所述原始多媒体数据和所述业务数据信息，生成每个业务提供方流程对应的业务提供方流程时段信息、至少一个业务办理方答复流程时段信息、至少一个业务办理方动作流程时段信息，包括：

根据所述业务办理方文本信息和预设办理方文本，生成至少一个业务办理方答复流程时段信息，每个业务办理方答复时段信息中的重要性等级为预设第一重要性等级；

根据所述业务提供方文本信息和预设指引动作文本，或者根据所述原始多媒体数据中的视频数据，生成至少一个业务办理方动作流程时段信息，每个业务办理方动作时段信息中的重要性等级为预设第一重要性等级；

若所述业务数据信息中包括每个业务提供方流程对应的时段信息，对于每个业务提供方流程，根据所述业务提供方流程对应的时段信息，生成业务提供方流程时段信息，所述业务提供方流程时段信息中的重要性等级为预设第二重要性等级，所述预设第二重要性等级低于所述预设第一重要性等级；

将重点业务流程对应的业务提供方流程时段信息中的重要性等级，更新为所述预设第一重要性等级。

在一种具体实施方式中，所述根据所述业务提供方文本信息和预设指引动作文本，生成至少一个业务办理方动作流程时段信息，包括：

根据所述业务提供方文本信息和所述预设指引动作文本，确定出至少一个动作文本和每个动作文本对应的结束时刻；

对于每个动作文本，将所述动作文本的结束时刻，作为所述动作文本对应的业务办理方动作流程时段信息中动作流程时段的开始时刻；

将所述动作文本的结束时刻后预设时长的时刻，作为所述动作文本对应的业务办理方动作流程时段信息中动作流程时段的结束时刻；

将所述预设第一重要性等级，作为所述动作文本对应的业务办理方动作流程时段信息中的重要性等级。

在一种具体实施方式中，所述根据所述原始多媒体数据中的视频数据，生成至少一个业务办理方动作流程时段信息，包括：

对所述视频数据进行动作检测，确定出至少一个动作流程时段；

对于每个动作流程时段，确定所述动作流程时段对应的业务办理方动作流程时段信息中的动作流程时段；

将所述预设第一重要性等级，作为所述动作流程时段对应的业务办理方动作流程时段信息中的重要性等级。

在一种具体实施方式中，所述业务配置信息还包括每个业务提供方流程对应的预设文本；所述将重点业务流程对应的业务提供方流程时段信息中的重要性等级，更新为所述预设第一重要性等级之前，所述方法还包括：

若所述业务数据信息中不包括每个业务提供方流程对应的时段信息，根据所述业务提供方文本信息和每个业务提供方流程对应的预设文本，对于每个业务提供方流程，生成业务提供方流程时段信息，所述业务提供方流程时段信息中的重要性等级为预设第二重要性等级，所述预设第二重要性等级等于所述预设第一重要性等级。

在一种具体实施方式中，所述根据所有业务提供方流程时段信息、所有业务办理方答复流程时段信息、所有业务办理方动作流程时段信息，对所述原始多媒体数据进行编码，包括：

将所述原始多媒体数据的整体时段中，除所有提供方流程时段、所有答复流程时段、所有动作流程时段外的时段，作为空闲时段；

对于每个空闲时段，生成空闲时段信息，所述空闲时段信息包括所述空闲时段和重要性等级，所述空闲时段信息中的重要性等级为预设第三重要性等级，所述预设第三重要性等级低于所述预设第二重要性等级；

根据每个业务提供方流程时段信息中的提供方流程时段、每个业务提供方流程时段信息中重要性等级对应的比特率、每个业务办理方答复流程时段信息中的答复流程时段、每个业务办理方答复流程时段信息中重要性等级对应的比特率、每个业务办理方动作流程时段信息中的动作流程时段、每个业务办理方动作流程时段信息中重要性等级对应的比特率、每个空闲时段信息中的空闲时段、每个空闲时段信息中重要性等级对应的比特率，对所述原始多媒体数据进行编码，其中，重要性等级与比特率成正比。

在一种具体实施方式中，所述获取原始多媒体数据和业务数据信息之前，所述方法还包括：

在进行业务数据处理和录制所述原始多媒体数据过程中，通过埋点处理，获取每个业务提供方流程对应的时段信息。

第二方面，本申请实施例提供一种多媒体数据编码装置，包括：

获取模块，用于获取原始多媒体数据和业务数据信息，所述原始多媒体数据包括音频数据和视频数据，所述业务数据信息包括业务标识；

处理模块，用于：

根据所述业务标识，确定所述业务标识对应的业务配置信息，所述业务配置信息包括至少一个业务提供方流程、所有业务提供方流程中的重点业务流程；

根据所述原始多媒体数据中的音频数据，确定业务提供方文本信息和业务办理方文本信息；其中，所述业务提供方文本信息包括至少一条业务提供方文本和每条业务提供方文本对应的文本时段，所述业务办理方文本信息包括至少一条业务办理方文本和每条业务办理方文本对应的文本时段；

根据所述业务提供方文本信息、所述业务办理方文本信息、所述业务配置信息、所述原始多媒体数据和所述业务数据信息，生成每个业务提供方流程对应的业务提供方流程时段信息、至少一个业务办理方答复流程时段信息、至少一个业务办理方动作流程时段信息；其中，每个业务提供方流程时段信息包括提供方流程时段和重要性等级，每个业务办理方答复时段信息包括答复流程时段和重要性等级，每个业务办理方动作时段信息包括动作流程时段和重要性等级；

编码模块，用于根据所有业务提供方流程时段信息、所有业务办理方答复流程时段信息、所有业务办理方动作流程时段信息，对所述原始多媒体数据进行编码。

第三方面，本申请实施例提供一种电子设备，包括：

处理器，存储器，通信接口；

所述存储器用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面任一项所述的多媒体数据编码方法。

第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一项所述的多媒体数据编码方法。

第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时用于实现第一方面任一项所述的多媒体数据编码方法。

本申请实施例提供的多媒体数据编码方法、装置、设备及介质，通过获取到原始多媒体数据和业务数据信息后，根据业务数据信息确定业务配置信息，再根据原始多媒体数据中的音频数据，确定业务提供方文本信息和业务办理方文本信息，进而根据业务提供方文本信息、业务办理方文本信息、业务配置信息、原始多媒体数据和业务数据信息，生成每个业务提供方流程对应的业务提供方流程时段信息、至少一个业务办理方答复流程时段信息、至少一个业务办理方动作流程时段信息，最后根据这些时段信息对原始多媒体数据进行编码，有效提高了业务数据处理流程与编码后的多媒体数据清晰度的匹配度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的多媒体数据编码方法实施例一的流程示意图；

图2为本申请提供的多媒体数据编码方法实施例二的流程示意图；

图3为本申请提供的多媒体数据编码方法实施例三的流程示意图；

图4为本申请提供的多媒体数据编码方法实施例四的流程示意图；

图5为本申请提供的多媒体数据编码方法实施例五的流程示意图；

图6为本申请提供的多媒体数据编码方法实施例六的流程示意图；

图7为本申请提供的多媒体数据编码装置实施例的结构示意图；

图8为本申请提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在根据本实施例的启示下作出的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

随着科技的发展，为了减少多媒体数据的占用空间，通常会对多媒体数据进行编码。在编码过程中，比特率是一个常用的概念，比特率指的是单位时间内传输的比特数，比特率越高，编码后的多媒体数据清晰度越高。在现有技术中，对于多媒体数据的编码方式，通常采用恒定比特率编码和可变比特率编码。恒定比特率编码采用固定的比特率进行编码，即每秒传输的数据量为固定值，对于构图复杂、颜色量多、变化速度快的片段，会造成画面较差的情况。可变比特率编码可根据视频片段的构图复杂度、颜色数量、画面变化速度来动态调节编码比特率，可使得在构图复杂、颜色量多、变化速度快的片段，画面更清晰。

但是在业务数据处理场景下，为了保证业务数据处理流程的安全性，以及保障用户的合法权益，通常会对业务数据处理过程进行多媒体数据的录制，进而进行编码，要求重点的业务数据处理流程对应的多媒体数据清晰度要高，现有技术中的编码方式仅考虑构图、颜色量、变化速度，并不适用于业务数据处理场景。

所以，现有的对媒体数据编码方式仅考虑构图、颜色量、变化速度，导致业务数据处理流程与编码后的多媒体数据清晰度的匹配度较低的问题。

针对现有技术中存在的问题，发明人在对多媒体数据编码方法进行研究的过程中发现，为了使得提高业务数据处理流程与编码后的多媒体数据清晰度的匹配度，可确定出多媒体数据中，每个业务数据处理流程对应的时段，进而对于不同时段对应的重要性等级确定不同的比特率，再根据不同时段的比特率对多媒体数据进行编码。首先获取原始多媒体数据和业务数据信息，再根据业务标识，确定业务配置信息，业务配置信息包括至少一个业务提供方流程、所有业务提供方流程中的重点业务流程。进而根据原始多媒体数据中的音频数据，确定业务提供方文本信息和业务办理方文本信息；进而根据业务提供方文本信息、业务办理方文本信息、业务配置信息、原始多媒体数据和业务数据信息，生成每个业务提供方流程对应的业务提供方流程时段信息、至少一个业务办理方答复流程时段信息、至少一个业务办理方动作流程时段信息，每个时段信息中都包括对应的时段和重要性等级，所以可根据这些时段信息对原始多媒体数据进行编码，有效提高了业务数据处理流程与编码后的多媒体数据清晰度的匹配度。基于上述发明构思，设计了本申请中的多媒体数据编码方案。

本申请中多媒体数据编码方法的执行主体可以是计算机，还可以是服务器、终端设备、多媒体录制设备等可以进行多媒体数据编码的设备，本申请不对其进行限定，下面以计算机为例进行说明。

需要说明的是，本申请的多媒体数据编码方法、装置、设备及介质可用于金融领域。也可用于除金融领域以外的任意领域。本申请的多媒体数据编码方法、装置、设备及介质应用领域不作限定

下面对本申请提供的多媒体数据编码方法的应用场景进行说明。

示例性的，在该应用场景中，用户在计算机上进行业务的办理，计算机可进行业务数据的处理以及录制多媒体数据，计算机在进行业务数据处理和录制多媒体数据过程中，通过埋点捕获录制视频的事件、捕获每个业务提供方流程事件，生成每个业务提供方流程对应的时段信息。

多媒体数据录制完成后，为了减小占用空间并且保证重点流程的清晰度，需要进行编码处理。计算机可获取到原始多媒体数据以及业务数据信息，进而根据业务数据信息中的业务标识，确定出业务配置信息，业务配置信息包括至少一个业务提供方流程、所有业务提供方流程中的重点业务流程。

再根据原始多媒体数据中的音频数据，确定业务提供方文本信息和业务办理方文本信息。根据业务办理方文本信息和预设办理方文本，生成至少一个业务办理方答复流程时段信息，每个业务办理方答复时段信息包括答复流程时段和重要性等级。

根据业务提供方文本信息和预设指引动作文本，或者根据原始多媒体数据中的视频数据，生成至少一个业务办理方动作流程时段信息，每个业务办理方动作时段信息包括动作流程时段和重要性等级。

由于业务数据信息中包括每个业务提供方流程对应的时段信息，对于每个业务提供方流程，根据业务提供方流程对应的时段信息，生成业务提供方流程时段信息，每个业务提供方流程时段信息包括提供方流程时段和重要性等级。

最后根据所有业务提供方流程时段信息、所有业务办理方答复流程时段信息、所有业务办理方动作流程时段信息中的时段和重要性等级，对原始多媒体数据进行编码，得到编码后的多媒体数据，并且业务数据处理流程与编码后的多媒体数据清晰度的匹配度较高。

需要说明的是，上述场景仅是本申请实施例提供的一种应用场景的示例，本申请实施例不对该场景中包括的各种设备的实际形态进行限定，在方案的具体应用中，可以根据实际需求设定。

下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图1为本申请提供的多媒体数据编码方法实施例一的流程示意图，本申请实施例对计算机获取到原始多媒体数据和业务数据信息后，确定出业务提供方流程时段信息、业务办理方答复流程时段信息、业务办理方动作流程时段信息，进而根据这些时段信息进行编码的情况进行说明。本实施例中的方法可以通过软件、硬件或者软硬件结合的方式来实现。如图1所示，该多媒体数据编码方法具体包括以下步骤：

S101：获取原始多媒体数据和业务数据信息。

计算机或其他可进行业务数据处理的设备在进行业务数据处理的过程中，为了保障用户的合法权益，会同步录制多媒体数据，录制完成后，为了减小占用空间，需对其进行编码。

在本步骤中，若是计算机进行多媒体数据的录制和业务数据处理，在录制完成后，即可获取到原始多每条数据以及业务数据信息。若是其他设备进行多媒体数据的录制和业务数据处理，在录制完成后，用户可将原始多媒体数据和业务数据信息输入至计算机，计算机即可获取到原始多每条数据以及业务数据信息，原始多媒体数据包括音频数据和视频数据，业务数据信息包括业务标识。

需要说明的是，业务数据信息还可包括订单号、产品类型的信息，本申请实施例不对业务数据信息的具体内容进行限定，可根据实际情况进行确定。

S102：根据业务标识，确定业务标识对应的业务配置信息。

在本步骤中，计算机获取到原始多媒体数据和业务数据信息后，为了确定出原始多媒体数据中的业务提供方流程，以便后续确定出对应的时段信息后再进行编码，所以可根据业务数据信息中的业务标识，确定业务标识对应的业务配置信息，业务配置信息包括至少一个业务提供方流程、所有业务提供方流程中的重点业务流程。

S103：根据原始多媒体数据中的音频数据，确定业务提供方文本信息和业务办理方文本信息。

在本步骤中，计算机获取到原始多媒体数据和业务数据信息后，为了确定出业务提供方和业务办理方的时段，还需要根据原始多媒体数据中的音频数据，确定业务提供方文本信息和业务办理方文本信息。其中，业务提供方文本信息包括至少一条业务提供方文本和每条业务提供方文本对应的文本时段，业务办理方文本信息包括至少一条业务办理方文本和每条业务办理方文本对应的文本时段。

需要说明的是，步骤S102与步骤S103的执行顺序可以是先执行步骤S102，再执行步骤S103；还可以是先执行步骤S103，再执行步骤S103；还可以是步骤S102与步骤S103同时执行，本申请实施例不对步骤S102与步骤S103的执行顺序进行限定，可根据实际情况进行设置。

S104：根据业务提供方文本信息、业务办理方文本信息、业务配置信息、原始多媒体数据和业务数据信息，生成每个业务提供方流程对应的业务提供方流程时段信息、至少一个业务办理方答复流程时段信息、至少一个业务办理方动作流程时段信息。

在本步骤中，计算机得到业务提供方文本信息、业务办理方文本信息、业务配置信息后，可根据业务办理方文本信息确定出至少一个业务办理方答复流程时段信息；根据业务提供方文本信息或根据原始多媒体数据中的视频数据，确定出至少一个业务办理方动作流程时段信息；根据业务数据信息或者业务提供方文本信息，确定出每个业务提供方流程对应的业务提供方流程时段信息。其中，每个业务提供方流程时段信息包括提供方流程时段和重要性等级，每个业务办理方答复时段信息包括答复流程时段和重要性等级，每个业务办理方动作时段信息包括动作流程时段和重要性等级。

需要说明的是，业务提供方流程时段信息还可以包括业务提供方流程。示例性的，一个业务提供方流程时段信息为([7:31，15:52]，产品介绍，2)，说明该业务提供方流程时段信息中提供方流程时段为[7:31，15:52]；重要性等级为2，表示预设第二重要性等级；业务提供方流程为产品介绍。本申请实施例不对业务提供方流程时段信息的格式进行限定，可根据实际情况进行设置。

S105：根据所有业务提供方流程时段信息、所有业务办理方答复流程时段信息、所有业务办理方动作流程时段信息，对原始多媒体数据进行编码。

在本步骤中，计算机在生成业务提供方流程时段信息、业务办理方答复流程时段信息、业务办理方动作流程时段信息后，将原始多媒体数据对应的整体时段中除去上述三种时段信息中的时段，剩余的时段作为空闲时段，对于空闲时段也设置对应的重要性等级，进而对于每个时段，根据该时段对应的重要性等级，确定出对应的比特率，重要性等级越高，对应的比特率越高，再根据确定出的比特率对该时段的原始多媒体数据进行编码，对每个时段都进行编码后，即可实现对原始多媒体数据进行编码。

本实施例提供的多媒体数据编码方法，通过获取到原始多媒体数据和业务数据信息后，根据业务数据信息中的业务标识确定出业务配置信息，根据原始业务数据中的音频数据确定业务提供方文本信息和业务办理方文本信息。进而根据业务提供方文本信息、业务办理方文本信息、业务配置信息、原始多媒体数据和业务数据信息，生成业务提供方流程时段信息、业务办理方答复流程时段信息、业务办理方动作流程时段信息。最后根据这些时段信息对原始多媒体数据进行编码，不仅减小了原始多媒体数据的占用空间，并且还提高了业务数据处理流程与编码后的多媒体数据清晰度的匹配度，使得在每个业务数据处理流程对应的多媒体数据清晰度更高，更加保障了用户的合法权益。

图2为本申请提供的多媒体数据编码方法实施例二的流程示意图，在上述实施例的基础上，本申请实施例对计算机根据原始多媒体数据中的音频数据，确定出业务提供方文本信息和业务办理方文本信息的情况进行说明。如图2所示，该多媒体数据编码方法具体包括以下步骤：

S201：对音频数据进行话者分离处理，得到业务提供方音频数据和业务办理方音频数据。

在本步骤中，由于在进行业务数据处理过程中，由业务提供方和业务办理方参与，所以可对音频数据进行话者分离处理，得到业务提供方音频数据和业务办理方音频数据。

需要说明的是，对音频数据进行话者分离处理的方式可以是话者分离技术，还可以是声纹分割聚类方法，本申请实施例不对音频数据进行话者分离处理的方式进行限定，可根据实际情况进行选择。

S202：对业务提供方音频数据进行语音转文字处理，得到至少一条业务提供方文本和每条业务提供方文本对应的文本时段，生成业务提供方文本信息。

在本步骤中，计算机得到业务提供方音频数据和业务办理方音频数据后，对于业务提供方音频数据，进行语音转文字处理，得到至少一条业务提供方文本和每条业务提供方文本对应的文本时段。所有业务提供方文本和每条业务提供方文本对应的文本时段可组成业务提供方文本信息。

S203：对业务办理方音频数据进行语音转文字处理，得到至少一条业务办理方文本和每条业务办理方文本对应的文本时段，生成业务办理方文本信息。

在本步骤中，计算机得到业务提供方音频数据和业务办理方音频数据后，对于业务办理方音频数据，进行语音转文字处理，得到至少一条业务办理方文本和每条业务办理方文本对应的文本时段。所有业务办理方文本和每条业务办理方文本对应的文本时段可组成业务办理方文本信息。

需要说明的是，步骤S202与步骤S203的执行顺序可以是先执行步骤S202，再执行步骤S203；还可以是先执行步骤S203，再执行步骤S203；还可以是步骤S202与步骤S203同时执行，本申请实施例不对步骤S202与步骤S203的执行顺序进行限定，可根据实际情况进行设置。

需要说明的是，计算机还可以先对原始多媒体数据中的音频数据进行语音转文字处理，得到多条文本和每条文本对应的文本时段，进而再进行话者分离处理，将多条文本进行分类，分成业务提供方文本和业务办理方文本，进而可生成业务提供方文本信息和业务办理方文本信息。

示例性的，业务提供方文本信息可用W

需要说明的是，本申请实施例不对语音转文字处理方法进行限定，可根据实际情况进行选择。

本实施例提供的多媒体数据编码方法，通过对音频数据进行话者分离和语音转文字处理，得到业务提供方文本信息和业务办理方文本信息，有效提高了业务提供方文本信息和业务办理方文本信息的准确率。

图3为本申请提供的多媒体数据编码方法实施例三的流程示意图，在上述实施例的基础上，本申请实施例对计算机根据业务提供方文本信息、业务办理方文本信息、业务配置信息、原始多媒体数据和业务数据信息，生成业务提供方流程时段信息、业务办理方答复流程时段信息、业务办理方动作流程时段信息的情况进行说明。如图3所示，该多媒体数据编码方法具体包括以下步骤：

S301：根据业务办理方文本信息和预设办理方文本，生成至少一个业务办理方答复流程时段信息。

在本步骤中，计算机得到业务提供方文本信息和业务办理方文本信息后，可根据业务办理方文本信息和预设办理方文本，生成至少一个业务办理方答复流程时段信息，每个业务办理方答复时段信息中的重要性等级为预设第一重要性等级。

由于预设办理方文本是在业务办理方答复流程中，业务办理方进行答复的预测文本，所以可将业务办理方文本信息中的业务办理方文本，与预设办理方文本进行匹配，对于每个匹配成功的业务办理方文本，将该业务办理方文本对应的文本时段，作为一个业务办理方答复流程时段信息中的答复流程时段，再将预设第一重要性等级作为该业务办理方答复时段信息中的重要性等级。

示例性的，预设办理方文本为“清楚、明白、同意、确定、确认”，业务办理方文本信息中的一条业务办理方文本为“我同意”，则与预设办理方文本匹配成功。若业务办理方文本信息中的一条业务办理方文本为“今天天气真好”，则与预设办理方文本匹配失败。

需要说明的是，上述例子仅是对业务办理方文本与预设办理方文本进行匹配的过程进行示例，本申请实施例不对业务办理方文本与预设办理方文本进行限定，可根据实际情况进行确定。

S302：根据业务提供方文本信息和预设指引动作文本，或者根据原始多媒体数据中的视频数据，生成至少一个业务办理方动作流程时段信息。

在本步骤中，计算机得到业务提供方文本信息和业务办理方文本信息后，可根据业务提供方文本信息和预设指引动作文本，或者根据原始多媒体数据中的视频数据，生成至少一个业务办理方动作流程时段信息，每个业务办理方动作时段信息中的重要性等级为预设第一重要性等级。

可根据业务提供方文本信息和预设指引动作文本，确定出至少一个业务办理方动作流程时段信息中动作流程时段的开始时刻和结束时刻，进而将业务办理方动作时段信息中的重要性等级为预设第一重要性等级。

还可以对视频数据进行动作检测，确定出至少一个业务办理方动作流程时段信息中的动作流程时段，进而将业务办理方动作时段信息中的重要性等级为预设第一重要性等级。

S303：确定业务数据信息中是否包括每个业务提供方流程对应的时段信息；若业务数据信息中包括每个业务提供方流程对应的时段信息，则执行步骤S304；若业务数据信息中不包括每个业务提供方流程对应的时段信息，则执行步骤S305。

在本步骤中，计算机得到业务提供方文本信息和业务办理方文本信息后，为了确定出生成业务提供方流程时段信息的方式，需要先判断业务数据信息中是否包括每个业务提供方流程对应的时段信息。若业务数据信息中包括每个业务提供方流程对应的时段信息，说明可根据每个业务提供方流程对应的时段信息，生成业务提供方流程时段信息；若业务数据信息中不包括每个业务提供方流程对应的时段信息，说明需要根据业务提供方文本信息生成业务提供方流程时段信息。

S304：对于每个业务提供方流程，根据业务提供方流程对应的时段信息，生成业务提供方流程时段信息。

在本步骤中，若业务数据信息中包括每个业务提供方流程对应的时段信息，说明可根据每个业务提供方流程对应的时段信息，生成业务提供方流程时段信息。对于每个业务提供方流程，根据业务提供方流程对应的时段信息，生成业务提供方流程时段信息，业务提供方流程时段信息中的重要性等级为预设第二重要性等级，预设第二重要性等级低于预设第一重要性等级。

由于在进行业务数据处理和录制原始多媒体数据过程中，通过埋点处理，可获取每个业务提供方流程对应的时段信息。

示例性的，在开启录制原始多媒体数据时设定时间点为t＝0，当进行一个业务提供方流程时，记录开始的时间点t1；当该业务提供方流程结束时，记录结束的时间点t2，进而生成时段信息[t1，t2]。依次类推，可获取所有业务提供方流程的时段信息。

所以对于每个业务提供方流程，将该业务提供方流程对应的时段信息，作为该业务提供方流程对应的业务提供方流程时段信息中的提供方流程时段，再将预设第二重要性等级，作为该业务提供方流程对应的业务提供方流程时段信息中重要性等级。

S305：根据业务提供方文本信息和每个业务提供方流程对应的预设文本，对于每个业务提供方流程，生成业务提供方流程时段信息。

在本步骤中，若业务数据信息中不包括每个业务提供方流程对应的时段信息，说明需要根据业务提供方文本信息生成业务提供方流程时段信息。根据业务提供方文本信息和每个业务提供方流程对应的预设文本，对于每个业务提供方流程，生成业务提供方流程时段信息，业务提供方流程时段信息中的重要性等级为预设第二重要性等级，预设第二重要性等级等于预设第一重要性等级。

由于每个业务提供方流程对应的预设文本是在业务提供方流程中，业务提供方进行业务数据处理的设定文本，所以可将业务提供方文本信息中的业务提供方文本，与每个业务提供方流程对应的预设文本进行匹配，对于每个匹配成功的业务提供方文本，确定出对应的业务提供方流程，将该业务提供方文本对应的文本时段，作为该业务提供方流程时段信息中的提供方流程时段，再将预设第二重要性等级作为该业务提供方流程时段信息中的重要性等级。

示例性的，一个业务提供方流程对应的预设文本为“您是否同意对账户号为****下的数据进行处理”，业务提供方文本信息中的一条业务提供方文本为“您是否同意对账户号为0000下的数据进行处理”，则可以与预设文本匹配成功。

需要说明的是，上述例子仅是对业务提供方文本与预设文本进行匹配的过程进行示例，本申请实施例不对业务提供方文本与预设文本进行限定，可根据实际情况进行确定。

需要说明的是，步骤S301、步骤S302与步骤S303-步骤S305的执行顺序可以是先执行步骤S301，再执行步骤S302，最后执行步骤S303-步骤S305；还可以是先执行步骤S303-步骤S305，再执行步骤S301，最后执行步骤S302；还可以是先执行步骤S303-步骤S305，再执行步骤S302，最后执行步骤S301；还可以是先步骤S301、步骤S302与步骤S303-步骤S305同时执行，本申请实施例不对步骤S301、步骤S302与步骤S303-步骤S305的执行顺序进行限定，可根据实际情况进行选择。

S306：将重点业务流程对应的业务提供方流程时段信息中的重要性等级，更新为预设第一重要性等级。

在本步骤中，为了能够更好的保障用户的合法权益，对于业务提供方流程中的重点业务流程，重点业务流程在编码后的原始多媒体数据需要更加清晰，所以将重点业务流程对应的业务提供方流程时段信息中的重要性等级，更新为预设第一重要性等级。

本实施例提供的多媒体数据编码方法，通过根据业务办理方文本信息和预设办理方文本，生成至少一个业务办理方答复流程时段信息；根据业务提供方文本信息和预设指引动作文本，或者根据原始多媒体数据中的视频数据，生成至少一个业务办理方动作流程时段信息；根据每个业务提供方流程对应的时段信息，或者根据业务提供方文本信息和每个业务提供方流程对应的预设文本，生成业务提供方流程时段信息，有效提高了生成业务提供方流程时段信息、业务办理方答复流程时段信息、业务办理方动作流程时段信息的准确率。

图4为本申请提供的多媒体数据编码方法实施例四的流程示意图，在上述实施例的基础上，本申请实施例对根据业务提供方文本信息和预设指引动作文本，生成至少一个业务办理方动作流程时段信息的情况进行说明。如图4所示，该多媒体数据编码方法具体包括以下步骤：

S401：根据业务提供方文本信息和预设指引动作文本，确定出至少一个动作文本和每个动作文本对应的结束时刻。

在本步骤中，在进行业务数据处理过程中，业务提供方会进行播报预设指引动作文本，以便业务办理方进行相应的动作，所以在生成业务办理方动作流程时段信息时，需要先根据业务提供方文本信息和预设指引动作文本，确定出至少一个动作文本和每个动作文本对应的结束时刻。

将业务提供方文本信息中的业务提供方文本与预设指引动作文本进行匹配，对于每个匹配成功的业务提供方文本，将该业务提供方文本作为动作文本，将该业务提供方文本对应的文本时段的结束时刻，作为该动作文本的结束时刻。

示例性的，预设指引动作文本为“请您在此处签名”，业务提供方文本信息中的一个业务提供方文本为“请您在此处签名”，二者匹配成功。该业务提供方文本对应的文本时段为[17:10，17:20]，所以动作文本的结束时刻为17：20。

S402：对于每个动作文本，将动作文本的结束时刻，作为动作文本对应的业务办理方动作流程时段信息中动作流程时段的开始时刻。

S403：将动作文本的结束时刻后预设时长的时刻，作为动作文本对应的业务办理方动作流程时段信息中动作流程时段的结束时刻。

在上述步骤中，计算计确定出动作文本和其对应的结束时刻后，对于每个动作文本，将该动作文本的结束时刻，作为动作文本对应的业务办理方动作流程时段信息中动作流程时段的开始时刻。进而将动作文本的结束时刻后预设时长的时刻，作为动作文本对应的业务办理方动作流程时段信息中动作流程时段的结束时刻。

示例性的，在上述例子的基础上，预设时长为15秒，所以动作流程时段的开始时刻为17：20，动作流程时段的结束时刻为17：35，动作流程时段为[17:20，17:35]。

需要说明的是，预设时长可以是15秒、20秒，还可以是25秒，本申请实施例不对预设时长进行限定，可根据实际情况进行设置。

S404：将预设第一重要性等级，作为动作文本对应的业务办理方动作流程时段信息中的重要性等级。

在本步骤中，计算机确定出业务办理方动作流程时段信息中动作流程时段后，还需要确定出其中的重要性等级，所以将预设第一重要性等级，作为动作文本对应的业务办理方动作流程时段信息中的重要性等级。

本实施例提供的多媒体数据编码方法，通过根据业务提供方文本信息和预设指引动作文本，确定出业务办理方动作流程时段信息，有效提高了确定业务办理方动作流程时段信息的准确性。

图5为本申请提供的多媒体数据编码方法实施例五的流程示意图，在上述实施例的基础上，本申请实施例对根据原始多媒体数据中的视频数据，生成至少一个业务办理方动作流程时段信息的情况进行说明。如图5所示，该多媒体数据编码方法具体包括以下步骤：

S501：对视频数据进行动作检测，确定出至少一个动作流程时段。

在本步骤中，为了确定出业务办理方动作流程时段信息，还可以通过对视频数据进行动作检测的方式。对视频数据进行动作检测，确定出业务办理方的动作，进而可确定出至少一个动作流程时段。

需要说明的是，对视频数据进行动作检测的方式可以是TSN、Two-stream、LRCN等方法，本申请实施例不对其进行限定，可根据实际情况进行确定。

S502：对于每个动作流程时段，确定动作流程时段对应的业务办理方动作流程时段信息中的动作流程时段。

S503：将预设第一重要性等级，作为动作流程时段对应的业务办理方动作流程时段信息中的重要性等级。

在上述步骤中，计算机确定出动作流程时段后，对于每个动作流程时段，将该动作流程时段，作为其对应的业务办理方动作流程时段信息中的动作流程时段。再将预设第一重要性等级，作为动作流程时段对应的业务办理方动作流程时段信息中的重要性等级。

本实施例提供的多媒体数据编码方法，通过对视频数据进行动作检测，确定出业务办理方动作流程时段信息，有效提高了确定业务办理方动作流程时段信息的准确性。

图6为本申请提供的多媒体数据编码方法实施例六的流程示意图，在上述实施例的基础上，本申请实施例对根据所有业务提供方流程时段信息、所有业务办理方答复流程时段信息、所有业务办理方动作流程时段信息，对原始多媒体数据进行编码的情况进行说明。如图6所示，该多媒体数据编码方法具体包括以下步骤：

S601：将原始多媒体数据的整体时段中，除所有提供方流程时段、所有答复流程时段、所有动作流程时段外的时段，作为空闲时段。

在本步骤中，由于计算机已经确定出提供方流程时段、答复流程时段、动作流程时段，并且这些时段都有对应的重要性等级，所以还需要对剩余的时段进行处理，这就需要将原始多媒体数据的整体时段中，除所有提供方流程时段、所有答复流程时段、所有动作流程时段外的时段，作为空闲时段。

S602：对于每个空闲时段，生成空闲时段信息。

在本步骤中，计算机确定出空闲时段后，对于每个空闲时段，生成空闲时段信息，空闲时段信息包括空闲时段和重要性等级，空闲时段信息中的重要性等级为预设第三重要性等级，预设第三重要性等级低于预设第二重要性等级，预设第二重要性等级低于预设第一重要性等级。

S603：根据每个业务提供方流程时段信息中的提供方流程时段、每个业务提供方流程时段信息中重要性等级对应的比特率、每个业务办理方答复流程时段信息中的答复流程时段、每个业务办理方答复流程时段信息中重要性等级对应的比特率、每个业务办理方动作流程时段信息中的动作流程时段、每个业务办理方动作流程时段信息中重要性等级对应的比特率、每个空闲时段信息中的空闲时段、每个空闲时段信息中重要性等级对应的比特率，对原始多媒体数据进行编码。

在本步骤中，计算机确定出空闲时段信息后，可根据每个业务提供方流程时段信息中重要性等级，确定出对应的比特率，根据每个业务办理方答复流程时段信息中重要性等级，确定出对应的比特率，根据每个业务办理方动作流程时段信息中重要性等级，确定出对应的比特率，根据每个空闲时段信息中重要性等级，确定出对应的比特率，重要性等级与比特率成正比。

所以业务办理方答复流程时段信息、业务办理方动作流程时段信息、重点业务流程对应的业务提供方流程时段信息，三种时段信息中重要性等级为预设第一重要性等级，所以对应的比特率最高。

除重点业务流程外的业务提供方流程对应的业务提供方流程时段信息中，重要性等级为预设第二重要性等级，其对应的比特率次之。

空闲时段信息中重要性等级为预设第三重要性等级，所以其对应的比特率最低。

示例性的，预设第一重要性等级对应的比特率为8500kbps，预设第一重要性等级对应的比特率为3500kbps，预设第三重要性等级对应的比特率为1500kbps。本申请实施例不对预设第一重要性等级对应的比特率、预设第二重要性等级对应的比特率、预设第三重要性等级对应的比特率进行限定，可根据实际情况进行设置。

进而对于每个时段，根据该时段对应的比特率对该时段的原始多媒体数据进行编码，对每个时段都进行编码后，即可实现对原始多媒体数据进行编码。

需要说明的是，编码所使用的协议可以是H.261、H.263，还可以是H.264、H.265等，本申请实施例不对其进行限定，可根据实际情况进行选择。

需要说明的是，若有多个时段存在重叠，对于重叠部分的时段，采用该多个时段对应的比特率中，最大的比特率进行编码。

本实施例提供的多媒体数据编码方法，通过确定出空闲时段信息，进而根据空闲时段信息、业务提供方流程时段信息、业务办理方答复流程时段信息、业务办理方动作流程时段信息，对原始多媒体数据进行编码，有效提高了业务数据处理流程与编码后的多媒体数据清晰度的匹配度。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图7为本申请提供的多媒体数据编码装置实施例的结构示意图。如图7所示，该多媒体数据编码装置70包括：

获取模块71，用于获取原始多媒体数据和业务数据信息，所述原始多媒体数据包括音频数据和视频数据，所述业务数据信息包括业务标识；

处理模块72，用于：

根据所述业务标识，确定所述业务标识对应的业务配置信息，所述业务配置信息包括至少一个业务提供方流程、所有业务提供方流程中的重点业务流程；

根据所述原始多媒体数据中的音频数据，确定业务提供方文本信息和业务办理方文本信息；其中，所述业务提供方文本信息包括至少一条业务提供方文本和每条业务提供方文本对应的文本时段，所述业务办理方文本信息包括至少一条业务办理方文本和每条业务办理方文本对应的文本时段；

根据所述业务提供方文本信息、所述业务办理方文本信息、所述业务配置信息、所述原始多媒体数据和所述业务数据信息，生成每个业务提供方流程对应的业务提供方流程时段信息、至少一个业务办理方答复流程时段信息、至少一个业务办理方动作流程时段信息；其中，每个业务提供方流程时段信息包括提供方流程时段和重要性等级，每个业务办理方答复时段信息包括答复流程时段和重要性等级，每个业务办理方动作时段信息包括动作流程时段和重要性等级；

编码模块73，用于根据所有业务提供方流程时段信息、所有业务办理方答复流程时段信息、所有业务办理方动作流程时段信息，对所述原始多媒体数据进行编码。

进一步地，所述处理模块72，具体用于：

对所述音频数据进行话者分离处理，得到业务提供方音频数据和业务办理方音频数据；

对所述业务提供方音频数据进行语音转文字处理，得到至少一条业务提供方文本和每条业务提供方文本对应的文本时段，生成所述业务提供方文本信息；

对所述业务办理方音频数据进行语音转文字处理，得到至少一条业务办理方文本和每条业务办理方文本对应的文本时段，生成所述业务办理方文本信息。

进一步地，所述处理模块72，具体还用于：

根据所述业务办理方文本信息和预设办理方文本，生成至少一个业务办理方答复流程时段信息，每个业务办理方答复时段信息中的重要性等级为预设第一重要性等级；

根据所述业务提供方文本信息和预设指引动作文本，或者根据所述原始多媒体数据中的视频数据，生成至少一个业务办理方动作流程时段信息，每个业务办理方动作时段信息中的重要性等级为预设第一重要性等级；

若所述业务数据信息中包括每个业务提供方流程对应的时段信息，对于每个业务提供方流程，根据所述业务提供方流程对应的时段信息，生成业务提供方流程时段信息，所述业务提供方流程时段信息中的重要性等级为预设第二重要性等级，所述预设第二重要性等级低于所述预设第一重要性等级；

将重点业务流程对应的业务提供方流程时段信息中的重要性等级，更新为所述预设第一重要性等级。

进一步地，所述处理模块72，具体还用于：

根据所述业务提供方文本信息和所述预设指引动作文本，确定出至少一个动作文本和每个动作文本对应的结束时刻；

对于每个动作文本，将所述动作文本的结束时刻，作为所述动作文本对应的业务办理方动作流程时段信息中动作流程时段的开始时刻；

将所述动作文本的结束时刻后预设时长的时刻，作为所述动作文本对应的业务办理方动作流程时段信息中动作流程时段的结束时刻；

将所述预设第一重要性等级，作为所述动作文本对应的业务办理方动作流程时段信息中的重要性等级。

进一步地，所述处理模块72，具体还用于：

对所述视频数据进行动作检测，确定出至少一个动作流程时段；

对于每个动作流程时段，确定所述动作流程时段对应的业务办理方动作流程时段信息中的动作流程时段；

将所述预设第一重要性等级，作为所述动作流程时段对应的业务办理方动作流程时段信息中的重要性等级。

进一步地，所述处理模块72，还用于若所述业务数据信息中不包括每个业务提供方流程对应的时段信息，根据所述业务提供方文本信息和每个业务提供方流程对应的预设文本，对于每个业务提供方流程，生成业务提供方流程时段信息，所述业务提供方流程时段信息中的重要性等级为预设第二重要性等级，所述预设第二重要性等级等于所述预设第一重要性等级。

进一步地，所述处理模块72，还用于：

将所述原始多媒体数据的整体时段中，除所有提供方流程时段、所有答复流程时段、所有动作流程时段外的时段，作为空闲时段；

对于每个空闲时段，生成空闲时段信息，所述空闲时段信息包括所述空闲时段和重要性等级，所述空闲时段信息中的重要性等级为预设第三重要性等级，所述预设第三重要性等级低于所述预设第二重要性等级；

进一步地，所述编码模块73，还用于根据每个业务提供方流程时段信息中的提供方流程时段、每个业务提供方流程时段信息中重要性等级对应的比特率、每个业务办理方答复流程时段信息中的答复流程时段、每个业务办理方答复流程时段信息中重要性等级对应的比特率、每个业务办理方动作流程时段信息中的动作流程时段、每个业务办理方动作流程时段信息中重要性等级对应的比特率、每个空闲时段信息中的空闲时段、每个空闲时段信息中重要性等级对应的比特率，对所述原始多媒体数据进行编码，其中，重要性等级与比特率成正比。

进一步地，所述获取模块71，还用于在进行业务数据处理和录制所述原始多媒体数据过程中，通过埋点处理，获取每个业务提供方流程对应的时段信息。

本实施例提供的多媒体数据编码装置，用于执行前述任一方法实施例中的技术方案，其实现原理和技术效果类似，在此不再赘述。

图8为本申请提供的一种电子设备的结构示意图。如图8所示，该电子设备80包括：

处理器81，存储器82，以及通信接口83；

所述存储器82用于存储所述处理器81的可执行指令；

其中，所述处理器81配置为经由执行所述可执行指令来执行前述任一方法实施例中的技术方案。

可选的，存储器82既可以是独立的，也可以跟处理器81集成在一起。

可选的，当所述存储器82是独立于处理器81之外的器件时，所述电子设备80还可以包括：

总线84，存储器82和通信接口83通过总线84与处理器81连接并完成相互间的通信，通信接口83用于和其他设备进行通信。

可选的，通信接口83具体可以通过收发器实现。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

总线84可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(networkprocessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

该电子设备用于执行前述任一方法实施例中的技术方案，其实现原理和技术效果类似，在此不再赘述。

本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一方法实施例提供的技术方案。

本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时用于实现前述任一方法实施例提供的技术方案。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。