一种视频处理方法和终端

技术领域

本申请涉及终端领域，尤其涉及一种视频处理方法和终端。

背景技术

随着智能终端的发展，目前，手机支持录制视频的终端可以实现自动追焦的拍摄模式。在录制视频时，终端可以接收用户选中的主角。然后，终端可以在后续录制视频的过程中，始终对该主角进行追焦，从而得到图像中包括上述被选中主角的主角视频，该主角视频也可以被称为追焦视频或者特写视频等。

但是，在自动追焦的拍摄模式下，终端获取的只有主角视频，不能在一次录制过程中同时录制主角视频以及原视频。其中，原视频是由摄像头采集的原图像组成的。

发明内容

本申请提供了一种视频处理方法和终端，在录制视频的过程中，将获取的一路音频数据复制成N路音频数据，基于N路音频数据可以同时编码以实现在一次录制过程中生成N个视频。

第一方面，本申请提供了一种音频处理方法，该方法，应用于终端，该终端包括摄像头，该方法包括：显示录制界面，该录制界面中包括第一控件、第一预览窗口以及第二预览窗口；该第一预览窗口用于显示该摄像头采集的图像；第一时刻，该第一预览窗口显示第一图像；该第一图像是该摄像头在第一时刻采集的；检测到第一对象在该第一图像的第一位置时，该终端在该第二预览窗口显示第二图像；该第二图像是基于该第一图像生成的，该第二图像中包括该第一对象；第二时刻，该第一预览窗口显示第三图像；该第三图像是该摄像头在第二时刻采集的；检测到该第一对象在该第三图像的第二位置时，该终端在该第二预览窗口显示第四图像；该第四图像是基于该第三图像生成的，该第四图像中包括该第一对象；获取第一音频数据，该第一音频数据中包括第一音频信号以及该第一音频信号的信息；该第一音频信号为基于该第一时刻采集的音频信号生成的音频信号；检测到针对该第一控件的第一操作，响应于该第一操作，停止视频录制，保存有基于该第一预览窗口显示的图像录制的第一视频以及基于该第二预览窗口显示的图像录制的第二视频，其中，该第一视频中包括第一图像以及第一目标音频数据；该第二视频中包括该第二图像以及第二目标音频数据；该第一目标音频数据以及该第二目标音频数据均为基于该第一音频数据得到的。

上述实施例中，终端在一次录制过程中可以拍摄两路视频。其中一路视频可以为实施例中涉及的原视频(第一视频)，另一路视频可以为实施例中涉及的主角视频(第二视频)。其中，主角视频中始终包括追焦对象(即第一对象)。在录制视频的过程中，终端的麦克风可以采集音频信号，终端可以基于该采集的音频信号进行实时处理，得到主角视频中对应的音频信号，以及原视频中对应的音频信号。应该理解的是，因为拍摄视频的过程是实时的，因此对音频的处理也应该是实时的。这样才能保证终端能实现一次录制得到两路音频信号。

结合第一方面，在一些实施例中，显示录制界面之前，该方法还包括：显示预览界面，该预览界面包括第二控件；检测到针对该第二控件的第二操作，响应于该第二操作，该相机应用进入第一模式；该第一预览窗口显示第一图像时，检测到针对该第一对象的第三操作；响应于该第三操作；显示第二预览窗口。

上述实施例中，第二控件即为实施例中主角模式控件，该主角模式控件为本申请实施例为拍摄两路视频这一功能提供的入口，独立与其他拍摄模式，便于管理。

结合第一方面，在获取第一音频数据之后，停止视频录制之前，该方法还包括：该终端确定流配置数量N；基于该流配置数量N将该第一音频数据复制成N路相同的第二音频数据，该任一路第二音频数据中包括该第一音频信号以及该第一音频信号的部分信息；基于一路第二音频数据得到该第一目标音频数据；且，基于另一路第二音频数据得到该第二目标音频数据。

上述实施例中，这里第一音频数据中包括生成主角视频以及原视频涉及的音频信号，但是该第一音频数据只有一路(与硬件配置有关系)，此时该第一音频数据还未进行编码(生成视频时需要对音频进行编码得到音频流，在于图像流混合才能得到视频)。为了能实时得到两路视频，这里应该保证主角视频对应的音频信号与原视频对应的音频信号可以同时进行编码，因此这里需要将一路第一音频数据复制成两路第二音频数据，再基于这两路第二音频数据并发进行编码以得到生成主角视频对应的音频流以及生成原视频涉及的音频流。

结合第一方面，在一些实施例中，基于一路第二音频数据得到该第一目标音频数据；且，基于另一路第二音频数据得到该第二目标音频数据，具体包括：该终端基于一路第二音频数据以及另一路第二音频数据进行编码，得到两路编码后的音频数据；其中一路编码后的音频数据作为第一目标音频数据，另一路编码后的音频数据作为第二目标音频数据。

上述实施例中，这里第一音频数据中包括生成主角视频以及原视频涉及的音频信号，但是该第一音频数据只有一路(与硬件配置有关系)，此时该第一音频数据还未进行编码(生成视频时需要对音频进行编码得到音频流，在于图像流混合才能得到视频)。为了能实时得到两路视频，这里应该保证主角视频对应的音频信号与原视频对应的音频信号可以同时进行编码，因此这里需要将一路第一音频数据复制成两路第二音频数据，再基于这两路第二音频数据并发进行编码以得到生成主角视频对应的音频流以及生成原视频涉及的音频流。

结合第一方面，在一些实施例中，该终端确定流配置数量N，具体包括：该终端检测到针对该第二控件的该第二操作，响应于该操作，该终端确定流配置数量N；在显示该录制界面之后，检测到该针对第一对象的操作；响应于该针对第一对象的操作，该终端更新该流配置数量N。

上述实施例中，第二控件是主角模式控件，在终端检测到针对主角模式控件的操作时，即可确定N，后续，终端还可以更新N，更新N的时机在于：检测到确定追焦对象的操作时(即针对第一对象的操作)，保证了可以在N变更的情况下，获取到变更的N。

结合第一方面，在一些实施例中，该终端确定流配置数量N，具体包括：该终端检测到针对该第二控件的该第二操作，响应于该操作，该终端确定流配置数量N；在显示该录制界面之后，检测到停止录制第二视频的操作；响应于该停止录制第二视频的操作，该终端更新该流配置数量N。

上述实施例中，第二控件是主角模式控件，在终端检测到针对主角模式控件的操作时，即可确定N，后续，终端还可以更新N，更新N的时机在于：检测到停止录制主角视频的操作(第二视频)时，保证了可以在N变更的情况下，获取到变更的N。

结合第一方面，在一些实施例中，该终端包括第一音频编码模块以及第二音频编码模块，该终端对一路第二音频数据以及另一路第二音频数据进行编码，具体包括：该第一音频编码模块基于该一路第二音频数据进行编码，同时，该第二音频编码模块基于该另一路第二音频数据进行编码。

上述实施例中，这里第一音频数据中包括生成主角视频以及原视频涉及的音频信号，但是该第一音频数据只有一路(与硬件配置有关系)，此时该第一音频数据还未进行编码(生成视频时需要对音频进行编码得到音频流，在于图像流混合才能得到视频)。为了能实时得到两路视频，这里应该保证主角视频对应的音频信号与原视频对应的音频信号可以同时进行编码，因此这里需要将一路第一音频数据复制成两路第二音频数据，再基于这两路第二音频数据并发进行编码以得到生成主角视频对应的音频流以及生成原视频涉及的音频流。

结合第一方面，在一些实施例中，该第一音频数据包括该第一音频信号以及该第一音频信号的时间戳、数据长度、采样率以及数据格式。

结合第一方面，在一些实施例中，该第二音频数据包括该第一音频信号以及该第一音频信号的时间戳、数据长度。

第二方面，本申请提供了一种电子设备，该电子设备包括：一个或多个处理器和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该电子设备执行：

上述实施例中，终端在一次录制过程中可以拍摄两路视频。其中一路视频可以为实施例中涉及的原视频(第一视频)，另一路视频可以为实施例中涉及的主角视频(第二视频)。其中，主角视频中始终包括追焦对象(即第一对象)。在录制视频的过程中，终端的麦克风可以采集音频信号，终端可以基于该采集的音频信号进行实时处理，得到主角视频中对应的音频信号，以及原视频中对应的音频信号。应该理解的是，因为拍摄视频的过程是实时的，因此对音频的处理也应该是实时的。这样才能保证终端能实现一次录制得到两路音频信号。应该理解的是，这里第一音频数据中包括生成主角视频以及原视频涉及的音频信号，但是该第一音频数据只有一路(与硬件配置有关系)，此时该第一音频数据还未进行编码(生成视频时需要对音频进行编码得到音频流，在于图像流混合才能得到视频)。为了能实时得到两路视频，这里应该保证主角视频对应的音频信号与原视频对应的音频信号可以同时进行编码，因此这里需要将一路第一音频数据复制成两路第二音频数据，再基于这两路第二音频数据并发进行编码以得到生成主角视频对应的音频流以及生成原视频涉及的音频流。

第三方面，本申请提供了一种芯片系统，该芯片系统应用于电子设备，该芯片系统包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。

上述实施例中，终端在一次录制过程中可以拍摄两路视频。其中一路视频可以为实施例中涉及的原视频(第一视频)，另一路视频可以为实施例中涉及的主角视频(第二视频)。其中，主角视频中始终包括追焦对象(即第一对象)。在录制视频的过程中，终端的麦克风可以采集音频信号，终端可以基于该采集的音频信号进行实时处理，得到主角视频中对应的音频信号，以及原视频中对应的音频信号。应该理解的是，因为拍摄视频的过程是实时的，因此对音频的处理也应该是实时的。这样才能保证终端能实现一次录制得到两路音频信号。应该理解的是，这里第一音频数据中包括生成主角视频以及原视频涉及的音频信号，但是该第一音频数据只有一路(与硬件配置有关系)，此时该第一音频数据还未进行编码(生成视频时需要对音频进行编码得到音频流，在于图像流混合才能得到视频)。为了能实时得到两路视频，这里应该保证主角视频对应的音频信号与原视频对应的音频信号可以同时进行编码，因此这里需要将一路第一音频数据复制成两路第二音频数据，再基于这两路第二音频数据并发进行编码以得到生成主角视频对应的音频流以及生成原视频涉及的音频流。

第四方面，本申请提供了一种包含指令的计算机程序产品，当该计算机程序产品在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。

上述实施例中，终端在一次录制过程中可以拍摄两路视频。其中一路视频可以为实施例中涉及的原视频(第一视频)，另一路视频可以为实施例中涉及的主角视频(第二视频)。其中，主角视频中始终包括追焦对象(即第一对象)。在录制视频的过程中，终端的麦克风可以采集音频信号，终端可以基于该采集的音频信号进行实时处理，得到主角视频中对应的音频信号，以及原视频中对应的音频信号。应该理解的是，因为拍摄视频的过程是实时的，因此对音频的处理也应该是实时的。这样才能保证终端能实现一次录制得到两路音频信号。应该理解的是，这里第一音频数据中包括生成主角视频以及原视频涉及的音频信号，但是该第一音频数据只有一路(与硬件配置有关系)，此时该第一音频数据还未进行编码(生成视频时需要对音频进行编码得到音频流，在于图像流混合才能得到视频)。为了能实时得到两路视频，这里应该保证主角视频对应的音频信号与原视频对应的音频信号可以同时进行编码，因此这里需要将一路第一音频数据复制成两路第二音频数据，再基于这两路第二音频数据并发进行编码以得到生成主角视频对应的音频流以及生成原视频涉及的音频流。

第五方面，本申请提供了一种计算机可读存储介质，包括指令，其特征在于，当该指令在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。

上述实施例中，终端在一次录制过程中可以拍摄两路视频。其中一路视频可以为实施例中涉及的原视频(第一视频)，另一路视频可以为实施例中涉及的主角视频(第二视频)。其中，主角视频中始终包括追焦对象(即第一对象)。在录制视频的过程中，终端的麦克风可以采集音频信号，终端可以基于该采集的音频信号进行实时处理，得到主角视频中对应的音频信号，以及原视频中对应的音频信号。应该理解的是，因为拍摄视频的过程是实时的，因此对音频的处理也应该是实时的。这样才能保证终端能实现一次录制得到两路音频信号。应该理解的是，这里第一音频数据中包括生成主角视频以及原视频涉及的音频信号，但是该第一音频数据只有一路(与硬件配置有关系)，此时该第一音频数据还未进行编码(生成视频时需要对音频进行编码得到音频流，在于图像流混合才能得到视频)。为了能实时得到两路视频，这里应该保证主角视频对应的音频信号与原视频对应的音频信号可以同时进行编码，因此这里需要将一路第一音频数据复制成两路第二音频数据，再基于这两路第二音频数据并发进行编码以得到生成主角视频对应的音频流以及生成原视频涉及的音频流。

附图说明

图1为本申请实施例涉及的主角模式进行补充说明的示意图；

图2为本申请实施例中进入主角模式的一种方式涉及的示意图；

图3示出了主角模式的预览模式中选择追焦对象的界面示意图；

图4A与图4B为主角模式中录制模式下的场景示意图；

图5A为对本申请实施例提供的退出主角模式的场景示意图；

图5B为对主角模式下录制的视频进行保存和查看的示意图；

图6示出了本申请实施例中录制原视频以及主角视频的一个示例性流程图；

图7中示出了终端对将一路音频数据复制成N路，并进行并发编码的示意性软件结构框图；

图8示出了终端将一路音频数据复制成N路，并进行并发编码时，各模块间的示意性交互流程图；

图9示出了终端生成原视频以及主角视频时将一路音频数据复制成N路，并进行并发编码时，各模块间的示意性交互流程图；

图10A-图10D为终端基于M个麦克风采集的音频信号得到第一音频数据的示例图；

图11为从两路第二音频数据中拆分出主角视频对应的音频数据、从另一路第二音频数据中拆分出原视频对应的音频数据的示意图；

图12示出了终端将一路音频数据复制成N路，并进行并发编码以生成N个视频的示意性流程图；

图13为终端将第一音频数据复制成两路第二音频数据的示意图；

图14是本申请实施例提供的终端的结构示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在一种方案中，终端在自动追焦的拍摄模式下录制视频时，在确定录制主角之后，终端结束录制之后，可以最终可以得到一个视频，此时，该视频为图像中包括上述主角的主角视频。主角视频中主角周围的图像内容大多数情况是不完整的。这样，在最终录制的视频(主角视频)中忽略了录制过程中除主角之外的其他图像内容。则，在一次录制完成之后，虽然获得了主角视频，但是无法获取录制时主角所处的环境(主角周围对象的状态和动作等)。

本申请实施例提供了一种视频处理方法，该方法可以应用于手机、平板电脑等可以录制视频的终端上。

在本申请实施例中，终端在确定录制主角之后，可以同时生成两个视频，其中一个为主角视频，另外一个为原视频。其中，原始视频中包括摄像头采集的原图像。主角视频中包括的图像是在原图像的基础上，识别图像中的主角，然后裁剪出其中包括主角的部分图像得到的，该主角视频中包括的图像可以被称为主角图像。在录制视频的过程中，终端可同时显示上述原视频和主角视频，以供用户预览。

这样，在确定主角之后，终端既可以录制图像中包括主角的主角视频，又可以得到由原始的摄像头采集的原图像组成的原视频。

下面具体介绍终端实施本申请实施例提供的视频处理方法的示例性用户界面。

本申请实施例提供了一种视频处理方法，在该方法中，终端可提供主角模式的录像功能，在一次录制过程中，可以生成原视频以及主角视频。下面结合图1对本申请实施例涉及的主角模式进行补充说明。

下面首先对本申请实施例中的名词定义进行说明。

主角模式可以理解为，在终端录制视频时，可额外生成一份追踪视频的模式。其中，该追踪视频中的人像可以理解为用户关注的“主角”，生成“主角”对应的视频的方式可以为：从终端常规录制的视频中裁剪出“主角”对应的视频内容。可以理解的是，终端的主角模式可提供预览模式与录制模式。预览模式下，终端的显示屏中可显示预览界面。录制模式下，终端的显示屏中可显示录制界面。

需要说明的是，终端在预览模式(录制前)和录制模式(录制过程中)显示的界面均可以被称为预览界面；预览模式(录制前)的预览界面中显示的画面不会生成视频并保存；录制模式(录制过程中)的预览界面中显示的画面可以生成视频并保存。为方便区分，下文中，将预览模式(录制前)的预览界面称为预览界面；将录制模式(录制过程中)的预览界面称为录制界面。

预览界面中可包括大窗口与小窗口。其中，大窗口可以是规格等于或略小于显示屏的窗口，大窗口可显示摄像头获得的图像，大窗口在预览模式下所显示的图像可定义为大窗口的预览画面。小窗口可以是规格小于大窗口的窗口，小窗口可显示用户选定的追焦对象(前述涉及的主角)的图像，终端可基于与追焦对象关联的追踪标识选中追焦对象，小窗口在预览模式下所显示的图像可定义为小窗口的预览画面。可以理解的是，预览模式下，终端可基于大窗口显示摄像头获取的图像，小窗口显示追焦对象的图像，但终端可以不生成视频，也可以不保存大窗口和小窗口显示的内容。

录制界面中可包括大窗口与小窗口。其中，大窗口可以是规格等于或略小于显示屏的窗口，大窗口可显示摄像头获得的图像，大窗口在录制模式下所显示的图像可定义为大窗口的录制画面。小窗口可以是规格小于大窗口的窗口，小窗口可显示用户选定的追焦对象(前述涉及的主角)的图像，小窗口在录制模式下所显示的图像可定义为小窗口的录制画面。可以理解的是，录制模式下，终端不仅可以显示大窗口的录制画面与小窗口的录制画面，终端还可以生成开启录制模式后录制得到大窗口对应的视频(也可以被原视频)和小窗口对应的视频(也可以被主角视频)，并可以在大窗口录制结束时对原视频进行保存，在小窗口录制结束时对主角视频进行保存。本申请实施例对预览模式与录制模式的命名不做限制。

其中，对于预览界面以及录制界面，大窗口中所显示的摄像头获得的图像也可以被称为原图像，小窗口所显示的用户选定的追焦对象的图像也可以被称为主角图像。

需要说明的是，本申请实施例中描述的预览界面可理解为终端的相机应用处于主角模式的预览模式；录制界面可理解为终端的相机应用处于主角模式的录制模式。后续不再对此赘述。

示例性的，上述主角模式的功能可设置在相机应用(也可称为相机或相机APP)中。例如，在预览场景下，终端中主角模式的预览界面可如图1的a所示。该预览界面中可包括大窗口301、小窗口302与多个控件。其中，多个控件可包括开始录制控件303、第一横竖屏切换控件304、第二横竖屏切换控件305、小窗口关闭控件306和退出主角模式控件307。可选的，控件还可以包括录像设置控件308、闪光灯控件309及变焦控件310等。

终端可在大窗口301中显示预览画面(前述涉及的原图像)，预览画面中可包括多个人物。在终端检测到大窗口的预览画面中存在人物时，预览画面中可显示与人物关联的追踪标识。示例性的，追踪标识可以是在人物相应位置处显示的追踪框(例如，追踪框311和追踪框312)。例如，预览画面中男性人物可对应追踪框311，女性人物可对应追踪框312。追踪框可提示用户相应人物可设置为追焦对象或可切换为追焦对象(前述涉及的主角)。当终端识别到N个人物时，大窗口中可显示M(M≤N)个追踪框。终端可将任一人物设置为追焦对象，以生成该追焦对象的视频内容。本申请实施例对“主角”不做限制，其中，“主角”可以人物、动物等生命体，也可以是车辆等非生命体。可以理解的是，任一可基于算法模型识别的物品均可作为本申请实施例的“主角”。本申请实施例中可将“主角”定义为追焦对象，追焦对象还可称为主角对象、追踪目标、追踪对象与追焦目标等，本申请实施例以人物作为“主角”进行示例性说明，但本申请实施例对“主角”的概念不做限制。

一些实施例中，追踪标识还可以是其他形式的追踪标识，例如，当终端识别到多个可追焦对象时，大窗口在可对焦对象附近显示与该可追焦对象对应的追踪标识，追踪标识可以是数字、字母和图形等。用户点击追踪标识，终端响应该次点击操作，选定追焦对象。又例如，大窗口的多个可追焦对象被标记了数字、图形、用户图像或其他追踪标识。终端可在大窗口显示区域的边缘或其他位置排列多个追踪标识，用户可点击大窗口中的追踪标识来选定追焦对象。本申请实施例以追踪框为例示例性说明录像方法，但本申请实施例对追踪标识的形态不做限制。

需要说明的是，本申请实施例的终端可以在识别到双人或多人时，为该人物标记对应的追踪框；终端也可以在识别到单人时，为单人标记对应的追踪框，也可以不标记追踪框，此处不做限制。

可选的，大窗口显示的N个人物可以为可追焦对象，选定的“主角”为追焦对象，未选定为“主角”的人物为其他对象。追焦对象的追踪框(例如，追踪框311)与其他对象的追踪框(例如，追踪框312)可显示不同样式。这样，方便用户区分被追踪的人物。

一些实施例中，追踪框的形状、颜色、大小和位置可调。例如，追焦对象的追踪框311样式可以为虚框。其他对象的追踪框312样式可以为虚框与“+”的组合。除追踪框的形状不同，本申请实施例还可设置追踪框的颜色，例如追踪框311与追踪框312的颜色不同。这样，可直观的区分追焦对象与其他对象。可以理解的是，追踪框也可以是其他显示形式，追踪框满足能够被用户触发实现追踪可追焦对象的功能即可。

追踪框可以标记在可追焦对象的任意位置，本申请实施例不作具体限定。可能的实现中，为了不对大窗口中可追焦对象的预览造成视觉干扰，追踪框可以避开可追焦对象的脸部，比如，追踪框可标记在可追焦对象的身体较居中的位置。终端可进行人脸识别与人体识别，当终端识别到人脸时，终端可显示追踪框。终端可根据人脸识别与人体识别确定追踪框的显示位置，追踪框显示在人体居中位置。

需要说明的是，一些实施例中可能出现以下场景，大窗口的预览画面中包括N个人物，其中，有M(M≤N)个标记追踪框的可追焦对象与N-M个终端未识别的人物。实际拍摄中，终端可基于人脸技术显示追踪框，当终端无法捕捉人物的人脸时(例如，人物的背影)，终端不会为该人物标记追踪框。本申请实施例对实现追踪框显示的方法不做限制。

在预览场景下，小窗口302显示有追焦对象的预览画面。小窗口的预览画面可以为大窗口预览画面的一部分。可能的实现中，小窗口的预览画面是基于追焦对象按照一定比例裁剪大窗口的预览画面得到的。终端可根据算法对大窗口中的图像进行裁剪，小窗口得到大窗口的图像的一部分。一些实施例中，裁剪计算的时间长时，小窗口实时显示的可能为大窗口实时显示的前几帧图像的裁剪图像。本申请实施例对于小窗口显示的画面不做具体限定。

当追焦对象切换时，小窗口302显示的预览画面中的人物进行相应切换。例如，若追焦对象从男性人物切换为女性角色时，小窗口302显示的预览画面也相应发生变化。后面会结合图3对终端选择或切换追焦对象的场景进行详细说明，此处不做赘述。

一些实施例中，小窗口的规格、位置和横竖屏显示方式等可调，用户可根据录像习惯调整小窗口的样式。

预览界面中还包括多个控件，下面对各个控件的功能进行说明。

开始录制控件303，用于控制终端启动大窗口的录制或者启动大窗口与小窗口的录制。

第一横竖屏切换控件304可显示于大窗口中，用于调整小窗口的横屏显示与竖屏显示。

第二横竖屏切换控件305可显示于小窗口中，也用于调整小窗口的横屏显示与竖屏显示。

小窗口关闭控件306，用于终端关闭小窗口。

退出主角模式控件307，用于终端退出主角模式，进入常规录像模式。

可以理解的是，在预览场景中，预览界面中可包括大窗口与小窗口。大窗口的预览画面中包括可追焦对象。当终端选定追焦对象时，小窗口的预览画面可居中显示追焦对象。一些场景中，追焦对象可处于移动状态，当追焦对象发生移动但未离开镜头时，小窗口的预览画面可持续居中显示追焦对象。例如，预览界面中可追踪对象包括男性人物与女性人物，终端响应于用户针对男性人物的追踪框的点击操作，终端选定男性人物为追焦对象，并进入如图1的a所示界面。图1的a界面中，小窗口的预览画面居中显示男性人物，男性人物居于女性人物的右侧。男性人物发生移动，终端可持续追焦男性人物，并将男性人物居中显示到小窗口中。当男性人物走到女性人物左侧时，终端的界面可如图1的b所示。图1的b界面中，小窗口的预览画面仍居中显示男性人物，男性人物居于女性人物的左侧。

示例性的，在录制场景下，终端中主角模式的录制界面可如图1的c所示。该录制界面中可包括大窗口301、小窗口302、多个控件及录制时间。其中，控件可包括暂停录制控件313、结束录制控件314及结束小窗口录制控件315。

与预览场景不同的是，在录制场景下，小窗口302显示的是追焦对象的录制画面。录制过程中，终端可在大窗口录制的视频的基础上，额外生成一路小窗口录制的视频。与预览过程相似，小窗口的录制画面可以为大窗口录制画面的一部分。可能的实现中，小窗口的录制画面是基于追焦对象按照一定比例裁剪大窗口的录制画面得到的。两路视频独立保存在终端中。这样，无需后续对整个视频进行人工剪辑，即可得到追焦对象对应的视频，操作简单方便，提升用户体验。

录制界面可包括多个控件，下面对控件的功能进行说明。

暂停录制控件313，用于暂停视频录制。其中，大窗口与小窗口的录制可同时暂停，当录制界面中不包括小窗口时，暂停录制控件313可仅暂停大窗口的录制。

结束录制控件314，用于结束视频录制。其中，大窗口与小窗口的录制可同时结束，当录制界面中不包括小窗口时，结束录制控件314可仅结束大窗口的录制。

结束小窗口录制控件315，用于结束录制小窗口的视频。其中，终端可基于结束小窗口录制控件315结束小窗口的录制，大窗口的录制不会受到影响。

录制时间，用于标识当前视频已录制的时长。大窗口的录制时长可与小窗口相同，也可以不同。

可以理解的是，在录制场景中，录制界面中可包括大窗口与小窗口。大窗口的录制画面中包括可追焦对象。当终端选定追焦对象时，小窗口的录制画面可居中显示追焦对象。一些场景中，追焦对象可处于移动状态，当追焦对象发生移动但未离开镜头时，焦点随追焦对象移动而移动，小窗口的录制画面可持续居中显示追焦对象。例如，录制界面中可追踪对象包括男性人物与女性人物，终端响应于用户针对男性人物的追踪框的点击操作，终端选定男性人物为追焦对象，并进入如图1的c所示界面。图1的c界面中，小窗口的录制画面居中显示男性人物，男性人物居于女性人物的右侧，此时焦点位于男性人物的脸部区域，位于画面的中间偏右部分。男性人物发生移动，终端可持续追焦录制男性人物，并将男性人物居中显示到小窗口中。当男性人物走到女性人物左侧时，终端的界面可如图1的d所示。图1的d界面中，小窗口的录制画面仍居中显示男性人物，男性人物居于女性人物的左侧，此时焦点位于男性人物的脸部区域，位于画面的中间偏左部分。

本申请实施例将基于追焦对象额外生成一路追焦视频的拍摄模式定义为主角模式，该拍摄模式还可以称为追焦模式等，本申请实施例对此不作限定。

在使用主角模式进行录像时，可以有多种进入主角模式的方式。

示例性的，结合图2对本申请实施例中进入主角模式的一种方式进行详细说明。

一种可能的实现方式中，终端处于图2的a所示的主界面，当终端检测到用户开启相机应用401的操作时，终端可进入图2的b所示的拍照预览界面。该拍照预览界面可以包括预览画面与拍摄模式选择控件。预览画面可以实时显示终端的摄像头捕捉的场景。拍摄模式选择控件包括但不限于：“人像”控件、“拍照”控件、“录像”控件402、“专业”控件与“更多”控件403。

当终端检测到用户点击“录像”控件402的操作时，终端由拍照预览界面切换至如图2的c所示的录像预览界面；该录像预览界面中可以包括但不限于：用于接收触发进入主角模式的主角模式控件404、用于接收触发进入设置的录制设置控件，用于接收触发开启滤镜效果的滤镜控件和用于设置闪光灯效果的闪光灯控件。

终端可基于录像预览界面中的主角模式控件404进入主角模式。例如，用户点击界面中的主角模式控件404，终端响应该次点击操作，进入如图2的d所示的预览界面；在预览界面中，大窗口内可以有多个拍摄对象，终端可基于大窗口的图像内容识别该多个拍摄对象，该多个拍摄对象可作为可追焦对象，终端的预览界面中可以为各个可追焦对象标记追踪框。

另一种可能的实现方式中，终端可以不通过“录像”控件进入主角模式，而是将主角模式作为一个新的模式，例如，终端可以通过“更多”控件403显示该主角模式，然后，选择该主角模式进入主角模式。进入主角模式之后的其他描述可以参考前述内容，此处不再赘述。

其中，本申请实施例结合图3对主角模式中预览模式下的场景进行详细说明，以及本申请实施例结合图4A以及图4B对主角模式中录制模式下的场景进行详细说明。

首先对预览模式的场景进行介绍。

示例性的，图3示出了主角模式的预览模式中选择追焦对象的界面示意图。

如图3所示：终端进入主角模式的预览模式，如图3的a所示，终端可以显示主角模式的预览界面。预览界面中包括多个可追焦对象，各可追焦对象可以对应标记有各自的追踪框(例如，男性人物对应的追踪框311，女性人物对应的追踪框312)。

终端可根据用户对追踪框的操作(例如点击操作)来确定用户选中的追焦对象。示例性的，用户希望在终端的小窗口中预览男性人物的追焦画面，可点击与男性人物对应的追踪框311，终端响应该次点击操作，进入如图3的b所示的界面。

如图3的b所示的界面，终端选中男性人物为追焦对象时，预览界面的大窗口中悬浮出现小窗口，小窗口呈现大窗口中追焦对象所在位置对应的画面，其中，小窗口中，追焦对象可以为小窗口的居中位置，体现追焦对象的“主角”地位。可选的，在追焦对象的追踪框被触发后，追焦对象对应的追踪框颜色可以改变，例如变浅、变深或变为其他颜色，追踪框的形状也可发生改变，例如男性人物的追踪框311为虚框，女性人物的追踪框312为虚框与“+”的组合。本申请实施例中追焦对象与其他对象的追踪框样式可表现为颜色不同、大小不同及形状不同等任一组合，以便于用户区分大窗口中的追焦对象与其他对象。可选的，在追焦对象的追踪框被触发后，追焦对象对应的追踪框可以消失，这样，可以使得用户不会重复选择已选中的追焦对象。

可以理解的是，在主角模式的预览模式中，用户在选择追焦对象后可自主更改追焦对象，如图3的b所示界面，终端接收到用户点击女性人物的追踪框312的操作时，进入如图3的c所示界面。此时，小窗口中的追焦对象由男性人物切换至女性人物。人物的追踪框状态改变，例如女性人物的追踪框312颜色及形状发生改变，男性人物的追踪框311恢复为未选中时的样式，其中追踪框样式的改变可以参照图3的b所示界面中相关的描述，在此不再赘述。

可选的，终端在预览模式下切换追焦对象，小窗口的预览画面中显示的对象由原追焦对象变为新的追焦对象。为使切换过程中画面会更加流畅，本申请实施例还提供了一种切换追焦对象的动态特效。示例性的，下面以男性人物为原追焦对象，女性人物为新的追焦对象为例，对动态特效的设计进行说明。

一种可能的实现中，预览界面的大窗口中包括男性人物与女性人物，小窗口中显示的追焦对象为男性人物。当终端检测到针对女性人物的追踪框的点击操作时，小窗口的预览画面可由男性人物的追焦显示切换为全景显示，再由全景显示切换为女性人物的追焦显示。例如，小窗口原本居中显示男性人物，在用户点击女性人物的追踪框后，小窗口的预览画面与大窗口的预览画面的裁剪比例增加，小窗口的预览画面可包括大窗口的预览画面中更多的内容，可表现为小窗口中的男性人物及所处背景等逐渐缩小，直至小窗口中可同时显示女性人物与男性人物的全景。随后小窗口针对全景中的女性人物进行居中及放大显示。可选的，全景可以是等比例缩小的大窗口的预览画面，也可以是在大窗口的预览画面中针对男性人物与女性人物共有区域进行裁剪的图像。

另一种可能的实现中，预览界面的大窗口中包括男性人物与女性人物，小窗口中显示的追焦对象为男性人物。当终端检测到针对女性人物的追踪框的点击操作时，小窗口的预览画面中追焦点逐渐由男性人物运镜至女性人物。例如，小窗口原本居中显示男性人物，在用户点击女性人物的追踪框后，小窗口的预览画面与大窗口的预览画面的裁剪比例不变，但小窗口的预览画面将按原裁剪比例向靠近女性人物的方向进行裁剪。示例性的，女性人物居于男性人物左侧，终端在切换追焦对象的过程中，小窗口中男性人物及所处背景向右平移，直至女性角色居中显示在小窗口中。

这样，终端在切换追焦对象的过程中，小窗口中原追焦对象切换为新的追焦对象的画面更加流畅，提升了用户的录像体验。

以上实施例对主角模式的预览模式进行了说明，下面将结合附图对主角模式的录制模式进行描述。在主角模式的录制模式时，终端可启动小窗口录制针对追焦对象的视频，并保存该视频。

下面结合图4A与图4B对主角模式中录制模式下的场景进行详细说明。

一种主角模式的录制模式的场景中，大窗口与小窗口的视频可同时开始录制。图4A的a界面中，大窗口的预览画面中包括追焦对象(例如男性人物)，小窗口显示追焦对象的预览画面。当终端检测到针对大窗口中开始录制控件303的点击操作时，终端进入如图4A的b所示界面。终端同时启动大窗口的录制与小窗口的录制，小窗口可实时针对大窗口中的追焦对象进行显示。图4A的b界面中，小窗口显示录制画面以及录制时间。又例如，小窗口中还显示录制模式的结束小窗口录制控件315，大窗口中开始录制控件303转换为录制模式下的暂停录制控件313与结束录制控件314。大窗口与小窗口可分别显示各自的录制时间，其中大窗口与小窗口的录制时间可保持一致。为美化录制界面以及减少对追焦对象的遮挡，本申请实施例中录制时间的显示位置可以如图4A的b所示，录制时间也可设置在不影响录制的其他位置。

可选的，一些实施例中，终端在由预览模式进入录制模式时，第一横竖屏切换控件、第二横竖屏切换控件、变焦控件及小窗口关闭控件可消失，如图4A的b图。一些实施例也可保留这些控件，本申请实施例对此不做限制。

应该理解的是，图4A中示出的场景中，终端触发录制原视频以及主角视频的时机为：在进入主角模式中的录制模式之前，终端首先检测到针对主角模式控件的操作，响应于该操作，终端准备开始录制主角视频(没有开始录制)。然后，检测到用户针对原图像确定主角的操作，那么，当终端检测到用户针对开始录制控件的操作之后，响应于该操作，可以进入录制过程，可以同时录制原视频以及主角视频。

又一种主角模式的录制模式的场景中，大窗口与小窗口的视频可先后进行录制。图4B的a界面中，大窗口的预览画面中包括追焦对象，终端未选中追焦对象导致小窗口未开启。终端响应于用户针对开始录制控件303的点击操作，终端启动大窗口的录制并进入如图4B的b所示界面。图4B的b界面中，大窗口显示录制画面及录制时间，终端未开启小窗口。在大窗口的录制过程中，终端检测到用户选定追踪框311的点击操作时，终端显示图4B的c所示界面。图4B的c界面中，终端保持大窗口的录制以及启动小窗口的录制。

终端可以基于以上场景开启小窗口的视频录制，并得到多路视频。需要说明的是，小窗口可显示大窗口中有关追焦对象的画面，但小窗口录制的视频与大窗口录制的视频为多个独立的视频，并不是一个大窗口录制画面中嵌套小窗口的画中画形式的合成视频。

需要说明的是，若终端未开启小窗口的录制，则终端可得到大窗口录制的一路视频。若终端开启小窗口的录制，则终端可得到大窗口录制的一路视频与小窗口录制的多路视频。例如，在大窗口录制视频期间，终端可多次开启小窗口录制，其中，终端在检测到针对结束小窗口录制控件的点击操作时，可结束小窗口的录制，得到一路视频。当小窗口再次开启录制后，终端可得到一路新的视频。小窗口得到的视频数量可与小窗口开启录制的次数相关。

应该理解的是，终端触发录制原视频以及主角视频的时机为：在进入主角模式的录制模式之前，终端首先检测到针对主角模式控件的操作，响应于该操作，终端准备开始录制主角视频(没有开始录制)。然后，在进入主角模式的录制模式之前，没有检测到用户针对原图像确定主角的操作，那么，当终端检测到用户针对开始录制控件的操作之后，响应于该操作，可以进入主角模式的录制模式，此时终端录制的只有原视频，没有主角视频。在录制原视频的过程中，终端可以检测到用户针对原图像确定主角的操作，响应于该操作，终端可以触发进行录制主角视频。

应该理解的是，终端确定主角的时机除了是检测到用户针对原图像选中主角的操作之外，还可以是其他的时机。例如，在检测到针对主角模式控件的操作(例如单击操作)之后，在检测到针对开始录制控件的操作之前，在第一时间阈值内没有检测到用户针对原图像选择主角的操作时，终端可以基于原图像自动确定一个主角。此时，确定主角的方式包括：识别原图像的中心区域中在移动的对象，确定该对象为主角。其中，原图像的中心为原图像的几何中心。

用户在没有使用主角模式的需求时，可选择退出主角模式，恢复常规的录像模式。

下面结合图5A对本申请实施例提供的退出主角模式的场景进行说明。

如图5A所示：示例性的，当终端接收到针对图5A的a界面中结束录制控件314的点击操作时，终端可同时结束大窗口的录制与小窗口的录制。并且，进入图5A的b界面。终端结束录制时，可同时保存大窗口录制的视频(原视频)与小窗口录制的视频(原视频)。终端可将两个视频保存在同一路径，也可以保存在不同路径。例如，大窗口的视频与小窗口的视频可保存至相册的文件夹下，也可将大窗口的视频保存到常规路径，小窗口的视频保存到相册中主角模式的文件夹下。本申请实施例对两个视频的保存路径不做限制。

图5A的b界面中，大窗口与小窗口已结束录制并恢复到预览模式。当接收到针对退出主角模式控件307的点击操作时，终端进入如图5A的c所示界面。终端恢复常规的录像模式。当然，终端也可在图5A的a界面中检测到对结束录制控件314的点击操作后，直接退出主角模式，并显示图5A的c所示界面。或者，用户也可以通过手势等方法触发终端退出主角模式，本申请实施例对此不作任何限制。

进入主角模式之后，在结束录制时，终端可以获取至少一路视频并对其进行保存和查看。

下面结合图5B对主角模式下录制的视频进行保存和查看的过程进行描述。

可选的，用户可基于相机应用的相册浏览大窗口录制的视频与小窗口录制的多路视频，多路视频的显示顺序可以为视频的录制顺序，即终端可根据录制视频的结束时间点或开始时间点进行排序。多路视频的显示顺序还可以为视频的录制倒序，即终端可根据录制视频的结束时间或开始时间进行倒序排列。

可选的，大窗口录制的视频与小窗口录制的视频可显示在同一相册界面的视频缩略图中。为便于区分大窗口录制的视频与小窗口录制的视频，终端可为小窗口录制的视频设置标识。例如，终端可为小窗口录制的视频添加外边框、字体及图形等，终端还可设置小窗口录制的视频缩略图大小，使得小窗口与大窗口所录制的视频缩略图存在大小差异。可以理解的是，本申请实施例对相册中视频缩略图的形式不做限制。

示例性的，一种视频缩略图的排列顺序可如图5B所示。用户可基于图5B的a所示界面浏览录制得到的视频，当终端检测到针对视频图标1601的点击操作时，终端进入图5B的b所示界面。图5B的b界面可显示当前已录制的视频缩略图，其中，视频1602、视频1603可以为单次使用主角模式进行录像得到的多路视频。下面结合具体的录制场景对视频顺序进行说明。

例如，终端基于主角模式进行录制，录制界面中包括大窗口与小窗口，大窗口中显示男性人物和女性人物，小窗口中显示男性人物。当终端检测到针对开始录制控件的点击操作时，终端的大窗口中录制包括男性人物和女性人物的视频1602，小窗口中录制追焦男性人物的视频1603。40s后，终端检测到结束录制控件的点击操作，终端结束录制视频1602与视频1603，并保存视频1602与视频1603。

上述录制场景中，终端单次使用主角模式进行录像，得到了两路视频。

在一些实例中，终端可根据多路视频先后结束的时间进行保存，而先保存的视频排列在图5B的b界面中靠后的位置。

可以理解的是，本申请实施例示例性的对视频缩略图的排列顺序及视频的保存顺序进行了说明，本申请实施例对此不做限制。

可以理解的是，大窗口录制的视频(原视频)可包括图像与声音，小窗口录制的视频(主角视频)也可包括图像与声音。例如，终端在从大窗口的图像上裁剪出小窗口的录制画面，从而获取小窗口视频时，终端还可将声音同步到小窗口的视频中。

应该理解的是，在主角模式的预览模式下，为提升用户的录制体验，终端可以提供其他的功能，包括但不限于以下功能。

在一些实施例中，终端可能在追焦模式中出现追焦对象丢失的情况，即在追焦模式中，确定追焦之后，开始可以识别到追焦对象，然后出现识别不到追焦对象的情况。此时，小窗口中的预览画面可以为追焦对象丢失前所显示的最后一帧预览画面，且小窗口呈蒙层状态。在追焦对象丢失之后，如果重新检测到追焦对象，可以继续对该追焦对象进行追踪，小窗口取消蒙层状态，可以显示包括追焦对象的预览图像。在焦点丢失时间达到一定阈值(例如5s)之后，可以关闭小窗口，若此时处于追焦模式的录制模式，可以在关闭小窗口之后对小窗口中的视频(追焦视频)进行保存。

在另一些实施例中，小窗口的规格可自定义调节，用户可将小窗口规格调整到适当大小，用户可以更加清晰的查看追焦对象的小窗口预览画面。还可以对小窗口在界面中的显示位置进行调整。

图6中示出了本申请实施例中录制原视频以及主角视频的一个示例性流程图。

在录制过程中，终端是对将麦克风采集的音频数据以及摄像头采集的图像实时的进行处理之后得到原视频以及主角视频的。图6中描述的为将采集时间相同的一帧图像以及该帧图像对应的音频数据进行实时处理，得到视频的过程，其他帧图像以及其他帧视频的处理过程与此相同，可以参考相关描述。

关于该过程的详细描述可以参考下述对步骤S101-步骤S108的描述。

S101.终端通过M个麦克风采集音频信号，得到第一音频数据。

第一时刻，终端通过M个麦克风采集音频信号。在录制原视频以及主角视频的过程中，终端可以启用部分或者全部麦克风采集音频信号，其中，终端的麦克风有S个，可以从其中选择M个进行音频信号的采集，其中M为大于等于1的整数，S为大于等于M的整数。

终端可以对采集的音频信号进行处理，得到一路第一音频数据。

该第一音频数据中包括终端的M个麦克风采集的音频信号以及该音频信号的信息。该音频信号的信息可以包括时间戳，数据长度、采样率以及数据格式等。其中，时间戳表示M个麦克风采集音频信号的时间。数据长度表示该第一音频数据中包括的音频信号的长度。数据格式可以表示该第一音频数据的格式。该M个麦克风采集的音频信号可以看做生成N个视频涉及的音频信号。

在一些实例中，可以将终端的M个麦克风采集的音频信号封装成一帧音频信号，基于该帧音频信号得到第一音频数据。

在另一些实例中，可以将终端的M个麦克风采集的音频信号分别封装成一帧音频信号，得到M帧音频信号，基于该M帧音频信号得到第一音频数据。

S102.终端基于流配置数量将该第一音频数据复制成两路第二音频数据。

步骤S102中，终端生成的是原视频以及主角视频，这里视频数量为2。

该第二音频数据中可以包括第一音频数据中的部分或者全部内容。通常来说该第二音频数据中可以包括第一音频数据中的部分内容，该部分内容可以用于生成视频，其他不可以用于生成视频的内容这里可以不进行复制。

在一些实例中，终端可以将该第一音频数据中的音频信号、以及该音频信号的时间戳、该音频信号的数据长度进行复制，得到两路相同的第二音频数据。其中一路第二音频数据中包括第一音频数据中的音频信号、以及该音频信号的时间戳、该音频信号的数据长度。

在其他的实例中，该第二音频数据中除了包括第一音频数据中的音频信号、以及该音频信号的时间戳、该音频信号的数据长度，还可以包括数据格式，该数据格式可以表示该第二音频数据的格式(audiodata)。其中，第二路音频数据的格式(audiodata)可以为：{buffer，buffersize，pts}，buffer用于表示音频信号，其可以是数组的形式，buffersize表示音频信号的数据长度，pts表示音频信号的时间戳。

后续在步骤S103、步骤S107以及步骤S108中，终端可以基于该两路第二音频数据生成原视频以及主角视频。

S103.终端基于两路第二音频数据并发进行编码，得到两路编码后的音频数据。

在一些实例中，终端可以对两路第二音频数据并发进行编码，得到两路编码后的音频数据。其中一路记为第一目标音频数据，另一路作为第二目标音频数据。

S104.终端获取原图像，基于该原图像追踪主角，获取主角追踪信息。

第一时刻，终端通过摄像机采集原图像，任一原图像对应一个时间戳，该时间戳表示摄像机采集该原图像的时间。

终端确定原图像中的主角，获取主角追踪信息，其中主角追踪信息中可以包括主角的人脸(face)区域、主角的人体(bady)区域、主角的中心坐标(center)以及主角对应的追焦状态(trackstatus)等信息中的至少一个。

其中，追焦状态表示主角在原图像中出现的情况。在一些示例中，该追焦状态可以包括出现在原图像中或者未出现在原图像中。

S105.终端基于主角追踪信息进行处理，得到主角坐标。

在终端确定追焦状态为出现在原图像中时，终端可以基于主角追踪信息进行处理，得到主角坐标。

在一些示例中主角坐标可以为主角的中心坐标(center)。

在另一些示例中，主角坐标可以为基于主角的人脸(face)区域、主角的人体(bady)区域、主角的中心坐标(center)确定的一个坐标。例如，人脸坐标。

在一些实例中，在追焦状态为未出现在原图像中时，可以不利用该主角追踪信息确定新的主角坐标。可以将基于上一帧原图像计算的主角坐标作为步骤S105中的主角坐标。在第三预设时间内追焦状态持续为未出现在原图像中，终端可以不再录制主角视频，对已经录制的主角视频进行保存。

在一些可能的情况下，该主角坐标可以为摄像头传感器(camerasensor，即图像传感器)坐标系(二维坐标系)下的坐标，用于表示主角在图像中的位置。在另一些可能的情况下，还可以为图像坐标系。

S106.终端基于主角坐标，结合原图像，生成主角图像。

终端可以确定原图像中主角坐标所在的图像区域，对该原图像进行裁剪获取该图像区域中的内容，基于该图像区域中的内容生成主角图像。在一些实例中，该图像区域可以该主角坐标为中心。

任一主角图像对应一个时间戳，该时间戳与该原图像的时间戳相同。

S107.终端基于第一目标音频数据以及原图像生成原视频。

终端对原图像进行编码，得到编码后的原图像。其中，该过程的发生时机与终端对第二音频数据进行编码的发生时机可以相同，也可以不同。

在终端确定第一目标音频数据中包括的音频信号的时间戳与原图像的时间戳相同时，终端可以基于该第一目标音频数据以及编码后的原图像进行混流，以生成原视频。

S108.终端基于第二目标音频数据以及主角图像生成主角视频。

终端对主角图像进行编码，得到编码后的主角图像。其中，该过程的发生时机与终端对第二音频数据进行编码的发生时机可以相同，也可以不同。

在终端确定第二目标音频数据中包括的音频信号的时间戳与主角图像的时间戳相同时，终端基于第二目标音频数据以及编码后的主角图像进行混流，以生成主角视频。

其中，步骤S107中的对第一目标音频数据进行编码以及步骤S108中对第二目标音频数据进行编码是并发进行的，这样可以保证实时的得到原视频以及主角视频。

步骤S101与步骤S104执行时机没有先后之后，在终端开始录像之后均可执行。

应该理解的是，前述步骤S101-步骤S108中，是以终端录制的视频为原视频以及主角视频，流配置数量为2时进行举例的。实际情况中该流配置数量为N，其中N为大于等于1的整数。如果该流配置数量为N，则终端可以将该第一音频数据复制成N路第二音频数据。再基于该N路音频数据并发的进行编码以生成N个视频，其中，一路第二音频数据用于生成一个视频。

现有技术中，终端获取的第一音频数据只有一路，在本申请中为了实时的得到N个视频，则需要对该路第一音频数据进行复制，得到N路第二音频数据，对该N路第二音频数据并发的进行编码得到N个视频对应的音频流，将其中每个视频对应的音频流与该视频对应的图像流进行混流，即可时生成N个视频。对该过程的详细描述可以参考下述内容。

图7中示出了终端对将一路音频数据复制成N路，并进行并发编码的示意性软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将系统分为四层，从上至下分别为应用程序层，应用程序框架层，硬件抽象层，以及硬件层。

其中，应用程序层可以包括一系列应用程序包。该应用程序包可以包括相机应用。除了相机应用还可以包括其他的应用，例如，图库应用等应用程序(也可以称为应用)。

该相机应用中可以包括主角模式、音频录制管理模块以及编码器控制模块。

其中，主角模式用于提供终端进入模式录制主角视频的功能。

音频录制管理模块可以用于启动或者停止终端的麦克风采集音频信号，还可以用于对获取的第一音频数据进行复制，得到N路第二音频数据。

编码器控制模块可以用于对N路第二音频数据进行并发编码。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

应用程序框架层中可以包括音频框架层、相机框架层以及编码框架层。

其中，音频框架层中包括音频录制模块以及音频流模块，该音频录制模块中预先存储了终端在录制原视频以及主角视频时涉及的麦克风。例如，可以为终端的麦克风有S个，该音频录制模块可以控制从其中选择M个进行音频信号的采集，其中M为大于等于1的整数，S为大于等于M的整数。

编码框架层可以为上层的编码器控制模块提供编码能力。其中，该编码框架层中的音频编码器可以为编码器控制模块中的音频编码模块(包括第一音频编码模块以及第二音频编码模块)提供对音频数据进行编码的能力。该编码框架层中的图像编码器可以为编码器控制模块中的图像编码模块(包括第一图像编码模块以及第二图像编码模块)提供对图像进行编码的能力。

硬件抽象层是位于内核层(未示出)与硬件层之间的接口层，其目的在于将硬件抽象化，为操作系统提供虚拟硬件平台。

硬件抽象层中可以包括不同硬件的抽象层。例如，相机抽象层以及音频抽象层等。该相机抽象层可以用于将图像传感器(摄像头中的传感器)抽象化，基于图像传感器采集的图像进行各种计算得到输出结果。该音频抽象层可以用于将麦克风抽象化，基于麦克风采集的音频信号进行各种计算得到输出结果。

音频抽象层中包括指令处理模块、音频输入流模块以及音频算法模块。

其中，指令处理模块可以用于接收上层的音频框架层下发的指令并处理该指令。例如，可以接收到音频抽象层发送启动麦克风采集音频信号的相关指令，在接收到该指令之后，可以启动麦克风采集音频信号。

音频输入流模块可以将麦克风采集的音频信号进行处理，得到一路第一音频数据，该第一音频数据中包括麦克风采集的音频信号的信息，例如时间戳，数据长度、采样率以及数据格式等。并将该第一音频数据发送至音频录制模块。

音频算法模块可以与音频输入流模块进行交互处理麦克风采集的音频信号。

硬件层可以包括终端的麦克风和终端的图像传感器(摄像头中的传感器)，该麦克风可以用于采集音频信号，图像传感器用于采集图像。

其中，图像传感器采集的原图像通过相机抽象层传输到相机框架层之后，相机框架层可以基于原图像生成主角图像。并将该原图像以及主角图像分别传输至第一图像编码模块以及第二图像编码模块进行编码，得到编码后的原图像以编码后的主角图像。后续，第一混流模块可以基于编码后的原图像以及编码后的一路第二音频数据进行混流，以生成原视频。后续，第一混流模块可以基于编码后的主角图像以及编码后的另一路第二音频数据进行混流，以生成主角视频。

下面本申请实施例将结合图7具体介绍终端将第一音频数据进行复制，得到N路第二音频数据，对该N路第二音频数据并发进行编码的示意性处理流程。

步骤1，音频录制管理模块在确定进入主角模式的情况下，检测到针对开始录制控件的操作，可以通过音频框架层以及音频抽象层调用终端的M个麦克风开始采集音频信号。还可以在检测到针对开始录制控件的操作之后，确定音频复制数量N。其中，步骤1即图7中的灰色圆圈标识①。

其中，在一些可能的情况下，参考前述对图2中c的描述，在检测到针对主角模式控件404的操作时，音频录制管理模块可以确定进入主角模式。进入主角模式之后，终端可以显示如前述涉及的图2中d示出的用户界面。

示例性的，音频录制管理模块在确定进入主角模式的情况下，检测到针对开始录制控件的操作，可以确定流配置数量N。且，该音频录制管理模块可以向音频框架层中的音频录制模块发送第一指令，该第一指令用于启动麦克风采集音频信号。该音频录制模块接收到该指令之后，可以确定采集音频信号的M个麦克风，然后向音频流模块发送第二指令，该第二指令用户启动M个麦克风采集音频信号。该音频流模块可以将该第二指令发送至指令处理模块，该指令处理模块在对该第二指令进行解析之后，可以启动终端中的M个麦克风采集音频信号。

步骤2，M个麦克风采集的音频信号可以传输至音频抽象层，该音频抽象层可以基于该音频信号进行处理，生成第一音频数据。然后通过音频框架层将该第一音频数据传输至音频录制管理模块。其中，步骤2即图7中的灰色圆圈标识②。

示例性的，M个麦克风采集的音频信号可以传输至音频抽象层中的音频输入流模块，该音频输入流模块可以将麦克风采集的音频信号封装成帧得到第一音频数据。然后该音频输入流模块可以将该第一音频数据发送至音频框架层的音频流模块，然后该音频流模块将该第一音频数据发送至音频录制模块。该音频录制模块再将该第一音频数据发送至音频录制管理模块。

步骤3，音频录制管理模块可以基于流配置数量N将该第一音频数据复制成N路相同的第二音频数据，这里以N等于2为例进行描述。然后分别将该2路第二音频数据发送至编码器控制模块。其中，步骤3即图7中的灰色圆圈标识③。

其中，在一些可能的情况下，参考前述涉及的图4A中b所示的内容以及图4B中c所示的内容，流配置数量N等于2的情况即为终端在录制原视频的同时还录制主角视频的情况。

在一些可能的情况下，流配置数量N还可以大于2，例如，终端录制两个主角视频加一个原视频的情况下，此时，终端可以确定两个主角以对该两个主角分别进行追踪得到两个主角视频。

在另一些可能的情况下，流配置数量N还可以等于1。参考前述涉及的图4B中b所示的内容，终端此时没有录制主角视频，只进行原视频的录制，则此时N＝1。

示例性的，音频录制管理模块然后将一路第二音频数据发送至编码器控制模块中的第一音频编码模块以及将另一路第二音频数据发送至编码器控制模块中的第二音频编码模块。

步骤4，编码器控制模块可以通过编码器对该N路第二音频数据进行并发编码。其中，步骤4即图7中的灰色圆圈标识④。

示例性的，第一音频编码模块可以调用音频编码器对其中一路第二音频数据进行编码得到第一目标音频数据。且，第二音频编码器可以调用音频编码器对另一路第二音频数据进行编码得到第二目标音频数据。

这样，在一次录制过程中生成N个视频的情况下，虽然在音频抽象层只获取了一路第一音频数据，传输至应用程序层的相机应用时也只有该路第一音频数据，但是可以在相机应用中将该第一音频数据中与生成视频相关的音频数据进行复制，得到生成N个视频涉及的N路第二音频数据。

图8示出了终端将一路音频数据复制成N路，并进行并发编码时，各模块间的示意性交互流程图。

下面结合图7以及图8详细描述终端的各个模块在录制视频的过程中，将第一音频数据进行复制，得到N路第二音频数据，对该N路第二音频数据并发进行编码的详细过程。

该过程可以参考下述对步骤S201-步骤S216的详细描述。

S201.终端进入主角模式，检测到针对开始录制控件的操作。

如前述图2的c示出的界面，在检测到针对主角模式控件的操作(例如点击操作)时，终端确定进入主角模式。

在一些实例中，在终端确定进入主角模式之后，检测到针对开始录制控件的操作之前，如果确定了主角，则在检测到开始录制控件的操作的情况下，响应于该操作，终端可以同时开始录制原视频以及主角视频。例如前述涉及的图4A所示，检测到针对开始录制控件的操作(例如点击操作)，终端可以开始录制原视频以及主角视频。

在另一些实施例中，在终端确定进入主角模式之后，检测到针对开始录制控件的操作之前，如果没有确定主角，则在检测到开始录制控件的操作的情况下，响应于该操作，终端可以开始录制原视频但是不录制主角视频。例如前述涉及图4B的a以及图4B的b所示，检测到针对开始录制控件的操作(例如点击操作)，终端可以开始录制原视频但是不录制主角视频。

S202.主角模式获取流配置数量N。

在终端开始录制视频之后，可以确定流配置数量N，N为配置的视频流的数量。流配置数量N即终端生成视频时涉及的视频流数量。应该理解的是，终端录制的不同视频对应不同的视频流。终端录制N个视频，则视频流数量为N。

其中，主角模式获取流配置数量N的时机包括但不限于以下时机。

(1)检测到针对开始录制控件的操作，响应于该操作，终端开始录制视频，且终端可以确定流配置数量N。在终端开始录制视频之后，主角模式在以下情况下还可以重新确定流配置数量N，包括但不限于：

情况1：检测到确定主角的操作，终端可以重新确定流配置数量N，更新所述流配置数量N。

情况2：在主角丢失的情况下，终端可以重新确定流配置数量N，更新所述流配置数量N。

情况3：检测到停止录制主角视频的操作，例如前述针对结束小窗口录制控件的操作，终端可以重新确定流配置数量N，更新所述流配置数量N。

(2)在终端开始录制视频之后，终端可以按照一定时间频率，确定流配置数量N。

如果确定终端录制的视频只要原视频不包括主角视频，则流配置数量N等于1。如果终端录制的视频包括原视频以及主角视频，则流配置数量N等于2。

在其他可能的情况下，终端还可以在一次录制过程中生成更多视频，则N可以大于等于3。

在一些可能的情况下，主角模式可以基于流管理模块(图中未示出)确定流配置数量N。该流管理模块可以用于配置视频流，N即为配置的视频流的数量。

S203.主角模式将该流配置数量N发送至音频录制管理模块。

在接收到流配置数量N之后，音频录制管理模块可以进行初始化设置，执行下述步骤S204以及步骤S205以获取后续得到N路第二音频数据涉及的内容。

S204.音频录制管理模块基于流配置数量N确定音频复制数量N。

该音频复制数量N用于在下述步骤S213确定对第一音频数据进行复制的份数。该音频复制数量N等于流配置数量N。这样，可以使得在录制视频的过程中，可以基于复制后的N路音频数据生成N个视频。

在一些可能的情况下，该音频录制管理模块在确定音频复制数量N之后，还可以配置声道信息。此时，在N等于2的情况下，可以配置双声道。后续可以将麦克风采集的音频信号划分为双声道，得到双声道音频信号作为第一音频数据。

S205.音频录制管理模块向音频框架层发送启动麦克风采集音频信号的第一指令。

该第一指令用于通知启动麦克风采集音频信号，此时，终端可以不确定采集音频信号具体涉及的麦克风，可以在下述步骤S205中进行确定。

该第一指令中携带了终端的麦克风采集音频信号时涉及的参数，包括采样率、音频格式等。其中，采样率可以用于表示麦克风采集音频信号的频率。音频格式用于确定每一个麦克风采集音频信号的采样深度，即一个麦克风采集的音频信号中每个采样点所占的字节数，例如8bit或者16bit。除了这些参数以外，还可以包括其他的参数，例如通道配置等，这里不再一一叙述。

音频框架层在接收到该第一指令之后，可以生成下述步骤S206中涉及的第二指令，并执行下述步骤S206。

在一些实例中，例如参考图7，音频录制管理模块具体可以向音频框架层中的音频录制模块发送该第一指令。

S206.音频框架层确定采集音频信号涉及的M个麦克风，向音频抽象层发送启动该M个麦克风采集音频信号的第二指令。

该第二指令用于通知启动M个麦克风采集音频信号，即确定采集音频信号涉及的麦克风。例如，终端在具有三个麦克风的情况下，可以确定利用其中的第一麦克风以及第二麦克风采集音频信号。具体设置哪几个麦克风采集音频信号时预先设置在音频框架层中的。

该第二指令中仍然携带了麦克风采集音频信号时涉及的参数，包括采样率、音频格式等。对于该参数的介绍可以参考前述对步骤S205的描述，此处暂不赘述。

在一些实例中，例如参考图7，音频框架层中的音频录制模块可以用于将第二指令发送至音频流模块，由音频流模块将该第二指令发送至音频抽象层中的指令处理模块。

S207.音频抽象层启动M个麦克风采集音频信号。

音频抽象层在接收到该第二指令之后，可以确定采集音频信号时涉及的M个麦克风，并启动该M个麦克风采集音频信号。即终端的麦克风有S个，可以从其中选择M个进行音频信号的采集，其中M为大于等于1的整数，S为大于等于M的整数。

S208.该M个麦克风采集音频信号。

该M个麦克风采集的音频信号中可以包括被拍摄对象(例如前述涉及的对象1)的声音以及周围的环境声音。

S209.该M个麦克风向音频抽象层发送采集的音频信号。

在一些实例中，参考图7，该M个麦克风可以将采集的音频信号发送至音频抽象层中的音频输入流模块。

S210.音频抽象层基于该音频信号进行处理，得到一路第一音频数据，该第一音频数据中包括M个麦克风采集的音频信号以及该音频信号的信息。

第一音频数据中包括M个麦克风采集的音频信号以及该音频信号的信息。

该音频抽象层将M个麦克风采集的音频信号封装成帧，并确定该音频信号的信息。其中，该音频信号的信息可以包括时间戳，数据长度、采样率以及数据格式等。其中，时间戳表示M个麦克风采集音频信号的时间。数据长度表示该第一音频数据中包括的音频信号的长度。数据格式可以表示该第一音频数据的格式。

其中，音频抽象层将M个麦克风采集的音频信号封装成帧可以包括将终端的M个麦克风采集的音频信号封装成一帧音频信号，基于该帧音频信号得到第一音频数据。

在一些实例中，参考图7，该步骤S210涉及的过程可以由音频抽象层中包括的音频输入流模块完成。

后续，经过下述步骤S211以及步骤S212，终端可以将第一音频数据从音频抽象层传输至应用程序层中的音频录制管理模块。

S211.音频抽象层向音频框架层发送第一音频数据。

在一些实例中，参考图7，具体可以由音频抽象层中的音频输入流模块将第一音频数据发送至音频框架层中的音频流模块。

S212.音频框架层向音频录制管理模块发送第一音频数据。

在一些实例中，参考图7，可以由音频框架层中的音频流模块将第一音频数据发送至音频录制模块，再由音频录制模块向频录制管理模块发送该第一音频数据。

S213.音频录制管理模块根据音频复制数量N对该第一音频数据进行复制，得到N路第二音频数据，该第二音频数据中包括M个麦克风采集的音频信号以及该音频信号的部分信息。

该N路第二音频数据是相同的音频数据。

通常来说该第二音频数据中可以包括第一音频数据中的部分内容，该部分内容可以用于生成视频，其他不可以用于生成视频的内容这里可以不进行复制。

在一些实例中，音频录制管理模块可以将该第一音频数据中的音频信号、以及该音频信号的时间戳、该音频信号的数据长度进行复制，得到N路相同的第二音频数据。其中一路第二音频数据中包括第一音频数据中的音频信号、以及该音频信号的时间戳、该音频信号的数据长度。

其中，音频信号的时间戳可以用于与图像的时间戳进行匹配，具有相同时间戳的音频信号以及图像才可以在编码后进行混流，以用于生成视频。

音频信号的数据长度可以用于在下述步骤S216中进行检验，检验的作用在于确定该第二音频数据的有效性。步骤S216中可以对有效的第二音频数据进行编码，对于无效的第二音频数据则可以不进行编码。

在一些实例中，在音频录制管理模块确定第一音频数据正确的情况下，才可以对其进行复制。其中一种确定该第一音频数据正确的方式包括：确定该第一音频数据中包括的音频信号的数据长度等于最小数据长度。该最小数据长度是基于前述涉及的采样率以及数据格式等参数确定。

后续，终端可以执行下述步骤S214-步骤S216，对该N路第二音频数并发的进行编码，得到N路编码后的音频数据以实时的生成N个视频。

S214.音频录制管理模块向编码器控制模块发送N路第二音频数据。

在一些实例中，参考图7，音频录制管理模块可以将该N路第二音频数据分别发送至编码器控制模块中不同的音频编码模块中。这里以N等于2为例进行说明，音频录制管理模块可以将一路第二音频数据发送至编码器控制模块中的第一音频编码模块中，将另一路第二音频数据发送至编码器控制模块中的第二音频编码模块中。

S215.编码器控制模块通知音频编码器对该N路第二音频数据进行编码。

在一些实例中，参考图7，编码器控制模块中不同的音频编码模块(包括第一音频编码模块以及第二音频编码模块)可以调用音频编码器对接收到的第二音频数据进行编码。

S216.音频编码器基于N路第二音频数据进行编码。

音频编码器可以对该N路第二音频数并发的进行编码，得到N路编码后的音频数据。

图9示出了终端生成原视频以及主角视频时将一路音频数据复制成N路，并进行并发编码时，各模块间的示意性交互流程图。

图9中以终端生成原视频以及主角视频为例，即流配置数量N＝2为例进行说明。

终端可以基于麦克风采集的音频信号进行处理得到原视频对应的目标音频数据(记为第一目标音频数据)，且，基于麦克风采集的音频信号进行处理得到主角视频对应的目标音频数据(记为第二目标音频数据)。

在一些可能的情况下，该第一目标音频数据与第二目标音频数据不同。其中，第一目标音频数据中的声音信息可以为麦克风采集的音频信号中包括的声音信息。第二目标音频数据中的声音信息可以为对麦克风采集的音频信号进行追焦处理之后的声音信息。此时，麦克风采集的音频信号中主角所在方向的声音信息被突出，其他声音信息被抑制。

其中，音频追焦处理可以包括：在录制主角视频的过程中，确定主角所在方向，对麦克风采集的音频信号中该主角方向上的音频信号进行增强，其他方向上的声音信号进行抑制，得到第二目标音频数据。

在一些可能的情况下，原视频对应的第一目标音频数据中可以包括双声道音频数据，其中一路记为左声道音频信号1，另一路记为右声道音频信号1。主角视频对应的第二目标音频数据中也可以包括双声道音频数据，其中一路记为左声道音频信号2，另一路记为右声道音频信号2。这样，在播放原视频以及主角视频对应的目标音频数据时可以实现立体声。

为了实现原视频对应的第一目标音频数据为双声道音频数据以及主角视频对应的第二目标音频数据为双声道音频数据，则需要在麦克风采集音频信号之前进行声道配置，这里是配置4声道。该4声道中，两声道对应原视频，另外两声道对应主角视频。

在麦克风采集音频信号之后，终端可以将该麦克风采集的音频信号进行复制得到两路音频信号。然后，终端基于其中一路音频信号进行混音处理，得到双声道的目标音频信号1(对应原视频)，且，基于其中的另一路音频信号进行追焦处理，得到双声道的目标音频信号2(对应主角视频)。再配置了4声道的基础上利用目标音频信号1以及目标音频信号2得到4声道音频数据。该过程的详细内容可以参考下述对步骤S311的描述，此处暂不赘述。

后续，终端可以基于该4声道音频数据得到第一音频数据。将该第一音频数据进行复制，得到两路第二音频数据。该两路第二音频数据相同，其中都包括4声道音频数据。然后，终端可以从其中一路第二音频数据中拆分出第一声道音频数据(原视频对应的左声道音频数据)以及第二声道音频数据(原视频对应的右声道音频数据)得到原视频对应的音频数据，再基于该原视频对应的音频数据进行编码得到原视频对应的目标音频数据(第一目标音频数据)；且，终端可以从另一路第二音频数据中拆分出第三声道音频数据(主角视频对应的左声道音频数据)以及第四声道音频数据(主角视频对应的右声道音频数据)得到主角视频对应的音频数据，再基于该主角视频对应的音频数据进行编码，得到主角视频对应的目标音频信号(第二目标音频数据)。

该过程中，各模块的交互流程可以参考下述对步骤S301-步骤S317的描述。

S301.终端进入主角模式，检测到针对开始录制控件的操作。

该步骤S301与前述涉及的步骤S201相同，可以参考前述对步骤S201的描述，此处不再赘述。

S302.主角模式获取流配置数量N。

该步骤S302与前述涉及的步骤S202相同，可以参考前述对步骤S202的描述，此处不再赘述。

S303.主角模式将该流配置数量N发送至音频录制管理模块。

该步骤S303与前述涉及的步骤S203相同，可以参考前述对步骤S203的描述，此处不再赘述。

S304.音频录制管理模块基于流配置数量N确定音频复制数量N。

该步骤S304与前述涉及的步骤S204相同，可以参考前述对步骤S204的描述，此处不再赘述。

S305.音频录制管理模块可以基于视频复制数量N配置声道信息，在N等于2的情况下，配置4声道。

声道信息中可以包括声道数量以及不同声道对应的视频。例如在N等于2的情况下，配置4声道，可以确定其中的两个声道对应主角视频，另外两个声道对应原视频。

S306.音频录制管理模块向音频框架层发送启动麦克风采集音频信号的第一指令。

该步骤S306与前述涉及的步骤S205相同，可以参考前述对步骤S205的描述，此处不再赘述。

S307.音频框架层确定采集音频信号涉及的M个麦克风，向音频抽象层发送启动该M个麦克风采集音频信号的第二指令。

该步骤S307与前述涉及的步骤S206相同，可以参考前述对步骤S206的描述，此处不再赘述。

S308.音频抽象层启动M个麦克风采集音频信号。

该步骤S308与前述涉及的步骤S207相同，可以参考前述对步骤S207的描述，此处不再赘述。

S309.该M个麦克风采集音频信号。

该步骤S309与前述涉及的步骤S208相同，可以参考前述对步骤S208的描述，此处不再赘述。

S310.该M个麦克风向音频抽象层发送采集的音频信号。

该步骤S310与前述涉及的步骤S209相同，可以参考前述对步骤S209的描述，此处不再赘述。

S311.音频抽象层将音频信号复制成两路音频信号，其中一路音频信号用于生成原视频对应的目标音频信号1，另一路音频信号用于生成主角视频对应的目标音频信号2，在配置了4声道的基础上利用目标音频信号1以及目标音频信号2得到4声道音频数据，再基于该4声道音频数据得到第一音频数据，该第一音频数据中包括生成两个视频对应的音频信号以及该音频信号的信息。

第一音频数据中包括生成两个视频对应的音频信号，即4声道音频数据，该4声道音频信号是基于M个麦克风采集的音频信号得到的。第一音频数据中还包括音频信号的信息。该音频信号的信息包括可以包括时间戳，数据长度、采样率以及数据格式等。其中，时间戳表示M个麦克风采集音频信号的时间。数据长度表示该第一音频数据中包括的4声道音频信号的长度。数据格式可以表示该第一音频数据的格式。

在一些可能的情况下，该步骤S311具体可以由音频抽象层中包括的音频输入流模块以及音频算法模块协同完成。

下面基于图10A-图10D对终端基于M个麦克风采集的音频信号得到第一音频数据的过程进行一种示例性描述。

如图10A所述，这里以M等于3为例进行说明，采集音频信号的麦克风包括顶麦、背麦以及底麦。3个麦克风采集的音频信号可以包括：背麦采集到的单声道的声音信号1，也即是说声音信号1的每一帧音频中仅包含单声道数据；顶麦采集到的单声道声音信号2，也即是说声音信号2的每一帧音频中仅包含单声道数据；底麦采集到的单声道声音信号3，也即是说声音信号3的每一帧音频中仅包含单声道数据。后续终端可以将该3个麦克风采集的音频信号进行复制，得到两路相同的音频信号。对其中一路音频信号进行混音处理得到原视频对应的目标音频信号1，该过程可以参考下述对图10B的描述。且，对其中的另一路音频信号进行音频追焦处理得到主角视频对应的第二音频信号。该过程可以参考下述对图10C的描述。

音频抽象层可以将其中一路音频信号基于对齐混音、直接加和、加和并箝位等混音算法进行混音处理，获取到双声道的目标音频信号1。如图10B所示，其中一路音频信号中可以包括背麦采集的声音信号1、顶麦采集的声音信号2和底麦采集的声音信号3。音频抽象层可以基于对齐混音、直接加和、加和并箝位等混音算法将上述所有声音信号作混音处理，获取到双声道的目标音频信号1(对应原视频)。也即是说，目标音频信号1的每一帧音频中包括双声道的音频数据(称为左声道音频数据以及右声道音频数据)，图10B中的1即表示原视频对应的左声道音频数据，2即表示原视频对应的右声道音频数据。

如图10C所示，另一路音频信号中可以包括背麦采集的声音信号1、顶麦采集的声音信号2和底麦采集的声音信号3。音频抽象层可以对声音信号1中主角所在方向的声音信号基于波束程序技术作增益得到波束成形处理后的音频信号，这样可以增强主角所在方向的声音信号且抑制其他方向的声音信号。然后，音频抽象层可以基于声音信号2以及声音信号3中所包括的环境噪声作参考，利用噪声抑制算法(例如反声算法等)从波束成形处理后的音频信号中滤除环境噪声，即可得到目标音频信号2，该第二音频信号中的每一帧音频中包括双声道的音频数据(称为左声道音频数据以及右声道音频数据)，图10C中的1即表示主角视频对应的左声道音频数据，2即表示主角视频对应的右声道音频数据。

后续，音频抽象层可以在配置了4声道的基础上利用目标音频信号1以及目标音频信号2得到4声道音频数据。

以图10D所述，将该4声道音频数据置于buffer中为例。该示例中的buffer可以配置有4个声道区域，其中1表示声道1区域，2表示声道2区域，3表示声道3区域、4表示声道4区域，其中声道1区域用于记录原视频中的左声道音频数据，声道区域2用于记录原视频中的右声道音频数据，声道3区域用于记录主角视频中的左声道音频数据，声道区域4用于记录主角视频中的右声道音频数据。音频抽象层得到4声道音频数据的方式包括：将目标音频信号1中左声道音频数据填充至声道1区域中，将目标音频信号1中右声道音频数据填充至声道2区域中，将目标音频信号2中左声道音频数据填充至声道3区域中，将目标音频信号2中右声道音频数据填充至声道4区域中。图10D中的排布4声道音频数据的方式有以下作用：当buffer出现丢帧情况时，可以减少目标音频信号1和目标音频信号2所损失的数据，尽可能地保证目标音频信号1和目标音频信号2的数据完整性。

后续，音频抽象层可以将该4声道音频数据做作为第一音频数据中的音频信号，该第一音频数据中除了包括4声道音频数据以外，还可以包括音频信号的信息。关于音频信号的信息可以参考前述描述，此处不再赘述。

S312.音频抽象层向音频框架层发送第一音频数据。

该步骤S312与前述涉及的步骤S211相同，可以参考前述对步骤S211的描述，此处不再赘述。

S313.音频框架层向音频录制管理模块发送第一音频数据。

该步骤S313与前述涉及的步骤S212相同，可以参考前述对步骤S212的描述，此处不再赘述。

S314.音频录制管理模块根据音频复制数量N对该第一音频数据进行复制，得到两路第二音频数据，该两路第二音频数据中包括生成两个视频对应的音频信号以及该音频信号的部分信息。

该两路第二音频数据是相同的音频数据。

该第二音频数据中包括的生成两个视频对应的音频信号，即4声道音频数据。

通常来说该第二音频数据中可以包括第一音频数据中的部分内容，该部分内容可以用于生成视频，其他不可以用于生成视频的内容这里可以不进行复制。

在一些实例中，音频录制管理模块可以将该第一音频数据中的4声道音频信号、部分信息(例如包括时间戳以及数据长度)进行复制，得到两路相同的第二音频数据。即任一路第二音频数据中包括4声道音频信号以及部分信息，例如时间戳以及数据长度。

其中，时间戳可以用于与图像的时间戳进行匹配，具有相同时间戳的音频信号以及图像才可以在编码后进行混流，以用于生成视频。

S315.音频录制管理模块向编码器控制模块发送两路第二音频数据。

该步骤S315与前述涉及的步骤S214相同，可以参考前述对步骤S214的描述，此处不再赘述。将其中的N变更为2即可。

S316.编码器控制模块从一路第二音频数据中拆分出主角视频对应的音频数据，从另一路第二音频数据中拆分出原视频对应的音频数据。

编码器控制模块可以从一路音频数据中包括的4声道音频数据中拆分出主角视频对应的音频数据，以及，从另一路音频数据中包括的4声道音频数据中拆分出原视频对应的音频数据。后续，该编码器控制模块可以通知音频编码器对原视频对应的音频数据以及主角视频对应的音频数据进行编码。使音频编码器可以执行下述步骤S317。

图11为从两路第二音频数据中拆分出主角视频对应的音频数据、从另一路第二音频数据中拆分出原视频对应的音频数据的示意图。

如图11所述，声道1表示原视频对应的左声道音频信号、声道2表示原视频对应的右声道音频信号；声道3表示主角视频对应的左声道音频信号、声道4表示主角视频对应的右声道音频信号

如图11中的(a)所示，从一路第二音频数据中包括的4声道音频数据中拆分出声道1以及声道2这两个声道音频数据即可得到原视频对应的音频数据。

如图11中的(b)所示，从另一路第二音频数据中包括的4声道音频数据中拆分出声道3以及声道4这两个声道音频数据即可得到主角视频对应的音频数据。

S317.音频编码器基于主角视频对应的音频数据以及原视频对应的音频数据进行编码。

音频编码器可以基于主角视频对应的音频数据进行编码得到编码后的音频数据(可以被称为第一目标音频数据)，以及原视频对应的音频数据进行编码得到编码后的音频数据(可以被称为第二目标音频数据)。

图12示出了终端将一路音频数据复制成N路，并进行并发编码以生成N个视频的示意性流程图。

下面结合图12详细描述终端在录制视频的过程中，将第一音频数据进行复制，得到N路第二音频数据，对该N路第二音频数据并发进行编码以生成N个视频的详细过程。

该过程的详细描述可以参考下述对步骤S401-步骤S407的描述。

S401.终端进入主角模式，检测到针对开始录制控件的操作，开始录制视频。

如前述图2的c示出的界面，在检测到针对主角模式控件的操作(例如点击操作)时，终端确定进入主角模式。

在检测到针对开始录制控件的操作之后，终端开始录制视频。

在一些实例中，在终端确定进入主角模式之后，检测到针对开始录制控件的操作之前，如果确定了主角，则在检测到开始录制控件的操作的情况下，响应于该操作，终端可以同时开始录制原视频以及主角视频。例如前述涉及的图4A所示，检测到针对开始录制控件的操作(例如点击操作)，终端可以开始录制原视频以及主角视频。

在另一些实施例中，在终端确定进入主角模式之后，检测到针对开始录制控件的操作之前，如果没有确定主角，则在检测到开始录制控件的操作的情况下，响应于该操作，终端可以开始录制原视频但是不录制主角视频。例如前述涉及图4B的a以及图4B的b所示，检测到针对开始录制控件的操作(例如点击操作)，终端可以开始录制原视频但是不录制主角视频。

应该理解的是，在步骤S401中，终端除了通过主角模式控件可以进入主角模式以外，还可以通过其他的方式进入主角模式，例如，将主角模式设置为一种拍摄模式选项，进入相机应用之后，即可选择该主角模式。

S402.终端确定流配置数量N，根据流配置数量N确定音频复制数量N。

在终端开始录制视频之后，可以确定流配置数量N。该音频复制数量N等于流配置数量N。

如果终端录制的视频只要原视频不包括主角视频，则流配置数量N等于1。如果终端录制的视频包括原视频以及主角视频，则流配置数量N等于2。

在其他可能的情况下，终端还可以在一次录制过程中生成更多视频，则N可以大于等于3。

其中，终端触发确定流配置数量N的时机包括但不限于以下时机。

(1)检测到针对开始录制控件的操作，响应于该操作，终端开始录制视频，且终端可以确定流配置数量N。在终端开始录制视频之后，终端在以下情况下可以重新确定流配置数量N，其中包括：

情况1：检测到确定主角的操作，终端可以重新确定流配置数量N，更新所述流配置数量N。

情况2：在主角丢失的情况下，终端可以重新确定流配置数量N，更新所述流配置数量N。

情况3：检测到停止录制主角视频的操作，例如前述针对结束小窗口录制控件的操作，终端可以重新确定流配置数量N，更新所述流配置数量N。

(2)在终端开始录制视频之后，终端可以按照一定时间频率，确定流配置数量N。

S403.启动M个麦克风采集音频信号，基于该音频信号得到一路第一音频数据。

终端检测到针对开始录制控件之后，即可启动M个麦克风采集音频信号。

终端可以启用部分或者全部麦克风采集音频信号，其中，终端的麦克风有S个，可以从其中选择M个进行音频信号的采集，其中M为大于等于1的整数，S为大于等于M的整数。

其中，关于第一音频数据的描述可以参考前述相关内容，此处不再赘述。

S404.根据音频复制数量N将第一音频数据复制成N路第二音频数据。

该N路第二音频数据是相同的音频数据。

通常来说该第二音频数据中可以包括第一音频数据中的部分内容，该部分内容可以用于生成视频，其他不可以用于生成视频的内容这里可以不进行复制。

在一些实例中，终端可以将该第一音频数据中的音频信号、以及该音频信号的时间戳、该音频信号的数据长度进行复制，得到N路相同的第二音频数据。其中一路第二音频数据中包括第一音频数据中的音频信号、以及该音频信号的时间戳、该音频信号的数据长度。

其中，关于音频信号的信息的相关描述可以参考前述内容，此处不再赘述。

在一些实例中，在终端确定第一音频数据正确的情况下，才可以对其进行复制。其中一种确定该第一音频数据正确的方式包括：确定该第一音频数据中包括的音频信号的数据长度等于最小数据长度。该最小数据长度是基于前述涉及的采样率以及数据格式等参数确定。

示例性的，如图13所示，为终端将第一音频数据复制成两路第二音频数据的示意图。

如图13所示，第一音频数据中包括音频信号，以及数据长度、时间戳和采样率等音频信号的信息，终端将该第一音频数据复制成两路第二音频数据，其中一路第二音频数据中可以包括音频信号，以及数据长度、时间戳等音频信号的信息。

在其他的实例中，该第二音频数据中除了包括第一音频数据中的音频信号、以及该音频信号的时间戳、该音频信号的数据长度，还可以包括数据格式，该数据格式可以表示该第二音频数据的格式(audiodata)。其中，第二路音频数据的格式(audiodata)可以为：{buffer，buffersize，pts}，buffer用于表示音频信号，其可以是数组的形式，buffersize表示音频信号的数据长度，pts表示音频信号的时间戳。

其中，音频信号的时间戳可以用于与图像的时间戳进行匹配，具有相同时间戳的音频信号以及图像才可以在编码后进行混流，以用于生成视频。

音频信号的数据长度可以用于在下述步骤S405中进行检验，检验的作用在于确定该第二音频数据的有效性。步骤S405中可以对有效的第二音频数据进行编码，对于无效的第二音频数据则可以不进行编码。

S405.基于N路第二音频数据进行编码，得到N路编码后的音频数据。

终端可以对N路第二音频数据并发进行编码，得到N路编码后的音频数据。

在一些实例中，终端确定对一路第二音频数据进行编码之前，首先判断该第二音频数据中包括的数据长度是否大于0。

在该第二音频数据中包括的数据长度大于0的情况下，终端确定该第二音频数据有效，并对其进行编码，得到一路编码后的音频数据。

在该第二音频数据中包括的数据长度等于0的情况下，终端确定该第二音频数据无效，可以不对且进行编码。

S406.基于N路编码后的音频数据生成N个视频，不同编码后的音频数据用于生成不同的视频。

示例性的，在生成原视频以及主角视频的情况下(N＝2)，终端可以基于一路编码后的音频数据(第一目标音频数据)生成原视频，基于另一路编码后的数据(第二目标音频数据)生成主角视频。

其中，生成原视频的过程包括：终端对原图像进行编码，得到编码后的原图像。在终端确定第一目标音频数据中包括的音频信号的时间戳与原图像的时间戳相同时，终端可以基于该第一目标音频数据以及编码后的原图像进行混流，以生成原视频。

生成原视频的过程包括：终端对主角图像进行编码，得到编码后的主角图像。在终端确定第二目标音频数据中包括的音频信号的时间戳与原图像的时间戳相同时，终端可以基于该第二目标音频数据以及编码后的主角图像进行混流，以生成主角视频。

S407.检测到针对结束录制控件的操作，结束录制视频，得到N个视频。

终端可以在一次录制过程中得到N个视频，可以查看该N个视频。例如，在一次录制过程中可以得到原视频以及主角视频，参考前述涉及的图5B，为展示原视频以及主角视频的示例性界面。

本申请实施例中，大窗口可以被称为第一预览窗口，小窗口可以被称为第二预览窗口、主角模式控件可以被称为第二控件，主角模式可以被称为第一模式，结束录制控件可以被称为第一控件，第一音频数据中包括的音频信号可以被称为第一音频信号，第一音频数据中包括的音频信号的信息可以被称为第一音频信号的信息。

下面介绍本申请实施例提供的示例性终端。

图14是本申请实施例提供的终端的结构示意图。

下面以终端为例对实施例进行具体说明。应该理解的是，终端可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

终端可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对终端的具体限定。在本申请另一些实施例中，终端可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是终端的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端的结构限定。在本申请另一些实施例中，终端也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。

终端的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在终端上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoise amplifier，LNA)等。

调制解调处理器可以包括调制器和解调器。

无线通信模块160可以提供应用在终端上的包括无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)等无线通信的解决方案。

终端通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。

终端可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，颜色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，终端可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。终端可以支持一种或多种视频编解码器。这样，终端可以播放或录制多种编码格式的视频，例如：动态图像专家组(movingpicture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

内部存储器121可以包括一个或多个随机存取存储器(random access memory，RAM)和一个或多个非易失性存储器(non-volatile memory，NVM)。

随机存取存储器可以包括静态随机存储器(static random-access memory，SRAM)、动态随机存储器(dynamic random access memory，DRAM)等；

非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。

快闪存储器按照运作原理划分可以包括NOR FLASH、NAND FLASH、3D NAND FLASH等，按照存储单元电位阶数划分可以包括单阶存储单元(single-level cell,SLC)、多阶存储单元(multi-level cell,MLC)等。

随机存取存储器可以由处理器110直接进行读写，可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令)，还可以用于存储用户及应用程序的数据等。

非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等，可以提前加载到随机存取存储器中，用于处理器110直接进行读写。

外部存储器接口120可以用于连接外部的非易失性存储器，实现扩展终端的存储能力。

终端可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。

按键190包括开机键，音量键等。按键190可以是机械按键。

本申请实施例中，该处理器110可以调用内部存储器121中存储的计算机指令，以使得终端执行本申请实施例中的视频处理方法。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。