视频处理方法及视频处理装置

技术领域

本发明涉及视频处理技术领域，具体而言，涉及一种视频处理方法及视频处理装置。

背景技术

目前，主流的高清网络摄像机通常采用双码流技术，摄像机的编码器具有两种编码格式：主码流和子码流，采用主码流编码形式的视频流具有分辨率高、画质高、传输网络带宽占用高等特点，相应的，采用子码流编码形式的视频流分辨率相对较低，画质较低，传输时对网络带宽的占用也较少。应用双码流技术，可以采用高码流进行本地视频高清存储和预览，保证视频质量，采用低码流进行网络传输(例如远程预览)，从而节省网络带宽，提高视频传输速度及播放的流畅性。

在一些应用场景中，需要将一个或多个视频通道的视频进行集中显示，此时需要将多个视频通道的码流解码并按照一定的分割方式编码合成一路合成通道的码流进行录像或刻录存储。例如，将来自两个摄像机的码流合成到一个画面，画面被分割为两部分，两部分画面对应显示两个摄像机捕获的图像。

相关技术中，在进行视频画面合成时，对于来自任意一个视频通道的数据流，都会选择主码流进行画面合成。这导致显示设备在显示合成画面时，需要消耗更多的性能进行解码，在极限情况下，甚至会因为显示设备自身的解码性能不足而导致解码失败；而且，由于合成画面中每个视频通道的画面都进行了缩小，采用主码流合成的画面的实际显示效果也不一定好。

因此，相关技术中采用主码流进行画面合成的方案无法兼顾节省播放设备的解码性能和保证画面显示质量这两方面目标，导致合成视频画面的实际播放效果不佳。

在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解。因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在已知的现有技术。

发明内容

本发明实施例提供了一种视频处理方法及视频处理装置，以至少解决相关技术中合成视频画面的实际播放效果不佳的问题。

根据本发明实施例的一个方面，提供了一种视频处理方法，其包括：获取视频通道的数据流配置信息，数据流配置信息包括主码流分辨率和子码流支持的分辨率，主码流分辨率高于子码流支持的分辨率；获取待合成画面的编码分辨率和子画面配置信息，子画面配置信息表征视频通道对应的画面在待合成画面中所占据的尺寸大小；根据视频通道的数据流配置信息、待合成画面的编码分辨率和子画面配置信息，选择目标码流合成待合成画面，以使待合成画面中视频通道对应的画面满足预设的显示清晰度要求且目标码流的分辨率大小满足预设的分辨率要求，目标码流为主码流或子码流。

可选地，根据视频通道的数据流配置信息、待合成画面的编码分辨率和子画面配置信息，选择目标码流合成待合成画面包括：根据视频通道的数据流配置信息、待合成画面的编码分辨率和子画面配置信息，从多个预设分割模式中确定目标分割模式，每个预设分割模式均具有对应的数据流配置信息、待合成画面的编码分辨率和子画面配置信息；根据预设的对应关系，确定目标分割模式对应的目标码流；采用目标码流合成待合成画面。

可选地，根据视频通道的数据流配置信息、待合成画面的编码分辨率和子画面配置信息，选择目标码流合成待合成画面包括：根据待合成画面的编码分辨率和子画面配置信息，确定视频通道对应的画面的显示分辨率；根据视频通道对应的画面的显示分辨率和数据流配置信息，确定目标码流；采用目标码流合成待合成画面。

可选地，根据视频通道对应的画面的显示分辨率和数据流配置信息，确定目标码流包括：确定视频通道的子码流是否满足显示要求，其中，在子码流支持的分辨率中存在大于或等于目标分辨率的情况下，确定满足显示要求，在子码流支持的分辨率中不存在大于或等于目标分辨率的情况下，确定不满足显示要求，目标分辨率不小于视频通道对应的画面的显示分辨率的80％；在视频通道的子码流满足显示要求的情况下，确定目标码流为子码流。

可选地，在视频通道的子码流满足显示要求的情况下，确定目标码流为子码流包括：从子码流支持的分辨率中选择大于或等于目标分辨率的分辨率，作为子码流的分辨率。

可选地，在视频通道的子码流满足显示要求的情况下，确定目标码流为子码流包括：在子码流支持的分辨率中存在等于视频通道对应的画面的显示分辨率的情况下，调整子码流的分辨率至与视频通道对应的画面的显示分辨率相等；和/或，在子码流支持的分辨率中不存在等于视频通道对应的画面的显示分辨率的情况下，从子码流支持的大于视频通道对应的画面的显示分辨率的分辨率中选取最小值，作为子码流的分辨率。

可选地，根据视频通道对应的画面的显示分辨率和数据流配置信息，确定目标码流包括：在视频通道的子码流不满足显示要求的情况下，确定目标码流为主码流。

可选地，根据视频通道对应的画面的显示分辨率和数据流配置信息，确定目标码流包括：在视频通道的子码流不满足显示要求的情况下，将主码流对应的图像的至少部分缩小至目标尺寸，得到第一图像，将子码流支持的最高分辨率的图像的至少部分放大至目标尺寸，得到第二图像，目标尺寸为视频通道对应的画面在合成画面中占据的尺寸；比较第一图像和第二图像的清晰度；在第一图像的清晰度高于第二图像的清晰度的情况下，确定目标码流为主码流，在第二图像的清晰度高于第一图像的清晰度的情况下，确定目标码流为子码流。

可选地，主码流有多种支持的分辨率，根据视频通道对应的画面的显示分辨率和数据流配置信息，确定目标码流包括：确定主码流的分辨率为待选分辨率中的最小值，待选分辨率大于或等于视频通道对应的画面的分辨率。

根据本发明实施例的另一个方面，还提供了一种视频处理装置，其包括：第一获取单元，用于获取视频通道的数据流配置信息，数据流配置信息包括主码流分辨率和子码流支持的分辨率，主码流分辨率高于子码流支持的分辨率；第二获取单元，用于获取待合成画面的编码分辨率和子画面配置信息，子画面配置信息表征视频通道对应的画面在待合成画面中所占据的尺寸大小；合成单元，用于根据视频通道的数据流配置信息、待合成画面的编码分辨率和子画面配置信息，选择目标码流合成待合成画面，以使待合成画面中视频通道对应的画面满足预设的显示清晰度要求且目标码流的分辨率大小满足预设的分辨率要求，目标码流为主码流或子码流。

本发明实施例中的视频处理方法包括：获取视频通道的数据流配置信息，数据流配置信息包括主码流分辨率和子码流支持的分辨率，主码流分辨率高于子码流支持的分辨率；获取待合成画面的编码分辨率和子画面配置信息，子画面配置信息表征视频通道对应的画面在待合成画面中所占据的尺寸大小；根据视频通道的数据流配置信息、待合成画面的编码分辨率和子画面配置信息，选择目标码流合成待合成画面，以使待合成画面中视频通道对应的画面满足预设的显示清晰度要求且目标码流的分辨率大小满足预设的分辨率要求，目标码流为主码流或子码流。采用上述的视频处理方法在进行画面合成的过程中，会先获取视频通道的视频流配置信息、待合成画面的编码分辨率、子画面配置信息等信息，待合成画面的编码分辨率即编码形成的待合成画面的分辨率，在进行画面合成之前需要先确定该分辨率，在得到待合成画面的编码分辨率和某个视频通道对应的画面在合成画面中占据的尺寸的情况下，便相当于知晓了该视频通道码流的分辨率要求，通过结合数据流配置信息中的主码流分辨率及子码流支持的分辨率，可有针对性地选择主码流或子码流来合成待合成画面，使待合成画面中视频通道对应的画面满足预设的显示清晰度要求且目标码流的分辨率大小满足预设的分辨率要求。这样，结合分辨率信息选择主码流或子码流来合成待合成图像，而不是直接选择主码流来合成图像，能够在保证合成视频画面清晰度的基础上，合理地实现对子码流的利用，有利于在保证合成画面的显示质量的基础上，降低合成画面对显示设备的解码性能要求，兼顾节省播放设备的解码性能和保证画面显示质量这两方面目标，提升合成画面的播放效果，从而解决相关技术中合成视频画面的实际播放效果不佳的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明的视频处理方法的一种可选的实施例的流程示意图；

图2是根据本发明的视频处理装置的一种可选的实施例的示意图；

图3是应用本发明实施例的视频处理方法合成的合成图像的示意图；

图4是本发明一个实施例的视频处理方法在合成图像时的示意图；

图5是本发明一个实施例的视频处理方法的不同的预设分割模式的示意图；

图6是本发明另一个实施例的视频处理方法在合成图像时的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。

图1是根据本发明实施例的视频处理方法，如图1所示，该方法包括如下步骤：

步骤S102，获取视频通道的数据流配置信息，数据流配置信息包括主码流分辨率和子码流支持的分辨率，主码流分辨率高于子码流支持的分辨率；

步骤S104，获取待合成画面的编码分辨率和子画面配置信息，子画面配置信息表征视频通道对应的画面在待合成画面中所占据的尺寸大小；

步骤S106，根据视频通道的数据流配置信息、待合成画面的编码分辨率和子画面配置信息，选择目标码流合成待合成画面，以使待合成画面中视频通道对应的画面满足预设的显示清晰度要求且目标码流的分辨率大小满足预设的分辨率要求，目标码流为主码流或子码流。

采用上述方案的视频处理方法包括：获取视频通道的数据流配置信息，数据流配置信息包括主码流分辨率和子码流支持的分辨率，主码流分辨率高于子码流支持的分辨率；获取待合成画面的编码分辨率和子画面配置信息，子画面配置信息表征视频通道对应的画面在待合成画面中所占据的尺寸大小；根据视频通道的数据流配置信息、待合成画面的编码分辨率和子画面配置信息，选择目标码流合成待合成画面，以使待合成画面中视频通道对应的画面满足预设的显示清晰度要求且目标码流的分辨率大小满足预设的分辨率要求，目标码流为主码流或子码流。采用上述的视频处理方法在进行画面合成的过程中，会先获取视频通道的视频流配置信息、待合成画面的编码分辨率、子画面配置信息等信息，待合成画面的编码分辨率即编码形成的待合成画面的分辨率，在进行画面合成之前需要先确定该分辨率，在得到待合成画面的编码分辨率和某个视频通道对应的画面在合成画面中占据的尺寸的情况下，便相当于知晓了该视频通道码流的分辨率要求，通过结合数据流配置信息中的主码流分辨率及子码流支持的分辨率，可有针对性地选择主码流或子码流来合成待合成画面，使待合成画面中视频通道对应的画面满足预设的显示清晰度要求且目标码流的分辨率大小满足预设的分辨率要求，在保证待合成画面清晰度的基础上选择分辨率较低的码流。这样，结合分辨率信息选择主码流或子码流来合成待合成图像，而不是直接选择主码流来合成图像，能够在保证合成视频画面清晰度的基础上，合理地实现对子码流的利用，有利于在保证合成画面的显示质量的基础上，降低合成画面对显示设备的解码性能要求，兼顾节省播放设备的解码性能和保证画面显示质量这两方面目标，提升合成画面的播放效果，从而解决相关技术中合成视频画面的实际播放效果不佳的技术问题。

此处所说的尺寸大小为尺寸比例，例如，将一个视频通道对应的画面称为一个子画面，待合成画面中会有子画面，子画面在待合成画面中占据了一定的尺寸，而子画面配置信息即至少表征该尺寸大小。当然，子画面配置信息还可以表征其它内容，例如子画面在待合成画面中的位置。上述的视频通道可以理解为视频源，视频通道不同代表视频来源不同，例如通过两个摄像机接入两路视频流，此时则是获取两个视频通道的数据流。上述的待合成画面和合成画面可理解为同一画面，该画面在被合成之前称为待合成画面，在被合成之后称为合成画面。

其中，上述的使待合成画面中视频通道对应的画面满足预设的显示清晰度要求，即采用目标码流合成待合成画面之后，待合成画面中与上述视频通道对应的子画面的清晰度需要达到预设的要求，由于主码流和子码流的分辨率时不同的，因此采用不同的码流进行画面合成后，视频通道对应的子画面的清晰度很可能是不同的，在选择目标码流时，需要基于预设的显示清晰度要求来从主码流和子码流中进行选择。另外，上述的目标码流的分辨率大小满足预设的分辨率要求，由于选择的目标码流的分辨率越大，其合成的视频在存储或传输时所占空间和带宽也越大，因此在满足显示清晰度要求的情况下，应当尽量选择分辨率较小的码流作为目标码流，因此，这里增加了预设的分辨率要求，即在确定目标码流时，不仅仅需要考虑子画面的显示清晰度，还要结合目标码流的分辨率要求来选择。其中，上述的显示清晰度要求和分辨率要求可以根据实际情况灵活的设置。

其中，视频通道可以是一个或者多个，当其是多个时，其中的每一个都可以按照该视频处理方法进行处理。如图3所示，图3中的待合成画面由背景和画面1组成，此时视频通道为一个，对应画面1部分的图像。图4中，待合成画面由两个视频通道的画面合成，两个视频通道分别为IP通道1和IP通道2，每一个IP通道都有主码流和子码流可选，在图4中的实施例中，采用上述的视频处理方法后，IP通道1选择主码流进行画面合成，IP通道2选择了子码流进行画面合成。待合成画面的编码分辨率即编码合成的新画面的分辨率，其为预设值，例如用户输入的分辨率值或者固定的分辨率值。

在实际实施时，根据视频通道的数据流配置信息、待合成画面的编码分辨率以及子画面配置信息，选择视频通道的主码流或子码流合成待合成画面的具体实现形式可以有多种：

例如，在一种实现方式中，根据视频通道的数据流配置信息、待合成画面的编码分辨率和子画面配置信息，选择目标码流合成待合成画面包括：根据视频通道的数据流配置信息、待合成画面的编码分辨率和子画面配置信息，从多个预设分割模式中确定目标分割模式，每个预设分割模式均具有对应的数据流配置信息、待合成画面的编码分辨率和子画面配置信息；根据预设的对应关系，确定目标分割模式对应的目标码流；采用目标码流合成待合成画面。

如图5所示，其包含了多种固定分割模式(预设分割模式)，每个预设分割模式均具有对应的数据流配置信息、待合成画面的编码分辨率和子画面配置信息。通过设置多个预设分割模式，每个预设分割模式均对应其特定的数据流配置信息、待合成画面的编码分辨率以及子画面配置信息，实施时，获取到上述的数据流配置信息、待合成画面的编码分辨率以及子画面配置信息后，即可匹配到与其对应的分割模式(即目标分割模式)，在知道目标分割模式的情况下，根据预设的对应关系，即可确定目标码流的具体选择方式。也就是说，在本实施例中，预定义了一些分割模式与目标码流选择方式的对应关系，后续选择时只要进行分割模式匹配即可，有效地方便了目标码流的选择过程。

在另一种实现方式中，根据视频通道的数据流配置信息、待合成画面的编码分辨率和子画面配置信息，选择目标码流合成待合成画面包括：根据待合成画面的编码分辨率和子画面配置信息，确定视频通道对应的画面的显示分辨率；根据视频通道对应的画面的显示分辨率和数据流配置信息，确定目标码流；采用目标码流合成待合成画面。

在获取到待合成画面的编码分辨率和子画面配置信息后，由于子画面配置信息表征了视频通道对应的画面在待合成画面中占据的尺寸大小，因此可以得到视频通道对应的画面的实际显示分辨率(即子画面的分辨率，例如子画面配置信息表征某一个视频通道的画面在长度和宽度方向各占据了待合成画面的1/2，那么，该视频通道对应的子画面的在长度和宽度方向的分辨率均为待合成画面的相应编码分辨率的一半)，在得到某个视频通道对应的画面的显示分辨率后，即知晓了该视频通道对应的子画面进行显示时对分辨率的要求，结合该分辨率要求，即可有针对性地选取主码流或子码流来合成待合成画面。在本实施例中，通过确定视频通道对应的画面的显示分辨率，再结合该分辨率去选择主码流或子码流，可实现码流类型的更灵活选择，无需预定义分割模式与目标码流选择方式的对应关系，实际使用更加灵活，用户可根据实际需求来调整各个视频通道对应的画面在待合成画面中的大小。

在一个实施例中，获取子画面配置信息包括：接收用户的调整指令，调整指令用于调整视频通道对应的画面在合成画面中的大小；根据调整指令，确定画面配置信息。也就是说，用户可调整任意一个视频通道对应画面在合成画面中的大小，根据用户的调整指令，可获知视频通道对应画面在合成画面中的大小，从而得到子画面配置信息。

根据视频通道对应的画面的显示分辨率和数据流配置信息，确定目标码流包括：确定视频通道的子码流是否满足显示要求，其中，在子码流支持的分辨率中存在大于或等于目标分辨率的情况下，确定满足显示要求，在子码流支持的分辨率中不存在大于或等于目标分辨率的情况下，确定不满足显示要求，目标分辨率不小于视频通道对应的画面的显示分辨率的80％；在视频通道的子码流满足显示要求的情况下，确定目标码流为子码流。如上所述，在进行目标码流选择的过程中，需要兼顾节省播放设备的解码性能和保证画面显示质量这两方面目标，保证最终的合成画面对存储空间及网络带宽的占用更小，且显示效果较佳。为了更合理地选择目标码流，在本实施例中，如果子码流支持的分辨率中存在大于或等于该视频通道对应的画面的显示分辨率(子画面的分辨率)，则说明使用子码流可以满足该视频通道对应的画面的显示要求，此时选取子码流作为目标码流，可以在不损伤合成画面显示清晰度的情况下减小合成画面的大小，从而节省显示设备的解码性能，并有利于减小合成画面对存储空间及网络带宽的占用。其中，目标分辨率不小于视频通道对应的画面的显示分辨率的80％，即目标分辨率在长度和宽度方向上的像素数量均不小于该视频通道对应的画面的显示分辨率在长度和宽度方向上的像素数量的80％。

在实际实施时，在视频通道的子码流满足显示要求的情况下，确定目标码流为子码流包括：从子码流支持的分辨率中选择大于或等于目标分辨率的分辨率，作为子码流的分辨率。如果子码流满足显示要求，则只要从子码流支持的大于或等于目标分辨率的分辨率中任意进行选择即可，此时便能够保证待合成画面中子画面的显示效果，而且由于采用子画面进行合成，可有效地节省播放设备的解码性能。

在实际实施时，子码流支持的分辨率可能有多种，为了兼顾节省播放设备的解码性能和保证画面显示质量这两方面目标，如果子码流支持的分辨率中存在等于该视频通道对应的画面的显示分辨率(子画面的分辨率)，直接选用该分辨率的子码流即可满足上述两方面目标的兼顾。如果子码流支持的分辨率中不存在等于该视频通道对应的画面的显示分辨率(子画面的分辨率)，则从子码流支持的大于视频通道对应的画面的显示分辨率的分辨率中选取最小值作为子码流的分辨率，这能够在保证合成画面显示清晰度要求的基础上，尽可能地降低画面质量，从而节省播放设备的解码性能。具体地，在视频通道的子码流满足显示要求的情况下，确定目标码流为子码流包括：在子码流支持的分辨率中存在等于视频通道对应的画面的显示分辨率的情况下，调整子码流的分辨率至与视频通道对应的画面的显示分辨率相等；和/或，在子码流支持的分辨率中不存在等于视频通道对应的画面的显示分辨率的情况下，从子码流支持的大于视频通道对应的画面的显示分辨率的分辨率中选取最小值，作为子码流的分辨率。

在某一个视频通道的子码流支持的分辨率均小于该视频通道对应的画面的显示分辨率的情况下，可以有不同的目标码流选择方式。

在一个实施例中，为了保证合成画面的显示清晰度，会选择主码流作为目标码流。具体地，根据视频通道对应的画面的显示分辨率和数据流配置信息，确定目标码流包括：在视频通道的子码流不满足显示要求的情况下，确定目标码流为主码流。

主码流对应图像的至少部分缩小至目标尺寸得到第一图像，将子码流支持的最高分辨率的图像的至少部分放大至目标尺寸，得到第二图像，通过对比第一图像和第二图像的清晰度，从中选择清晰度更高的方案作为目标码流的选择方案。具体地，根据视频通道对应的画面的显示分辨率和数据流配置信息，确定目标码流包括：在视频通道的子码流不满足显示要求的情况下，将主码流对应的图像的至少部分缩小至目标尺寸，得到第一图像，将子码流支持的最高分辨率的图像的至少部分放大至目标尺寸，得到第二图像，目标尺寸为视频通道对应的画面在合成画面中占据的尺寸；比较第一图像和第二图像的清晰度；在第一图像的清晰度高于第二图像的清晰度的情况下，确定目标码流为主码流，在第二图像的清晰度高于第一图像的清晰度的情况下，确定目标码流为子码流。通过对主码流对应的图像的至少部分进行缩小并对子码流支持的最高分辨率的图像的至少部分进行放大，并对比两者的显示清晰度，选择清晰度更高的码流作为目标码流，这可以使得待合成画面中该视频通道对应的画面的显示更清晰。在具体实施时，用于进行缩放对比的对象可以灵活调整，也就是说，主码流对应的图像的至少部分和子码流对应的图像的至少部分可以灵活选择，只要两者具有可比性即可。例如，将主码流对应的图像的全部和子码流对应的图像的全部都缩放到目标尺寸进行对比。再例如将主码流对应的图像的90％的区域与子码流对应的图像的90％的区域都缩放到目标尺寸进行对比，只要能够判断出采用主码流和子码流进行画面合成后哪一个更清晰即可。

在合成待合成画面的过程中，如果子码流支持的分辨率中不存在等于该视频通道对应的画面的显示分辨率，则需要对子码流对应的图像缩放至目标尺寸，同样的，如果选择主码流为目标码流，也需要将主码流对应的图像缩小至目标尺寸。

在实际实施时主码流也可以有多种支持的分辨率，在这种情况下，可用于画面合成的选择变得更多，此时为了保证待合成画面中子画面的显示清晰度和节省播放设备解码性能，在一个优选的实施例中，实施例中根据视频通道对应的画面的显示分辨率和数据流配置信息，确定目标码流包括：确定主码流的分辨率为待选分辨率中的最小值，待选分辨率大于或等于视频通道对应的画面的分辨率。

以下结合一个具体的实施例对本发明的视频处理方法进行说明：

采用双码流技术的摄像机的编码器具有两种编码格式：主码流和子码流，主码流具有码流高、占用带宽高、分辨率高、画质高等特点。相应的，子码流具有码流低、占用带宽低、分辨率低、画质低等特点。在本地传输(如录像机录像)、录像机本地预览等场景，可采用主码流来保证显示清晰度。而对于远程传输(如远程预览)场景，容易受到带宽的限制，可通过降低画质与带宽来提高其流畅性，因此可选择子码流。

在一些场景下，需要将多个通道的码流通过一定的分割方式编码合成为一路合成通道的码流进行录像或者刻录。目前合成画面的码流均采用主码流，不管子画面通道的实际编码参数和其在合成画面中的大小。这种处理方案存在如下问题：一方面，子画面较多的情况下，设备的解码性能存在浪费，在极限情况下，设备解码性能不足以对所有通道进行同时解码，此时会导致通道画面黑屏。另一方面，一般情况下需要对主码流解码后进行缩放，然后把码流编入合成通道，如果主码流分辨率较高的话，对源码流进行缩放也会导致图像质量下降，其最终编入合成画面中的视频质量甚至不如选用子码流进行合成的视频质量好。

为了方便理解，在此举例进行说明，如图3所示，假设合成画面编码分辨率为720P，画面分割配置窗口显示大小为1024*768，子画面在整个画面占比为1/9(长宽方向各1/3)，在这种情况下：

画面1的虚拟尺寸(画面1在分割配置窗口中的尺寸，单位为像素)为：(1024/3)*(768/3)≈342*256；

合成画面中的子画面物理尺寸(即画面1实际显示的尺寸，单位为像素)为:(1280/3)*(720/3)

≈427*240；

由于子画面的物理尺寸为427*240，因此子画面采用分辨率为2cif(704*288)的子码流即可满足使用。

如果合成画面分辨率修改为2560*1440，那么子画面的物理尺寸就同步变成了(2560/3)*(1440/3)

≈852*480；如果合成画面分辨率切换为4096*2160，那么子画面的物理尺寸就同步变成了(4096/3)*(2160/3)≈1366*720。可见，子画面分辨率的选择与编码通道分辨率参数密不可分。

本发明实施例的视频处理方法在进行视频处理时，可选择不同的码流选择方案：

在一种实现方式中，如图4和图5所示，合成画面采用固定分割模式(预设分割模式)，对于常用的固定分割模式，由于各个画面的大小比例均固定，根据合成画面支持的分辨率可以预先选定一组计算好的参数选择逻辑，直接实现主子码流选择。也就是说，通过设置多个预设分割模式，每个预设分割模式均对应其特定的数据流配置信息、待合成画面的编码分辨率以及子画面配置信息，实施时，获取到上述的数据流配置信息、待合成画面的编码分辨率以及子画面配置信息后，即可匹配到与其对应的分割模式(即目标分割模式)，在知道目标分割模式的情况下，根据预设的对应关系，即可确定目标码流的具体选择方式。也就是说，在本实施例中，预定义了一些分割模式与目标码流选择方式的对应关系，后续选择时只要进行分割模式匹配即可，有效地方便了目标码流的选择过程。

在另一种实现方式中，如图6所示，用户可以手动调整子画面的大小，此时，需要动态的根据子画面调整后的大小进行参数计算然后选定码流，具体实现过程如下：首先确定摄像机通道(视频通道)是否支持子码流，如果摄像机通道不支持子码流，则直接选择主码流；在摄像机通道支持子码流的情况下，需要获取合成通道编码分辨率(待合成图像的编码分辨率)，并根据待合成画面与子画面的大小关系(子画面配置信息)来换算出子画面的物理尺寸(W*H)。结合数据流配置信息中的子码流支持的分辨率做判断，如果子码流能够满足画面质量要求，则选择子码流进行合成编码，同时修改子码流分辨率为相应的参数；如果子码流中不存在满足需求的分辨率的情况下可以根据设备的实际情况进行区分：可以直接采用主码流进行合成；也可以对子画面主码流缩放、子码流放大两种方式的对图像质量进行比对，选择对图像质量影响较小的一种码流进行合成。例如，在本实施例中，通过判断子码流的编码能力是否支持上述的子画面的物理尺寸(W*H)，即判断子码流支持的分辨率中存在等于该视频通道对应的画面的显示分辨率，若是，则可直接采用子码流进行画面合成，若否，会从子码流编码能力从低到高选择第一个大于W*H的编码参数，若这个参数存在，则采用子码流进行画面合成，也就是说，如果子码流支持的分辨率中不存在等于该视频通道对应的画面的显示分辨率(子画面的分辨率)，则从子码流支持的大于视频通道对应的画面的显示分辨率的分辨率中选取最小值作为子码流的分辨率，这能够在保证合成画面显示清晰度要求的基础上，尽可能地降低画面质量，从而节省播放设备的解码性能。在某一个视频通道的子码流支持的分辨率均小于该视频通道对应的画面的显示分辨率的情况下，会获取IPC主码流(即摄像机主码流)编码参数和最大子码流编码参数，对子画面主码流缩小、子码流放大两种方式的图像质量进行对比，从而选择合适的码流(目标码流)。

也就是说，在某一个视频通道的子码流支持的分辨率均小于该视频通道对应的画面的显示分辨率的情况下，可以有不同的目标码流选择方式。在一种可行的选择方式中，为了保证合成画面的显示清晰度，会选择主码流作为目标码流。在另一种可行的选择方式中，会将主码流对应图像缩小至目标尺寸得到第一图像，将子码流支持的最高分辨率的图像放大至目标尺寸，得到第二图像，通过对比第一图像和第二图像的清晰度，从中选择清晰度更高的方案作为目标码流的选择方案。

另外，如图2所示，本发明的实施例还提供了一种视频处理装置，其包括：第一获取单元，用于获取视频通道的数据流配置信息，数据流配置信息包括主码流分辨率和子码流支持的分辨率，主码流分辨率高于子码流支持的分辨率；第二获取单元，用于获取待合成画面的编码分辨率和子画面配置信息，子画面配置信息表征视频通道对应的画面在待合成画面中所占据的尺寸大小；合成单元，用于根据视频通道的数据流配置信息、待合成画面的编码分辨率和子画面配置信息，选择目标码流合成待合成画面，以使待合成画面中视频通道对应的画面满足预设的显示清晰度要求且目标码流的分辨率大小满足预设的分辨率要求，目标码流为主码流或子码流。采用上述的视频处理装置在进行画面合成的过程中，第一获取单元和第二获取单元会先获取视频通道的视频流配置信息、待合成画面的编码分辨率、子画面配置信息等信息，待合成画面的编码分辨率即编码形成的待合成画面的分辨率，在进行画面合成之前需要先确定该分辨率，在得到待合成画面的编码分辨率和某个视频通道对应的画面在合成画面中占据的尺寸的情况下，便相当于知晓了该视频通道码流的分辨率要求，此时合成单元通过结合数据流配置信息中的主码流分辨率及子码流支持的分辨率，可有针对性地选择主码流或子码流来合成待合成画面，使待合成画面中视频通道对应的画面满足预设的显示清晰度要求且目标码流的分辨率大小满足预设的分辨率要求。这样，结合分辨率信息选择主码流或子码流来合成待合成图像，而不是直接选择主码流来合成图像，能够在保证合成视频画面清晰度的基础上，合理地实现对子码流的利用，有利于在保证合成画面的显示质量的基础上，降低合成画面对显示设备的解码性能要求，兼顾节省播放设备的解码性能和保证画面显示质量这两方面目标，提升合成画面的播放效果，从而解决相关技术中合成视频画面的实际播放效果不佳的技术问题。

在一个实施例中，合成单元用于：根据视频通道的数据流配置信息、待合成画面的编码分辨率和子画面配置信息，从多个预设分割模式中确定目标分割模式，每个预设分割模式均具有对应的数据流配置信息、待合成画面的编码分辨率和子画面配置信息；根据预设的对应关系，确定目标分割模式对应的目标码流；采用目标码流合成待合成画面。

在另一个实施例中，合成单元包括：第一确定模块，用于根据待合成画面的编码分辨率和子画面配置信息，确定视频通道对应的画面的显示分辨率；第二确定模块，用于根据视频通道对应的画面的显示分辨率和数据流配置信息，确定目标码流；合成模块，用于采用目标码流合成待合成画面。

第二确定模块包括：第一确定子模块用于确定视频通道的子码流是否满足显示要求，其中，在子码流支持的分辨率中存在大于或等于目标分辨率的情况下，确定满足显示要求，在子码流支持的分辨率中不存在大于或等于目标分辨率的情况下，确定不满足显示要求，目标分辨率不小于视频通道对应的画面的显示分辨率的80％；第二确定子模块，用于在视频通道的子码流满足显示要求的情况下，确定目标码流为子码流。

第二确定子模块用于：从子码流支持的分辨率中选择大于或等于目标分辨率的分辨率，作为子码流的分辨率。

第二确定子模块用于：在子码流支持的分辨率中存在等于视频通道对应的画面的显示分辨率的情况下，调整子码流的分辨率至与视频通道对应的画面的显示分辨率相等；和/或，在子码流支持的分辨率中不存在等于视频通道对应的画面的显示分辨率的情况下，从子码流支持的大于视频通道对应的画面的显示分辨率的分辨率中选取最小值，作为子码流的分辨率。

在一个可选的实施例中，第二确定模块用于：在视频通道的子码流不满足显示要求的情况下，确定目标码流为主码流。

在另一个可选的实施例中，第二确定模块用于：在视频通道的子码流不满足显示要求的情况下，将主码流对应的图像的至少部分缩小至目标尺寸，得到第一图像，将子码流支持的最高分辨率的图像的至少部分放大至目标尺寸，得到第二图像，目标尺寸为视频通道对应的画面在合成画面中占据的尺寸；比较第一图像和第二图像的清晰度；在第一图像的清晰度高于第二图像的清晰度的情况下，确定目标码流为主码流，在第二图像的清晰度高于第一图像的清晰度的情况下，确定目标码流为子码流。

在一个实施例中，第二确定模块还用于：确定主码流的分辨率为待选分辨率中的最小值，待选分辨率大于或等于视频通道对应的画面的分辨率。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。