图像处理方法及装置

技术领域

本公开涉及但不限于电子技术领域，尤其涉及一种图像处理方法及装置。

背景技术

相关技术中，对视频(例如，电视信号)进行动态范围转换时，比如，SDR(StandardDynamic Range，标准动态范围)转HDR(High Dynamic Range，高动态范围)，由于部分叠加元素(例如，文字、图标等)的影响，存在转换效果不佳、场景误判等问题。

发明内容

本公开实施例至少提供一种图像处理方法及装置。

本公开实施例的技术方案是这样实现的：

本公开实施例提供一种图像处理方法，所述方法包括：

从第一图像帧中确定第一叠加元素；其中，所述第一图像帧中包括原始图像和所述第一叠加元素；

在所述第一叠加元素的特征参数值不小于设定的参数阈值的情况下，对所述第一叠加元素的动态范围进行转换，得到第二叠加元素；其中，所述第二叠加元素的亮度值低于所述第一叠加元素的亮度值，所述第二叠加元素的动态范围包括所述第一叠加元素的动态范围。

本公开实施例提供一种图像处理装置，所述装置包括：

确定模块，用于从第一图像帧中确定第一叠加元素；其中，所述第一图像帧中包括原始图像和所述第一叠加元素；

转换模块，用于在所述第一叠加元素的特征参数值不小于设定的参数阈值的情况下，对所述第一叠加元素的动态范围进行转换，得到第二叠加元素；其中，所述第二叠加元素的亮度值低于所述第一叠加元素的亮度值，所述第二叠加元素的动态范围包括所述第一叠加元素的动态范围。

本公开实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。

本公开实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1为本公开实施例提供的一种图像处理方法的实现流程示意图；

图2为本公开实施例提供的一种图像处理方法的实现流程示意图；

图3为本公开实施例提供的一种图像处理方法的实现流程示意图；

图4A为本公开实施例提供的一种图像处理方法的实现流程示意图；

图4B为本公开实施例提供的一种台标区域的检测过程的示意图；

图4C为本公开实施例提供的一种调整区域的示意图；

图4D为本公开实施例提供的一种图像处理方法的实现流程示意图；

图5为本公开实施例提供的一种图像处理装置的组成结构示意图；

图6为本公开实施例中电子设备的一种硬件实体示意图。

具体实施方式

为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一第二第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一第二第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。

相关技术中，对于电视信号等视频，通常会在原视频内容上增加一些叠加元素，例如，文字、图标等，而这些叠加元素通常包含比较多的亮度值较高的内容，那么当对视频进行动态范围转换时，通常都是专注于提高视频内容的效果，并没有考虑这些叠加元素的影响，这样，严重影响了动态范围转换的效果，例如，转换后的叠加元素会比较刺眼。又例如，由于叠加元素的亮度值较高，对动态范围转换时场景造成误判，比如，将夜晚误判为白天。

本公开实施例提供一种图像处理方法，一方面，通过对图像帧中的叠加元素单独进行处理，降低了叠加元素对原始图像的场景造成误判的可能性，从而提高了转换后的图像的画质；另一方面，通过调低叠加元素的亮度，使得调整后的叠加元素的显示更加柔和，降低了刺眼的可能性，从而提升了用户的体验。本公开实施例提供的方法可以由电子设备执行，其中电子设备可以是笔记本电脑，平板电脑，台式计算机，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的终端。

下面，将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。

图1为本公开实施例提供的一种图像处理方法的实现流程示意图，如图1所示，该方法包括步骤S11至步骤S12，其中：

步骤S11、从第一图像帧中确定第一叠加元素；其中，所述第一图像帧中包括原始图像和所述第一叠加元素。

这里，第一图像帧可以是视频中的任意一帧图像，该第一图像帧中至少包括原始图像和第一叠加元素。

第一叠加元素可以包括但不限于目标文字区域、目标图标区域等中的至少之一。

目标文字区域可以是叠加在原始图像任意位置的文字区域，例如，位于原始图像下侧的字幕区域。该目标文字区域的数量可以为至少一个。该目标文字区域可以是任意合适的文字区域，例如，字幕区域、台标区域等。其中，该台标至少包括文字。

目标图标区域可以是叠加在原始图像任意位置的图标区域，例如，左上角、右上角等。该目标图标区域的数量可以为至少一个。该目标图标区域可以是任意合适的图标区域，例如，台标区域等。其中，该台标区域中至少包括图标。

(结合技术问题分析，为何上述区域会导致hdr的转换问题。)

在一些实施方式中，由于叠加元素的亮度值可能比较高，那么，在对第一图像帧进行动态范围转换时，该较高的亮度值，会影响对原始图像的场景的判定，因此，在进行动态范围转换时，可以从第一图像帧中分离叠加元素和原始图像，这样，可以降低叠加元素对原始图像的影响。

步骤S12、在所述第一叠加元素的特征参数值不小于设定的参数阈值的情况下，对所述第一叠加元素的动态范围进行转换，得到第二叠加元素；其中，所述第二叠加元素的亮度值低于所述第一叠加元素的亮度值，所述第二叠加元素的动态范围包括所述第一叠加元素的动态范围。

这里，叠加元素(包括第一叠加元素、第二叠加元素及后文提及的其它叠加元素)的特征参数可以包括但不限于亮度、颜色、其它与亮度相关的参数等。不同的特征参数可以对应不同的参数阈值。该特征参数的数量可以为至少一个。

动态范围的转换可以从低动态范围转换为高动态范围，比如，从SDR转换为HDR。

在一些实施方式中，若该特征参数值小于对应的参数阈值，则可以将该第一叠加元素与原始图像进行相同的转换即可。例如，将第一叠加元素和原始图像同时进行相同的转换处理。又例如，将第一叠加元素和原始图像分别进行相同的转换处理。

在一些实施方式中，若该特征参数值不小于对应的参数阈值的情况下，则需要对该第一叠加图像进行单独的处理。例如，在动态范围的转换过程中调整亮度值。又例如，待动态范围的转换完成后，再进行亮度调整。

在一些实施方式中，可以对该原始图像也进行动态范围的转换，得到转换后的原始图像，按照第一叠加元素在第一图像帧中的位置信息，将第二叠加元素叠加至转换后的原始图像上，以形成新的图像帧。

在本公开实施例中，通过从第一图像帧中确定第一叠加元素；其中，所述第一图像帧中包括原始图像和所述第一叠加元素；在所述第一叠加元素的特征参数值不小于设定的参数阈值的情况下，对所述第一叠加元素的动态范围进行转换，得到第二叠加元素；其中，所述第二叠加元素的亮度值低于所述第一叠加元素的亮度值，所述第二叠加元素的动态范围包括所述第一叠加元素的动态范围。这样，一方面，通过对图像帧中的叠加元素单独进行处理，降低了叠加元素对原始图像的场景造成误判的可能性，从而提高了转换后的图像的画质；另一方面，通过调低叠加元素的亮度，使得调整后的叠加元素的显示更加柔和，降低了刺眼的可能性，从而提升了用户的体验。

在一些实施方式中，所述步骤S11包括步骤S111和/或步骤S112，其中：

步骤S111、对所述第一图像帧进行检测，得到包括文字所在的文字检测区域；基于所述文字检测区域，确定所述目标文字区域。

这里，可以通过任意合适的文字检测算法、神经网络等对该第一图像帧进行检测，以得到该文字检测区域。例如，通过CTPN(Connectionist Text Proposal Network，连接文本区域网络)、CRAFT(Character Region Awareness for Text Detection，自然场景文本检测)等进行目标文字区域的检测。其中，CTPN用于进行横向文本检测，将文本行分割成一个个小块，然后检测这些小块，最后使用一种文本行构造法将所有块连接起来，以形成文字检测区域。CRAFT先根据完整的文字区域输入文字检测网络，得到字符级的文字得分结果热图和字符级文本连接得分热图，最后根据连通域得到每个文本行的位置。

在一些实施方式中，该目标文字区域可以是文字检测区域，也可以对文字检测区域进行扩展后的区域。

步骤S112、针对包括所述第一图像帧在内的所述第二图像帧序列中的每一第二图像帧，基于所述第二图像帧中的目标区域、及与所述第二图像帧相邻的下一第二图像帧中的所述目标区域，确定所述目标区域的差异信息；基于每一所述目标区域的差异信息，从所述第一图像帧中确定所述目标图标区域。

这里，第二图像帧序列中包括相邻的至少两个图像帧。由于在视频中叠加的图标的位置通过比较固定，比如，左上角的某一区域、右上角等，因此，可以对多个图像帧的目标区域进行检测，这样，缩小了检测范围，提升了检测效率。

该目标区域的数量可以为至少一个。该目标区域可以是任意合适的区域，例如，左上角、右下角。

目标区域的差异信息包括相邻两个第二图像帧的目标区域中各个像素点的像素值之间的差值、或该差值的绝对值等。

由于图标不会随着视频内容的改变而改变，因此，可以通过比对多个图像帧中该目标区域的差异信息，便可以得到该目标图标区域。例如，逐帧累计多个图像中该目标区域中各个像素点的像素值之间的差值，若多个像素对应的差值不大于设定的差异阈值时，则将这些像素构成的区域作为该图标检测区域，并基于该图标检测区域，确定该目标图标区域。该目标图标区域可以是该图标检测区域，也可以是对该图标检测区域进行修正后的另一图标检测区域。

在本公开实施方式中，一方面，通过对第一图像帧进行检测得到的文字检测区域来确定目标文字区域，提升了目标文字区域的准确度，从而提高了动态范围转换的效率；另一方面，通过对各个图像帧的目标区域进行检测，以得到目标图标区域，相较于对整个图像帧进行检测而言，缩小了检测范围，提升了检测效率。

在一些实施方式中，所述步骤S111中的“基于所述文字检测区域，确定所述目标文字区域”，包括步骤S131至步骤S133，其中：

步骤S131、基于所述文字检测区域，确定背景区域。

这里，由于文字检测区域通常为包含文字的一个矩形框，且边缘通常紧贴文字边缘，当文字的亮度值较低时，通常其背景颜色的亮度值较高，因此，需要从该文字检测区域中确定背景区域。在实施时，该文字检测区域一般包括背景区域和文字区域。在一些实施方式中，该背景区域可以是由该文字检测区域的最外层像素构成，即：矩形边框。

步骤S132、在所述背景区域不满足预设条件的情况下，将所述文字检测区域作为所述目标文字区域。

这里，预设条件可以是针对像素的特征参数的任意合适的条件，例如，大于均值阈值、不小于方差阈值、大于均方差阈值等，特征参数可以包括但不限于亮度、色度、或与亮度相关的其它参数等。其中，该均值阈值、方差阈值、均方差阈值等可以是根据文字区域确定的。例如，将文字区域内的一行像素和一列像素的特征参数值的均值作为该均值阈值。在实施时，可以根据该背景区域中各个像素的特征参数值的均值/方差/均方差与设定的对应阈值进行比较，若该背景区域中各个像素特征参数值的均值/方差/均方差小于设定的对应阈值时，表征该背景区域与文字区域较为接近，不需要对该文字检测区域进行扩展，可以将该文字检测区域作为该目标文字区域。

步骤S133、在所述背景区域满足所述预设条件的情况下，对所述文字检测区域进行向外扩展，得到扩展后的文字检测区域，并将所述扩展后的文字检测区域作为所述目标文字区域。

这里，当该背景区域中各个像素的特征参数值的均值/方差/均方差不小于设定的对应阈值时，表征该背景区域与文字区域相差较大，需要对该文字检测区域进行向外扩展，并将扩展后的文字检测区域作为该目标文字区域。

在一些实施方式中，在对文字检测区域进行向外扩展时，每条边框的可扩展范围可以相同，也可以不同。例如，左右两条边框的可扩展范围可以相同、上下两条边框的可扩展范围可以相同。在一些实施方式中，该可扩展范围可以基于该文字区域确定的，例如，该扩展范围可以是文字区域大小的多倍。比如，该文字区域的大小为5*8(即：5行8列)，那么，对于上下边框的可扩展范围为10(5*2)、左右边框的可扩展范围可以为16(8*2)。

在一些实施方式中，该可扩展范围可以是基于预设规则确定的，其中，该预设规则可以包括但不限于电子设备的系统配置、用户自定义、用户喜好、使用频率、用户操作信息等。在实施时，本领域技术人员可以根据实际需求自主设定预设规则，本公开实施例不作限定。例如，在页面中提供配置选项，通过该配置选项，用户可以自定义该可扩展范围。又例如，根据用户的操作手势，实时确定该可扩展范围。比如，不同的手势可以对应不同的可扩展范围。又比如，不同的操作步长对应不同的可扩展范围。在实施时，本领域技术人员可以根据实际需求自主设定操作手势与可扩展范围之间的对应关系，本公开实施例不作限定。

在本公开实施方式中，通过将背景区域与预设条件进行比较，将文字检测区域或扩展后的文字检测区域作为该目标文字区域，提升了目标文字区域的准确度，从而提升了动态范围转换的效率和准确度。

在一些实施方式中，所述步骤S133中的“对所述文字检测区域进行向外扩展，得到扩展后的文字检测区域”，包括步骤S1331，其中：

步骤S1331、针对所述文字检测区域的外围边框中的每一边框，从至少一个扩展边框集中确定所述边框对应的目标扩展边框集；基于所述边框的特征值和所述目标扩展边框集中的至少一条扩展边框的特征值，从所述目标扩展边集的至少一条扩展边框中确定目标扩展边框，并将所述目标扩展边框作为所述边框。

这里，目标扩展边框集中包括至少一条扩展边框。在实施时，不同的边框可以对应相同或不同的目标扩展边框集，例如，上下边框可以对应相同的目标扩展边框集。

边框的特征值可以包括但不限于边框上各个像素的特征参数值、各个像素的特征参数值的均值/方差/均方差等中的至少之一。扩展边框的特征值与该边框的特征值类似，在实施时，该扩展边框的特征值可以包括但不限于扩展边框上各个像素的特征参数值、各个像素的特征参数值的均值/方差/均方差等中的至少之一。

在一些实施方式中，可以比对边框的特征值和扩展边框的特征值之间的差异值，根据该差异值，确定目标扩展边框。例如，在该差异值小于差异阈值的情况下，则表征扩展结束，将该扩展边框作为目标扩展边框；反之，在该差异值不小于该差异阈值的情况下，则继续进行向外扩展。

该目标扩展边框可以是与原边框相邻的一条扩展边框，也可以是非相邻的扩展边框。

在本公开实施方式中，通过各个边框的特征值与对应的扩展边框集中的各个扩展边框的特征值，确定各个边框对应的目标扩展边框，提高了目标扩展边框的精准度，从而提升了目标文字区域的准确度。

在一些实施方式中，所述步骤S1331中的“基于所述边框的特征值和所述目标扩展边框集中的至少一条扩展边框的特征值，从所述目标扩展边集的至少一条扩展边框中确定目标扩展边框”，包括步骤S141至步骤S143，其中：

步骤S141、基于所述边框的特征值和所述目标扩展边框集中的第一扩展边框的特征值，确定差异值；其中，所述第一扩展边框与所述边框相邻。

这里，该差异值可以是均值/方差/均方差之间的差值，也可以是边框上各个像素的特征参数值与扩展边框上对应的像素的特征参数值之间的累计差。

步骤S142、在所述差异值不小于差异阈值的情况下，将所述第一扩展边框作为所述目标扩展边框。

这里，当该差异值不小于差异阈值时，表征该背景扩展结束，则将该第一扩展边框作为该目标扩展边框。

步骤S143、在所述差异值小于所述差异阈值的情况下，将所述第一扩展边框作为新的边框；从所述目标扩展边框集中删除所述第一扩展边框，得到新的目标扩展边框集；基于所述新的边框的特征值和所述新的目标扩展边框集中的至少一条扩展边框的特征值，从所述新的目标扩展边框集中的至少一条扩展边框中确定所述目标扩展边框。

这里，当该差异值小于差异阈值时，表征还需要进一步向外扩展。在实施时，可以将第一扩展边框作为新的边框，并从原目标扩展边框集中删除该第一扩展边框，以得到新的目标扩展边框集。在实施时，上述步骤S143中的“基于所述新的边框的特征值和所述新的目标扩展边框集中的至少一条扩展边框的特征值，从所述新的目标扩展边框集中的至少一条扩展边框中确定所述目标扩展边框”，可以参见前述步骤S1331的具体实施方式。这样，将差异值与差异阈值进行比较，并根据比较结果判定是否继续扩展，提升了背景区域的准确度，从而提高了目标文字区域的精准度。

在本公开实施方式中，通过将边框的特征值与扩展边框的特征值之间的差异值、和差异阈值进行比较，以得到目标扩展边框，提高了目标扩展边框的准确度，从而提高了目标文字区域的准确度。

在一些实施方式中，所述步骤S112中的“基于每一所述目标区域的差异信息，从所述第一图像帧中确定所述目标图标区域”，包括步骤S1121至步骤S1122，其中：

步骤S1121、基于每一所述目标区域的差异信息，从所述第一图像帧的目标区域中确定图标检测区域。

这里，图标检测区域中各个像素点的特征参数值对应的差值不大于设定阈值。在一些实施方式中，该设定阈值与场景相关，即：不同的场景对应不同的设定阈值。在实施时，通过累加多个目标区域的差异信息，得到若干帧中各个像素点对应的累积差，将每个像素点对应的累积差与该设定阈值进行比较，以得到变化较小的检测区域，将第一图像帧的目标区域中与该检测区域匹配的区域，作为该图标检测区域。

步骤S1122、基于所述图标检测区域的置信度，确定所述目标图标区域。

这里，该置信度的确定方式可以包括但不限于卡方检验、T检验、F检验等。在实施时，该置信度与累积差呈负相关，即：若累积差越大，则该置信度越低；若累积差越小，则该置信度越高。

目标图标区域可以是该图标检测区域，也可以是对该图标检测区域进行修正后的图标检测区域。这样，通过该图标检测区域的置信度来确定目标图标区域，提高了图标区域的准确度，从而提升了动态范围转换的效率及提高了转换后的图像的画质。

在本公开实施方式中，通过图标检测区域的置信度来确定目标图标区域，提升了目标图标区域的准确度。

在一些实施方式中，所述步骤S1122包括步骤S151和/或步骤S152，其中：

步骤S151、在所述图标检测区域的置信度不小于置信度阈值的情况下，将所述图标检测区域作为所述目标图标区域。

这里，当该图标检测区域的置信度不小于设定的置信度阈值时，表征该图标检测区域为图标区域的可能性较大，因此，可以将该图标检测区域作为该目标图标区域。

步骤S152、在所述图标检测区域的置信度小于所述置信度阈值的情况下，基于每一新的目标区域的差异信息，从所述第一图像帧的新的目标区域中确定新的图标检测区域；基于所述新的图标检测区域的置信度，确定所述目标图标区域；其中，每一所述新的目标差异信息分别是基于包含所述第二图像帧序列的第三图像帧序列中的每一相邻图像帧中的所述新的目标区域确定的。

这里，当该图标检测区域的置信度小于设定的置信度阈值时，表征该图标检测区域为图标区域的可能性不大，因此，需要对将该图标检测区域进行修正。在实施时，可以在原第二图像帧序列中增加新的图像帧，构成该第三图像帧序列。该新的目标区域可以与原目标区域相同，也可以不同。该新的目标区域的差异信息的确定方式与前述步骤S112中的目标区域的差异信息的确定方式类似，在实施时，可以参见前述步骤S112的具体实施方式。

在实施时，该步骤S152中的“基于每一新的目标区域的差异信息，从所述第一图像帧的新的目标区域中确定新的图标检测区域；基于所述新的图标检测区域的置信度，确定所述目标图标区域”，可以参见前述步骤S1121至步骤S1122的具体实施方式。

在本公开实施方式中，将图标检测区域的置信度与置信度阈值进行比较，将图标检测区域或新的图标检测区域作为该目标图标区域，提升了目标图标区域的准确度，从而提升了动态范围转换的效率。

图2为本公开实施例提供的一种图像处理方法的实现流程示意图，如图2所示，该方法包括步骤S21至步骤S22，其中：

步骤S21、从第一图像帧中确定第一叠加元素；其中，所述第一图像帧中包括原始图像和所述第一叠加元素。

这里，上述步骤S21对应于前述步骤S11，在实施时，可以参见前述步骤S11的具体实施方式。

步骤S22、在所述第一叠加元素的特征参数值不小于设定的参数阈值的情况下，利用预设的第一转换方式，对所述第一叠加元素的动态范围进行转换，得到第三叠加元素；基于所述第三叠加元素的特征参数，确定第二叠加元素；其中，所述第一转换方式中的最大亮度参数为第一亮度值，所述第三叠加元素的特征参数与所述第一叠加元素的亮度相关，所述第二叠加元素的亮度值低于所述第一叠加元素的亮度值，所述第二叠加元素的动态范围包括所述第一叠加元素的动态范围。

这里，第一转换方式指任意合适的能够进行动态范围转换的方式，在实施时，该第一转换方式中至少包括最大亮度参数，其中，该最大亮度参数可以为默认亮度值。

第一亮度值可以是任意合适的亮度值，在实施时，该第一亮度值可以为默认亮度值。

第三叠加元素的特征参数可以包括但不限于亮度、颜色、其它与亮度相关的参数等。在实施时，通过对该第三叠加元素的特征参数进行调整，以得到该第二叠加元素。

在本公开实施例中，通过从第一图像帧中确定第一叠加元素；其中，所述第一图像帧中包括原始图像和所述第一叠加元素；在所述第一叠加元素的特征参数值不小于设定的参数阈值的情况下，利用预设的第一转换方式，对所述第一叠加元素的动态范围进行转换，得到第三叠加元素；基于所述第三叠加元素的特征参数，确定第二叠加元素；其中，所述第一转换方式中的最大亮度参数为第一亮度值，所述第二叠加元素的亮度值低于所述第一叠加元素的亮度值，所述第二叠加元素的动态范围包括所述第一叠加元素的动态范围。这样，通过调整转换后的叠加元素的特征参数值，实现亮度的调整，一方面，兼容了多种亮度调整方式，提高了通用性和适配性，另一方面，使得调整后的叠加元素的显示更加柔和，降低了刺眼的可能性，从而提升了用户的体验。

在一些实施方式中，所述步骤S22中的“基于所述第三叠加元素的特征参数，确定第二叠加元素”，包括步骤S221至步骤S223，其中：

步骤S221、确定所述第三叠加元素对应的直方图。

这里，第三叠加元素的数量可以为至少一个。该第三叠加元素可以包括但不限于目标文字区域、目标图标区域等。该直方图用于表征第三叠加元素中各个像素的亮度分布的情况。该直方图表示了该第三叠加元素中具有某一亮度值的像素点的数量，也表示了每个亮度值所对应的像素比例。

步骤S222、基于所述直方图，从所述第三叠加元素中确定调整区域。

这里，该调整区域为亮度值较大的区域，因此，需要对该调整区域的亮度值进行调整。在实施时，可以将该直方图中某一设定位置对应的亮度值、与第三叠加元素的最大亮度值之间的区域，作为该调整区域。其中，该设定位置可以包括但不限于最后一个波峰、最后一个波谷、最后一个波峰与最后一个波谷之间的某一位置等。

步骤S223、分别对所述调整区域中的每一像素的特征参数值进行调整，得到所述第二叠加元素。

这里，通过调整每一像素的颜色、亮度、或其它与亮度关联的参数等的特征参数值，以实现降低亮度值。例如，将像素的颜色从第一颜色变为第二颜色，其中，第一颜色的亮度值高于第二颜色的亮度值。又例如，降低像素的亮度值。

在本公开实施方式中，一方面，根据叠加元素对应的直方图来确定调整区域，提高了调整区域的准确度；另一方面，仅对调整区域中各个像素的特征参数值进行调整，相较于对整个叠加元素进行调整而言，缩小了调整范围，提高了调整效率。

图3为本公开实施例提供的一种图像处理方法的实现流程示意图，如图3所示，该方法包括步骤S31至步骤S32，其中：

步骤S31、从第一图像帧中确定第一叠加元素；其中，所述第一图像帧中包括原始图像和所述第一叠加元素。

这里，上述步骤S31对应于前述步骤S11，在实施时，可以参见前述步骤S11的具体实施方式。

步骤S32、在所述第一叠加元素的特征参数值不小于设定的参数阈值的情况下，利用预设的第二转换方式，对所述第一叠加元素的动态范围进行转换，得到第二叠加元素；其中，所述第二转换方式中的最大亮度参数为第二亮度值，所述第二亮度值小于第一亮度值，所述第二叠加元素的亮度值低于所述第一叠加元素的亮度值，所述第二叠加元素的动态范围包括所述第一叠加元素的动态范围。

这里，第二转换方式指任意合适的能够进行动态范围转换的方式，在实施时，该第二转换方式中至少包括最大亮度参数，其中，该最大亮度参数可以为默认亮度值，即：第一亮度值。

第二亮度值可以是任意合适的亮度值，在实施时，该第二亮度值可以小于该默认亮度值。

在本公开实施例中，通过从第一图像帧中确定第一叠加元素；其中，所述第一图像帧中包括原始图像和所述第一叠加元素；在所述第一叠加元素的特征参数值不小于设定的参数阈值的情况下，利用预设的第二转换方式，对所述第一叠加元素的动态范围进行转换，得到第二叠加元素；其中，所述第二转换方式中的最大亮度参数为第二亮度值，所述第二亮度值小于第一亮度值，所述第二叠加元素的亮度值低于所述第一叠加元素的亮度值，所述第二叠加元素的动态范围包括所述第一叠加元素的动态范围。这样，通过在动态范围的转换过程中，直接调整叠加元素的亮度值，一方面，相较于调整其它参数来调整亮度而言，不仅提升了亮度调整的准确度，而且还缩短了亮度的调整时长，另一方面，使得调整后的叠加元素的显示更加柔和，降低了刺眼的可能性，从而提升了用户的体验。

下面说明本公开实施例提供的图像处理方法在实际场景中的应用，以将视频图像从SDR转换为HDR的场景为例进行说明。

相关技术中，由于HDR的视频图像与SDR的视频图像相比，可以提供更高的动态范围、图像细节以及更加丰富的色彩范围，因此，很多显示设备在亮度以及色域上均支持HDR的显示。那么，为了提高显示效果，需要将SDR的视频图像转换为HDR图像。而在转换的过程中，通常都是专注于提高视频内容的效果，并没有考虑叠加在视频内容上的叠加元素的影响，这样，严重影响了转换的效果，例如，转换后的叠加元素会比较刺眼。又例如，由于叠加元素的亮度值较高，对动态范围转换时场景造成误判，比如，将夜晚误判为白天。

本公开实施例提供一种图像处理方法，通过对视频图像中的原始图像和叠加元素进行分离，然后对原始图像进行转HDR处理，并获取叠加元素的特征参数值(例如，亮度值、色度等)，若该叠加元素的特征参数值不小于设定的参数阈值时，则对该叠加元素进行特殊处理，例如，在转HDR的过程中降低亮度、或在转HDR后再进行亮度调整，这样，一方面，通过对图像帧中的叠加元素单独进行处理，降低了叠加元素对原始图像的场景造成误判的可能性，从而提高了转换后的图像的画质；另一方面，通过调低叠加元素的亮度，使得调整后的叠加元素的显示更加柔和，降低了刺眼的可能性，从而提升了用户的体验。

图4A为本公开实施例提供的一种图像处理方法的实现流程示意图，如图4A所示，该方法包括步骤S401至步骤S409，其中：

步骤S401、对第一图像帧进行检测，得到文字检测区域和原始图像；

这里，该第一图像帧为SDR视频输入中的某一帧图像。

步骤S402、基于该文字检测区域，得到目标文字区域；

这里，目标文字区域可以是该文字检测区域，或对该文字检测区域进行扩展后的区域。

步骤S403、基于包含第一图像帧在内的第二图像帧序列中的多个相邻的第二图像帧的目标区域的差异信息，确定图标检测区域；

步骤S404、基于该图标检测区域的置信度，确定目标图标区域；

这里，该目标图标区域可以是该图标检测区域，也可以是对该图标检测区域进行修正后的区域。该目标图标区域可以是台标区域。

图4B为本公开实施例提供的一种台标区域的检测过程的示意图，如图4B所示，该视频包括依次相邻的图像帧41、图像帧42及图像帧43，该图像帧41为在图像帧42之前的一帧图像、图像帧42为在图像帧43之前的一帧图像，其中：

图像帧41中包括台标区域411(对应于前述第一叠加元素)、及原始图像412，图像帧42中包括台标区域421(对应于前述第一叠加元素)、及原始图像422，图像帧43中包括台标区域431(对应于前述第一叠加元素)、及原始图像432；

确定图像帧41的左上角(对应于前述目标区域)与图像帧42的左上角之间的第一差异信息441(对应于前述差异信息)，及确定图像帧42的左上角(对应于前述目标区域)与图像帧43的左上角之间的第二差异信息442(对应于前述差异信息)；

确定第一差异信息441和第二差异信息442之间的累积差443，并根据该累积差443确定该台标检测区域444。

步骤S405、对原始图像进行HDR转换处理，得到转换后的原始图像；

步骤S406、利用预设的第一转换方式，分别对目标文字区域和目标图标区域进行HDR转换处理，得到第一目标文字区域(对应于前述第三叠加元素)和第一目标图标区域(对应于前述第三叠加元素)；

步骤S407、基于该第一目标文字区域对应的直方图，从该第一目标文字区域中确定第一调整区域(对应于前述调整区域)，并对该第一调整区域中各个像素的特征参数值进行调整，以得到第二目标文字区域(对应于前述第二叠加元素)；

这里，第一调整区域可以是由该直方图的最后一个波谷与该第一目标文字区域的最大亮度构成的区域。图4C为本公开实施例提供的一种调整区域的示意图，如图4C所示，该调整区域401是由第一阈值(即：最后一个波谷对应的亮度值)与目标文字区域对应的最大亮度值构成的区域。

在一些实施方式中，也可以先执行步骤S406至步骤S407，再执行步骤S405，还可以同时执行步骤S405和步骤S406。

步骤S408、基于该第一目标图标区域对应的直方图，从该第一目标图标区域中确定第二调整区域(对应于前述调整区域)，并对该第二调整区域中各个像素的特征参数值进行调整，以得到第二目标图标区域(对应于前述第二叠加元素)；

步骤S409、按照该第二目标文字区域的位置信息、及第二目标图标区域的位置信息，将第二目标文字区域及第二目标图标区域叠加在转换后的原始图像，以得到第二图像帧。

这里，第二图像帧为HDR的图像帧。

图4D为本公开实施例提供的一种图像处理方法的实现流程示意图，如图4D所示，该方法包括步骤S411至步骤S417，其中：

步骤S411、对第一图像帧进行检测，得到文字检测区域和原始图像；

步骤S412、基于该文字检测区域，得到目标文字区域；

这里，目标文字区域可以是该文字检测区域，或对该文字检测区域进行扩展后的区域。

步骤S413、基于包含第一图像帧在内的第二图像帧序列中的多个相邻的第二图像帧的目标区域的差异信息，确定图标检测区域；

步骤S414、基于该图标检测区域的置信度，确定目标图标区域；

这里，该目标图标区域可以是该图标检测区域，也可以是对该图标检测区域进行修正后的区域。

步骤S415、对原始图像进行HDR转换处理，得到转换后的原始图像；

步骤S416、利用预设的第二转换方式，分别对目标文字区域和目标图标区域进行HDR转换处理，得到第二目标文字区域(对应于前述第二叠加元素)和第二目标图标区域(对应于前述第二叠加元素)；

在一些实施方式中，也可以先执行步骤S416，再执行步骤S415，还可以同时执行步骤S415和步骤S416。

步骤S417、按照该第二目标文字区域的位置信息、及第二目标图标区域的位置信息，将第二目标文字区域及第二目标图标区域叠加在转换后的原始图像，以得到第二图像帧。

基于上述实施例，本公开实施例提供一种图像处理装置，图5为本公开实施例提供的一种图像处理装置，如图5所示，所述图像处理装置50包括确定模块51及转换模块52，其中：

所述确定模块51，用于从第一图像帧中确定第一叠加元素；其中，所述第一图像帧中包括原始图像和所述第一叠加元素；

所述转换模块52，用于在所述第一叠加元素的特征参数值不小于设定的参数阈值的情况下，对所述第一叠加元素的动态范围进行转换，得到第二叠加元素；其中，所述第二叠加元素的亮度值低于所述第一叠加元素的亮度值，所述第二叠加元素的动态范围包括所述第一叠加元素的动态范围。

在一些实施方式中，所述转换模块52，还用于：利用预设的第一转换方式，对所述第一叠加元素的动态范围进行转换，得到第三叠加元素；基于所述第三叠加元素的特征参数，确定所述第二叠加元素；其中，所述第一转换方式中的最大亮度参数为第一亮度值，所述第三叠加元素的特征参数与所述第一叠加元素的亮度相关；或，利用预设的第二转换方式，对所述第一叠加元素的动态范围进行转换，得到所述第二叠加元素；其中，所述第二转换方式中的最大亮度参数为第二亮度值，所述第二亮度值小于所述第一亮度值。

在一些实施方式中，所述转换模块52，还用于：确定所述第三叠加元素对应的直方图；基于所述直方图，从所述第三叠加元素中确定调整区域；分别对所述调整区域中的每一像素的特征参数值进行调整，得到所述第二叠加元素。

在一些实施方式中，所述第一叠加元素中包括目标文字区域和/或目标图标区域；所述确定模块51，还用于：对所述第一图像帧进行检测，得到包括文字所在的文字检测区域；基于所述文字检测区域，确定所述目标文字区域；和/或，针对包括所述第一图像帧在内的所述第二图像帧序列中的每一第二图像帧，基于所述第二图像帧中的目标区域、及与所述第二图像帧相邻的下一第二图像帧中的所述目标区域，确定所述目标区域的差异信息；基于每一所述目标区域的差异信息，从所述第一图像帧中确定所述目标图标区域。

在一些实施方式中，所述确定模块51，还用于：基于所述文字检测区域，确定背景区域；在所述背景区域不满足预设条件的情况下，将所述文字检测区域作为所述目标文字区域；在所述背景区域满足所述预设条件的情况下，对所述文字检测区域进行向外扩展，得到扩展后的文字检测区域，并将所述扩展后的文字检测区域作为所述目标文字区域。

在一些实施方式中，所述确定模块51，还用于：针对所述文字检测区域的外围边框中的每一边框，从至少一个扩展边框集中确定所述边框对应的目标扩展边框集；基于所述边框的特征值和所述目标扩展边框集中的至少一条扩展边框的特征值，从所述目标扩展边集的至少一条扩展边框中确定目标扩展边框，并将所述目标扩展边框作为所述边框。

在一些实施方式中，所述确定模块51，还用于：基于所述边框的特征值和所述目标扩展边框集中的第一扩展边框的特征值，确定差异值；其中，所述第一扩展边框与所述边框相邻；在所述差异值不小于差异阈值的情况下，将所述第一扩展边框作为所述目标扩展边框；在所述差异值小于所述差异阈值的情况下，将所述第一扩展边框作为新的边框；从所述目标扩展边框集中删除所述第一扩展边框，得到新的目标扩展边框集；基于所述新的边框的特征值和所述新的目标扩展边框集中的至少一条扩展边框的特征值，从所述新的目标扩展边框集中的至少一条扩展边框中确定所述目标扩展边框。

在一些实施方式中，所述确定模块51，还用于：基于每一所述目标区域的差异信息，从所述第一图像帧的目标区域中确定图标检测区域；基于所述图标检测区域的置信度，确定所述目标图标区域。

在一些实施方式中，所述确定模块51，还用于：在所述图标检测区域的置信度不小于置信度阈值的情况下，将所述图标检测区域作为所述目标图标区域；和/或，在所述图标检测区域的置信度小于所述置信度阈值的情况下，基于每一新的目标区域的差异信息，从所述第一图像帧的新的目标区域中确定新的图标检测区域；基于所述新的图标检测区域的置信度，确定所述目标图标区域；其中，每一所述新的目标差异信息分别是基于包含所述第二图像帧序列的第三图像帧序列中的每一相邻图像帧中的所述新的目标区域确定的。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开装置实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。

需要说明的是，本公开实施例中，如果以软件功能模块的形式实现上述方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本公开实施例不限制于任何特定的硬件和软件结合。

本公开实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。

本公开实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。

需要说明的是，图6为本公开实施例中电子设备的一种硬件实体示意图，如图6所示，该电子设备600的硬件实体包括：处理器601、通信接口602和存储器603，其中：

处理器601通常控制电子设备600的总体操作。

通信接口602可以使电子设备通过网络与其他终端或服务器通信。

存储器603配置为存储由处理器601可执行的指令和应用，还可以缓存待处理器601以及电子设备600中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。处理器601、通信接口602和存储器603之间可以通过总线604进行数据传输。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开存储介质和设备实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本公开实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。