掌桥专利:专业的专利平台
掌桥专利
首页

显示区域确定方法、装置、设备和存储介质

文献发布时间:2023-06-19 19:30:30


显示区域确定方法、装置、设备和存储介质

技术领域

本申请属于设备显示技术领域,具体涉及一种显示区域确定方法、装置、设备和存储介质。

背景技术

随着移动互联网的蓬勃发展和电子设备的不断普及,用户对于移动互联网有了更多的需求,电子设备上安装的应用程序及其能够实现的功能越来越多样化。

相关技术中,为了满足用户多任务处理的需求,电子设备可提供窗口显示功能,在大屏显示主界面的同时,还可在窗口显示区域显示窗口内容,方便用户同时查看。但是,由于窗口内容是重叠显示在主界面之上的,因此会存在遮挡主界面中重要显示内容,例如文字内容的现象,影响用户对主界面的观感,显示效果不佳。

发明内容

本申请实施例的目的是提供一种显示区域确定方法、装置、设备和存储介质,能够解决相关技术中窗口内容容易遮挡主界面显示内容,显示效果不佳的问题。

第一方面,本申请实施例提供了一种显示区域确定方法,该方法包括:获取第一画面中的N个第一像素点;基于N个第一像素点,确定N个第一像素点的第一参数,第一参数用于表征第一像素点的重要度;基于N个第一像素点的第一参数,确定第一画面中的第一区域,其中,第一区域中的第一像素点的第一参数的和值小于第一参数阈值,第一区域的数量大于1,且尺寸比例相同;确定面积最大的第一区域为窗口显示区域。

第二方面,本申请实施例提供了一种显示区域确定装置,该装置包括:获取模块,用于获取第一画面中的N个第一像素点;确定模块,用于基于N个第一像素点,确定N个第一像素点的第一参数,第一参数用于表征第一像素点的重要度;确定模块,还用于基于N个第一像素点的第一参数,确定第一画面中的第一区域,其中,第一区域中的第一像素点的第一参数的和值小于第一参数阈值,第一区域的数量大于1,且尺寸比例相同;确定模块,还用于确定面积最大的第一区域为窗口显示区域。

第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面的显示区域确定方法的步骤。

第四方面,本申请实施例提供了一种可读存储介质,该可读存储介质上存储程序或指令,程序或指令被处理器执行时实现如第一方面的显示区域确定方法的步骤。

第五方面,本申请实施例提供了一种芯片,该芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第一方面的显示区域确定方法的步骤。

第六方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品被存储在存储介质中,该计算机程序产品被至少一个处理器执行以实现如第一方面所述的显示区域确定方法的步骤。

在本申请实施例中,获取第一画面中N个第一像素点,基于N个第一像素点,确定N个第一像素点的第一参数,第一参数可以用于表征第一像素点的重要度。基于此,本申请可以从第一画面中选取多个相同尺寸比例的第一区域,且该第一区域内所有第一像素点的第一参数的和值小于第一参数阈值,也即,该第一区域中所有第一像素点的总体重要度不高。如此,本申请选取多个相同尺寸比例的第一区域中面积最大的第一区域为窗口显示区域,通过在该窗口显示区域中显示窗口内容,降低遮挡第一画面中重要显示内容的概率,改善第一画面的显示效果,同时能够改善因窗口显示区域较小,窗口内容显示不清晰的情况,提升窗口内容的显示效果。

附图说明

图1是本申请一实施例提供的显示区域确定方法的流程示意图;

图2是本申请一实施例提供的第一画面的流程示意图;

图3是本申请另一实施例提供的显示区域确定方法的示例的示意图;

图4是本申请再一实施例提供的显示区域确定方法的示例的示意图;

图5是本申请一实施例提供的目标坐标系的示例的示意图;

图6是本申请再一实施例提供的显示区域确定方法的示例的示意图;

图7是本申请实施例提供的一种显示区域确定装置的结构示意图;

图8是本申请实施例提供的一种电子设备的结构示意图;

图9是本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。

如背景技术,为了满足用户多任务处理的需求,电子设备可提供窗口显示功能,在大屏显示主界面的同时,还可在窗口显示区域显示窗口内容,方便用户同时查看。但是,由于窗口内容是重叠显示在主界面之上的,因此会存在遮挡主界面中重要显示内容,例如文字内容的现象,影响用户对主界面的观感,显示效果不佳。

针对相关技术中出现的问题,本申请实施例提供了一种显示区域确定方法,获取第一画面中N个第一像素点,基于N个第一像素点,确定N个第一像素点的第一参数,第一参数可以用于表征第一像素点的重要度。基于此,本申请可以从第一画面中选取多个相同尺寸比例的第一区域,且该第一区域内所有第一像素点的第一参数的和值小于第一参数阈值,也即,该第一区域中所有第一像素点的总体重要度不高。如此,本申请选取多个相同尺寸比例的第一区域中面积最大的第一区域为窗口显示区域,通过在该窗口显示区域中显示窗口内容,降低遮挡第一画面中重要显示内容的概率,改善第一画面的显示效果,同时能够改善因窗口显示区域较小,窗口内容显示不清晰的情况,提升窗口内容的显示效果,解决了相关技术中窗口内容容易遮挡主界面显示内容,显示效果不佳的问题。

下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的显示区域确定方法进行详细地说明。

图1是本申请一实施例提供的显示区域确定方法的流程示意图,该显示区域确定方法的执行主体可以为电子设备。需要说明的是,上述执行主体并不构成对本申请的限定。

如图1所示,本申请实施例提供的显示区域确定方法可以包括步骤110-步骤140。

步骤110,获取第一画面中的N个第一像素点。

步骤120,基于N个第一像素点,确定N个第一像素点的第一参数。

其中,第一参数用于表征第一像素点的重要度,第一像素点的重要度越高,则该第一像素点的第一参数越大;第一像素点的重要度越低,则该第一像素点的第一参数越小。

示例性地,对于空白区域和文字区域,由于文字区域比空白区域的重要程度要高,因此文字区域对应的第一像素点的第一参数,大于空白区域对应的第一像素点的第一参数。

步骤130,基于N个第一像素点的第一参数,确定第一画面中的第一区域。

其中,第一区域中所有第一像素点的第一参数的和值小于第一参数阈值;第一区域的数量大于1,多个第一区域的尺寸比例相同,例如均为4:3或者2:5等,本申请对窗口的尺寸比例不做具体限定;第一参数阈值,可以根据具体需求进行设置,本申请对此不做具体限定。

示例性地,在图2所示的第一画面201中,电子设备可以基于所有第一像素点,确定出三个尺寸比例为4:3的第一区域202、203和204,其中,每个第一区域中所有第一像素点的第一参数的和值小于第一参数阈值。

步骤140,确定面积最大的第一区域为窗口显示区域。

具体地,在确定窗口显示区域之后,电子设备可在该窗口显示区域显示窗口内容,该窗口内容可以为应用界面、网页等。

参见上述示例,第一画面201中的第一区域包括202、203和204,则电子设备确定面积最大的第一区域203为窗口显示区域,并可在该窗口显示区域203显示窗口内容。

本申请实施例提供的显示区域确定方法,获取第一画面中N个第一像素点,基于N个第一像素点,确定N个第一像素点的第一参数,第一参数可以用于表征第一像素点的重要度。基于此,本申请可以从第一画面中选取多个相同尺寸比例的第一区域,且该第一区域内所有第一像素点的第一参数的和值小于第一参数阈值,也即,该第一区域中所有第一像素点的总体重要度不高。如此,本申请选取多个相同尺寸比例的第一区域中面积最大的第一区域为窗口显示区域,通过在该窗口显示区域中显示窗口内容,降低遮挡第一画面中重要显示内容的概率,改善第一画面的显示效果,同时能够改善因窗口显示区域较小,窗口内容显示不清晰的情况,提升窗口内容的显示效果。

下面结合具体的实施例,详细介绍上述步骤。

涉及步骤120,基于N个第一像素点,确定N个第一像素点的第一参数。

在本申请一些实施例中,步骤120可以具体包括:基于N个第一像素点的像素值,确定N个第一像素点的第一参数。

其中,像素值可以基于红(R)、绿(G)、蓝(B)三个颜色通道的颜色值确定。

示例性地,像素值可以为红(R)、绿(G)、蓝(B)三个颜色通道的颜色值的均值,第一像素点为P,第一像素点的像素值A(P)可以基于公式(1)计算。

其中,R(x,y)、G(x,y)、B(x,y)分别为像素坐标为(x,y)的第一像素点P在红(R)、绿(G)、蓝(B)三个颜色通道的颜色值。

在本申请的一些实施例中,第一画面包括M帧画面,图3是本申请另一实施例提供的显示区域确定方法的流程示意图,步骤120可以包括图3所示的步骤310-步骤340。

步骤310,基于第M帧画面中N个第一像素点的像素值,确定N个第一像素点的单帧静态参数。

其中,第M帧画面即为当前帧对应的画面;单帧静态参数用于表征第一像素点与邻近像素点的色彩差异度,第一像素点与邻近像素点的色彩差异度越大,则第一像素点的单帧静态参数值越大,第一像素点与邻近像素点的色彩差异度越小,则第一像素点的单帧静态参数值越小。

步骤320,基于M帧画面中N个第一像素点的像素值,确定N个第一像素点的多帧动态参数。

其中,多帧动态参数用于表征第一像素点的像素值变化度,第一像素点在多帧画面中的像素值变化度越大,说明该第一像素点在多帧画面中的像素值波动幅度越大,则第一像素点的多帧动态参数越大;第一像素点在多帧画面中的像素值变化度越小,说明该第一像素点在多帧画面中的像素值波动幅度越小,也即,在多帧画面中该第一像素点的像素值几乎不变化,则第一像素点的多帧动态参数越小。

步骤330,根据人眼跟踪与视线检测算法,确定每个第一像素点的关注度参数,关注度参数用于表征用户对第一像素点的关注度。

步骤340,基于关注度参数、单帧静态参数和多帧动态参数,确定每个第一像素点的第一参数。

在本申请的一些实施例中,步骤330可以包括以下任意一项:对于每个第一像素点,计算关注度参数、单帧静态参数和多帧动态参数的和值,得到第一参数;对于每个第一像素点,计算关注度参数、单帧静态参数、多帧动态参数及其权重系数的和值,得到第一参数。

在本申请实施例中,基于第M帧画面中N个第一像素点的像素值,可以得到单帧静态参数,该单帧静态参数能够反映第一画面中每个第一像素点与邻近像素点的色彩差异度。而区域中所有第一像素点与邻近像素点的色彩差异度越大,表示该区域中的色彩复杂度越高,区域中所有第一像素点与邻近像素点的色彩差异度越小,表示该区域中的色彩复杂度越低。因此在基于单帧静态参数确定第一参数之后,基于第一参数可以筛选掉第一画面中色彩复杂度较高、色彩变化比较丰富的区域,将色彩复杂度较低,例如颜色相近或相同的单一色彩区域确定为第一区域。如此,相比于遮挡色彩复杂度较高的区域,遮挡色彩复杂度较低的区域对第一画面带来的影响会更小,因此通过在色彩复杂度较低的第一区域中显示窗口内容,能够降低对第一画面的遮挡影响。基于M帧画面中N个第一像素点的像素值,可以得到多帧动态参数,该多帧动态参数,能够反映第一像素点的像素值变化度。由于第一像素点的像素值变化度越高,表明第一像素点对第一画面的影响越大,因此在基于多帧动态参数确定第一参数之后,基于第一参数可以将第一画面中像素值变化度较低的第一像素点集中区域确定为第一区域,进而在确定窗口显示区域时直接避开影响力较大的第一像素点,保证在窗口显示区域显示窗口内容时,窗口内容不会遮挡影响力较大的第一像素点,降低窗口内容对第一画面的遮挡影响。考虑到第M帧画面中每个第一像素点的重要度,与用户当前的视线关注位置密切相关,本申请根据人眼跟踪与视线检测算法,确定每个第一像素点的关注度参数,基于该关注度参数可以表征用户对第一像素点的关注度。因此,通过在计算第一参数时引入该关注度参数,能够结合用户在画面中的视线关注位置,确定第一像素点的重要度,提升第一参数所表征第一像素点的重要度的准确性。

在本申请另一些实施例中,第一参数可以仅基于单帧静态参数和多帧动态参数确定,步骤120可以具体包括:基于第M帧画面中N个第一像素点的像素值,确定N个第一像素点的单帧静态参数;基于M帧画面中N个第一像素点的像素值,确定N个第一像素点的多帧动态参数;基于单帧静态参数和多帧动态参数,确定每个第一像素点的第一参数。

在本申请的一些实施例中,为了准确计算每个第一像素点的单帧静态参数,步骤310基于第M帧画面中N个第一像素点的像素值,确定N个第一像素点的单帧静态参数,可以具体包括下述步骤:基于第M帧画面中N个第一像素点的坐标,确定每个第一像素点的邻近像素点;基于第一像素点及其邻近像素点的像素值,以及第一像素点与邻近像素点之间的第一距离,确定单帧静态参数。

其中,邻近像素点与第一像素点的距离小于预设距离阈值,预设距离阈值可以根据具体需求进行设置,本申请在此不做具体限定。

示例性地,可以根据公式(2)计算第一像素点P的单帧静态参数f1。

其中,S为归一化函数,P`为第一像素点P的邻近像素点,Q(P)为第一像素点P的邻近像素点集合,r1为预设距离阈值,distance(P,P`)为第一像素点P与邻近像素点P`之间的第一距离,A(P)为第一像素点P的像素值,A(P`)为邻近像素点P`的像素值,q为邻近像素点集合Q(P)中的像素点数量。

在一个实施例中,归一化函数S(u)可以如公式(3)所示:

其中,u为自变量,S(u)的取值范围为(-1,1)。

在本申请实施例中,基于第M帧画面中N个第一像素点的坐标,对于每个第一像素点,可以确定出与该第一像素点之间距离较近的邻近像素点,基于此,依据第一像素点及其邻近像素点的像素值,以及第一像素点与邻近像素点之间的第一距离,可以准确评估第一像素点与邻近像素点之间的像素值差异大小,从而能够得到准确的单帧静态参数。

在本申请的一些实施例中,为了准确计算每个第一像素点的多帧动态参数,图4是本申请再一实施例提供的显示区域确定方法的流程示意图,步骤320可以包括图4所示的步骤410-步骤440。

步骤410,基于第一像素点在M帧画面中的M个像素值,确定每个第一像素点在目标坐标系中对应的M个数据点。

其中,目标坐标系为像素值与时间的坐标系。

示例性地,当前为第8帧,如图5所示,横轴表示时间t,纵轴表示像素值Y,基于第一像素点P在第1至8帧画面中的8个像素值,可以得到第一像素点P在目标坐标系中对应的8个数据点。

在一个实施例中,电子设备可以获取M帧画面中时间窗口(t-T,t)对应的J帧画面,t为当前的第一目标帧,T为预设跳变有效期,t-T对应的画面为第M-J帧画面,第一目标帧t对应的画面为第M帧画面;基于第一像素点在J帧画面中的J个像素值,确定每个第一像素点在目标坐标系中对应的J个数据点。

步骤420,确定M个数据点中第一目标帧对应的第一数据点。

其中,第M帧即为第一目标帧,第一数据点的横坐标为第一目标帧,纵坐标为第一像素点第一目标帧在第M帧画面中的像素值。

步骤430,建立第一数据点对应的跳变检测框,跳变检测框的右边的中心位置为第一数据点。

其中,跳变检测框的尺寸大小可以根据具体需求进行设置,本申请对此不做具体限定。

步骤440,根据落入跳变检测框的数据点的第一数量,确定第一像素点的多帧动态参数。

参照图5,第一目标帧为第8帧,则以第一像素点P在第8帧对应的第一数据点为基准,在目标坐标系中绘制跳变检测框501,跳变检测框501的高度为2H,宽度为L,基于目标坐标系中落入跳变检测框501中的数据点数量,可以确定第一像素点P的多帧动态参数。

在本申请实施例中,目标坐标系为像素值与时间的坐标系,因此第一目标帧对应的第一数据点的横坐标即为第一目标帧,纵坐标即为第一像素点第一目标帧在第M帧画面中的像素值。如此,以第一数据点为右边中心位置绘制跳变检测框,能够检测包括第M帧在内的连续多帧画面中,第一像素点的像素值变化度,若落入跳变检测框的数据点的第一数量较多,则可以说明在连续多帧画面中,第一像素点的多数像素值在跳变检测框范围之内,变化幅度较小;若落入跳变检测框的数据点的第一数量较多,则可以说明在连续多帧画面中,第一像素点仅有少量像素值在跳变检测框范围之内,多数像素值的变化幅度较大。如此,基于落入跳变检测框的数据点的第一数量,能够准确确定第一像素点在多帧连续画面中的像素值变化度,得到准确的多帧动态参数。

在一些实施例中,上述步骤440可以具体包括:在第一数量小于或等于第一数量阈值的情况下,确定第一像素点在第一目标帧中的状态为跳变状态;在第一像素点在第一目标帧中的状态为跳变状态的情况下,确定第一像素点的多帧动态参数为1;在第一数量大于第一数量阈值的情况下,确定与第一目标帧对应的第二目标帧,其中,第二目标帧与第一目标帧的时间间隔最短,且为位于第一目标帧的时刻之前的帧,第二目标帧中第一像素点的状态为跳变状态;基于预设跳变有效期,以及第一目标帧与第二目标帧的时间间隔,计算第一像素点的多帧动态参数。

其中,第一目标帧与第二目标帧的时间间隔为第一时间间隔,多帧动态参数与第一时间间隔呈负相关;第一数量阈值可以基于跳变检测框的宽度确定,预设跳变有效期可以根据具体需求进行设置,本申请对此不做具体限定。

在一些实施例中,第一数量阈值可以为L*θ,其中L为跳变检测框的宽度,θ为预设系数,该预设系数可以根据具体需求进行调整,例如可以为0.4、0.5等。

继续参照图5,落入跳变检测框501中的数据点数量为2,若L为4,θ为0.5,则数据点数量等于第一数量阈值,此时确定第一像素点P在第M帧为跳变状态,第一像素点P的多帧动态参数为1。

在一些实施例中,可以将预设跳变有效期,以及第一目标帧与第二目标帧的时间间隔代入公式(4),计算得到第一像素点的多帧动态参数f2。

f2=S(T-(t-t0)),t-t0≤T

f2=0,t-t0>T (4)

其中,S为公式(3)所示的归一化函数,T为预设跳变有效期,t为第一目标帧,t0为第二目标帧。

在本申请实施例中,在第一数量小于或等于第一数量阈值的情况下,说明第一像素点仅有少量像素值在跳变检测框范围之内,多数像素值的变化幅度较大,因此可以确定在第一目标帧为跳变状态的情况下,第一像素点的多帧动态参数为1,也即,为在第一目标帧为跳变状态的第一像素点分配较高的多帧动态参数,提升多帧动态参数的准确度。而在第一数量大于第一数量阈值的情况下,可以确定在第一目标帧之前的所有帧中,与第一目标帧的时间间隔最短,且第一像素点为跳变状态的第二目标帧,依据预设跳变有效期,以及第一目标帧与第二目标帧的时间间隔,计算第一像素点的多帧动态参数,该时间间隔越短,说明当前帧距离跳变帧越近,受跳变状态的影响越大,因此此时可以为第一像素点分配较高的多帧动态参数,提升多帧动态参数的准确度。

在本申请的一些实施例中,为了提升关注度参数所表征用户对像素点关注度的准确性,第一画面包括M帧画面,图6是本申请再一实施例提供的显示区域确定方法的流程示意图,上述步骤330可以包括图6所示的步骤610-步骤640。

步骤610,根据人眼跟踪与视线检测算法,确定用户在第M帧画面的N个第一像素点中注视的第一目标像素点,以及在第K帧画面的N个第一像素点中注视的第二目标像素点。

其中,第K帧在第M帧之前,也即第K帧画面在第M帧画面之前出现。

步骤620,基于第M帧画面中每个第一像素点与第一目标像素点的第二距离,计算每个第一像素点的第二参数,并基于第K帧画面中每个第一像素点与第二目标像素点的第三距离,计算每个第一像素点的第三参数。

其中,第二参数为第一像素点在M帧的关注点距离得分,第二参数与第二距离呈负相关,也即,第一像素点距离第一目标像素点越近,第一像素点在第M帧的关注点距离得分越高;第三参数为第一像素点在第K帧的关注点距离得分,第三参数与第三距离呈负相关,也即,第一像素点距离第二目标像素点越近,第一像素点在第K帧的关注点距离得分越高。

在一个实施例中,可以基于公式(5)计算第一像素点P的关注点距离得分Za。

Za=max(S(r2-distance(P,P0)),0) (5)

其中,r2为预设影响半径,S为预设衰减函数,例如可以为公式(3)所示的归一化函数,若P0为第一目标像素点,则Za为第二参数,若P0为第二目标像素点,则Za为第三参数。

步骤630,基于预设衰减速率、每个第一像素点的第三参数,以及第M帧与第K帧之间的时间间隔,计算每个第一像素点的第四参数。

其中,第四参数为第一像素点在M帧的关注点时间得分,第M帧与第K帧的时间间隔为第二时间间隔,第四参数与第二时间间隔呈负相关,也即,第M帧与第K帧之间的时间间隔越短,第一像素点在第M帧的关注点时间得分越高,第四参数越大;预设衰减速率可以根据具体需求进行设置,本申请对此不做具体限定。

在一个实施例中,可以基于公式(6)计算第一像素点P的第四参数Zb。

Zb=max(S(Za–μ*(t-t1)),0)(6)

其中,Za为第三参数,t为第M帧,t1为第K帧,μ为预设衰减速率,S为预设衰减函数,例如可以为公式(3)所示的归一化函数。

步骤640,对于每个第一像素点,确定第二参数和第四参数中的最大值为关注度参数。

在本申请实施例中,考虑到第一像素点的关注度得分,与第一像素点距离用户在当前第M帧画面中关注的像素点位置的远近有关,本申请确定用户在第M帧画面中注视的第一目标像素点,依据第M帧画面中每个第一像素点与第一目标像素点的距离,确定每个第一像素点在第一目标帧的关注度得分,得到第二参数。考虑到第一像素点的关注度得分,还与第一像素点距离用户在之前的第K帧画面中关注的像素点位置的远近有关,本申请确定用户在第K帧画面中注视的第二目标像素点,依据第K帧画面中每个第一像素点与第二目标像素点的距离,确定每个第一像素点在K帧的关注度得分,由于该关注度得分具有时间衰减性,因此基于预设衰减速率,以及第M帧与第K帧的时间间隔,对每个第一像素点在第K帧的关注度得分叠加衰减效果,得到准确度更高的第四参数。基于此,通过从第二参数和第四参数中的最大值为关注度参数,提升关注度参数的准确性,使关注度参数更好地反映用户对每个第一像素点的关注程度。

在一些实施例中,若检测到多个用户,可以结合人脸识别系统,识别用户个人身份,结合用户个人身份,为每个用户的关注度参数赋予不同的权重系数,基于多个用户对每个第一像素点的关注度参数及其对应的权重系数,计算每个第一像素点的关注度参数。

示例性地,在视频会议中,可以根据主讲人、职级、参会身份等,确定屏幕前参会人的身份,为每个参会人的关注度参数赋予不同的权重系数,比如主讲人和领导的权重系数较高;在观看视频时,可以根据屏幕前人员的行为、性别、年龄,确定视频的主要观看者,比如主要观看者是家长还是儿童,从而为主要观看者的关注度参数赋予较高的权重系数。

在本申请的一些实施例中,可以为单帧静态参数、多帧动态参数和关注度参数赋予相应的预设权重,在计算第一参数时,结合相应的预设权重进行计算。

示例性地,可以按照一定规则赋予预设权重,例如单帧静态参数对应预设权重W1、多帧动态参数对应预设权重W2、关注度参数对应预设权重W3,W1>W2>W3,W1=0.5,W2=0.3,W3=0.2。

在本申请的一些实施例中,为了提升第一参数所表征第一像素点的重要度的准确性,该方法还可以包括:基于预设高斯分布函数获取初始化权重;基于梯度下降法对初始化权重进行优化,得到第一权重、第二权重和第三权重;步骤340基于每个第一像素点的关注度参数、单帧静态参数和多帧动态参数,计算每个第一像素点的第一参数,可以具体包括:将第一权重、第二权重和第三权重分别作为单帧静态参数、多帧动态参数和关注度参数的权重系数,计算单帧静态参数、多帧动态参数和关注度参数的和值,得到第一参数。

在一些实施例中,预设高斯分布函数g

其中,ε、σ为高斯分布的参数。

在一些实施例中,基于梯度下降法对初始化权重进行优化可以包括:对目标函数进行训练;利用梯度下降法求取目标函数的最优解。

具体地,目标函数Obj可以如公式(8)所示:

Obj=min(score(x,y)-score(x`,y`),0)(8)

其中,(x,y)与(x`,y`)为在预设画面中随机选取的任意两个像素点,*(score1,score2,score3),score1、score2和score3为(x,y)对应的单帧静态参数、多帧动态参数和关注度参数;*(score1`,score2`,score3`),score1`、score2`和score3`为(x`,y`)对应的单帧静态参数、多帧动态参数和关注度参数;w1和w2为初始化权重。

在一些实施例中,在(x`,y`)比(x,y)更重要的情况下,使(x,y)的权重尽量小,进而使score(x,y)尽量小,score(x,y)-score(x`,y`)取到最小值。

在本申请实施例中,利用梯度下降法对初始化权重进行优化,能够提升优化后的权重系数与单帧静态参数、多帧动态参数和关注度参数的适配性,基于此,将第一权重、第二权重和第三权重分别作为单帧静态参数、多帧动态参数和关注度参数的权重系数,计算单帧静态参数、多帧动态参数和关注度参数的和值,能够提升第一参数的准确性。

涉及步骤130,基于N个第一像素点的第一参数,确定第一画面中的第一区域。

在本申请的一些实施例中,为了进一步改善主界面内容的显示效果,步骤130可以具体包括:确定N个第一像素点中,第一参数大于第二参数阈值的第三目标像素点;确定区域内不包括第三目标像素点,且区域内第一像素点的第一参数的和值小于第一参数阈值的区域为所述第一区域。

其中,第二参数阈值可以根据具体需求进行设置,本申请对此不做具体限定。

示例性地,如图2所示,目标像素点包括P1、P2和P3,则电子设备在确定第一区域时,可以避开P1、P2和P3,将不包含P1、P2和P3的区域确定为第一区域。

在本申请实施例中,为了使窗口显示区域能够尽可能地不遮挡重要显示内容,本申请可以基于第一参数确定出第一画面中重要度较高的第三目标像素点,并保证第一区域可以避开第三目标像素点,从而降低第一区域遮挡重要显示内容的概率,进一步改善主界面内容的显示效果。

在一些实施例中,步骤130可以具体包括:从第一画面的左上角,选择第一个第一像素点(x0,y0),作为区域的左上角,然后按照窗口尺寸比例扩大,直到到达第一个目标像素点,或者区域中所有第一像素点的第一参数之和达到了第一参数阈值,得到以第一像素点(x0,y0)作为左上角的第一区域F0。然后,遍历第一画面中的所有像素点,得到所有可实现的第一区域F0…Fn,并从F0至Fn中获取面积最大的第一区域Fmax,作为最终的窗口显示区域。

需要说明的是,本申请实施例提供的显示区域确定方法,执行主体可以为显示区域确定装置,或者该显示区域确定装置中的用于执行显示区域确定的方法的控制模块。本申请实施例中以显示区域确定装置执行显示区域确定方法为例,说明本申请实施例提供的显示区域确定装置。下面对显示区域确定装置进行详细介绍。

图7是本申请提供的一种显示区域确定装置的结构示意图。

如图7所示,本申请实施例提供一种显示区域确定装置700,该显示区域确定装置700包括:获取模块710和确定模块720。

其中,获取模块710,用于获取第一画面中的N个第一像素点;确定模块720,用于基于N个第一像素点,确定N个第一像素点的第一参数,第一参数用于表征第一像素点的重要度;确定模块720,还用于基于N个第一像素点的第一参数,确定第一画面中的第一区域,其中,第一区域中的第一像素点的第一参数的和值小于第一参数阈值,第一区域的数量大于1,且尺寸比例相同;确定模块720,还用于确定面积最大的第一区域为窗口显示区域。

本申请实施例提供的显示区域确定装置,获取第一画面中N个第一像素点,基于N个第一像素点,确定N个第一像素点的第一参数,第一参数可以用于表征第一像素点的重要度。基于此,本申请可以从第一画面中选取多个相同尺寸比例的第一区域,且该第一区域内所有第一像素点的第一参数的和值小于第一参数阈值,也即,该第一区域中所有第一像素点的重要度不高。如此,本申请选取多个相同尺寸比例的第一区域中面积最大的第一区域为窗口显示区域,通过在该窗口显示区域中显示窗口内容,降低遮挡第一画面中重要显示内容的概率,改善第一画面的显示效果,同时能够改善因窗口显示区域较小,窗口内容显示不清晰的情况,提升窗口内容的显示效果。

在本申请的一些实施例中,第一画面包括M帧画面,确定模块720包括:确定子模块,用于基于第M帧画面中N个第一像素点的像素值,确定N个第一像素点的单帧静态参数,单帧静态参数用于表征第一像素点与邻近像素点的色彩差异度;确定子模块,还用于基于M帧画面中N个第一像素点的像素值,确定N个第一像素点的多帧动态参数,多帧动态参数用于表征第一像素点的像素值变化度;确定子模块,还用于根据人眼跟踪与视线检测算法,确定每个第一像素点的关注度参数,关注度参数用于表征用户对第一像素点的关注度;确定子模块,还用于基于关注度参数、单帧静态参数和多帧动态参数,确定每个第一像素点的第一参数。

在本申请的一些实施例中,确定子模块具体用于:基于第M帧画面中N个第一像素点的坐标,确定每个第一像素点的邻近像素点,其中,邻近像素点与第一像素点的距离小于预设距离阈值;基于第一像素点及其邻近像素点的像素值,以及第一像素点与邻近像素点之间的第一距离,确定单帧静态参数。

在本申请的一些实施例中,第M帧为第一目标帧,确定子模块具体包括:确定单元,用于基于第一像素点在M帧画面中的M个像素值,确定每个第一像素点在目标坐标系中对应的M个数据点,目标坐标系为像素值与时间的坐标系;确定单元,还用于确定M个数据点中第一目标帧对应的第一数据点;建立单元,用于建立第一数据点对应的跳变检测框,跳变检测框的右边的中心位置为第一数据点;确定单元,还用于根据落入跳变检测框的数据点的第一数量,确定第一像素点的多帧动态参数。

在本申请的一些实施例中,确定单元具体用于:在第一数量小于或等于第一数量阈值的情况下,确定第一像素点在第一目标帧中的状态为跳变状态;在第一像素点在第一目标帧中的状态为跳变状态的情况下,确定第一像素点的多帧动态参数为1;在第一数量大于第一数量阈值的情况下,确定与第一目标帧对应的第二目标帧,其中,第二目标帧与第一目标帧的时间间隔最短,且为位于第一目标帧的时刻之前的帧,第二目标帧中第一像素点的状态为跳变状态;基于预设跳变有效期,以及第一目标帧与第二目标帧的时间间隔,计算第一像素点的多帧动态参数。

在本申请的一些实施例中,确定子模块具体用于:根据人眼跟踪与视线检测算法,确定用户在第M帧画面的N个第一像素点中注视的第一目标像素点,以及在第K帧画面的N个第一像素点中注视的第二目标像素点,第K帧在第M帧之前;基于第M帧画面中每个第一像素点与第一目标像素点的第二距离,计算每个第一像素点的第二参数,并基于第K帧画面中每个第一像素点与第二目标像素点的第三距离,计算每个第一像素点的第三参数,其中,第二参数与第二距离呈负相关,第三参数与第三距离呈负相关;基于预设衰减速率、每个第一像素点的第三参数,以及第M帧与第K帧的时间间隔,计算每个第一像素点的第四参数;对于每个第一像素点,确定第二参数和第四参数中的最大值为关注度参数。

在本申请的一些实施例中,确定子模块具体包括:获取单元,用于基于预设高斯分布函数获取初始化权重;优化单元,用于基于梯度下降法对初始化权重进行优化,得到第一权重、第二权重和第三权重;计算单元,用于将第一权重、第二权重和第三权重分别作为单帧静态参数、多帧动态参数和关注度参数的权重系数,计算单帧静态参数、多帧动态参数和关注度参数的和值,得到第一参数。

在本申请的一些实施例中,确定模块720具体用于:确定N个第一像素点中,第一参数大于第二参数阈值的第三目标像素点;确定区域内不包括第三目标像素点,且区域内第一像素点的第一参数的和值小于第一参数阈值的区域为所述第一区域。

本申请实施例提供的显示区域确定装置能够实现图1-图6的方法实施例中电子设备所实现的各个过程,为避免重复,这里不再赘述。

本申请实施例中的显示区域确定装置可以是电子设备,也可以是电子设备中的部件、集成电路、或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。

本申请实施例中的显示区域确定装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。

可选地,如图8所示,本申请实施例还提供一种电子设备800,包括处理器801,存储器802,存储在存储器802上并可在处理器801上运行的程序或指令,该程序或指令被处理器801执行时实现上述显示区域确定方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

需要注意的是,本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图9为本申请实施例的一种电子设备的硬件结构示意图。

该电子设备900包括但不限于:射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。

本领域技术人员可以理解,电子设备900还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器910逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等。图9中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。

其中,处理器910用于:获取第一画面中的N个第一像素点;基于N个第一像素点,确定N个第一像素点的第一参数,第一参数用于表征第一像素点的重要度;基于N个第一像素点的第一参数,确定第一画面中的第一区域,其中,第一区域中的第一像素点的第一参数的和值小于第一参数阈值,第一区域的数量大于1,且尺寸比例相同;确定面积最大的第一区域为窗口显示区域。

在本申请实施例中,获取第一画面中N个第一像素点,基于N个第一像素点,确定N个第一像素点的第一参数,第一参数可以用于表征第一像素点的重要度。基于此,本申请可以从第一画面中选取多个相同尺寸比例的第一区域,且该第一区域内所有第一像素点的第一参数的和值小于第一参数阈值,也即,该第一区域中所有第一像素点的总体重要度不高。如此,本申请选取多个相同尺寸比例的第一区域中面积最大的第一区域为窗口显示区域,通过在该窗口显示区域中显示窗口内容,降低遮挡第一画面中重要显示内容的概率,改善第一画面的显示效果,同时能够改善因窗口显示区域较小,窗口内容显示不清晰的情况,提升窗口内容的显示效果。

在本申请的一些实施例中,第一画面包括M帧画面,处理器910具体用于:基于第M帧画面中N个第一像素点的像素值,确定N个第一像素点的单帧静态参数,单帧静态参数用于表征第一像素点与邻近像素点的色彩差异度;基于M帧画面中N个第一像素点的像素值,确定N个第一像素点的多帧动态参数,多帧动态参数用于表征第一像素点的像素值变化度;根据人眼跟踪与视线检测算法,确定每个第一像素点的关注度参数,关注度参数用于表征用户对第一像素点的关注度;基于关注度参数、单帧静态参数和多帧动态参数,确定每个第一像素点的第一参数。

在本申请的一些实施例中,处理器910具体用于:基于第M帧画面中N个第一像素点的坐标,确定每个第一像素点的邻近像素点,其中,邻近像素点与第一像素点的距离小于预设距离阈值;基于第一像素点及其邻近像素点的像素值,以及第一像素点与邻近像素点之间的第一距离,确定单帧静态参数。

在本申请的一些实施例中,第M帧为第一目标帧,处理器910具体用于:基于第一像素点在M帧画面中的M个像素值,确定每个第一像素点在目标坐标系中对应的M个数据点,目标坐标系为像素值与时间的坐标系;确定M个数据点中第一目标帧对应的第一数据点;建立第一数据点对应的跳变检测框,跳变检测框的右边的中心位置为第一数据点;根据落入跳变检测框的数据点的第一数量,确定第一像素点的多帧动态参数。

在本申请的一些实施例中,处理器910具体用于:在第一数量小于或等于第一数量阈值的情况下,确定第一像素点在第一目标帧中的状态为跳变状态;在第一像素点在第一目标帧中的状态为跳变状态的情况下,确定第一像素点的多帧动态参数为1;在第一数量大于第一数量阈值的情况下,确定与第一目标帧对应的第二目标帧,其中,第二目标帧与第一目标帧的时间间隔最短,且为位于第一目标帧的时刻之前的帧,第二目标帧中第一像素点的状态为跳变状态;基于预设跳变有效期,以及第一目标帧与第二目标帧的时间间隔,计算第一像素点的多帧动态参数。

在本申请的一些实施例中,处理器910具体用于:根据人眼跟踪与视线检测算法,确定用户在第M帧画面的N个第一像素点中注视的第一目标像素点,以及在第K帧画面的N个第一像素点中注视的第二目标像素点,第K帧在第M帧之前;基于第M帧画面中每个第一像素点与第一目标像素点的第二距离,计算每个第一像素点的第二参数,并基于第K帧画面中每个第一像素点与第二目标像素点的第三距离,计算每个第一像素点的第三参数,其中,第二参数与第二距离呈负相关,第三参数与第三距离呈负相关;基于预设衰减速率、每个第一像素点的第三参数,以及第M帧与第K帧的时间间隔,计算每个第一像素点的第四参数;对于每个第一像素点,确定第二参数和第四参数中的最大值为关注度参数。

在本申请的一些实施例中,处理器910具体用于:基于预设高斯分布函数获取初始化权重;基于梯度下降法对初始化权重进行优化,得到第一权重、第二权重和第三权重;将第一权重、第二权重和第三权重分别作为单帧静态参数、多帧动态参数和关注度参数的权重系数,计算单帧静态参数、多帧动态参数和关注度参数的和值,得到第一参数。

在本申请的一些实施例中,处理器910具体用于:确定N个第一像素点中,第一参数大于第二参数阈值的第三目标像素点;确定区域内不包括第三目标像素点,且区域内第一像素点的第一参数的和值小于第一参数阈值的区域为所述第一区域。

应理解的是,本申请实施例中,输入单元904可以包括图形处理器(GraphicsProcessing Unit,GPU)9041和麦克风9042,图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072中的至少一种。触控面板9071,也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。

存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、N个所需的应用程序或指令(比如声音播放、图像播放等)等。此外,存储器909可以包括易失性存储器或非易失性存储器,或者,存储器909可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器909包括但不限于这些和任意其它适合类型的存储器。

处理器910可包括一个或多个处理单元;可选地,处理器910集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器910中。

本申请实施例还提供一种可读存储介质,可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述显示区域确定方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

其中,处理器为上述实施例中的电子设备中的处理器。可读存储介质,包括计算机可读存储介质,计算机可读存储介质的示例包括非暂态计算机可读存储介质,如计算机只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现上述显示区域确定方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述显示区域确定方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行,还可包括根据所涉及的按基本同时的方式或按相反的顺序来执行,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

技术分类

06120115937019