界面布局方法、装置、终端设备及存储介质

技术领域

本公开涉及终端设备技术领域，尤其涉及一种界面布局方法、装置、终端设备及存储介质。

背景技术

随着终端设备智能化发展，终端设备可以采集用户的布局信息(例如，用户设置的控件位置、控件大小等)，对应用程序的待布局界面进行自定义布局。

相关技术中，在对待布局界面进行自定义布局时，通常需要用户在待布局界面中进行若干次触控操作，而后，终端设备参考用户针对待布局界面的触控操作，对待布局界面进行自定义布局。

这种方式下，界面布局过程较为繁琐，容易引入较多的触控操作偏差，导致界面布局效果不佳。

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本公开的目的在于提出一种界面布局方法、装置、终端设备、存储介质及计算机程序产品，能够有效提升界面布局的便捷性，避免引入触控操作偏差，有效提升界面布局效果。

本公开第一方面实施例提出的界面布局方法，包括：获取待布局界面，其中，待布局界面是对自定义界面采集第一图像，并根据第一图像的第一触控特征对自定义界面设置得到，自定义界面表示应用程序中待自定义布局的界面；接收布局指令，其中，布局指令包括：布局信息；根据布局信息对待布局界面进行自定义布局，得到目标界面。

本公开第二方面实施例提出的界面布局装置，包括：获取模块，用于获取待布局界面，其中，待布局界面是对自定义界面采集第一图像，并根据第一图像的第一触控特征对自定义界面设置得到，自定义界面表示应用程序中待自定义布局的界面；接收模块，用于接收布局指令，其中，布局指令包括：布局信息；以及布局模块，用于根据布局信息对待布局界面进行自定义布局，得到目标界面。

本公开第三方面实施例提出的终端设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如本公开第一方面实施例提出的界面布局方法。

本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的界面布局方法。

本公开第五方面实施例提出了一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行如本公开第一方面实施例提出的界面布局方法。

本公开提供的界面布局方法、装置、终端设备、存储介质及计算机程序产品，通过获取待布局界面，其中，待布局界面是对自定义界面采集第一图像，并根据第一图像的第一触控特征对自定义界面设置得到，自定义界面表示应用程序中待自定义布局的界面，并接收布局指令，其中，布局指令包括：布局信息，根据布局信息对待布局界面进行自定义布局，得到目标界面，能够有效提升界面布局的便捷性，避免引入触控操作偏差，有效提升界面布局效果。

本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1a是本公开一实施例提出的界面布局方法的流程示意图；

图1b是本公开另一实施例提出的界面布局方法的流程示意图；

图2是本公开另一实施例提出的界面布局方法的流程示意图；

图3是本公开实施例中第一图像或第二图像效果示意图；

图4是本公开另一实施例提出的界面布局方法的流程示意图；

图5是本公开实施例中设置信息确定模型的结构示意图；

图6是本公开一实施例提出的界面布局装置的结构示意图；

图7示出了适于用来实现本公开实施方式的示例性终端设备的框图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

图1a是本公开一实施例提出的界面布局方法的流程示意图。

本实施例以界面布局方法被配置为界面布局装置中来举例说明，本实施例中界面布局方法可以被配置在界面布局装置中，界面布局装置可以设置在服务器中，或者也可以设置在终端设备中，本公开实施例对此不作限制。

本实施例以界面布局方法被配置在终端设备中为例。其中，终端设备例如智能手机、平板电脑、个人数字助理、电子书等具有各种操作系统的硬件设备。

需要说明的是，本公开实施例的执行主体，在硬件上可以例如为服务器或者终端设备中的中央处理器(Central Processing Unit，CPU)，在软件上可以例如为服务器或者终端设备中的相关的后台服务，对此不作限制。

如图1a所示，该界面布局方法，包括：

S101a：获取待布局界面，其中，待布局界面是对自定义界面采集第一图像，并根据第一图像的第一触控特征对自定义界面设置得到，自定义界面表示应用程序中待自定义布局的界面。

其中，当前待进行布局的界面，可以被称为待布局界面，待布局界面，例如可以为游戏类应用程序中支持自定义布局的一个界面。

本公开实施例中所展示的待布局界面，可以是已基于自定义界面优化设置得到，其中，自定义界面可以理解为应用程序中支持自定义布局的初始界面，相关技术中，通常是在该初始界面中支持用户的自定义布局，而本公开实施例中，可以在支持自定义布局之前，预先对自定义界面进行优化设置，而优化设置所得界面，即可以被称为待布局界面，以基于待布局界面支持用户的自定义布局。

而在优化设置的过程中，可以对自定义界面采集第一图像，并根据第一图像的第一触控特征对自定义界面设置得到，第一图像，可以是检测用户在自定义界面中的触控操作所得的触控图像，而后可以根据第一图像的第一触控特征对自定义界面进行初始布局调整，或者，还可以是参考海量用户对自定义界面进行触控操作的历史图像作为第一图像，而后基于海量的第一图像对自定义界面进行初始布局调整。

也即是说，本公开实施例中支持基于自定义界面采集第一图像，而后自动分析第一图像的第一触控特征，以对自定义界面进行初始布局调整，由此，由于支持自定义布局的待布局界面是已优化设置所得，从而当用户基于待布局界面进行自定义布局时，能够有效提升界面布局的便捷性，避免引入触控操作偏差，有效提升界面布局效果。

S102a：接收布局指令，其中，布局指令包括：布局信息。

上述在展示已初始优化设置的待布局界面之后，可以执行自定义布局过程，即可以监听用户是否在该待布局界面中输入布局指令，比如，对待布局界面中某个控件的位置、大小进一步进行个性化调整，则用于表示用户自定义布局意图的信息，可以被称为布局信息。

S103a：根据布局信息对待布局界面进行自定义布局，得到目标界面。

上述在展示已初始优化设置的待布局界面，并接收布局指令，以及从布局指令中解析得到布局信息之后，可以根据布局信息对待布局界面进行自定义布局，得到目标界面。

本实施例中，通过获取待布局界面，其中，待布局界面是对自定义界面采集第一图像，并根据第一图像的第一触控特征对自定义界面设置得到，自定义界面表示应用程序中待自定义布局的界面，并接收布局指令，其中，布局指令包括：布局信息，根据布局信息对待布局界面进行自定义布局，得到目标界面，能够有效提升界面布局的便捷性，避免引入触控操作偏差，有效提升界面布局效果。

图1b是本公开另一实施例提出的界面布局方法的流程示意图。

如图1b所示，该界面布局方法，包括：

S101b：基于自定义界面采集第一图像。

其中，第一图像，可以是检测用户在自定义界面中的触控操作所得的触控图像，或者，还可以是参考海量用户对自定义界面进行触控操作的历史图像作为第一图像，对此不做限制。

S102b：确定第一图像的第一触控特征。

上述在获取第一图像和第二图像之后，可以确定第一图像的第一触控特征，其中，用于表示用户对自定义界面触控操作相关的特征，可以被称为第一触控特征，用于表示用户对参考界面触控操作相关的特征，可以被称为第二触控特征，用户对参考界面触控操作的第二图像，可以是预先采集得到，相应的，也可以预先分析得到用户对参考界面触控操作相关的第二触控特征，比如，可以在线下捕获第二图像，并预先分析得到用户对参考界面触控操作相关的第二触控特征，以支持线上对自定义界面进行优化设置时，能够直接提供用户对参考界面触控操作相关的第二触控特征，针对第二触控特征的分析过程，可以与第一触控特征的分析过程类似，本公开实施例中，针对第一图像的第一触控特征作出分析过程说明：

一些实施例中，在确定第一图像的第一触控特征时，可以对第一图像进行特征分析，基于第一图像确定用户的触控操作的位置、形状、角度等特征作为第一触控特征，或者，也可以将第一图像输入至特征分析模型中，基于特征分析模型分析得到第一图像的第一触控特征，该第一触控特征中可以包含用户对自定义界面的触控操作相关的信息，对此不做限制。

一些实施例中，在确定第二图像的第二触控特征时，可以对第二图像进行特征分析，基于第二图像确定用户的触控操作的位置、形状、角度等特征作为第二触控特征，或者，也可以将第二图像输入至特征分析模型中，基于特征分析模型分析得到第二图像的第二触控特征，该第二触控特征中可以包含用户对参考界面的触控操作相关的信息，对此不做限制。

S103b：获取应用程序所属终端设备中的参考界面的第二图像，其中，第二图像具有第二触控特征。

也即是说，可以获取第一图像和第二图像，其中，第一图像是基于自定义界面采集得到，第二图像基于应用程序所属终端设备中的参考界面采集得到，第二图像具有第二触控特征。

其中，参考界面，可以是在对自定义界面进行优化设置时作为比对参考的界面，该参考界面可以是其他任意可能的应用程序中的界面，该参考界面的数量可以为一个或者多个，并且参考界面可以和自定义界面是属于相同或者不同的应用程序，本公开实施例中的参考界面可以是终端设备中任意能够响应用户触控操作的界面，对此不做限制。

其中，可以是检测用户在参考界面中的触控操作所得的触控图像，其中，由于参考界面的数量可以是一个或者多个，相应的，第二图像的数量也可以是一个或者多个，对此不做限制。

上述基于参考界面所采集的第二图像，可以是在用户使用终端设备的过程中，基于每个参考界面动态采集用户的触控图像所得，预先采集到与每个参考界面对应的触控图像之后，可以构建基础数据集，该基础数据集中可以包括基于若干个参考界面采集所得触控图像，而后，当检测对自定义界面进行优化设置的过程中，可以从基础数据集中选择一些触控图像作为第二图像，并采集用户基于自定义界面的触控操作所产生的新触控图像，作为第一图像，则在对自定义界面进行优化设置时，由于基于参考界面的触控图像通常能够包含用户的触控习惯信息，当结合基于参考界面的触控图像，以及基于自定义界面的新触控图像来支持对自定义界面进行优化设置，能够有效地提升界面布局的准确性和便捷性。

S104b：根据第一图像、第一触控特征，第二图像、以及第二触控特征对自定义界面进行设置，得到待布局界面。

以自定义界面包括一个或者多个待设置控件，对自定义界面进行设置的方式是对其中的一个或者多个待设置控件的位置、形状进行初始微调整进行示例，当然，也可以是对自定义界面中的图标、触控自定义界面所触发跳转至的落地页面，或者自定义界面中的多模态内容进行设置，对此不做限制。

一些实施例中，可以根据第一图像、第二图像、第一触控特征，以及第二触控特征，确定待设置控件的目标位置和/或目标形状，并将待设置控件调整至目标形状，以及待设置控件在自定义界面中的位置调整至目标位置，以实现对自定义界面进行设置。

另一些实施例中，还可以根据第一图像、第二图像、第一触控特征，以及第二触控特征，确定自定义界面的设置信息，设置信息比如界面设置板式、设置样式、色彩等信息，而后，基于设置信息对自定义界面进行调整，对此不做限制。

当然，也可以采用其他任意可能的方式实现根据第一图像、第二图像、第一触控特征，以及第二触控特征对自定义界面进行设置，比如，人工智能方式、数学算法方式等等，对此不做限制。

S105b：接收布局指令，其中，布局指令包括：布局信息。

S106b：根据布局信息对待布局界面进行自定义布局，得到目标界面。

针对S105b-S106b的描述说明可以参见上述实施例，在此不再赘述。

本实施例中，通过获取第一图像和第二图像，第二图像具有第二触控特征，并确定第一图像的第一触控特征，以及根据第一图像、第二图像、第一触控特征，以及第二触控特征对自定义界面进行设置，由于基于参考界面的触控图像通常能够包含用户的触控习惯信息，当结合基于参考界面的触控图像，以及基于自定义界面的新触控图像来支持对自定义界面进行初始优化设置时，能够有效地提升优化设置的准确性和便捷性。通过获取待布局界面，其中，待布局界面是对自定义界面采集第一图像，并根据第一图像的第一触控特征对自定义界面设置得到，自定义界面表示应用程序中待自定义布局的界面，并接收布局指令，其中，布局指令包括：布局信息，根据布局信息对待布局界面进行自定义布局，得到目标界面，能够有效提升界面布局的便捷性，避免引入触控操作偏差，有效提升界面布局效果。

图2是本公开另一实施例提出的界面布局方法的流程示意图。

如图2所示，该界面布局方法，包括：

S201：基于自定义界面采集第一图像，第一图像至少包括一次触控操作。

S202：从至少一帧第一图像中识别得到第一触控子图像，其中，第一触控子图像是第一图像中被触控的区域所对应局部图像。

其中，终端设备的界面中通常包含一块能够响应用户触控操作的区域，该区域的尺寸可以是与终端设备的显示屏界面的尺寸相同，或者，该区域的尺寸也可以是小于终端设备的显示屏界面的尺寸，对此不做限制。

上述第一图像和/或第二图像，可以是对界面中能够响应用户触控操作的区域捕获得到，如图3所示，图3是本公开实施例中第一图像或第二图像效果示意图。即终端设备中能够响应用户触控操作的区域是图3中矩形区域，该区域可以是自定义界面或参考界面中的部分区域，或者也可以是自定义界面或参考界面中整体的区域，对此不做限制，当用户在该区域产生触控操作时，可以捕获触控图像作为第一图像或第二图像。

本公开实施例中，第一图像至少包括一次触控操作，第一图像的帧数可以是至少一帧，至少一帧第一图像对应连续的一次触控操作，即至少一帧第一图像可以被视为一个第一图像组，该第一图像组中包含多帧第一图像，不同帧第一图像对应一次触控操作中不同的接触时间点，例如一帧第一图像对应的用户手指与自定义界面相接触，另一帧第一图像对应的用户手指向自定义界面施加压力最大，第三帧第一图像对应的用户手指轻触自定义界面(触控压力小于所施加最大压力)，对此不做限制。

其中，第一触控子图像可以是第一图像中被触控的区域所对应局部图像，如图3中所示的灰色区域对应的图像，本公开实施例中，针对第二图像以及第二触控子图像的举例说明可以一并参见图3，以及针对第一图像和第一触控子图像的解释说明，在此不再赘述。

本公开实施例中，在从每帧第一图像中识别得到第一触控子图像时，可以是确定与第一图像中的每个像素点对应的检测电流，其中，检测电流表示在自定义界面中与像素点对应的界面位置处被触控时的电流，并从多个检测电流中确定最大检测电流，以及在最大检测电流大于检测电流阈值的情况下，则基于最大检测电流所属的像素点，确定第一触控子图像，能够提升所得第一触控子图像的检测准确性，保证用户触控习惯分析的准确性，支持提升界面布局准确性。

本公开实施例中，基于最大检测电流所属的像素点，确定第一触控子图像，可以是根据所属的像素点，从第一图像中识别被触控的区域，并将被触控的区域所对应局部图像作为第一触控子图像，实现快速地基于最大检测电流所属的像素点识别出第一触控子图像。

举例而言，假设第一图像是一张尺寸为m*n的图像，比如36*18的图像，该第一图像是在用户向自定义界面施加触控操作时，对自定义界面捕获图像所得，第一图像中的每个像素点是从0mA到1000mA的数值，该数值表示控制显示屏进行显示的集成电路在该相应像素点的位置所产生的电流，该电流可以位于0mA到1000mA之中，当用户对自定义界面施加触控操作，则一次触控操作对应的每帧第一图像中所包含的第一触控子图像，可以被视为一个非标准圆逐渐变大的过程(例如上述图3中灰色区域部分，其对应用户触控时手指按压区域，则在连续的一次触控操作中，由于涉及至少一帧第一图像，相应的每帧第一图像中的第一触控子图像之间是一个逐渐变大，而后逐渐变小的过程)，在逐渐变大的过程中，如果其中第一子图像中最大检测电流大于一个检测电流阈值(比如最大检测电流为1000mA，检测电流阈值为100mA)时，则确定触控生效，用户触控区域中包括该最大检测电流对应的像素点上，而后，基于最大检测电流所属的像素点向外延伸一定区域(比如可以是人手指大小的区域)，将该区域作为被触控区域，并将该被触控区域对应局部图像作为第一触控子图像。

S203：根据至少一帧第一触控子图像，确定第一触控特征。

其中，在从至少一帧第一图像中识别出第一触控子图像之后，可以对第一触控子图像本身的形态特征进行识别，并识别第一触控子图像在其所属第一图像中相对的位置特征后，可以将多个形态特征和多个位置特征共同作为第一触控特征。

本公开实施例中，根据至少一帧第一触控子图像，确定第一触控特征，可以是确定至少一帧第一触控子图像的第一形态特征，以及第一触控子图像相对于第一图像的第一位置特征，并将至少一个第一形态特征和至少一个第一位置特征共同作为第一触控特征，从而能够有效保证针对第一图像所提取触控特征的全面性，提升自定义界面的设置准确性。

本公开实施例中，其中，第一形态特征包括以下至少一项：第一触控子图像的面积；第一触控子图像的尺寸。

本公开实施例中，其中，第一位置特征包括以下至少一项：第一触控子图像相对于第一图像的倾斜角度；被触控位置；中心点位置；重心位置。

举例而言，一并参见上述示例以及图3，在确定触控生效，用户触控区域中包括该最大检测电流对应的像素点上，可以根据这种数据特征，记录当前用户触控生效时触控区域面积大小(第一触控子图像的面积)，倾斜角度(第一触控子图像相对于第一图像的倾斜角度)，按压位置(被触控位置)，中心点坐标(长短边交点，即中心点位置)，重心坐标(最大检测电流所对应像素点的坐标，即重心位置)，长边宽度(第一触控子图像的尺寸)，短边宽度(第一触控子图像的尺寸)，最小值，最大值，均值，方差，四分位距(InterquartileRange，IQR)(75％大-25％大的值)，其中，最小值，最大值，均值，方差，四分位距均可以属于第一触控子图像的尺寸，而后将连续的一次触控操作，即触控区域的图形从小到大，再到小的过程记录为一组第一图像，每一组第一图像中包括：触控开始，触控操作施加的压力最大，触控结束的三帧第一图像，将该三帧第一图像涉及的第一触控特征作为一组进行记录。

S204：获取候选图像，其中，候选图像是基于至少一个参考界面采集，候选图像具有候选触控特征。

本公开实施例中，候选图像可以是属于一个基准数据集，候选图像可以是基于每个参考界面采集，比如可以是在用户正常使用一些应用程序的界面时，可以在检测到用户触控操作时，针对该界面捕获一帧候选图像，针对候选图像分析候选触控特征的方式，可以一并参见上述针对第一图像分析第一触控特征的方式，在基于一个或者多个参考界面采集大量候选图像后，可以基于候选图像和其对应的候选触控特征构建基础数据集，以支持在线上设置自定义界面的过程中，可以从该基础数据集中获得作为参考的第二图像以及第二图像特征。

上述在构建基础数据集的过程中，还可以通过中心点坐标和倾斜方向判断是左手触控还是右手触控，选其中置信度较高的部分数据作为基准数据集，中心点太靠近中线或者倾斜方向和手不匹配的数据可以抛弃。

S205：从至少一个参考界面中确定与自定义界面对应的参考界面。

举例而言，为了保证针对自定义界面布局的准确性，可以确定每个参考界面是否与自定义界面相匹配，比如二者是否位于终端设备显示屏界面中相同或者相应的位置区域，可以将与自定义界面相匹配的参考界面，作为与自定义界面对应的参考界面，即考虑了用户在相同或者相应的位置区域触控显示屏界面时，通常会具有触控操作习惯的一致性，能够提升第二图像以及第二触控特征的参考价值，提升界面布局的准确性。

S206：将基于对应的参考界面采集所得候选图像作为第二图像，其中，所得候选图像的候选触控特征被作为第二图像的第二触控特征。

上述在从至少一个参考界面中确定与自定义界面对应的参考界面之后，可以将基于对应的参考界面采集所得候选图像作为第二图像，并将所得候选图像的候选触控特征作为第二触控特征。

本公开实施例中，第二图像至少包括一次触控操作，第二图像的帧数是至少一帧，至少一帧第二图像属于连续的一次触控操作，第二触控特征包括：至少一个第二形态特征和至少一个第二位置特征；其中，第二形态特征是第二触控子图像的形态特征，第二位置特征是第二触控子图像在第二图像中的位置特征，第二触控子图像是第二图像中被触控的区域所对应局部图像。

本公开实施例中，针对第二图像、第二触控子图像、第二形态特征，以及第二位置特征的举例说明可以一并参见图3，以及针对第一图像、第一触控子图像、第一形态特征，以及第一位置特征的解释说明，在此不再赘述。

本公开实施例中，其中，第二形态特征包括以下至少一项：第二触控子图像的面积；第二触控子图像的尺寸。

本公开实施例中，其中，第二形态特征包括以下至少一项：第二触控子图像相对于第二图像的倾斜角度；被触控位置；中心点位置；重心位置。

从而能够有效保证针对第二图像所提取第二触控特征的全面性，提升第二图像以及第二图像特征在自定义界面的优化设置过程中的参考价值，提升自定义界面的优化设置的准确性。

也即是说，本公开实施例中，在对自定义界面进行布局时，通过与预先构建基础数据集相同或者相应的方法采集针对自定义界面的至少一帧第一图像(可以属于连续的一次触控操作)，并分析第一图像中的第一触控子图像自身的形态特征，以及第一触控子图像相对于第一图像的位置特征，以形成第一触控特征，建立单应用程序的数据集。自定义界面中支持用户自行选择布局至少一个控件的位置和尺寸，以最后设置作为数据集输出。可以将用户针对该自定义界面的触控操作所产生的第一图像、第一触控特征，联合从基准数据集中随机抽取指定数量(比如A个)的第二图像以及其对应的第二触控特征，如果单应用程序的数据集中包含多组第一图像，每组第一图像指示其属于连续的一次触控操作，则可以从多组第一图像中随机选取指定数量(比如B个)的第一图像以及其对应的第一触控特征，而后，可以结合第一图像、第二图像、第一触控特征，以及第二触控特征分析得到自定义界面中至少一个控件的置和尺寸，对此不做限制。

S207：根据第一图像、第一触控特征，第二图像、以及第二触控特征对自定义界面进行设置，得到待布局界面。

以自定义界面包括一个或者多个待设置控件，对自定义界面进行设置的方式是对其中的一个或者多个待设置控件的位置、形状进行微调整进行示例，当然，也可以是对自定义界面中的图标、触控自定义界面所触发跳转至的落地页面，或者自定义界面中的多模态内容进行优化设置，对此不做限制。

S208：接收布局指令，其中，布局指令包括：布局信息。

S209：根据布局信息对待布局界面进行自定义布局，得到目标界面。

针对S208-S209的描述说明可以具体参见上述实施例，在此不再赘述。

本实施例中，通过获取第一图像和第二图像，并确定第一图像的第一触控特征，以及根据第一图像、第二图像、第一触控特征，以及第二图像的第二触控特征对自定义界面进行优化设置，由于基于参考界面的触控图像通常能够包含用户的触控习惯信息，当结合基于参考界面的触控图像，以及基于自定义界面的新触控图像来支持对自定义界面进行优化设置时，能够有效地提升优化设置的准确性和便捷性。为了保证针对自定义界面优化设置的准确性，可以确定每个参考界面是否与自定义界面相匹配，比如二者是否位于终端设备显示屏界面中相同或者相应的位置区域，可以将与自定义界面相匹配的参考界面，作为与自定义界面对应的参考界面，即考虑了用户在相同或者相应的位置区域触控显示屏界面时，通常会具有触控操作习惯的一致性，能够提升第二图像以及第二触控特征的参考价值，提升界面优化设置的准确性。能够有效保证针对第一图像所提取触控特征的全面性，提升自定义界面的优化设置的准确性。在从每帧第一图像中识别得到第一触控子图像时，可以是确定与第一图像中的每个像素点对应的检测电流，其中，检测电流表示在自定义界面中与像素点对应的界面位置处被触控时的电流，并从多个检测电流中确定最大检测电流，以及在最大检测电流大于检测电流阈值的情况下，则基于最大检测电流所属的像素点，确定第一触控子图像，能够提升所得第一触控子图像的检测准确性，保证用户触控习惯分析的准确性，支持提升界面优化设置的准确性。

图4是本公开另一实施例提出的界面布局方法的流程示意图。

如图4所示，该界面布局方法，包括：

S401：基于自定义界面采集第一图像。

S402：确定第一图像的第一触控特征。

S403：获取应用程序所属终端设备中的参考界面的第二图像，其中，第二图像具有第二触控特征。

针对S401-S403的描述说明可以具体参见上述实施例，在此不再赘述。

S404：将第一图像、第一触控特征、第二图像，以及第二触控特征输入至设置信息确定模型中，得到设置信息确定模型输出的设置信息，其中，设置信息确定模型已学习到第一图像、第一触控特征、第二图像、第二触控特征，以及设置信息之间的映射关系。

其中，设置信息确定模型，可以是预先基于基础数据集，对初始人工智能网络模型训练得到，比如可以从基础数据集中抽取多组样本图像，每组样本图像属于连续的一次触控操作，每组样本图像具有样本触控特征，以及为多组样本图像所预先标注的标注设置信息，则可以将多组样本图像，以及其样本触控特征输入至初始人工智能网络模型中，以对初始人工智能网络模型进行迭代训练，直至多次迭代训练后初始人工智能网络模型输出的预测设置信息与标注设置信息之间的损失值满足一定条件，则将训练所得初始人工智能网络模型作为设置信息确定模型，对此不做限制。

本公开实施例中，设置信息确定模型包括：第一子模型、第二子模型，以及第三子模型，如图5所示，图5是本公开实施例中设置信息确定模型的结构示意图，包括：第一子模型、第二子模型，以及第三子模型，其中，第一子模型可以用于处理第一图像和第二图像，得到图像维度的特征，该图像维度的特征可以被称为融合图像特征，第二子模型用于处理第一触控特征和第二触控特征，得到触控维度的特征，该触控维度的特征可以被称为融合触控特征，而后，可以对融合图像特征和融合触控特征进行拼接处理，并将拼接所得特征作为待处理特征，第三子模型可以用于待处理特征分析预测出最优的设置信息，则可以将待处理特征输入至第三子模型中，以获得第三子模型输出的设置信息。

本公开实施例中，可以将第一图像和第二图像输入至第一子模型中，并获得第一子模型输出的融合图像特征，并将第一触控特征和第二触控特征输入至第二子模型中，并获得第二子模型输出的融合触控特征，以及处理融合图像特征和融合触控特征，得到待处理特征，并将待处理特征输入至第三子模型中，以获得第三子模型输出的设置信息，能够有效提升设置信息的确定效率，且基于人工智能模型来确定设置信息，能够有效提升所确定设置信息的准确性。

本公开实施例中，第一图像和/或第二图像可以是灰度图，比如可以对第一图像和第二图像分别进行预处理，而后输入至一个主干网络(该主干网络，可以例如mobilenetV3，是一个轻量级神经网络，残差网络(Residual Network，Resnet)等)，得到主干网络输出的融合图像特征，其中，预处理模块和主干网络可以共同构成第一子模型，将与第一触控特征和第二触控特征输入至3层卷积网络(第二子模型)，得到融合触控特征，而后，将融合图像特征和融合触控特征进行拼接，由第三子模型(第三子模型可以包含3层全连接层)输出设置信息。

S405：根据设置信息对自定义界面进行设置，得到待布局界面。

由此，本公开实施例中，可以采用用户当前对自定义界面的第一图像，和作为参考的第二图像，以及第一触控特征和第二触控特征，共同预测得到自定义界面的设置信息，在用户待对自定义界面进行设置时，预先根据预测所得设置信息在自定义界面中对若干个控件的位置和大小进行设置，而后在设置后，再基于用户的操作进行微调，使得用户在准备自定义自定义界面时更加容易和方便，随着用户对终端设备的持续使用，还可以定期对上述基础数据集进行更新和补充，使得自定义界面的初始呈现效果能够更贴近用户的使用习惯。

本公开实施例中，其中，设置信息至少包括：至少一个候选区域被作为目标布局位置的置信度，至少一个候选区域属于自定义界面，与候选区域对应的位置调整量，位置调整量用于将与候选区域对应的初始布局位置调整至目标布局位置。

举例而言，预测所得设置信息，可以表示为a*b*(1+1+2)，含义为：a*b尺寸的候选区域的中心位置被作为控件设置位置(即目标设置位置)的置信度confidence，候选区域所对应图形(以该图形为圆形进行示例)的半径radius(比如为1)，位置调整量，例如将候选区域的中心位置移动至目标设置位置的横坐标值1和纵坐标值2，其中，a*b尺寸的候选区域可以是自定义界面当前所属应用程序预设定的值，例如，33*13，13*7，对此不做限制。

上述在将第一图像、第二图像、第一触控特征，以及第二触控特征输入至设置信息确定模型中，得到设置信息确定模型输出的设置信息之后，可以从至少一个置信度中确定最大置信度，并基于最大置信度所对应候选区域，以及所对应候选区域的位置调整量对自定义界面进行设置，得到待布局界面。

例如，可以基于位置调整量将候选区域由初始设置位置调整至目标设置位置，而后在该目标设置位置处设置相应的控件，对此不做限制。

S406：接收布局指令，其中，布局指令包括：布局信息。

S407：根据布局信息对待布局界面进行自定义布局，得到目标界面。

本实施例中，由于基于参考界面的触控图像通常能够包含用户的触控习惯信息，当结合基于参考界面的触控图像，以及基于自定义界面的新触控图像来支持对自定义界面进行优化设置时，能够有效地提升界面优化设置的准确性和便捷性，避免引入触控操作偏差，有效提升界面布局效果。将第一图像和第二图像输入至第一子模型中，并获得第一子模型输出的融合图像特征，并将第一触控特征和第二触控特征输入至第二子模型中，并获得第二子模型输出的融合触控特征，以及处理融合图像特征和融合触控特征，得到待处理特征，并将待处理特征输入至第三子模型中，以获得第三子模型输出的设置信息，能够有效提升设置信息的确定效率，且基于人工智能模型来确定设置信息，能够有效提升所确定设置信息的准确性。由于设置信息至少包括：至少一个候选区域被作为目标设置位置的置信度，至少一个候选区域属于自定义界面，与候选区域对应的位置调整量，位置调整量用于将与候选区域对应的初始设置位置调整至目标设置位置，能够有效提升设置信息描述的全面性和准确性，当基于设置信息所包含的内容对自定义界面进行优化设置时，有效地提升了界面设置效果。

图6是本公开一实施例提出的界面布局装置的结构示意图。

如图6所示，该界面布局装置60，包括：

获取模块601，用于获取待布局界面，其中，待布局界面是对自定义界面采集第一图像，并根据第一图像的第一触控特征对自定义界面设置得到，自定义界面表示应用程序中待自定义布局的界面。

接收模块602，用于接收布局指令，其中，布局指令包括：布局信息。

布局模块603，用于根据布局信息对待布局界面进行自定义布局，得到目标界面。

需要说明的是，前述对界面布局方法的解释说明也适用于本实施例的界面布局装置，此处不再赘述。

本实施例中，通过获取待布局界面，其中，待布局界面是对自定义界面采集第一图像，并根据第一图像的第一触控特征对自定义界面设置得到，自定义界面表示应用程序中待自定义布局的界面，并接收布局指令，其中，布局指令包括：布局信息，根据布局信息对待布局界面进行自定义布局，得到目标界面，能够有效提升界面布局的便捷性，避免引入触控操作偏差，有效提升界面布局效果。

图7示出了适于用来实现本公开实施方式的示例性终端设备的框图。图7显示的终端设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，终端设备12以通用计算设备的形式表现。终端设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

终端设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被终端设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。终端设备12可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。

尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。

终端设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得人体能与该终端设备12交互的设备通信，和/或与使得该终端设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，终端设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与终端设备12的其他模块通信。应当明白，尽管图中未示出，可以结合终端设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的界面布局方法。

为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开前述实施例提出的界面布局方法。

为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行如本公开前述实施例提出的界面布局方法。

需要说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。