应用程序的遍历方法、装置、电子设备和存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及人工智能和应用程序检测领域。

背景技术

在对应用程序(Application，App)进行检测的过程中，需要尽可能遍历应用程序的页面，以对页面进行检测。通常，对App页面的遍历是以页面覆盖率为遍历目标，进行全面的递归遍历。

发明内容

本公开提供了一种应用程序的遍历方法、装置、电子设备和存储介质。

根据本公开的一方面，提供了一种应用程序的遍历方法，包括：

对目标应用程序的待处理页面进行识别，得到所述待处理页面的功能信息；

在基于所述功能信息确定所述待处理页面的功能不属于已遍历功能的情况下，对所述待处理页面进行检测；

响应于完成对所述待处理页面进行检测，将所述待处理页面的功能标记为已遍历功能，并遍历所述待处理页面的至少一个子页面，将遍历到的子页面确定为新的待处理页面。

根据本公开的另一方面，提供了一种应用程序的遍历装置，包括：

第一识别模块，用于对目标应用程序的待处理页面进行识别，得到所述待处理页面的功能信息；

检测模块，用于在基于所述功能信息确定所述待处理页面的功能不属于已遍历功能的情况下，对所述待处理页面进行检测；

递归遍历模块，用于响应于完成对所述待处理页面进行检测，将所述待处理页面的功能标记为已遍历功能，并遍历所述待处理页面的至少一个子页面，将遍历到的子页面确定为新的待处理页面。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例提供的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开实施例提供的方法。

本公开实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

根据本公开的技术方案，对于应用程序中已检测的页面，会将其功能标记已遍历功能；对于遍历到的待处理页面会进行识别，确定出该页面的功能，在该功能不属于已遍历功能的情况下，才继续遍历该页面的子页面。基于此，可以在应用程序的遍历检测过程中确保功能覆盖率，并减少同种功能的页面的遍历次数，提高遍历效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开一个实施例提供的应用程序的遍历方法的示意图；

图2是本公开实施例中遍历的示意图；

图3是本公开实施例中控件识别的示意图；

图4是本公开应用程序的遍历方法的一个应用示例的示意图；

图5是本公开实施例中的识别引擎的示意图；

图6是本公开一个实施例提供的应用程序的遍历装置的示意图；

图7是本公开另一个实施例提供的应用程序的遍历装置的示意图；

图8是用来实现本公开实施例的应用程序的遍历方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了本公开一个实施例提供的应用程序的遍历方法的示意图。如图1所示，该方法可以包括：

步骤S11，对目标应用程序的待处理页面进行识别，得到待处理页面的功能信息；

步骤S12，在基于功能信息确定待处理页面的功能不属于已遍历功能的情况下，对待处理页面进行检测；

步骤S13，在完成对待处理页面进行检测的情况下，将待处理页面的功能标记为已遍历功能，并遍历待处理页面的至少一个子页面，将遍历到的子页面确定为新的待处理页面。

其中，目标应用程序为待检测的应用程序(App)，例如社交App、购物App、视频App等。

示例性地，可以利用AI(Artificial Intelligence，人工智能)技术得到识别引擎，基于识别引擎对待处理页面进行识别。该识别引擎可以用于针对输入的页面，输出对应的功能信息。

示例性地，功能信息可以包括功能的编码、名称等标识信息。实际应用中，可以创建已遍历功能列表，在将某个功能标记为已遍历功能时，将对应的功能信息添加到已遍历功能列表中。对于识别得到的功能信息，可以通过判断该功能信息是否在已遍历功能列表中，确定该功能是否属于已遍历功能。

本公开实施例中，在待处理页面的功能不属于已遍历功能的情况下，对待处理页面进行检测，并在完成检测的情况下遍历待处理页面的子页面。相应的，在待处理页面的功能属于已遍历功能的情况下，可以不对待处理页面进行检测，结束对待处理页面的遍历。也就是说，上述应用程序的遍历方法还可以包括：在未对待处理页面进行检测且待处理页面的功能属于已遍历功能的情况下，结束对待处理页面的处理。

基于此，在应用程序的遍历检测过程中，对于相同功能的页面，仅进行一次检测和子页面遍历。因此，可以避免对相同功能的页面进行无意义的多次检测和子页面遍历。例如，避免对海量功能相同的页面如购物App中的海量商品浏览页面或视频App中的海量视频页面，进行逐一的检测和子页面遍历。又如，避免对能够自动动态刷新的页面进行无限次的检测和子页面遍历。

并且，由于对待处理页面进行检测后，会遍历其子页面，因此，根据本公开实施例的方法，可以充分遍历不同功能的页面，确保对应用程序的遍历检测的功能覆盖率。

举例而言，目标应用程序可以是社交App。如图2所示，首先，将社交App的主页确定为待处理页面，由于此时主页不属于已遍历功能，因此，在对主页进行检测处理后，遍历主页下的多个子页面，包括第一对话页面、第二对话页面和设置页面等。

在遍历到第一对话页面时，将第一对话页面作为待处理页面，此时，待处理页面的功能为对话。由于对话功能不属于已遍历功能，因此，在对第一对话页面进行检测处理后，遍历第一对话页面的多个子页面，包括第一子页面和第二子页面。如果第一子页面和第二子页面的功能都不属于已遍历功能，且都不具有子页面，则在完成对第一子页面的检测时，完成对第一子页面的遍历处理，然后遍历到第二子页面；在完成对第二子页面的检测时，完成对第二子页面的遍历处理。至此，完成对第一对话页面的遍历处理。

然后，遍历到第二对话页面。由于第二对话页面的功能为对话，属于已遍历功能，则不对第二对话页面进行检测，也不遍历第二对话页面的子页面，结束对第二对话页面的处理，遍历到设置页面。

在遍历到设置页面时，由于设置页面的功能为设置，不属于已遍历功能，因此，对设置页面进行检测，并遍历其子页面。

依次类推，可以深度递归遍历到社交App中的各种功能不同的页面。

可见，根据本公开的技术方案，对于应用程序中已检测的页面，会将其功能标记已遍历功能；对于遍历到的待处理页面会进行识别，确定出该页面的功能，在该功能不属于已遍历功能的情况下，才继续遍历该页面的子页面。基于此，可以在应用程序的遍历检测过程中确保功能覆盖率，并减少同种功能的页面的遍历次数，提高遍历效率。

示例性地，在上述步骤S11中，对目标应用程序的待处理页面进行识别，得到待处理页面的功能信息，可以包括：

基于识别引擎中的图像识别模块对待处理页面中的图像信息进行识别，得到待处理页面的图像识别结果；

基于识别引擎中的自然语言理解模块对待处理页面中的文本信息进行识别，得到待处理页面的语义识别结果；

基于待处理页面的图像识别结果和语义识别结果，得到待处理页面的功能信息。

根据上述实施方式，识别引擎中包括图像识别模块和自然语言理解模块。因此，可以结合图像识别和语义识别，准确确定待处理页面的功能信息。其中，图像识别模块和自然语言处理模块都可以是深度学习模型。

例如，可以采用自动化测试框架如UiAutomator2等，获得待处理页面的截图、控件图标等图像信息以及控件中的文本等文本信息。

图像识别模块通过对待处理页面的截图整体的识别以及对控件图标的识别，能够得到待处理页面的功能类别及其子页面可能具有的功能等信息，基于这些信息输出图像识别结果。

自然语言理解模块通过对控件中文本的识别，可以理解控件中文本的语义，例如理解控件中文本所说明的控件功能，基于此输出语义识别结果。

示例性地，图像识别结果可以包括至少一种候选功能及其对应的概率得分等；语义识别结果也可以包括至少一种候选功能及其对应的概率得分等。基于图像识别结果、语义识别结果以及预先配置的权重或优先级等信息，可以从至少一种候选功能中选取出一种，作为得到最终识别结果，即得到待处理页面的功能信息。

由于利用了AI技术中的图像识别以及自然语言理解等能力，因此，能够准确识别待处理页面的功能，从而准确维护已遍历功能的信息，以及准确识别出未遍历功能并对其对应的页面进行检测，保障对应用程序进行遍历检测的功能覆盖率。

在一些实施方式中，上述应用程序的遍历方法还可以包括：

对待处理页面中的至少一个控件进行识别，得到至少一个控件的优先级次序；

基于至少一个控件的优先级次序，得到待处理页面的与至少一个控件对应的至少一个子页面的遍历次序。

相应的，根据该遍历次序遍历所述至少一个子页面。

示例性地，也可以利用具有图像识别能力和自然语言理解能力的识别引擎，对待处理页面中的至少一个控件进行识别。例如，利用图像识别模块对如图3所示的控件图标进行识别，可以识别出它们代表的功能分别是“主页”、“收藏”、“浏览”、“消息”和“个人设置”，图像识别模块可以基于他们这些功能的使用频率、使用时长等信息，对其进行排序，输出排序结果，该排序结果即这些控件的优先级次序。将控件的优先级次序确定为对应的子页面的遍历次序。例如，将图3中的各控件的优先级次序确定为：“主页”、“消息”、“浏览”、“个人设置”和“收藏”，基于此，先遍历控件“主页”所对应的子页面，再遍历控件“消息”对应的子页面，依次类推，遍历完各空间所对应的子页面。

根据上述方式，通过识别控件，可以优先遍历重要的子页面，因此，能够尽快获得重要的检测信息，优化遍历程序和效果。

实际应用中，在确定至少一个子页面的遍历次序后，可以对其中次序在前N位的子页面进行逐一遍历，放弃对次序不在前N位的子页面的遍历。其中，N为大于等于1的整数。基于此，可以提高遍历检测的效率。

作为一种示例性的实施方式，上述应用程序的遍历方法还可以包括：

在待处理页面中出现弹窗的情况下，对弹窗进行识别，得到关闭弹窗的操作方式，并采用该操作方式关闭弹窗。

示例性地，弹窗可以包括广告、提示信息和对话框等。由于应用程序的检测过程中一般会连接互联网，且需要进入待处理页面对其进行检测，因此，可能会出现弹窗。本公开实施例中，可以对弹窗进行识别，以确定关闭弹窗的操作方式。例如，可以先识别出弹窗的类型，例如广告、提示信息或对话框等；如果弹窗的类型是广告，可以识别出是全屏广告或倒计时广告等。基于不同的弹窗类型，可以确定并实施不同的操作方式，例如点击弹窗页面中的关闭按钮、点击对话框中的“同意”选项、等待倒计时等。

示例性地，也可以采用上述识别引擎对弹窗进行识别。举例而言，App运行时弹出的对话框往往包含大量文本信息，例如包含对话文本“请在使用App前仔细阅读并同意《App服务条款》”以及选项文本“同意”和“不同意”。利用识别引擎中的自然语言理解模块，可以理解其中的语义，并确定只有当点击“同意”时，才会继续显示待处理页面，因此确定关闭弹窗的处理方式为点击“同意”选项。

由于对弹窗进行了自动识别和处理，因此，可以避免因弹窗打断应用程序的遍历检测过程，提高遍历检测效率。

示例性地，在一些实施方式中，对待处理页面进行检测，可以包括：

触发待处理页面中的隐私行为，对隐私行为进行合规检测。

例如，进入待处理页面，使得应用程序执行待处理页面中的隐私行为，例如调用摄像头拍照或扫码、连接网络以及调用摄像头进行直播、调用GPS(Global PositioningSystem，全球定位系统)进行地图导航或预约出租车、调用支付软件进行网络支付等。

本公开实施例中，通过触发待处理页面中的隐私行为，可以对隐私行为进行合规检测。由于对应用程序的遍历检测的功能覆盖高，因此，对隐私行为的类型覆盖率也较高，可以进行较为全面的合规检测，保护App中的个人隐私信息。

图4示出了本公开应用程序的遍历方法的一个应用示例的示意图。如图4所示，执行主体首先获取识别引擎的识别对象。该识别对象可以是App中的待处理页面或弹窗。然后，提取识别对象的截图以及提取识别对象中的控件图像和文本。将识别对象的截图以及空间图像和文本输入识别引擎。识别引擎中包含图像识别模块和自然语言理解模块，分别对输入信息进行图像识别和语义理解，输出识别结果。

如果识别对象是待处理页面，则识别出待处理页面的功能。在该功能为已遍历功能的情况下，结束对待处理页面的处理。在该功能为未遍历功能的情况下，获取待处理页面中各控件的优先级排序，基于优先级排序确定各子页面的遍历次序，再基于该遍历次序，遍历各子页面。

如果识别对象是弹窗，则找到关闭弹窗的操作方式，采用该操作方式处理弹窗。

图5示出了识别引擎的功能示意图。如图5所示，识别引擎的识别对象可以包括待处理页面和弹窗。其中，待处理页面可以包括App主页和/或会调用隐私行为的业务功能页面。弹窗可以包括对话框和广告。

其中，对于App主页，可以从中识别App所包含的各种业务功能类型以及主页中的主要功能入口，并对功能入口的重要性进行排序。根据App所包含的各种业务功能类型以及功能入口的重要性排序，获得排序后的功能入口列表，将其作为识别结果进行输出。这里，功能入口的表现形式可以是页面中的控件。

对于调用隐私行为的业务功能页面，可以识别页面中涉及隐私行为的功能入口，例如是拍照或扫码功能、直播功能、地图导航功能、预约出租车功能、网络支付功能等，并对这些功能进行排序，得到功能次序，将其作为识别结果进行输出。

对于对话框，可以识别出对话框的类型，例如是权限申请对话框、使用条款展示框、App升级对话框、App登录对话框等。针对不同的对话框，确定不同的操作方式以及执行该操作方式所需的信息，将其作为识别结果进行输出。其中，权限申请对话框和使用条款展示框对应的操作方式可以是点击同意按钮，识别结果可以包括同意按钮的位置信息；App升级对话框对应的操作方式可以是点击同意或取消按钮，识别结果可以包括同意按钮或取消按钮的位置信息；App登录对话框对应的操作方式可以是点击登录按钮等，识别结果可以包括登录按钮的位置信息。

对于广告，可以识别出广告的类型，例如是全屏广告、倒计时广告、弹窗广告、嵌入式广告和原生广告等。根据不同的广告类型，确定不同的操作方式以及执行该操作方式所需的信息，将其作为识别结果进行输出。其中，全屏广告对应的操作方式可以是向右滑动关闭；倒计时广告对应的操作方式可以是等待超时自动关闭；弹窗广告对应的操作方式可以是点击关闭按钮，识别结果可包括关闭按钮的位置信息；嵌入式广告和原生广告不影响待处理页面的运行，可以标记广告区域范围，将其作为识别结果。

可见，识别引擎有助于确定对待处理页面的子页面的遍历次序以及及时处理弹窗，因此，有助于提高应用程序的遍历效率。

综上，本公开实施例的技术方案，对于应用程序中已检测的页面，会将其功能标记已遍历功能；对于遍历到的待处理页面会进行识别，确定出该页面的功能，在该功能不属于已遍历功能的情况下，才继续遍历该页面的子页面。基于此，可以在应用程序的遍历检测过程中确保功能覆盖率，并减少同种功能的页面的遍历次数，提高遍历效率。

作为上述方法的实现方式，本公开实施例还提供一种应用程序的遍历装置，如图6所示，该装置包括：

第一识别模块610，用于对目标应用程序的待处理页面进行识别，得到待处理页面的功能信息；

检测模块620，用于在基于功能信息确定待处理页面的功能不属于已遍历功能的情况下，对待处理页面进行检测；

递归遍历模块630，用于在完成对待处理页面进行检测的情况下，将待处理页面的功能标记为已遍历功能，并遍历待处理页面的至少一个子页面，将遍历到的子页面确定为新的待处理页面。

示例性地，如图7所示，第一识别模块610可以包括：

图像识别单元611，用于基于识别引擎中的图像识别模块对待处理页面中的图像信息进行识别，得到待处理页面的图像识别结果；

语义识别单元612，用于基于识别引擎中的自然语言理解模块对待处理页面中的文本信息进行识别，得到待处理页面的语义识别结果；

功能识别单元613，用于基于待处理页面的图像识别结果和语义识别结果，得到待处理页面的功能信息。

示例性地，如图7所示，该装置还可以包括：

第二识别模块710，用于对待处理页面中的至少一个控件进行识别，得到至少一个控件的优先级次序；

排序模块720，用于基于至少一个控件的优先级次序，得到待处理页面的与至少一个控件对应的至少一个子页面的遍历次序。

示例性地，如图7所示，该装置还可以包括：

弹窗处理模块730，包括在待处理页面中出现弹窗的情况下，对弹窗进行识别，得到关闭弹窗的操作方式，并采用操作方式关闭弹窗。

示例性地，如图7所示，该装置还可以包括：

结束处理模块740，用于在未对待处理页面进行检测且待处理页面的功能属于已遍历功能的情况下，结束对待处理页面的处理。

示例性地，检测模块620可以用于触发待处理页面中的隐私行为，对隐私行为进行合规检测。

本公开实施例提供的装置，能够实现本公开实施例提供的方法，具备相应的有益效果。

根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如应用程序的遍历方法。例如，在一些实施例中，应用程序的遍历方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的应用程序的遍历方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行应用程序的遍历方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。