一种云边协同的移动无障碍体验与评测系统及方法

技术领域：本发明涉及一种云边协同的移动无障碍体验与评测系统及方法，属于计算机技术软件领域。

背景技术：

“无障碍”来源于英文单词Accessibility，最早是指为各类残疾人提供可访问的产品、设备、服务、环境。在2000年的《实现全球信息化社会的冲绳宪章》中，“信息无障碍”的概念被首次正式提出，是指任何人(无论是健全人还是残疾人，无论是年轻人还是老年人)在任何情况下都能平等地、方便地理解、交互和利用信息。随着移动互联网的快速发展，当前大部分网络服务已全面转向移动应用，信息无障碍的研究工作热点也转向移动应用无障碍。据统计，2021年全球智能手机用户总数将达到39亿，同比增长6.1%。可以说，移动互联网已经成为人们日常生活中不可或缺的一部分。与此同时，根据世界卫生组织的估计，全球大约2.85亿人有各种程度的视觉障碍，其中约3900万为全盲。另外约有4.66亿人患有听力损失，两者分别约占全球人口的3.7%与6.1%。显然，如何帮助残障人士融入信息社会，弥合移动互联网“信息鸿沟”，让所有人群平等方便地享受移动互联网便利，是建设包容性社会的重要问题之一。

虽然移动应用无障碍辅助技术，包括安卓操作系统(Android)自带的朗读(TalkBack)功能和苹果操作系统(iOS)自带的旁白(VoiceOver)功能等，已经帮助提升了移动应用内容的可获取能力和可理解能力，但是无障碍辅助技术的使用依赖开发者对移动应用页面内组件准确的排序以及精准的替代文本生成，才能使用户可以准确、无障碍地获取移动应用内容。为了促进相关企事业单位开发无障碍友好的移动应用，移动应用无障碍合规性的残障或健全用户评测具有重要意义。目前市面上还没有针对移动应用残障或健全用户无障碍体验与评测的相关系统或产品，本专利是我们所知的第一个解决此问题的系统。又出于对残障或健全用户出行不便的考虑，如何让残障或健全用户足不出户即可远程体验世界各地的移动应用产品，同时体验的过程与结果又可以快速地反馈给应用开发方，帮助其优化应用的无障碍支持情况，是一个待解决的问题。此类系统的建设有以下主要难点：（1）如何实现自动化的移动应用遍历从而获得完整的应用无障碍结构信息用于生成体验与评测任务。（2）如何将无障碍标准相关要求与评测过程相结合以让评测结果对无障碍开发者更有指导价值。（3）如何从软硬件层面实现对残障或健全用户远程操控移动设备并实时接收设备反馈的支持。

发明内容：

针对以上问题和难点，本发明提出了一种云边协同的移动无障碍体验与评测系统及方法。

一种云边协同的移动无障碍体验与评测系统及方法的具体功能步骤如下：S101：需求方在系统上创建指定移动应用的体验与评测任务，并指定所要评测的无障碍标准条目范围。S102：需求方启动所建任务，系统云服务端将任务信息下发至边端设备，边端根据用户配置在移动设备上自动下载并安装指定应用。S103：边端控制测试机开启无障碍模式（Android 为Talkback，iOS为旁白），由上位机控制测试机对指定移动应用进行自动遍历，获取应用结构信息。S104：云服务端根据边端遍历所得应用结构数据和用户配置，批量生成指定的无障碍标准条目及其相关应用功能链路的体验与评测任务。至此，体验与评测任务预生成完毕。S105：残障或健全用户从计算机浏览器客户端，打开指定页面，按界面流程申请体验与评测任务。S106：云服务端收到体验员申请任务的请求，随机分配体验与评测任务并将其绑定到边端。S107：边端接收到任务信息，控制机械臂访问移动应用，按照指定链路打开对应页面后进入就绪状态，等待体验员远程控制。S108：残障或健全用户收到边端准备就绪的信号，通过浏览器语音朗读获取所要评测的标准条目内容与方法后，通过键盘远程控制机械臂体验访问测试机上指定应用，并通过浏览器语音朗读获取测试机应用反馈信息，填写并提交评测结果与感受。S109：云服务端接收到所有预生成的体验与评测任务的结果后，整合数据，形成报告。S110：体验与评测任务需求方在评测任务完成后，可在系统页面查看和下载评测报告；

具体所述步骤S101中创建指定移动应用的评测任务时需要提供的信息包括：S201：移动应用名、申请机构名、移动应用类型（Android或iOS）、移动应用下载方式、移动应用下载链接、测试规则范围、测试登录账号、测试登录密码和测试说明等。测试规则范围需要勾选《信息技术 互联网内容无障碍可访问性技术要求与测试方法》（GB/T 37668—2019）或Web Content Accessibility Guidelines (WCAG) 2.1 等无障碍标准的若干条目确定，测试登录账号、测试登录密码和测试说明为可选项；

具体所述步骤S102，其中边端由以下设备与功能组成：S301：边端硬件设备组成包括上位机机箱、机械臂和测试机；S302：上位机功能为接收任务信息，下载指定移动应用安装包，安装移动应用至测试机，控制机械臂访问移动应用，截取移动应用页面并保存截图至云服务端，自动遍历移动应用，支持将移动应用的录屏与声音信息推流至云服务端；S303：机械臂功能包括模仿残障用户使用移动应用时的左滑、右滑、上滑、下滑、指定坐标单击和指定坐标多击等操作，实现对移动应用的访问；S304：测试机的功能包括接收上位机控制信号，实现无障碍模式访问控制，同时进行录屏并将音视频实时推流至云服务端；

具体所述步骤S103，边端对指定移动应用的自动遍历过程包括单页顺序遍历与多页广度优先遍历，同时支持处理瀑布流或焦点陷入：S401：对单页面进行遍历，不仅要求遍历完某个页面的全部控件，同时需要识别或获取控件相应的属性信息。具体如下：进入页面，聚焦框处于当前页面首个可聚焦的控件处。调用视听觉智能算法等模块，得到并记录聚焦框的坐标等图像或语义属性。然后控制机械臂在屏幕上进行一次“右滑”，此时页面上的聚焦框将滑动到下一个可聚焦的控件上，再调用相应算法得到新聚焦框的属性信息。理想情况下，重复以上方式，让聚焦框从第一个控件移动到最后一个控件，就可完成该页面的顺序遍历；S402：在单页遍历的基础上，对于完整移动应用的多页广度优先遍历主要包含如下的基本步骤：（1）进入移动应用的某个页面，初始为首页，进行单页遍历：不断右滑，期间判断处理瀑布流或焦点陷入，直至达到设定的滑动次数阈值，遍历结束，将首页的所有聚焦框加入广度遍历队列中。（2）当广度遍历队列不为空时，从中取第一个聚焦框并出列，因为出列的聚焦框不一定在当前页面，所以先计算从当前所在页到目标聚焦框的路径，据此路径到达对应聚焦框。点击聚焦框后判断是否进入了一个全新的页面，如果是，重复（1）；否则，出列下一个聚焦框，重复（2），直到队列为空。（3）可以预先设置遍历停止的页面层数，若当前页层数小于设定的遍历停止层数则继续遍历过程，否则停止遍历。S403：在上述顺序遍历过程中，可能存在有瀑布流的页面。瀑布流会在用户聚焦到最后的控件时动态加载新元素，导致将有接近无穷多的可聚焦控件被不停加载，常见于短视频移动应用和在线电商类移动应用。此类情况需要进行特殊处理，否则遍历无法停止。具体处理流程如下：（1）遍历过程中，机械臂每右滑一次，生成一个新的聚焦框对象，识别或获取相应属性。用自增的方式给聚焦框编号后，将新生成的聚焦框对象加入此页面的聚焦框列表中。（2）若右滑次数达到预设阈值，则需要判断页面是否为瀑布流页面。由于各系统无障碍访问操作模式稍有不同，此处需特殊适配。对于iOS系统，若焦点框位置和框中内容不变且位于屏幕右下角(即焦点框固定为页面最后一个控件，不再改变)，则遍历完成，是正常页面;对于Android系统，若在某次右滑后回到第一个聚焦框开始循环遍历，则是正常页面。若不满足上述条件，则判断为瀑布流页面。（3）若页面不为瀑布流，则正常结束;若为瀑布流，则删除重复控件后再结束；S404：在移动应用遍历的过程中，可能会因为应用的无障碍访问支持不佳，而出现焦点陷入问题。焦点陷入分为两种情况：（1）单点陷入，聚焦框停留在同一个控件，无论如何操作都无法移动聚焦框到其他控件位置；（2）序列陷入，聚焦框停留在一个控件的有限序列中，无论如何操作都无法移动聚焦框到序列外的其他控件位置。处理方案如下：（1）单点陷入判断:如果两个聚焦框的左上角坐标、宽度、长度差值都在设定的允许误差范围内，则判定两个聚焦框相同，否则判定为不相同。设定一个允许聚焦框连续相同的次数，当聚焦框连续相同的次数达到这个阈值，则判定为焦点陷入。（2）序列陷入判断:当某个聚焦框按固定间隔(大于1)循环出现的次数超过设定的最大重复次数时，判定为序列焦点陷入。（3）陷入处理:若为单焦点陷入，删除聚焦框列表最后连续相同的聚焦框，仅保留一个。若为序列焦点陷入，则删除聚焦框列表最后连续相同的循环节，同样也只保留一个循环节；

具体所述步骤S103，应用结构信息包括：S501：应用各页面截图及其跳转关系，各页面中各控件的截图、无障碍辅助模式朗读文本、控件聚焦框位置坐标及控件顺序关系；

具体所述步骤S104，批量预生成指定的无障碍标准条目及其相关应用功能链路的体验与评测任务的过程为：S601：选取一条用户配置需要评测的标准条目，从步骤S103中获得的应用结构中随机抽取一个页面，与该条目形成映射关系构造一个体验与评测任务，重复上述过程，即可生成所有用户配置的评测条目对应的评测任务；

具体所述步骤S105，残障或健全用户申请任务流程包括：S701：（1）申请检测任务；（2）等待连接机械臂和手机；（3）自动定位到错误页面；（4）获取机械臂控制权；

具体所述步骤S106，云服务器绑定体验与评测任务到边端的步骤包括：S801：（1）将任务信息下发至边端并启动任务进程；（2）锁定该边端，不再接收新任务；（3）任务完成后自动释放边端；

具体所述步骤S107，按照指定链路打开对应页面步骤包括：S901：（1）获取起始页面唯一标识与目标页面唯一标识，（2）计算页面跳转路径指令队列，（3）从页面跳转路径指令队列出队一步，获得跳转指令，（3）若指令为回退一页，则尝试通过无障碍辅助技术的指令后退。（3.1）若后退指令运行成功，判断是否后退到正确页面，（3.1.1）若后退成功则更新当前页面信息，继续出队指令直至队列为空，程序正常结束，按照指定链路打开对应页面成功；（3.1.2）若后退失败则重启应用，至起始页为首页，重复（2）及其后步骤。（3.2）若后退指令运行失败，则尝试通过视觉算法检测后退按钮，若按钮存在则点击后退，转（3.1）；若按钮不存在，转（3.1.2）。（4）若指令不为回退，则从跳转指令读取目标页面与目标聚焦框信息，（4.1）若当前处于目标页面则通过聚焦框坐标直接双击该聚焦框跳转至下一页，转（3.1.1）；（4.2）若当前不处于目标页面则判断目标聚焦框漏检，程序直接中止，按照指定链路打开对应页面失败；

具体所述步骤S108，残障或健全用户通过键盘远程机械臂访问应用的方法为：S101：通过键盘按键来远程操控机械臂，按下w键使机械臂控制手机返回页面，按下s键使机械臂控制手机双击进入页面，按下a键使机械臂控制手机左滑，按下d键使机械臂控制手机右滑，按下k键开启来自手机的声音；

具体所述步骤S108，残障或健全用户填写并提交的评测结果与感受包括：S1101：所评测无障碍条目是否通过，若不通过，则简要描述错误原因；

具体所述步骤S109，云服务端生成的报告内容包括：S1201：各标准条目等级、通过情况、错误样例、错误跳转路径和所有错误的逐页勘误表等；

具体所述步骤S110，体验与评测任务需求方可下载的报告形式包括：S1301：PDF格式文档或Microsoft Office Word格式文档。

综上，本发明创建了一种云边协同的移动无障碍体验与评测系统及方法，具有如下有益效果：（1）实现了自动化的移动应用无障碍模式遍历，从而获得完整的应用结构信息；（2）然后将结构信息与无障碍标准相关要求结合，生成具有无障碍条目针对性的体验与评测任务，提升评测结果对无障碍开发者的指导价值；（3）从软硬件层面实现了对残障或健全用户远程操控移动设备并实时接收设备反馈的支持，真正打通了残障或健全用户远程体验与评测的功能链路。

附图说明：

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图 1是本发明提供的一种云边协同的移动无障碍体验与评测系统及方法的工作流示意图；

图 2是本发明提供的一种云边协同的移动无障碍体验与评测系统及方法的设备原型图；

图 4是本发明提供的边端硬件设备实物示意图；

图 3是本发明提供的无障碍模式遍历算法过程中iOS移动应用遍历时的黑色聚焦框示意图（Android为绿色聚焦框）；

图 5是本发明提供的边端机械臂模拟残障用户通过滑动和点击控制移动设备的功能流程示意图；

图 6是本发明提供的残障或健全用户通过键盘指定按键远程操控机械臂，通过音频实时接收移动设备信息反馈并在平台提交体验感受的功能示意图；

图 7是本发明提供的指定链路打开对应页面的算法流程示意图。

具体实施方法：

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本实例以某个APP的无障碍合规性体验与评测任务为例，系统功能包括如下具体步骤：

S101：需求方在系统上创建指定移动应用的体验与评测任务，指定无障碍合规性检测标准条目范围；

S102：需求方启动任务，系统云服务端将任务信息下发至边端设备，边端根据配置在移动设备上自动下载并安装指定应用；

S103：边端控制测试机开启无障碍模式（Android 为Talkback，iOS为旁白），由上位机控制测试机对指定移动应用进行自动遍历，获取应用结构信息；

S104：云服务端根据边端遍历所得应用结构数据和用户配置，批量生成指定的无障碍标准条目及其相关应用功能链路的体验与评测任务。至此，体验与评测任务预生成完毕；

S105：残障或健全用户从计算机浏览器客户端，打开指定页面，按界面流程申请体验与评测任务；

S106：云服务端收到体验员申请任务的请求，随机分配体验与评测任务并将其绑定到边端；

S107：边端接收到任务信息，机械臂访问移动应用，按照指定链路打开对应页面后进入就绪状态，等待体验员远程操作；

S108：残障或健全用户收到边端准备就绪的信号，通过浏览器语音朗读获取所要评测的标准条目内容与方法后，通过键盘远程机械臂体验访问测试机上指定应用，并通过浏览器语音朗读获取测试机应用反馈信息，填写并提交评测结果与感受；

S109：云服务端接收到所有预生成的体验与评测任务的结果后，整合数据，形成报告；

S110：体验与评测任务需求方在评测任务完成后，可在系统页面查看和下载评测报告。