用于无障碍的计算机-用户场景的系统和方法

相关申请的交叉引用

本申请要求于2020年4月21日提交的申请号为63/013,348、发明名称为“用于无障碍的游戏-用户交互的系统和方法”的美国临时专利申请、以及于2020年4月21日提交的申请号为63/013,314、发明名称为“用于无障碍的基于游戏的场景的系统和方法”的美国临时专利申请的优先权，其全部内容以引入的方式并入本文。

技术领域

实施例总体上涉及有障碍的个人的计算机使用，并且更具体地但不排他地，涉及用于无障碍的计算机-用户场景的方法、系统和计算机可读介质。

背景技术

传统的标准化认知评估主要评估内容掌握或领域知识了解、处理速度和记忆。大学入学考试理事会(College Entrance Examination Board)，即现在的大学理事会(College Board)，成立于1923年，旨在通过推广学术能力倾向测试(scholastic aptitudetest，SAT)以定义一套大学入学标准。1959年，美国大学测试(american college test，ACT)作为SAT的替代而发布。ACT和SAT都聚焦于数学、写作、科学和其他特定学科领域的标准化内容，以创建客观的标准。虽然在美国被广泛采用，但这些评估很少揭示个人的特定认知能力。

针对传统的标准化大学入学测试在方法论和内容上的缺陷，雇主们采用了其他传统的认知能力或智力测试，以收集更多关于申请人认知特征的预测性见解。然而，像标准化入学测试一样，这些评估也聚焦于内容掌握或领域知识了解、处理速度和记忆。这些因素忽略了对发展和衡量21世纪劳动力所要求的能力的日益增长的需求。

虽然传统的评估提供商可以管理数字评估，但这些评估提供商的评估容易受到对于完全失明或具有其他视力损伤的考生的无障碍问题的影响。例如，根据美国残疾人法案(americans with disabilities act，ADA)，评估项目需要为这样的考生提供便利。这些传统的评估提供商一直在努力解决完全失明或具有其他视力损伤的考生在数字评估中的无障碍问题。

本文提供的背景技术描述旨在介绍本公开的背景。在本背景技术部分中所描述的范围内以及在申请时可能不符合现有技术的描述的各方面，当前指定的发明人的工作内容既不明示也不暗示地被承认为针对本公开的现有技术。

发明内容

本申请的各实施方式涉及无障碍的计算机-用户场景。在一些实施方式中，计算机实现的方法包括：在显示屏上显示图形用户界面，其中，图形用户界面包括虚拟评估，其中，虚拟评估表示评估测验，并且其中，图形用户界面还包括表示评估测验的逻辑问题的一部分的图形区域；接收第一信号，第一信号指示将第一物理覆盖物放置在显示屏上；基于第一信号确定第一物理覆盖物至少部分地与图形区域对齐；接收并存储与至少部分对齐的第一物理覆盖物进行物理交互的用户与图形用户界面之间的计算机-用户交互；基于计算机-用户交互，有声提示用另一物理覆盖物替换第一物理覆盖物；基于存储的计算机-用户交互生成评估得分的一部分。

在一些实施方式中，另一物理覆盖物是第二物理覆盖物，其中，图形区域是第一图形区域，并且其中，方法还包括：在图形用户界面中生成第二图形区域；确定第二物理覆盖物至少部分地与第二图形区域对齐；接收并存储与至少部分对齐的第二物理覆盖物进行物理交互的用户与图形用户界面之间的附加计算机-用户交互；基于存储的计算机-用户交互和附加计算机-用户交互生成完整的评估得分。

在一些实施方式中，评估测验是用于评估学生的测试或用于评估职业候选人的职业评估测验。

在一些实施方式中，图形用户界面还包括一个或多个指导元素，指导元素包括表示完成虚拟评估的指令的标记，并且其中，第一物理覆盖物包括表示标记的一个或多个盲文刻印(embossment，也称压花、击凸等)。

在一些实施方式中，该方法还包括：使用语音合成器生成音频文件，其中，该音频文件包括完成虚拟评估的指令的合成语音的一个或多个片段；有声播放音频文件。

在一些实施方式中，该方法还包括：使用语音合成器生成音频文件，其中，该音频文件包括描述逻辑问题的合成语音的一个或多个片段；响应于接收到上述第一信号，有声播放音频文件。

在一些实施方式中，该方法还包括：使用语音合成器生成音频文件，其中，音频文件包括描述图形区域的合成语音的一个或多个片段；响应于确定第一物理覆盖物至少部分地与图形区域对齐，有声播放音频文件。

在一些实施方式中，第一物理覆盖物包括：刻印边界区域，该刻印边界区域用于与显示屏的边缘对齐；刻印内部区域，该刻印内部区域包括以下中的至少一个或多个：表示图形区域的边缘的纹理、可通过触摸识别的表示图形区域的边缘的特征、或描述图形区域的至少一部分的盲文刻印。

在一些实施方式中，该方法还包括周期性地有声播放描述虚拟评估的状态的合成语音。

在一些实施方式中，该方法还包括响应于上述计算机-用户交互，周期性地应用触觉反馈。

根据另一方面，一种用于无障碍的游戏-用户场景的系统包括：用于显示图形用户界面的显示设备，该图形用户界面包括虚拟评估，其中，虚拟评估表示评估测验，并且其中，图形用户界面还包括表示评估测验的逻辑问题的一部分的图形区域；存储器，该存储器上存储有指令；处理设备，该处理设备耦合到存储器和显示设备，其中，处理设备用于访问存储器并执行指令，并且其中，响应于被处理设备执行，指令使处理设备执行操作或控制该操作的执行，操作包括：接收第一信号，第一信号指示将第一物理覆盖物放置在显示设备上；基于第一信号确定第一物理覆盖物至少部分地与图形区域对齐；接收并存储与至少部分对齐的第一物理覆盖物进行物理交互的用户与图形用户界面之间的计算机-用户交互；基于计算机-用户交互，有声提示用另一物理覆盖物替换第一物理覆盖物；基于存储的计算机-用户交互生成评估得分的一部分。

在一些实施方式中，第一物理覆盖物包括：刻印边界区域，该刻印边界区域用于与显示屏的边缘对齐；刻印内部区域，该刻印内部区域包括以下中的至少一个或多个：表示图形区域的边缘的纹理、可通过触摸识别的表示图形区域的边缘的特征、或描述图形区域的至少一部分的盲文刻印。

在一些实施方式中，该系统还包括刻印或盲文打印装置，该刻印或盲文打印装置用于物理打印第一物理覆盖物的一个或多个副本。

在一些实施方式中，上述操作还包括：生成表示第一物理覆盖物的副本的打印序列的数据文件；向刻印或盲文打印装置发送数据文件。

在一些实施方式中，另一物理覆盖物是第二物理覆盖物，图形区域是第一图形区域，并且其中，上述操作还包括：在图形用户界面中生成第二图形区域；确定第二物理覆盖物至少部分地与第二图形区域对齐；接收并存储与至少部分对齐的第二物理覆盖物进行物理交互的用户与图形用户界面之间的附加游戏-用户交互；基于存储的游戏-用户交互和附加游戏-用户交互生成完整的评估得分。

在一些实施方式中，评估测验是用于评估学生的测试或用于评估职业候选人的职业评估测验。

在一些实施方式中，图形用户界面还包括一个或多个指导元素，指导元素包括表示完成虚拟评估的指令的标记，并且其中，第一物理覆盖物包括表示标记的一个或多个盲文刻印。

在一些实施方式中，上述操作还包括：使用语音合成器生成音频文件，其中，音频文件包括完成虚拟评估的指令的合成语音的一个或多个片段；有声播放音频文件。

在一些实施方式中，上述操作还包括：使用语音合成器生成音频文件，其中，音频文件包括描述逻辑问题的合成语音的一个或多个片段；响应于接收到第一信号，有声播放音频文件。

在一些实施方式中，上述操作还包括：使用语音合成器生成音频文件，其中，音频文件包括描述图形区域的合成语音的一个或多个片段；响应于确定第一物理覆盖物至少部分地与图形区域对齐，有声播放音频文件。

附图说明

图1是根据一些实施方式的用于无障碍的计算机-用户场景的示例网络环境的图。

图2是根据一些实施方式的用于无障碍的计算机-用户场景的示例图形用户界面(graphical user interface，GUI)的示意图。

图3A是根据一些实施方式的用于无障碍的计算机-用户场景的示例物理覆盖物的示意图。

图3B是根据一些实施方式的与显示设备对齐的物理覆盖物的视图。

图4是根据一些实施方式的使用图2的GUI和第一物理覆盖物实现的虚拟评估的可视化。

图5示出了根据一些实施方式的用于合计用户评估得分的示例数据结构。

图6是根据一些实施方式的用于无障碍的计算机-用户场景的示例方法的流程图。

图7是根据一些实施方式的用于创建无障碍的计算机-用户场景的示例方法的流程图。

图8是示出根据一些实施方式的可用于实现本文所描述的一个或多个特征的示例计算设备的框图。

具体实施方式

本文描述的一个或多个实施方式涉及计算机和相关联的图形用户界面的无障碍。各特征可以包括自动确定放置在显示设备上的物理覆盖物的对齐，并基于与物理覆盖物和底层GUI的计算机-用户交互来操纵计算机生成的输出，例如：音频、触觉反馈、语音合成和其他输出。部分视觉受损或完全视觉受损的用户以及视力受到其他因素影响的用户可以轻松抓住、重新对齐和说明物理覆盖物。

应理解，自动化的兴起使得内容掌握或领域知识了解、处理速度和记忆在个人为现代工作和生活做准备的背景下与人类认知的特征愈发不相关。相反，更高层次、更复杂的认知能力(例如解决问题、创造力、系统思维和批判性思维)已经成为更相关的特征，对个人为现代工作和生活所做的准备产生影响。在一些方面，提供了用于基于模拟的评估的系统和方法，该基于模拟的评估聚焦于评估个人如何思考而不是个人的知识。可以在该基于模拟的评估中嵌入场景或任务，该基于模拟的评估抽象给定环境(例如工作环境)的上下文，同时给予用户表现工作所需的问题解决能力的机会。通过在基于模拟的评估中发生的场景，可以观察到用户认知过程的细节，而不仅仅是最终选择。

通常，基于模拟的评估包括一个或多个场景。这些场景可以基于任何评估的逻辑问题，这些逻辑问题被转化为虚拟评估。根据一个示例，自然世界抽象(natural worldabstraction)可以用作场景。根据其他示例，抽象的非自然设置(abstracted non-naturalsetting)可以用作场景。此外，根据其他示例，涉及逻辑问题的上下文线索(contextualclue)可以用作场景。根据实施方式，可以适用这些设置以及其他设置。

此外，不同版本的场景的不同视图和情景的变化可以是数据驱动的。实现的系统可以使用与潜在的动物、植物和地形特征相关联的逻辑，来以符合人类期望的方式为不同版本的场景生成不同的视图和情景。此外，由数据体现的资产应该是实事求是的。系统可以考虑被投放以填充场景的每个资产的属性。例如，在生成的场景中，应该成群结队的动物将成群结队，应该飞行的动物将飞行，而应该混居且蜿蜒而行的动物将像在现实生活中一样穿越地形。在我们对自然、植物、岩石或地形坡度的日常感知中，一切不太明显的东西也可以遵循现实世界的规则，使得各种场景中的情景的背景存在于评估的背景下。

当用户与评估交互时，可以记录关于用户如何解决任务和/或用户在任务期间解决和参与的过程的信息。所记录的信息可以包括用户的遥测数据，例如鼠标移动、点击、选择、时间戳和其他合适的遥测数据。可以分析用户的遥测数据以测验用户的认知过程和/或整体表现。除了分析用户的遥测数据以获得正确或不正确的答案之外，还可以分析用户的遥测数据以了解用户如何解决问题和/或用户采取了什么策略来解决问题。这种在给定领域(例如教育领域)进行认知测试的新方法可以提供丰富的信息来更好地评估哪些候选人可能在给定的研究领域中取得成功。

该系统还可以实施一致的校准方法，用于将场景的预测的复杂性与实际难度分布相协调，以在不同场景中大规模地利用自动化项目生成。为了推导计算复杂性和难度分布之间的关系，系统可以接收尽可能多的合理参数，以考虑系统变量、本系统确定性地提供的场景的组件、以及人为变量(即考生在场景中做什么)。通过在整个测试开发和迭代过程中使用更多的数据，系统可以实施更好地估算人类行为的复杂性估计算法。

此外，确定评估得分以量化用户在每个场景中的动作、时间戳和表现如何与各种认知概念相关联。认知科学、教育心理学和学习科学理论可以引导每个得分到相关概念的映射。得分可以聚焦于结果(例如，对或错)和过程(例如，这些用户如何进行到这一步，这些用户做了什么选择，这些用户纠正了多少错误)，这比传统的认知评估更加微妙。

对于完全失明或具有其他视力损伤的考生来说，上述基于模拟的评估也容易受到无障碍问题的影响。在美国，ADA要求所有的州总结性评估项目为完全失明或具有其他视力损伤的考生提供便利。多年来，当试图向下一代项目类型进行创新时，所需的无障碍设施通常被证实对传统的评估提供商来说太具有挑战性以至于无法解决。这也阻止了传统的评估提供者构建这些方面以用于大规模的评估项目。

因此，本文描述的系统、方法、以及装置解决了无障碍的适应情况，以使基于游戏或基于计算机的场景(包括空间特征、用户界面布局、以及位置信息)对于完全失明和具有其他视觉损伤的考生来说是无障碍的。在一些方面，这涉及使用盲文刻印机(或手动刻印或其他合适的方式)在用作覆盖物的清晰、触摸屏兼容的塑料片(或类似材料)上打印可触图形(tactile graphic)，以允许视力受损的学生与该覆盖物和平板计算机(或其他合适的计算设备)进行交互。

例如，可以打印一系列覆盖物，一些覆盖物具有用户界面组件，另一些覆盖物具有艺术资产，另一些覆盖物描绘了完整场景，以供人类监督者根据规定何时使用每个覆盖物的一组规则来使用。这些规则可以在评估管理时通过实时的评估提示提供给监督者。

当GUI在显示屏上改变时，监督者可以接收通知或被动员以用与当前显示的用户界面对应的不同覆盖物来替换当前覆盖物。因此，对于评估的特定部分，监督者可以用另一个应在显示屏上的覆盖物来切换覆盖物。

虽然可以向学生提供带有屏幕阅读器的平板计算机或托管上述评估的另一合适的计算设备，但是学生可能会发现仅仅通过屏幕阅读器输入来读出显示屏上的元素很难与基于游戏的场景进行交互。

与视力正常的人不同，完全失明或具有其他视力损伤的学生看不到其在显示屏上与什么元素进行交互、该元素在显示屏上的位置等。因为这些学生看不到其应该与什么元素进行交互，例如，这些学生将无法知道图形元素在显示屏中的位置，因此仅使用屏幕阅读器，学生可能体验不佳。所描述的系统和方法使学生能够与不同领域的数据、图形元素、以及其他元素进行交互，以更直观地理解其在屏幕上的空间位置。

通常，系统可以包括具有显示屏的计算设备。提供覆盖物并将其配置为设置在显示屏上。该覆盖物对应于当前显示在显示屏上的用户界面，并且该覆盖物包括对应于用户界面的一个或多个用户界面元素的刻印文本、一个或多个刻印轮廓(outline)、以及提高失明或部分失明的学生的可用性的任何其他物理可触的刻印。例如，刻印文本可以包括盲文文本或完全失明或具有其他视觉损伤的人群可读的另一合适形式的文本。该覆盖物可以使视力受损的学生能够在显示评估的设备上使用触摸屏进行交互(例如，点击、滚动等)，同时用手指触摸或感知所有盲文。

因为评估可以生成与其他场景通常生成的分类得分输入相同的分类得分输入(例如，提供给非完全失明或视力受损的学生的分类得分输入)，因此这种描述的功能在技术上既有益又有利。盲文覆盖物还可以使视力受损的学生能够和视力正常的同龄人一样与相同或相似的测试、相同或相似的用户界面、以及相同或相似的图形进行交互。当学生在用户界面组件中单击时，屏幕阅读器或音频通知可以向学生通知这些组件中的内容。例如，一系列覆盖物可以包括用于主题标题(例如，物种选择库)的盲文文本，和/或不同窗口(例如，为生态系统选择植物或动物)所在的盲文刻印轮廓。这些学生可以接收与视力正常的学生相同的用户界面，但能够感知到该用户界面是一个分层的板，并感知到不同区域或元素的轮廓。

例如，失明学生可以找到GUI的一个区域并选择一个组件，听到GUI上显示的组件描述、属性、以及其他特征。此外，当遍历或交互时，可以提供触觉反馈以进一步增强体验。结合刻印覆盖物(embossed overlay)和底层GUI，并使用音频通知和触觉反馈，使得失明或部分失明的学生很容易获得所描绘的信息。此外，刻印覆盖物是用于大规模评估计划的通用、廉价、且实用的装置。

物理覆盖物的刻印文本可以包括标识符(视觉可读的并且可触的)，该标识符指示该覆盖物对应于当前显示在显示屏上的用户界面。附加地或替代地，显示屏可以显示标识符，该标识符指示覆盖物对应于当前显示在显示屏上的用户界面。学生可以使用不同的覆盖物来在具有不同组件(例如，不同窗口、不同过滤器、不同部件等)的不同屏幕上浏览。例如，显示屏可以显示提示和/或生成音频提示以将第一覆盖物放置在显示屏上。监督者或学生可以拿起标有对应数字(例如以刻印文本、盲文文本、打印文本、或其他合适的文本的形式)的覆盖物。监督者或另一合适方可以使用该信息来确保为当前显示的用户界面提供正确的覆盖物。

类似地，当显示屏改变时，系统可以生成具有标识符的提示，以请求改变对应于所显示的标识符的覆盖物。可以预先准备覆盖物，并且当该覆盖物显示在显示屏上时，将该覆盖物与评估中的用户界面相匹配。在一些实施例中，如果选择了用户界面中不对应于任何用户界面组件或元素的一部分，这可能意味着提供了不正确的覆盖物。在这种情况下，系统可以生成提示，以请求确认提供了正确的覆盖物，使得该覆盖物对应于当前显示的用户界面。

作为上述基于模拟的评估的一部分，系统可以捕获遥测数据，遥测数据包括完全失明或具有其他视力损伤的人使用可移动对象与用户界面的交互。遥测数据可用于为进行基于模拟的评估的完全失明或视力受损的人生成得分。从完全失明或具有其他视力损伤的学生收集的遥测数据可以捕获到数据的微妙轨迹，这些数据的微妙轨迹可以用来产生得分。类似于无视觉受损的同龄人，该系统还可以捕获这些完全失明或具有其他视力损伤的学生与布局和点击、手指移动、屏幕阅读器等的交互。这允许系统创建相同或相似类型的测试体验，并收集所有人(残疾人或其他人)的相同或相似数据。该系统可以使用该遥测数据并使用自动评分算法来为所有人(残疾人或其他人)生成相同或相似类型的得分。

可以在安全的监督环境中本地部署上述基于模拟的评估。也可以通过定时发布远程部署基于模拟的评估，用户可以在任何地点参与。在一些实施方式中，为了确保任何两个评估都不同，人工智能(artificial intelligence，AI)方法可以应用于场景生成的过程。不同场景中涉及的数据驱动属性可能会有所不同，以便构建这些场景的独特版本。进行基于模拟的评估的每个用户可以接收到独特的任务实例，从表面上看，该任务实例因其各个属性、复杂性和视觉设计而异，而从结构上看，每个任务实例在其评估中保持一致。虽然作弊和欺诈仍然是许多传统认知评估面临的重大挑战，但上述基于模拟的评估的AI和数据驱动架构可以防止评估中出现作弊和欺诈。例如，因为进行基于模拟的评估的每个用户可以接收独特的任务实例，所以对于进行基于模拟的评估的给定用户来说，可能很难从另一用户对基于模拟的评估中的一个或多个任务的响应中受益。

在下文中，参考图1更全面地描述上述系统、方法和装置的组件。

图1：系统架构

图1示出了根据本公开的一些实施方式的示例性网络环境100。网络环境100(本文也称为“系统”)包括在线评估平台102、客户端设备110和网络122。在线评估平台102可以包括评估引擎104、一个或多个评估105、无障碍引擎107和数据存储区108。客户端设备110可以包括虚拟评估112、无障碍应用113和显示屏114，以与在线评估平台102交互。

提供网络环境100以供说明。在一些实施方式中，网络环境100可以包括以与图1所示的方式相同或不同的方式配置的相同、更少、更多、或不同的元素。

在一些实施方式中，网络122可包括公用网络(例如，互联网)、专用网络(例如局域网(local area network，LAN)或广域网(wide area network，WAN))、有线网络(例如，以太网)、无线网络(例如802.11网络、

在一些实施方式中，数据存储区108可以是非暂时性计算机可读存储介质(例如，随机存取存储器)、高速缓存、驱动器(例如，硬盘驱动器)、闪存驱动器、数据库系统、或能够存储数据的另一类型的组件或设备。数据存储区108还可以包括还可以跨越多个计算设备(例如，多个服务器计算机)的多个存储组件(例如，多个驱动器或多个数据库)。

在一些实施方式中，在线评估平台102可以包括具有一个或多个计算设备的服务器(例如，云计算系统、机架服务器、服务器计算机、物理服务器集群、虚拟服务器等)。在一些实施方式中，服务器可以包括在在线评估平台102中，可以是独立的系统，或者可以是另一系统或平台的一部分。

在一些实施方式中，在线评估平台102可以包括一个或多个计算设备(例如机架式服务器、路由器计算机、服务器计算机、个人计算机、大型计算机、膝上型计算机、平板计算机、台式计算机等)、数据存储区(例如，硬盘、存储器、数据库)、网络、软件组件、和/或硬件组件，可用于在在线评估平台102上执行操作并向用户提供对在线评估平台102的访问权限。在线评估平台102还可以包括可用于向用户提供对在线评估平台102提供的内容的访问权限的网站(例如，一个或多个网页)或应用后端软件。例如，用户(或监督者)可以分别使用客户端设备110上的无障碍应用113访问在线评估平台102。

在一些实施方式中，在线评估平台102可以提供一个或多个评估提供者和/或雇主之间的连接，该连接允许监督者(例如，管理评估的人)经由在线评估平台102与其他监督者通信，其中，通信可以包括语音聊天(例如，同步和/或异步语音通信)、视频聊天(例如，同步和/或异步视频通信)、或文本聊天(例如，同步和/或异步的基于文本的通信)。在本公开的一些实施方式中，“用户”可以表示为个人。然而，本公开的其他实施方式涵盖作为被评估工作技能和通信技能的一组用户或组控制的实体的“用户”(例如，测试或评估用户)。例如，在一些情况下，联合为被评估的组的一组个人用户可以视为是“用户”。

在一些实施方式中，在线评估平台102可以包括数字资产和数字评估生成规定。例如，平台可以提供管理员界面，管理员界面实现设计、修改、针对个人的独特定制、以及其他修改功能。在一些实施方式中，评估可以包括例如二维(two-dimensional，2D)游戏、三维(three-dimensional，3D)游戏、虚拟现实(virtual reality，VR)游戏、或增强现实(augmented reality，AR)游戏。在一些实施方式中，评估创建者和/或监督者可以搜索评估、组合评估的部分、为特定活动定制评估(例如，组评估)、以及通过评估平台102提供的其他特征。

在线评估平台102可以以数据文件格式或直接打印格式提供一个或多个物理覆盖物A到N(120-121)。在一些实施方式中，评估105可以包括电子文件，可以使用用于生成物理覆盖物的物理打印的软件、固件或硬件(例如，盲文或刻印打印装置)来执行或加载该电子文件。在一些实施方式中，可以执行虚拟评估112并结合评估引擎104监督评估105。在一些实施方式中，评估105可以具有一组公共规则或公共目标，并且评估105的虚拟环境共享该组公共规则或公共目标。在一些实施方式中，不同的评估可能具有彼此不同的规则或目标。

用户114可以使用物理覆盖物120至物理覆盖物121与虚拟评估112交互，从而提供触摸、触觉、音频和其他反馈。如上所述，如果虚拟评估包括与自然环境相关的激活，则物理覆盖物120至物理覆盖物121可以表示描述自然环境的GUI的特定部分，例如具有树、草、山或其他环境特征的区域。当通过覆盖物与GUI交互时，学生可以“感知”边界和区域，理解盲文指令，在覆盖物上按下、点击和滑动，所有这些都是在与底层GUI交互的同时进行的。通过物理覆盖物120至物理覆盖物121在显示屏114上的替换(例如，使用电容传感器来确定对象的位置)，客户端设备110可以提供多个新界面以提供直观的、自然的评估过程，通过该评估过程，与传统的仅使用音频的监督相比，人可以在更了解评估的同时进行交互。

在一些实施方式中，在线评估平台102或客户端设备110可以包括评估引擎104或虚拟评估112。在一些实施方式中，评估引擎104可以用于评估105的开发或执行。例如，评估引擎104可以包括用于2D、3D、VR、或AR图形的渲染引擎(“渲染器”)、物理引擎、碰撞检测引擎(和碰撞响应)、声音引擎、脚本功能、触觉引擎、人工智能引擎、网络功能、流功能、存储管理功能、线程功能、场景图功能、或动画视频支持、以及其他功能。评估引擎104的组件可以生成帮助计算和渲染游戏的命令(例如，渲染命令、碰撞命令、物理命令等)。

使用评估引擎104的在线评估平台102可以执行一些或所有评估引擎功能(例如，生成物理命令、渲染命令等)，或者将一些或所有评估引擎功能分流到客户端设备110(未示出)的评估引擎104。在一些实施方式中，在在线评估平台102上执行的评估引擎功能和在客户端设备110上执行的评估引擎功能之间，每个评估105可以具有不同比率。

在一些实施方式中，评估指令可以指允许客户端设备110渲染评估的图形和其他特征(例如自然世界渲染(其中表示有逻辑问题))的指令。指令可以包括用户输入(例如，物理覆盖物定位)、角色位置和速度信息、或命令(例如，物理命令、渲染命令、碰撞命令等)中的一个或多个。指令可以由评估监督者有声提示、由语音合成器有声呈现、由触觉反馈物理表示(例如，边界处的振动、错位等)、或其组合。

在一些实施方式中，客户端设备110可以各自包括计算设备，例如个人计算机(personal computer，PC)、移动设备(例如，膝上型计算机、移动电话、智能电话、平板计算机、或上网本计算机)、互联网电视、游戏控制台等。在一些实施方式中，客户端设备110也可以称为“用户设备”。在一些实施方式中，一个或多个客户端设备110可以在任何给定时刻连接到在线评估平台102。可以注意到，提供单个客户端设备110是为了说明而非限制。在一些实施方式中，可以使用任何数量的客户端设备110。

在一些实施方式中，每个客户端设备110可以包括虚拟评估112的实例。虚拟评估112可以表示教育评估测验、职业评估测验或任何合适的评估(无论是标准化的评估还是针对特定个人或个人组独特定制的评估)。虽然本文描述为与视力受损人群相关，但应理解，上述属性(物理覆盖物、触觉反馈、语音合成以及显示屏114上GUI的视觉表示)使得至少有一只可活动的手的任何人能够至少部分地与等效的评估形式交互，并由此执行评估105。

在一些实施方式中，用户可以通过无障碍应用113登录到在线评估平台102。用户可以通过提供用户账户信息(例如，用户名和密码)来访问用户账户，其中，用户账户与在线评估平台102的一个或多个评估105相关联。在监督者的帮助下，用户名和密码也可以替换为带照片的身份证或其他身份证明。

通常，如果适当的话，在一些实施方式中描述为由在线评估平台102执行的功能也可以在其他实施方式中由客户端设备110或服务器执行。此外，归属于特定组件的功能可以由不同或多个组件一起操作来执行。在线评估平台102还可以作为通过用于定制评估或私人评估的适当的应用编程接口(application programming interface，API)提供给其他系统或设备的服务而被访问，因此不限于在网站中使用。

在一些实施方式中，在线评估平台102可以包括无障碍引擎107。在一些实施方式中，无障碍引擎107可以是提供计算机可执行指令或功能的系统、应用或模块，以促进语音合成、触觉反馈和任何其他可用特征的使用，从而使评估对视觉受损人群更直观。

如上所述，可以针对残疾人创建、修改和监督评估105。评估105(以及表示物理覆盖物120至物理覆盖物121的任何相关联的数据文件)可以存储在数据存储区108中。另外，根据一个实施方式，与物理覆盖物120至物理覆盖物121相关联的任何数据文件可以被发送到评估的任何物理位置，使得可以进行物理覆盖物120至物理覆盖物121的再现、复制或物理打印。评估可以表示用于判断或评估人的逻辑问题，并且可以包括GUI。在下文中，参考图2更详细地描述示例GUI。

图2：虚拟评估GUI

图2是根据一些实施方式的用于无障碍的计算机-用户交互的图形用户界面(GUI)200的示意图。GUI 200可以至少包括一个或多个图形区域1到N。通常，图形区域可以由监督者大声朗读。可替换地或组合地，客户设备110上的语音合成器可以例如通过合成语音部分并经由计算机音频回放这些语音来提供图形区域的音频描述。在一些实施例中，可以回放录制的音频。

在评估期间，目标可以包括选择(例如，标识为202、204)每个图形区域的分离部分，以实现逻辑问题的图形和文本表示(标识为206)。这样的表示可能在许多方面有所不同。

例如，该表示可以使学生能够选择特定种类的动物来尝试解决自然环境中的问题。当考虑在图形区域1中显示的每个动物时，学生可以从图形区域2中选择信息，从而做出知情选择。

除了所提供的动态图形区域之外，还可以呈现附加图形元素225用于重叠控制功能，例如暂停评估、移动到下一部分、请求帮助、或其他类似特征。

应理解，GUI 200的实际视觉特征、元素的放置、化身/可玩特征的位置、以及其他方面是动态的，并且可以针对任何特定评估进行定制。因此，图2所示的形式不是对所有实施例的限制，而是表示用于帮助理解本公开的各方面的单个用例。

如上所述，可以操纵物理覆盖物来改变GUI 200中显示的图形元素。在下文中，参考图3A和图3B更详细地描述示例物理覆盖物。

图3：物理覆盖物

图3A是根据一些实施方式的用于无障碍的计算机-用户场景的物理覆盖物120的平面图。图3B是根据一些实施方式的与显示设备对齐的物理覆盖物的视图。应理解，图3A和图3B中所示的特定形式可以以多种方式变化。因此，虽然示出了特定的物理覆盖物，但是可以适用任何物理覆盖物。

物理覆盖物120可以包括从较大的材料块上切割下来的外边界302。外边界可以是表示底层或预期显示屏的限定边缘。根据一个实施方式，边界302的尺寸基本上类似于目标显示设备(例如特定平板计算机)的尺寸。根据一个实施方式，边界302的尺寸保持与标准平板计算机设备(与诸如特定学校的教学机构相关联)一致的比率。以这种方式，拥有特定平板计算机的所有学生都可以使用该覆盖物。此外，表示物理覆盖物120的数据文件可以包括基于目标显示设备自动增加、减少、或以其他方式修改尺寸的模板选项。

物理覆盖物120还可以包括对应于GUI 200的特定图形区域1、图形区域2、以及图形区域N的刻印区域306、刻印区域308、以及刻印区域310。因此，取决于与特定评估对应的特定GUI，刻印区域306、刻印区域308、以及刻印区域310可以有所不同。

刻印区域306、刻印区域308、以及刻印区域310具有定义的凸起边缘或刻印，凸起边缘或刻印描绘对应的图形区域。可以通过任何合适的方法(包括使用刻印辊(embossingroller)进行手工刻印)形成这些刻印。此外，在一些实施方式中，可以包括内部刻印312以标识图形区域1、图形区域2、以及图形区域N的子区域，使得失明或部分失明的学生可以容易地识别多个单独的子区域以及这些子区域相关联的边界。

根据一个实施方式，物理覆盖物120可以包括一个或多个区域，其中，可以应用导电带或涂料的至少部分导电的迹线(trace)。以这种方式，至少部分导电的迹线可以用于自动确定物理覆盖物120与底层GUI图形区域的一部分的对齐。注意，并非所有的实施方式都可以包括导电迹线或导电元件，并且也可以通过评估监督者或其他人的目视检查来帮助确定上述对齐。

根据一个实施方式，物理覆盖物120是定制的3D打印覆盖物，该定制的3D打印覆盖物可以用数据文件来表示，该数据文件规定加减打印装置如何重新创建对象120。例如，可以通过数据文件来描述打印顺序，该数据文件使得打印装置沉积(或移除)材料层直到创建(或重新创建)物理覆盖物120。根据其他实施方式，物理覆盖物120是定制的3D打印覆盖物，该定制的3D打印覆盖物可以用数据文件来表示，该数据文件规定盲文或刻印打印机如何刻印覆盖物120并将覆盖物120切割成适当尺寸。此外，覆盖物120可由塑料、橡胶、半透明纸、或任何其他可刻印的至少部分柔性材料形成。

如下文更全面地描述的，物理覆盖物可以分发给被评估的人用于进行评估。

图4和图5：进行评估

图4是根据一些实施方式的使用图2的GUI和物理覆盖物120实现的虚拟评估的可视化。如图所示，具有显示边框(bezel)330的平板计算机325由被评估的人提供或提供给被评估的人。在初始化评估时，第一物理覆盖物120被放置在显示器上，使得第一物理覆盖物120与GUI 200的图形区域适当对齐。监督者或非视觉受损的助手可以帮助最初将第一覆盖物120放置到设备325上。

一旦评估开始，人可以触摸、感知、操纵、以及按压设备325上的物理覆盖物。此外，当学生继续完成评估时，其他覆盖物120也可用于替换第一覆盖物。

当用户通过设备400与评估交互时，可以记录关于用户如何解决任务和/或用户在任务期间解决和参与的过程的信息。例如，图5示出了根据一些实施方式的用于合计用户评估得分的示例数据结构500。如图所示，数据结构500可以整理为表格，但是其他格式也是可接受的。

所记录的信息可以包括用户的遥测数据，例如手指/鼠标移动、点击、按压、滑动、选择、时间戳和其他合适的遥测数据。可以通过项目级(item-level)评分算法和心理测量评分模型来分析和处理用户的遥测数据，以对用户的认知过程和/或整体表现定性。除了分析用户的遥测数据以获得正确或不正确的答案之外，还可以分析用户的遥测数据以了解用户如何解决问题和/或用户采取了什么策略来解决问题。这种在给定领域(例如教育领域)进行认知测试的新方法可以提供丰富的信息来更好地评估哪些学生可能在给定的研究领域中取得成功。

此外，确定评估得分以量化用户在每个场景中的动作、时间戳和表现如何与各种认知概念相关联。认知科学、教育心理学和学习科学理论可以引导每个得分到相关概念的映射。得分可能聚焦于结果(例如，对或错)和过程(例如，这些用户如何进行到这一步，这些用户做了什么选择，这些用户纠正了多少错误)，这比传统的认知评估更加微妙。

因此，对于被评估的每个用户501，可以针对个人创建合计的评估得分503并将该合计的评估得分503存储在表500中，以在评估105完成后呈现给指导者。合计的得分可以是简单的总和、加权平均值或任何其他紧密反映对学生技能和表现(而不是这些学习特定的知识基础)的实际评估的合计或计算。

在下文中，参考图6更全面地描述在评估中提供无障碍的计算机-用户场景的方法。

图6是根据一些实施方式的用于无障碍的计算机-用户场景的示例方法的流程图。在一些实施方式中，方法600可以例如在服务器系统(例如，如图1所示的在线评估平台102)上实施。在一些实施方式中，方法600的部分或全部可以在诸如如图1所示的一个或多个客户端设备110的系统上实施，和/或在服务器系统和一个或多个客户端系统上实施。在描述的示例中，实施系统包括一个或多个处理器或处理电路、以及一个或多个存储设备(例如，数据库或其他可访问存储器)。在一些实施方式中，一个或多个服务器和/或客户端的不同组件可以执行方法600的不同块或其他部分。方法600可以开始于块602。

在块602，在显示屏(例如，显示屏402)或显示设备上显示GUI(例如，GUI 200)。GUI可以包括表示评估测验的虚拟评估105。GUI还可以包括表示评估的逻辑问题的一部分的一个或多个图形区域(例如，图形区域1至N)。块602之后可以是块604。

在块604，接收信号，该信号指示将物理覆盖物放置在显示屏上且在图形区域上方。通常，监督者的初始放置可以标志着评估已经开始。然而，控制225的其他后续放置和/或激活也可以指示评估已经开始或触发评估的开始。块604之后可以是块606。

在块606，可以确定和/或确认覆盖物的对齐。例如，在评估期间，人可以物理地滑动、移动、按压或以其他方式操纵显示屏上的物理覆盖物。在检测到移动时，该方法可包括提示重新对齐(例如，通过触觉反馈)。否则，评估可能会继续。

此外，根据至少一个实施方式，覆盖物可以包括一个或多个至少部分导电的区域，该区域与边界302和/或其上的刻印区域中的至少一个对齐。以这种方式，电容式触摸屏可以将物理覆盖物上的一个或多个导电部分登记为触摸输入(例如，如同手指被放置在该导电部分处)。此后，根据所登记的导电部分的位置，上述方法可以包括确定一个或多个导电部分与底层GUI适当对齐。可以通过至少部分地附接到物理覆盖物的导电带、导电涂料、或其他导电材料的一个或多个分段、片、或残余物来促进导电部分。然而，其他实施方式可以不必包括一个或多个导电部分或区域。块606之后可以是块608。

在块608，基于上述信号以及学生与覆盖物和底层GUI的交互来累积或列出评估得分的至少一部分。例如，如图5所示，当一个人完成评估的不同部分时，评估得分可以被合计。此外，还可以记录基于移动、推动或以其他方式操纵GUI的遥测数据，以测量人的评估的其他方面，例如速度、敏捷性、理解力、错误等。此外，如图5所示，用户的遥测数据(该遥测数据至少部分基于对齐信号、移动/重新定位图形元素、和/或与物理覆盖物的交互)可以一起体现项目级得分，并且许多项目得分包括整个评估得分。块608之后可以是块610、块612、以及块614。

在块610，确定是否检测到与GUI的交互。如果检测到交互，则可以在块609提供触觉反馈，随后重复或迭代块606。

在块612，(例如，如果没有检测到交互)，确定关于评估的同期部分(contemporaneous portion)是否完成。如果该部分未完成，则评估可以在块606至块612以任何重复方式继续，直到该部分完成。如果该部分完成，但是评估未完成，则基于新放置的覆盖物和相关联的GUI，可以在块611提供新覆盖物的提示，并且评估可以在块602至块614继续。

如果评估完成，则在块616生成最终评估得分。

可以以与上述不同的顺序执行(或重复)块602至块616和/或一个或多个块可以被省略、用其他块补充、组合在一起、被修改等。在下文中，参考图7描述评估的创建。

图7：创建评估和内容

图7是根据一些实施方式的用于创建无障碍的计算机-用户交互的示例方法的流程图。在一些实施方式中，方法700可以例如在服务器系统上(例如，如图1所示的在线评估平台102)实施。在一些实施方式中，方法700的部分或全部可以在诸如如图1所示的一个或多个客户端设备110的系统上实施，和/或在服务器系统和一个或多个客户端系统上实施。在描述的示例中，实施系统包括一个或多个处理器或处理电路、以及一个或多个存储设备(例如，数据库或其他可访问存储器)。在一些实施方式中，一个或多个服务器和/或客户端的不同组件可以执行方法700的不同块或其他部分。方法700可以开始于块702。

在块702，可以从用户或监督者接收对在线评估平台上可用的评估(例如，在线评估平台102)的请求。例如，用户可以使用由平台提供的搜索引擎或其他界面(例如，浏览界面)。在一些实施方式中，可用项目的列表可以例如通过数据存储区106存储在在线评估平台102中。上述请求还可以实现为激活或选择在线评估平台上可用内容的超链接(例如，来自外部源(例如网站、社交网络或新闻组)的链接)。超链接或“链接”可以包括直接链接或查询，该直接链接或查询包括标识数据或其他数据。块702之后可以是块704。

在块704，基于请求识别特定评估或内容。例如，如果请求是搜索查询，则可以在在线评估平台上的搜索引擎上返回匹配评估的列表。类似地，可以执行数据库查询以识别一个或多个评估或其他内容项目。块704之后可以是块706。

在块706，可以生成物理覆盖物数据文件。物理覆盖物数据文件可以包括在打印机或其他制造装置上重新创建物理覆盖物所需的一系列打印/移除/盲文/刻印操作。此外，根据至少一个实施方式，物理覆盖物数据文件可以包括表示一个或多个位置的数据，在这些位置中，将应用至少部分导电的迹线(例如导电带或涂料)，以帮助通过电容式触摸屏设备或其他显示器设备进行对齐确定。此外，导电迹线可以不必应用于所有实施方式，例如，如果未实现对齐的自动确定。对齐的其他确定方式可以包括监督者或其他人的检查，和/或激活/选择附加GUI元素(例如一个或多个元素225)以通知正确对齐。块706之后可以是块708。

在块708，可以生成虚拟评估。例如，如上所述，每个人的评估可以根据各种因素来定制。因此，方法700可以通过加、减、组合和任何其他方式来促进定制。块708之后可以是块710。

在块710，可以向请求者提供在块708创建的虚拟评估和一个或多个物理覆盖物数据文件。

可以以与上述不同的顺序执行(或重复)块702至块710和/或一个或多个块可以被省略、用其他块补充、组合在一起、修改等。可以在服务器(例如102)和/或客户端设备(例如110)上执行方法600和/或方法700。此外，根据任何期望的实施方式，可以顺序地或并行地组合和执行方法600和方法700的各部分。

如上所述，呈现场景或任务的GUI的技术可以嵌入上述基于模拟的评估中，该基于模拟的评估抽象给定环境(例如学习环境)的上下文，同时给予用户表现研究领域所需的问题解决能力的机会。通过在基于模拟的评估中发生的场景，可以观察到用户认知过程的细节，而不仅仅是最终选择。对包括大量遥测数据的评估得分的合计增强了评估的适用性，以确定一个人在解决特定问题、在小组中工作、遵循来自另一个人或计算机的口头指令、和/或可以表示研究领域、工作、或职业的其他属性方面的能力。

在下文中，参考图8更详细地描述用于实现图1所示的不同设备的各种计算设备。

图8是根据一些实施方式的示例计算设备800的框图，示例计算设备800可用于实现本文描述的一个或多个特征。在一个示例中，设备800可用于实现计算机设备(例如，图1的在线评估平台102和客户端设备110)，并执行本文描述的适当方法实施方式。计算设备800可以是任何合适的计算机系统、服务器、或其他电子或硬件设备。例如，计算设备800可以是大型计算机、台式计算机、工作站、便携式计算机、或电子设备(便携式设备、移动设备、手机、智能手机、平板计算机、电视机、电视机顶盒、个人数字助理(personal digitalassistant，PDA)、媒体播放器、游戏设备、可穿戴设备等)。在一些实施方式中，设备800包括处理器802、存储器804、输入/输出(input/output，I/O)接口806、以及音频/视频输入/输出设备814(例如，显示屏、触摸屏、显示护目镜或眼镜、音频扬声器、麦克风等)、触觉设备821(例如，致动器、振动电机、螺线管等)、和/或音频设备823(例如，语音合成设备和/或扬声器)。

处理器802可以是一个或多个处理器和/或处理电路，以执行程序代码并控制设备800的基本操作。“处理器”包括处理数据、信号、或其他信息的任何合适的硬件和/或软件系统、机制、或组件。处理器可以包括具有通用中央处理单元(central processing unit，CPU)、多个处理单元、用于实现功能的专用电路或其他系统的系统。处理不必局限于特定的地理位置，也不具有时间限制。例如，处理器可以以“实时”、“离线”、“批处理模式”等方式执行其功能。处理的各个部分可以由不同的(或相同的)处理系统在不同时间和不同位置执行。计算机可以是与存储器通信的任何处理器。

存储器804通常在设备800中提供以供处理器802访问，并且可以是任何合适的处理器可读存储介质，例如，随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、电可擦除只读存储器(electrical erasable read-onlymemory，EEPROM)、闪存等，存储器804适用于存储供处理器执行的指令，并且与处理器802分离和/或与处理器802集成。存储器804可以存储由处理器802在服务器设备800上操作的软件，包括操作系统808、评估引擎应用810、以及相关联数据812。在一些实施方式中，评估引擎应用810可以包括使处理器802能够执行本文描述的功能或控制本文描述的功能的执行(例如，图6和图7所示的部分或全部方法)的指令。在一些实施方式中，评估引擎应用810还可以包括一个或多个机器学习模型，机器学习模型用于生成新的评估、新的数字资产、物理覆盖物的新的虚拟表示，并且用于提供如本文所述的用户界面和/或平台的其他特征。

例如，存储器804可以包括用于评估引擎810的软件指令，评估引擎810可以提供包括直观触觉反馈和音频语音合成的评估。存储器804中的任何软件可替代地存储在任何其他合适的存储位置或计算机可读介质上。此外，存储器804(和/或其他连接的存储设备)可以存储本文描述的特征中使用的指令和数据。存储器804和任何其他类型的存储器(磁盘、光盘、磁带、或其他有形介质)可以被认为是“存储”或“存储设备”。

I/O接口806可以提供使服务器设备800能够与其他系统和设备接口的功能。例如，网络通信设备、存储设备(例如，存储器和/或数据存储区108)、以及输入/输出设备可以经由接口806进行通信。在一些实施方式中，I/O接口可以连接到接口设备，该接口设备包括输入设备(键盘、指向设备、触摸屏、麦克风、相机、扫描仪等)和/或输出设备(显示设备、扬声器设备、打印机、电机等)。

例如，可以通过I/O接口806控制加减、盲文和/或刻印打印装置825。合适的打印设备可以包括使用树脂、细丝(filament)或其他添加剂技术的3D打印机。合适的减去过程可以包括CNC车床、铣床和/或刳刨机。合适的盲文和刻印打印机可以包括能够在至少部分柔性材料中刻印凸起边缘或部分的任何可用打印机。

为了便于说明，图8对处理器802、存储器804、I/O接口806、软件块808和810、以及数据库812中每一个示出了一个块。这些块可以表示一个或多个处理器或处理电路、操作系统、存储器、I/O接口、应用、和/或软件模块。在其他实施方式中，设备800可以不具有所示的所有组件，和/或可以具有包括其他类型的元件的其他元件而不是本文所示的那些元件，或除了本文所示的那些元件之外还包括这些其他元件。虽然在线评估平台102被描述为执行如本文的一些实施方式中所描述的操作，但是在线评估平台102或类似系统的任何合适的组件或组件的组合、或者与这样的系统相关联的任何合适的一个或多个处理器可以执行所描述的操作。

用户设备还可以实施本文描述的特征，和/或与本文描述的特征一起使用。示例用户设备可以是包括一些与设备800类似的组件的计算机设备，例如处理器802、存储器804、以及I/O接口806。可以在存储器中提供适用于客户端设备的操作系统、软件、以及应用并由处理器使用。用于客户端设备的I/O接口可以连接到网络通信设备以及输入和输出设备，例如，用于捕获声音的麦克风、用于捕获图像或视频的相机、用于输出声音的音频扬声器设备、用于输出图像或视频的显示设备、或其他输出设备。例如，音频/视频输入/输出设备814内的显示设备可以连接到(或包括在)设备800，以显示如本文所述的预处理和后处理的图像，其中，这种显示设备可以包括任何合适的显示设备，例如LCD、LED、或等离子显示屏、CRT、电视机、监视器、触摸屏、3D显示屏、投影仪、或其他视觉显示设备。一些实施方式可以提供音频输出设备，例如语音输出或阅读文本的合成音。

本文描述的方法、块、和/或操作可以以与示出或描述的顺序不同的顺序执行，和/或在适当的情况下与其他块或操作同时(部分或全部)执行。可以对数据的一部分执行一些块或操作，然后再次执行这些块或操作，例如，对数据的另一部分执行这些块或操作。并非所有描述的块和操作都需要在各种实施方式中执行。在一些实施方式中，可以在方法中以不同的顺序和/或在不同的时间多次执行块和操作。

在一些实施方式中，可以在诸如一个或多个客户端设备的系统上实施部分或全部方法。在一些实施方式中，可以在例如服务器系统上和/或在服务器系统和客户端系统两者上实施本文描述的一个或多个方法。在一些实施方式中，一个或多个服务器和/或客户端的不同组件可以执行不同的块、操作、或方法的其他部分。

本文描述的一个或多个方法(例如，方法600和/或方法300)可以由能在计算机上执行的计算机程序指令或代码来实施。例如，代码可以由一个或多个数字处理器(例如，微处理器或其他处理电路)实施，并且可以存储在包括非暂时性计算机可读介质(例如，存储介质)的计算机程序产品上，例如磁性、光学、电磁、或半导体存储介质，包括半导体或固态存储器、磁带、可移动计算机软盘、随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬磁磁盘、光盘、固态存储驱动器等。程序指令还可以包含在电子信号中并作为该电子信号提供，例如以从服务器(例如，分布式系统和/或云计算系统)交付的软件即服务(software as aservice，SaaS)的形式。或者，一种或多种方法可以用硬件(逻辑门等)或硬件和软件的组合来实现。示例硬件可以是可编程处理器(例如，现场可编程门阵列(field-programmablegate array，FPGA)、复杂可编程逻辑器件)、通用处理器、图形处理器、专用集成电路(application specific integrated circuit，ASIC)等。一种或多种方法可以作为在系统上运行的应用的一部分或组件来执行，或者作为与其他应用和操作系统一起运行的应用或软件来执行。

本文描述的一种或多种方法可以在能在任何类型的计算设备上运行的独立程序、在网络浏览器上运行的程序、在移动计算设备(例如，手机、智能手机、平板电脑、可穿戴设备(手表、臂章、首饰、头饰、护目镜、眼镜等)、笔记本电脑等)上执行的移动应用(“app”)中运行。在一个示例中，可以使用客户端/服务器架构，例如，移动计算设备(作为客户端设备)将用户输入数据发送到服务器设备并从服务器接收最终输出数据以用于输出(例如，用于显示)。在另一个示例中，在移动计算设备上的移动应用(和/或其他应用)内执行所有计算。在另一示例中，可以在移动计算设备和一个或多个服务器设备之间拆分计算。

虽然已经针对其特定实施方式描述了说明书，但是这些特定实施方式仅仅是说明性的，而不是限制性的。示例中说明的概念可以应用于其他示例和实施方式。

在本文所述的某些实施方式可以获得或使用用户数据(例如，评估期间的用户人口统计、用户行为数据等)的情况下，向用户提供了用于控制是否以及如何收集、存储或使用此类信息的选项。也就是说，本文所述的实施方式在接收到明确的用户授权并符合适用的法规时收集、存储和/或使用用户信息。

用户可以控制程序或特征是否能够收集关于该特定用户或与该程序或特征相关的其他用户的用户信息。向要收集信息的每个用户(例如，通过用户界面)呈现选项，以允许该用户控制与该用户相关的信息收集，从而提供对是否收集信息以及将收集信息的哪些部分的许可或授权。此外，在存储或使用之前可以以一种或多种方式对某些数据进行修改，从而移除个人可识别信息。作为一个示例，可以修改用户的标识(例如，用假名、数值等替换)，使得无法确定任何个人可识别信息。在另一示例中，用户的地理位置可以推广到更大范围(例如，城市、邮政编码、州、国家等)。

应理解，如本领域技术人员所知，本公开中描述的功能块、操作、特征、方法、设备、以及系统可以集成或划分到系统、设备、以及功能块的不同组合。可以使用任何合适的编程语言和编程技术来实现特定实施方式的例程。可以采用不同的编程技术，例如，面向过程式或面向对象式。例程可以在单个处理设备或多个处理器上执行。虽然可以按照特定顺序呈现步骤、操作、或计算，但是在不同的特定实施方式中可以改变顺序。在一些实施方式中，在本说明书中显示为顺序的多个步骤或操作可以同时执行。。