使用出版平台经由学习插页广告为书籍提供伴随增强的系统和方法

相关申请的交叉引用

本申请要求于2019年7月19日提交的标题为“Systems and Methods forProviding Concomitant Augmentation Via Learning Interstitials for Books Usinga Publishing Platform(使用出版平台经由学习插页广告为书籍提供伴随增强的系统和方法)”的第16/517,258号美国专利申请以及于2018年7月20日提交的标题为“Systems andMethods for Providing Concomitant Augmentation Via Learning Interstitials forBooks Using a Publishing Platform(使用出版平台经由学习插页广告为书籍提供伴随增强的系统和方法)”的第62/701,180号美国临时专利申请的优先权，其内容通过引用以其整体结合在此。

技术领域

本说明书总体上涉及用于向读者提供书面文本和可访问的多模式内容的增强框架的系统和方法。

背景技术

学习材料通常包括书籍、基于电子的文章和数据库、视频讲座、录音、视觉图表等。这些材料中的每一种通常都可以通过独立的介质访问。而且，教育计划越来越依赖电子文本和多媒体解决方案作为教学和培训学生的教育材料。例如，医学领域越来越多地使用智能手机和平板电脑上的移动应用来访问和学习信息。许多同种疗法和整骨疗法医学程序为学生提供电子设备和配套应用，以期增强医学教育的互动体验。然而，尽管学生们普遍对将互动技术集成到他们的医学教育中的前景感到兴奋，但他们的看法在医学院的整个过程中迅速改变。对使用电子设备的积极态度的下降与当前由基于电子设备的媒体集成所提供的交互式体验的质量较差有关。

发明内容

在一个实施例中，提供了一种经由学习插页广告为出版物提供伴随增强的方法。该方法包括：激活扫描模式，其中扫描模式使电子设备的相机捕获图像数据；以及确定图像数据中是否存在捕获的出版物；分析出版物的图像数据以确定是否存在增强现实(AR)标识符。响应于识别到在图像数据中捕获的出版物中存在AR标识符，该方法还包括在电子设备的显示器上显示出版物的图像数据和与AR标识符相对应的AR链接，其中AR链接显示为出版物图像数据的AR叠加层。响应于未能识别出在图像数据中捕获的出版物内的AR标识符，该方法还包括：提示用户输入在图像数据中捕获的出版物的页码；以及显示与用户输入的出版物页码相对应的AR链接，其中AR链接被显示在电子设备的显示器上的列表视图中。

在一些实施例中，一种用于经由学习插页广告为出版物提供伴随增强的系统，包括：电子设备，其包括显示器和相机；处理器，其通信地耦合到显示器和相机；以及非暂时性处理器可读存储器，其耦合到处理器。非暂时性处理器可读存储器包括存储在其上的机器可读指令集。该机器可读指令集在由处理器执行时使处理器激活扫描模式。扫描模式使电子设备的相机：捕获图像数据，确定在图像数据中是否存在捕获的出版物，并分析出版物的图像数据以确定是否存在增强现实(AR)标识符。响应于识别到在图像数据中捕获的出版物中存在AR标识符，机器可读指令还使处理器在电子设备的显示器上显示出版物的图像数据和与AR标识符对应的AR链接，其中AR链接被显示为出版物图像数据的AR叠加层。响应于未能识别出在图像数据中捕获的出版物内的AR标识符，机器可读指令还使处理器提示用户输入在图像数据中捕获的出版物的页码并显示与用户输入的出版物的页码对应的AR链接，其中AR链接被显示在电子设备的显示器上的列表视图中。

在一些实施例中，配置有用于经由学习插页广告为出版物提供伴随增强的应用的电子设备包括显示器、相机、通信地耦合到显示器和相机的处理器以及耦合到处理器的非暂时性处理器可读存储器。非暂时性处理器可读存储器包括存储在其上的机器可读指令集。该机器可读指令集在由处理器执行时使处理器：激活扫描模式，其中，扫描模式使电子设备的相机捕获图像数据；确定图像数据中是否存在捕获的出版物；以及分析出版物的图像数据以确定是否存在增强现实(AR)标识符。响应于识别到在图像数据中捕获的出版物中存在AR标识符，机器可读指令还使处理器在电子设备的显示器上显示出版物的图像数据和与AR标识符对应的AR链接，其中AR链接被显示为出版物图像数据的AR叠加层。响应于未能识别出在图像数据中捕获的出版物内的AR标识符，机器可读指令还使处理器提示用户输入在图像数据中捕获的出版物的页码并显示与用户输入的出版物的页码对应的AR链接，其中AR链接被显示在电子设备的显示器上的列表视图中。

结合附图，结合以下详细描述，将更加充分地理解本文所述实施例提供的这些和附加特征。

附图说明

在附图中阐述的实施例本质上是说明性和示例性的，并且不旨在限制由权利要求书限定的主题。当结合以下附图阅读时，可以理解说明性实施例的以下详细描述，其中，相同的结构用相同的附图标记表示，并且其中：

图1描绘了根据本文示出和描述的一个或多个实施例的用于向读者提供书面文本和可访问的多模式内容的增强框架的电子设备的说明性示例；

图2A示意性地描绘了根据本文示出和描述的一个或多个实施例的用于经由学习插页广告为出版物提供伴随增强的示例性计算网络；

图2B示意性地描绘了根据本文示出和描述的一个或多个实施例的用于经由学习插页广告为出版物提供伴随增强的示例性电子设备；

图3A描绘了根据本文示出和描述的一个或多个实施例的适于由电子设备扫描的书籍的出版布局的说明性示例；

图3B描绘了根据本文示出和描述的一个或多个实施例的AR标识符系统的说明性示例；

图4描绘了根据本文示出和描述的一个或多个实施例的经由学习插页广告为出版物提供伴随增强的过程的说明性流程图；

图5描绘了根据本文示出和描述的一个或多个实施例的配置为以扫描模式扫描出版物的电子设备的示例性显示；

图6描绘了根据本文示出和描述的一个或多个实施例的移动应用界面的说明性示例性显示，其中系统已经识别出训练材料和来自电子设备的相机的图像数据之间的匹配；

图7描绘了根据本文示出和描述的一个或多个实施例的，当页面检测/扫描系统未能识别与训练材料匹配的页面和/或AR标识符时，在电子设备上显示给用户的用户界面(UI)的示例性图示；

图8示出了根据本文示出和描述的一个或多个实施例的，当页面检测/扫描系统肯定地指示图像数据与训练材料之间的匹配时，用于电子设备的移动应用的说明性示例性显示；

图9描绘了根据本文示出和描述的一个或多个实施例的从AR链接打开的PDF文档形式的内容的说明性示例；

图10A描绘了根据本文示出和描述的一个或多个实施例的在移动应用内的电子设备的显示器上的列表视图的说明性示例；

图10B描绘了根据本文示出和描述的一个或多个实施例的AR链接的说明性示例。

图11描绘了根据本文示出和描述的一个或多个实施例的AR链接库内容摘要界面的说明性示例；

图12A描绘了根据本文示出和描述的一个或多个实施例的电子设备的说明性示例性显示，其描绘了出版物的特定章节的AR链接的列表视图，并且其中用户可以选择AR链接以查看其对应的内容或提供关于AR链接的功能的反馈；

图12B描绘了与图12A相同的说明性显示，但是图12B包括根据本文示出和描述的一个或多个实施例的显示的描绘，其中用户可以提供关于AR链接的内容的喜欢的反馈；

图13A描绘了根据本文示出和描述的一个或多个实施例的问题库界面的说明性示例；

图13B描绘了根据本文示出和描述的一个或多个实施例的当用户在AR链接上选择问题库链接时的问题的说明性示例；

图14描绘了根据本文示出和描述的一个或多个实施例的数字出版平台的说明性示例，该数字出版平台具有用于在出版物中创作伴随插页广告的扩展。

图15描绘了根据本文示出和描述的一个或多个实施例的说明性示例对话框显示，其中用户可以从他的库中选择AR链接、创建新链接或从其他位置导入链接。

图16描绘了根据本文示出和描述的一个或多个实施例的数字出版平台内的问题库界面的说明性示例；以及

图17描绘了根据本文示出和描述的一个或多个实施例的用于管理AR链接和来自用户的反馈的库管理界面的说明性示例。

具体实施方式

本公开的实施例涉及用于通过经由电子设备和出版物经由学习插页广告来提供伴随增强的新的和改进的系统、方法和应用来改善通过电子设备提供的交互体验的缺点和质量较差的系统、方法和应用。换句话说，本文描述的系统、方法和应用提供与用户正在阅读的出版物相关联的增强现实(AR)内容。

增强现实(AR)可以通过将电子设备集成到教学课程中来增强教育(例如医学教育)。根据定义，AR是将虚拟学习嵌入物理环境中。在最近的评论中，与健康教育中的增强现实相关的出版物中有96％发现增强了学习，并且AR的用户坚持认为他们将来会继续使用它。但是，还发现AR在医学教育中的应用缺乏明确的教学理论框架。实际上，增强现实尚未应用于教科书教育中，在那里，AR不仅具有更明确的教学目的，而且对于其增强学习体验的巨大潜力也没有意识到。

本文描述的系统和方法详细描述了不同的方面、组件和系统，包括通过电子设备启用的例如用于支持医学教育教科书的伴随AR应用。作为非限制性示例，医学教育教科书通常包括旨在帮助医学生学习材料并准备现成考试(shelf exams)的教科书，例如由美国国家医学检查官委员会管理的那些考试。

尽管本文描述的伴随AR应用和方法/系统是为医学学习活动而构建的，但是这些方法和系统可以更普遍地利用。它们可以提供适用于涉及阅读物理书和访问多模式内容的任何上下文的书籍增强框架，并支持在以多种方式访问内容时保持注意力和焦点。

如本文所使用的，伴随增强是指AR链接，其支持对学习插页广告的访问，诸如附加内容和/或任何类型的相关联的问题库。附加内容可以包括与物理书籍元素(例如，段落、标题、表格、图像)相关联的书籍、基于电子的文章和数据库、视频、音频记录、可视化图、交互式模型(2D或3D)等，并且不论是否包含这些元素，都可以快速调用。伴随增强极大地帮助了研究和学习，特别是在不进行上下文切换(即从正在阅读和/或研究的文本导航离开)的情况下可用时，并且明确要求模态控制。例如，如图1所示，电子设备104可以配置有使得电子设备上的相机能够捕获出版物10(例如，书籍)的图像数据，并且响应于利用电子设备104捕获出版物10的图像数据的应用，可以虚拟地提供增强现实链接，以访问与在图像数据中捕获的出版物的主题相关联的其他学习内容。

此外，还提供了服务于编辑、作者和工作人员的数字创作平台发布工具和系统的扩展。例如，这样的工具包括用于在创作出版物时(例如，在发布出版物之前)直接增强和测试伴随增强(即，到内容和问题的AR链接)的工具，而无需排版和创建实际的出版物证明以进行体验和测试增强(即到内容和问题的AR链接)。

通过参考四个概括的实施方式描述了经由学习插页广告的伴随增强的实施例。其中包括：1)通过移动和启用AR的电子设备进行增强的书籍布局；2)页面检测、用户开发培训资料、AR跟踪和AR链接显示；3)学习插页广告评分和动态验证；4)出版物中伴随插页广告创作的数字出版平台扩展。在讨论系统的四个通用实施方式的细节之前，需要了解它们在阅读/学习/研究/测验活动期间如何协同工作以提供相应的增强。

例如，伴随增强包括三个面向用户的组件，这些组件协同工作以创建用于出版物的增强，从而限制呈现的形式内容，以在用户(例如，学生)获取并记住信息时使研究体验尽可能地流畅。其中的第一个组件包括物理书籍。该书籍遵循特定的布局/模板。该布局/模板可快速指示某些段落、图像、表格或其他书籍元素在何处通过伴随增强进行了相应的增强(即，通过AR链接的其他学习内容)。第二个组件包括可扫描书页并检测和/或建议其他学习插页广告(例如，视频剪辑、PDF、Web链接、图像、3D模型等)的移动应用。第三个组件包括学习插页广告(即AR链接)库和相关的问题库，它们也包含在移动应用中，但是在使用移动应用的扫描阶段被激活后，无需物理书籍就可以访问。

除了在初始扫描过程之后扫描物理书籍之外，伴随增强和阅读、研究和/或测验经验依赖于访问AR链接的能力。这提供了更丰富的研究体验，不需要用户不断使用电子设备和出版物(例如，物理书籍)来访问和/或查看相应的学习插页广告和相关的问题库。另外，通过使用环境提示和/或机器学习模型，需要来自用户的额外显式输入提供了为研究和学习内容而量身定制的流畅体验。例如，通过使用电子设备上的相机检测图像数据中的黑框，并使用陀螺仪推断模式变化(例如将移动设备放在书籍旁边的桌子上)，电子设备上显示的内容可以自动更新，以适应用户当前使用的电子设备。在一些实施例中，系统可以分析图像数据，以确定图像数据中物体的视野或焦距，从而进一步确定相机何时处于将指示对于捕获出版物(例如，书页)合理的距离处。例如，如果确定图像中物体的焦距太远或太短，则系统可以推断出电子设备没有在扫描出版物。即，系统可以被配置为在扫描模式期间检测条件。该条件自动将电子设备的显示器上的视图从显示覆盖在出版物的图像数据上的增强现实显示切换为AR列表视图。没有来自用户的直接输入的显式模态模式改变可以提供改善的用户体验。在通过移动商店可公开访问的其他移动设备学习系统和应用中找不到这种方法。

最后，还介绍了为数字出版平台开发的系统和方法。这些系统和方法可以在书籍项目的初始阶段帮助编辑、作者、工作人员、教师等在创作过程中直接添加此类学习插页广告和相关问题库。这也提供了此类学习插页广告的预览，而无需等待排字机、版面布置或书籍证明，即可查看如何通过所选的学习插页广告(例如，AR链接)来交付用于核心教材的伴随增强的AR标识符。

现在转向附图，现在描述了用于经由学习插页广告为出版物提供伴随增强的系统和方法。该系统和方法可以利用一个或多个连接的设备来经由学习插页广告(例如，AR链接)来向用户提供伴随增强。如图2A所示，网络100可以包括诸如因特网、局域网(LAN)、移动通信网络、公共服务电话网(PSTN)和/或其他网络之类的广域网，并且可以被配置为电连接计算设备102、用于管理内容和训练机器学习模型的服务器103以及启用了应用以供用户与出版物一起使用的电子设备104。

计算设备102可以包括显示器102a、处理单元102b和输入设备102c。它们中的每一个都可以通信地耦合到一起和/或耦合到网络100。计算设备102可以用于开发启用增强现实的出版物、增强现实内容、问题库等。计算设备102还可以用于与服务器103接口连接，以开发、更新和/或修复用于检测出版物内的AR标识符的机器学习模型。

另外，包括在图1中的是电子设备104。电子设备104可以是用户可以用来扫描出版物并访问AR内容的任何移动或个人计算设备，例如膝上型计算机、平板电脑、智能手机等，如本文中更详细描述的。

应当理解，尽管将计算设备102和电子设备104分别描绘为个人计算机和移动电话以及服务器103，但是这些仅是示例。更具体地说，在一些实施例中，任何类型的计算设备(例如，移动计算设备、个人计算机、服务器等)可以用于这些组件中的任何一个。另外，尽管在图2A中示出了这些计算设备中的每一个作为单个硬件，这也是示例。更具体地，计算设备102、服务器103和电子设备104中的每一个可以代表多个计算机、服务器、数据库等。

图2B描绘了来自图2A的示例性电子设备104，同时进一步示出了用于使移动应用能够提供用于出版物的AR链接和内容的组件和存储在组件上的数据。根据本文示出和描述的实施例，用于扫描出版物并向用户提供用于扫描的出版物的AR链接和内容的电子设备104可以利用硬件、软件和/或固件。尽管在一些实施例中，电子设备104可以被配置为具有必需的硬件、软件和/或固件的通用计算机，但是在一些实施例中，电子设备104可以被配置为专用于执行本文所述的功能的专用计算机。

如图2B所示，电子设备104可以包括处理器230、输入/输出硬件231、网络接口硬件232、相机233、运动传感器234、显示235、触摸输入传感器236、存储学习插页库240a和AR链接库240b的数据存储组件238以及存储器组件242。存储器组件242可以是机器可读存储器(也可以称为非暂时性处理器可读存储器)。存储器组件242可以被配置为易失性和/或非易失性存储器，并且因此可以包括随机存取存储器(包括SRAM、DRAM和/或其他类型的随机存取存储器)、闪存、寄存器、光盘(CD)、数字多功能光盘(DVD)和/或其他类型的存储组件。此外，存储器组件242可以被配置为存储操作逻辑244a、机器学习模型(ML模型)244b、页面装订线检测算法244c和插页广告显示算法244d(它们均可以例如体现为计算机程序、固件或硬件)。本地接口246也包括在图2B中，并且可以被实现为总线或其他接口，以促进电子设备104的组件之间的通信。

处理器230可以包括被配置为接收和执行编程指令(例如来自数据存储组件238和/或存储器组件242)的任何处理组件。指令可以是存储在数据存储组件238和/或存储器组件242中的机器可读指令集的形式。输入/输出硬件231可以包括监视器、键盘、鼠标、打印机、麦克风、扬声器和/或其他用于接收、发送和/或呈现数据的设备。网络接口硬件232可以包括任何有线或无线网络硬件，例如调制解调器、LAN端口、Wi-Fi卡、WiMax卡、移动通信硬件和/或用于与其他网络和/或设备通信的其他硬件。

相机233可以是具有能够检测紫外线波长带、可见光波长带或红外线波长带中的辐射的感测设备阵列(例如，像素)的任何设备。相机233可以具有任何分辨率。相机233可以是全向相机或全景相机。在一些实施例中，诸如反光镜、鱼眼镜头或任何其他类型的透镜的一个或多个光学部件可以光学地耦合到相机233。

运动传感器234可以包括能够检测电子设备104中的加速度变化和/或侧倾、俯仰和偏航旋转的任何设备。例如，运动传感器234可以包括加速度计、陀螺仪等。

显示235可以包括任何能够传输光输出的介质，例如阴极射线管、发光二极管、液晶显示器、等离子显示器等。此外，显示235可以是由触摸输入传感器236启用的触摸屏。除了提供光学信息之外，触摸输入传感器236还检测在显示235附近或表面上的触觉输入的存在和位置。

应当理解，数据存储组件238可以驻留在电子设备104本地和/或远离电子设备104，并且可以被配置为存储一个或多个数据以供电子设备104和/或其他组件访问。如图2所示，数据存储组件238包括学习插页广告库240a和AR链接库240b。学习插页广告库240a包含用于出版物的AR标识符。AR链接库240b包含与用户正在通过电子设备104进行阅读和扫描的出版物的图像数据内标识的AR标识符相对应的一个或多个AR链接。

存储器组件242中包括操作逻辑244a、ML模型244b、页面装订线检测算法244c和插页广告显示算法244d。操作逻辑244a可以包括用于管理电子设备104的组件的操作系统和/或其他软件。ML模型244b包括机器学习模型。该机器学习模型被训练为从出版物的图像数据中识别AR标识符，并将识别出的AR标识符与提供访问补充学习内容的AR链接相关联。页面装订线检测算法244c是被配置为从出版物的图像数据中检测页面装订线的算法。出版物的页面装订线可以定义出版物的其中AR链接可以显示为对由相机捕获的出版物的图像数据的增强现实叠加层的部分。插页显示算法244d是被配置为生成具有AR链接的增强现实叠加层并且将该AR链接显示为由相机捕获并同时显示在电子设备104的显示器上的出版物的图像数据的叠加层的算法。

还应该理解的是，图2B中所示的组件仅是示例性的，并不旨在限制本公开的范围。更具体地，虽然图2B中的组件被图示为驻留在电子设备104内，但这仅是示例。在一些实施例中，一个或多个组件可以位于电子设备104的外部。类似地，尽管图2B针对电子设备104，但是诸如计算设备102和服务器103之类的其他组件可以包括类似的硬件、软件和/或固件。

现在转到图3A，示出了具有嵌入的AR标识符314以供电子设备104使用的示例出版物。在一些实施例中，可以实现用于经由电子设备104进行增强的预定布局。图3A描绘了适于由电子设备104扫描的书籍的出版布局的说明性示例。例如，为了优化数字出版平台上的扫描结果和一致性，可以开发通用的出版布局300和章节模板。每个章节页面310和311可以由装订线312和313(例如，页边)组成。装订线312和313可以被定位成对于左页面位于左侧而对于右页面位于右侧。

装订线系统可能已存在于多本教学书籍中，以便学生在阅读特定页面或章节时可以手动添加注释。然而，在一些情况下，原始出版物可以被重新格式化，以包括如图3A所示的装订线312和/或313。在此描述的系统和方法可以利用装订线312和/或313进一步提高研究、调用和记笔记模式的经验，同时为现有的研究或学习行为增加附加的维度。例如，这可以通过添加可能与段标题316和其他书籍元素(例如，章节、图像、表格等)对齐的AR标识符314来完成，以指示它们与伴随增强(例如，用电子设备扫描时，AR链接)相关联。应当理解，这仅是一个示例，并且在本公开的范围内其他配置也是可能的。

图3B提供了AR标识符324的说明性示例。AR标识符324可以包括视觉提示和“AR”标记318。“AR”标记318通过增强将书籍内容与附加内容联系起来。另外，AR标识符324可以包括简短的标题和/或描述320。标题和/或描述320有助于将记忆和本地化结合在一起，同时还提供可通过电子设备104获得的AR内容的主题的简短预览。在一些实施例中，可以基于被增强的内容类型(例如，标题、段落、图像等)来定位AR标识符324。即，可以将AR标识符324放置在AR标识符所指向的出版物中的内容对齐或附近。在紧密的装订线中，有时会添加额外的箭头(“->”)，以增强AR标识符324与出版物322的内容之间的放置偏移。

通过这样的视觉质量和细节，这些元素可以为扫描和/或页面检测系统提供视觉提示和区别，以检测这些AR标识符所驻留的正确页面，而无需依赖于诸如QR码映射、扫描和检测之类的传统方法。

现在参照图4-12B，将描述用于经由出版物的学习插页广告和示例性界面来提供伴随增强的系统和方法。图4描绘了用于经由学习插页广告为出版物提供伴随增强的过程的说明性流程图。特别地，该流程图描绘了由电子设备、计算设备和/或服务器的移动应用实施的过程，以检测出版物的页面、提供与出版物相对应的增强、训练和/或更新用于检测出版物中的AR内容的机器学习模型，并征求和获取用户的反馈，以改进和更新系统。

在一些实施例中，页面检测和扫描系统向移动应用提供页面和本地化(例如，定位)过程。该过程可用于在相关联的装订线/页边位置锚定与源内容类型(例如，段落、标题、表格、图像等)相关联的学习插页广告(即AR链接)。页面检测和扫描系统可以包括机器学习算法。该机器学习算法用于识别页面和页面内的位置，以锚定学习插页广告。例如，可以利用特定于示例页面和特定装订线和/或内容组合的图片框架集来训练页面检测和扫描系统。一旦系统检测到页面，学习插页广告就可以随后出现在电子设备的显示器上的移动应用框架内的相应AR标识符中或附近。

现在详细地参照图4，在框410，激活扫描模式。扫描模式使电子设备的相机捕获图像数据。扫描模式的激活可以在通过电子设备上的接口初始化或打开应用时自动发生。在一些实施例中，一旦电子设备上的应用启动，用户就可以通过选择图形用户界面提示来激活扫描模式。一旦系统正在收集图像数据，则在框412，使用一种或多种图像或模式识别算法和/或机器学习模型来分析图像数据，以检测在图像数据中是否存在捕获的出版物。另外，在框412，分析图像数据以确定是否存在一个或多个AR标识符。AR标识符可以是在出版物的装订线中发布的视觉提示。在其他实施例中，AR标识符可以是构成原始出版物的文本的一部分、图像、标题等。也就是说，在某些情况下，可能不需要对出版物进行特定或唯一的添加即可实现AR标识符。如果检测到出版物并且在出版物的图像数据内识别出至少一个AR标识符，则系统可以继续到框414。在框414，系统确定出版物是否包括装订线。如果出版物包括装订线，则在框416，系统生成与AR标识符相对应的AR链接，并且在电子设备的显示器上将该AR链接显示为出版物的图像数据的叠加层。AR链接用作用户可以通过点击电子设备的显示器上的触摸传感器输入设备来选择的可选链接，以访问附加的学习内容。

返回框414，如果未检测到装订线，则系统进行到框420，并生成与所标识的AR标识符相对应的AR链接，并在电子设备的显示器上的列表视图中显示该AR链接。与显示为叠加层的AR链接类似，列表视图中的AR链接也可以由用户选择，以访问其他学习内容。在框418，如果运动传感器指示没有电子设备或电子设备处于稳定状态和/或图像数据的分析指示图像数据不再描绘出版物或图像数据为黑色(例如，相机被表面遮挡)，则电子设备的显示从增强现实显示转换为AR链接的列表视图。只要电子设备不稳定和/或图像数据未指示相机捕获的黑色或空白图像，系统就会继续扫描和分析相机捕获的图像数据。

在一些实施例中，用户可能能够提供关于通过AR链接提供的内容的有用性和功能性的反馈。一旦用户访问或查看了AR链接和/或其关联的内容，用户就可以输入反馈。移动应用可以自动请求反馈，或者用户可以根据自己的判断手动输入反馈。在一些实施例中，反馈提示可以是电子设备上的弹出通知。在其他实施例中，用户可以在电子显示器上显示的AR链接上向左和/或向右滑动，以访问用于提供反馈的各种选项。在框422，系统确定用户是否已经输入了关于AR链接的反馈。如果已经输入，则反馈可选地被发送到服务器或计算设备以进行分析。反馈可以包括分数。该分数定义了由AR链接提供的内容的受喜欢程度。例如，如果分数低于预定阈值或接收到预定数量的分数，表明不喜欢与AR链接相关联的内容，则可以更新AR链接以包括新内容或将其移除。在一些实施例中，反馈包括AR链接正在起作用或不起作用的指示。如果反馈指示AR链接未链接到正确的内容、未能链接到内容或以其他方式没有按照期望进行操作，则在框424，确定需要对AR链接进行更新。在框426，更新AR链接。在一些实施例中，可以基于该反馈使用标志或数据值来指示是否需要更新。

返回框412，如果图像数据的分析无法检测到任何AR标识符，则可以提示用户输入页码或对在框430正在扫描的出版物的位置的其他参考。在框432，可以将未识别出AR标识符的图像数据的页码和一个或多个帧发送到服务器或计算设备以进行进一步分析。在一些实施例中，在框434，当确定图像数据包括AR标识符时但是系统无法识别它时，系统可以将图像数据的帧与训练数据结合在一起，以训练机器学习模型。该机器学习模型被配置为检测AR标识符。在框436，在系统无法识别出版物中的AR标识符时，可以使用图像数据中添加的帧对机器学习模型进行重新训练或更新。然后，在框438，将新的和/或更新的机器学习模型分发给操作移动应用的版本的电子设备。

现在参照图5，图5描绘了显示用于扫描的出版物的示例页面的电子设备的显示235。例如，在操作中，可以通过按下导航栏中的“扫描”图标510在任何时候通过移动应用调用扫描。一旦启用此模式，移动应用的主视图就显示来自移动设备的相机的实时馈送。从相机呈现的图像可以是用户将移动设备的相机聚焦在正被扫描的书页512上方的结果。系统通过简单的文本消息/UI注释514向用户指示该扫描模式已启用，并搜索与相机馈送匹配的页面和/或链接。在一些实施例中，当移动应用正在扫描图像训练集和当前相机馈送之间的匹配时，系统可以在相机馈送的前景中显示模仿扫描线上下移动的视觉指示符516。在一定的时间阈值和相机馈送稳定度/社区性(例如，实时馈送没有改变)之后，系统将自动进入后续模式。

现在参照图6，描绘了移动应用界面的说明性示例性显示，其中系统已经在学习集和相机实时馈送之间找到匹配。即，当系统找到学习集与当前相机馈送520之间的匹配时(例如，图像数据，可以是相机拍摄的静止图像或连续帧)，可以向用户显示一系列可视化图像。例如，可以显示清楚的用户消息和指示已经建立这种匹配的用户界面(UI)注释522(例如，“找到的链接”)。作为另一示例，可以描绘视觉动画和/或从扫描条的视觉指示符516到相机馈送520的整个轮廓的过渡。当实际链接将跟踪并覆盖在AR框上方时，动画/过渡可以用于强调从相机馈送到下一阶段的捕获和映射。

但是，当页面检测/扫描系统无法识别页面和/或AR链接以与训练集匹配时，移动应用可以进入后续模式。例如，图7描绘了当页面检测/扫描系统未能识别页面和/或链接以与训练集匹配时在电子设备的显示235上呈现给用户的UI的示例性图示。在这种情况下，系统可以提供一种替代的访问方法，其中可以通过与系统的手动交互来纠正和/或访问未成功扫描的链接。例如，系统可以示出指示系统在寻找匹配中所具有的困难的UI叠加层530。该UI叠加层可以被呈现在没有产生正匹配的最后的帧捕获的顶部。用户可以被邀请通过移动设备的关键字输入手动输入页码532。用户还可以决定返回扫描模式534，以继续扫描出版物的当前页面或任何其他页面。

当用户手动输入页码时，然后将失败的帧和用户页面输入发送到收集所有这些对(例如，失败的图像和页码的帧)的服务器。通过扩展用于机器学习模型的检测/映射的学习/培训材料，这些失败的图像可用于改善检测算法。然后可以通过对通过不同移动应用商店分发的应用的后续更新或自动更新，将对扫描/映射系统的改进重新分发给移动应用的所有用户。

转到图8，当页面检测/扫描系统肯定地指示相机图像和学习集之间的匹配时，显示学习插页广告542(在本文中也称为AR链接)。例如，一旦系统已经指示扫描匹配，下一步就是经由移动设备的相机实时馈送540来通过来自物理书籍的AR标识符跟踪学习插页广告542。在这种情况下，通知用户已经通过AR提供/消息544找到AR链接。UI提供/消息544然后可以淡出，同时在“链接库”导航链接旁边显示AR链接计数546。在图8所示的特定情况下，从结果页面扫描中发现了四个新的AR链接(即学习插页广告)。因此，数字“4”可以显示在“链接库”546的旁边。

当处于AR链接跟踪/显示模式时，例如，如图8所示，系统将继续在移动设备的相机馈送上实时显示AR链接，并调整其位置以匹配书籍装订线中的物理对应物。在此模式下，并基于实时相机帧状况、陀螺仪状态和用户交互，可以产生至少四个不同的结果。首先，如果用户选择任何AR链接，则系统可以进入特定于AR链接媒体类型(例如，视频链接的视频播放器、PDF链接的PDF查看器)的全屏播放模式。图9描绘了从AR链接打开的PDF 550的说明性示例。其次，如果用户在处于AR链接跟踪视图中时滑动主相机馈送，则可以显示当前AR链接(即学习插页广告)的列表视图，例如，如图10A所示的显示235所示。第三，如果移动设备的相机馈送丢失了AR框跟踪，则系统将重新置于扫描模式。例如，参照图5描绘和描述的模式。第四，例如，如图10A所示，如果移动设备的相机检测到黑框并且陀螺仪稳定，则将系统置于显示当前AR链接/学习插页广告的列表视图中。将设备放在桌子上、大概是被扫描的书籍旁边时，可能会发生这种情况。

更详细地参照图10A，图10A描绘了电子设备的显示235的说明性示例，其中AR链接562被显示在移动应用内的列表视图中。例如，但不限于，列表显示可以被召唤：1)当用户从AR跟踪模式中滑出时；或2)当系统自动检测到黑框和/或来自移动设备的陀螺仪稳定时，从同一模式。列表视图可以显示在来自AR跟踪模式的最后一个相机帧上，现在它成为该新模式的背景560。AR链接562可以遵循与AR跟踪模式相同的视觉表示，但是提供更多的视觉不动产。来自AR跟踪模式的UI导航菜单564也可以继续使用，并且用户可以通过两个UI导航提供566轻松调用扫描模式。可以使用卡表示来显示AR链接562。为了更详细的说明，图10B突出显示AR链接的一张卡。例如，卡表示可以包括：标识AR链接中的内容类型的图标568，有助于记忆/本地化的预览缩略图570，与被增强的内容类型匹配的精选标题572，同样有助于记忆/本地化的精选描述574，指示卡所对应的出版物页面的页码576和能够对卡添加书签以在将来进行快速访问的书签选项578。

现在参照图11，描绘了显示在电子设备的显示235上的AR链接库内容摘要界面的说明性示例。AR链接库提供了在不进入扫描模式的情况下查看学习插页广告的功能，从而提供了一种快速而流畅的方式来在书籍的上下文之外调用和查看学习插页广告。可以经由导航菜单输入AR链接库564以及扫描模式566。AR链接库可以分为存储所有链接的两个主要部分。第一部分580可以用于来自当前书籍的所有链接，其中AR链接是按章节组织的。第二部分可以专用于所有AR链接书签582，并且它们也可以按照章节顺序来组织。例如，可以在列表586中显示包含AR链接的每个章节。对于每个列表项(例如，章节)，显示已扫描/存储的AR链接的计数588。为了快速访问，用户可以通过搜索栏584调用搜索，并且结果可以内联显示，而无需按章节组织以进行快速访问和跨章概念搜索。

参照图12A和12B，一旦用户点击给定的章节列表项586(例如，如图10所示)，系统就显示列表视图。该列表视图包括在先前的AR扫描会话中捕获的每个AR链接的一张卡。用户可以通过主导航564A或辅助导航564B导航回到AR链接库。用户还可以从导航菜单566召唤扫描模式。用于提供关于AR链接的反馈的一个选项是通过AR链接库。在一些实施例中，通过在给定的AR链接卡上向左滑动，用户可以报告断开的链接590或从库中删除592该AR链接。在链接断开的情况下，系统将向数字出版平台发送消息，通知书籍项目团队该问题并允许他们解决。备选地，通过在给定的AR链接卡上向右滑动，用户可以显示对该特定AR链接的喜欢594或不喜欢596。在这两种情况下，系统都会向数字出版平台发送消息，以通知书籍项目团队，并使他们能够评估反馈并确定是否需要和/或期望新的链接目标。

现在参照图13A和图13B，示出了问题库界面的说明性示例的说明性示例。从AR链接库中，用户还可以通过单击具有此类UI指示符的AR链接卡底部的“问题库”横幅600来探索与学习插页广告相关的问题。一旦用户单击了给定的问题库链接/横幅后，系统将显示与该特定AR链接卡相关的关联问题库。例如如图13B所示的问题库屏幕可以包括：问题的标题和主体602；专用于答案的部分：判断题，多项选择题或任何其他类型的答案输出604；用户单击以确认问题完成的按钮606；指示答案是正确还是不正确的用户消息和UI注释608；以及指示作为该特定问题库一部分的问题数量的视觉能力610。用户还可以通过导航菜单564导航回到AR链接库。此外，在一些实施例中，还可以直接在数字出版平台内创作问题库，现在将参照图14-17进行描述。

图14描绘了数字出版平台的说明性示例。该数字出版平台具有用于伴随插页广告创作到出版物中的扩展。如关于图2A所公开的，可以经由计算设备102来访问数字出版平台。图14-17描绘了可以显示在计算设备102的显示器102a上的示例用户界面。数字出版平台是用于编辑、作者和/或工作人员在一个唯一环境中计划、编写和制作出版物的工具。该平台的一个优势是能够在编写时预览可打印的手稿页面，并可视化出版物的流动方式，而不必等待手稿完成后通常会发生的常规排版或图形工作。在一些实施例中，数字出版平台提供富文本编辑器。书籍项目的成员可以在富文本编辑器中编写和编辑给定书籍的每个章节的内容。为了利用学习插页广告来增加章节，用户可以遵循简单的流程。例如但不限于，用户可以通过光标选择/突出显示702来选择要增强的内容类型(例如，段落、图像、标题、表格)，然后通过“AR链接”704UI提供来调用学习插页广告增强。例如，这可以调用对话框，如图15所示，其中用户可以从他的库中选择AR链接，创建新链接或从其他地方710导入AR链接。仍参照图15，用户可以在创建/导入新链接712时指定目标插页广告的类型。每个学习插页广告类型可以具有不同的子交互714。在3D交互模型的情况下，系统还可以提出模板文件以确保系统内的最佳集成(例如，配置XYZ坐标、映射、比例、分辨率以进行显示)。每个学习插页广告也可以与问题库716相关联。问题库716也可以在数字出版平台内定义/创作。用户可以通过上传/创建对应的AR链接718来完成插入。

在各实施例中，一旦AR链接已经被验证，系统可以在创作空间的左页边中添加视觉能力706(图14)，以指示特定的内容类型(例如，段落、标题、图像、表格等)支持学习插页广告材料(AR链接)。最后，用户可以通过调用通过708获得的“打印预览”来预览给定章节中AR框在打印手稿中的实际位置。

现在参照图16，描绘了数字出版平台内的问题库界面800的说明性示例。数字出版平台还可以支持创作问题库的功能。问题库然后可以与任何学习插页广告相关联。在创作空间内可以使用“问题库”部分810。本部分跟踪所有可以关联的问题类型。问题库环境可以包括按类型812进行组织的问题，例如但不限于：多项选择题，判断题，简答题，排序题，填空题等。问题库环境还可以包括与选择的问题类型相对应的现有问题的列表814和/或每种类型添加新问题816的能力以及相关联的模态对话框(未示出)。

用户可以从主要创作环境(例如，图14的708)召唤打印预览。系统可以会为整章生成PDF打印，针对已经创作的所有内容具有相应布局和AR标识框。PDF的打印预览也可以与移动应用的预览结合使用，以便编辑、作者、工作人员等可以从应用内部评估AR链接。这可以通过经由可下载的链接(例如，图17中的926)访问可用的应用的最新版本来完成。

现在参照图17，描绘了用于AR链接的库管理界面900的说明性示例。在书籍创作过程中以及在书籍出版之后，以及移动应用可供公众使用时，编辑、作者、工作人员等可以管理AR链接并查看与它们相关的分析。在数字出版平台中，库部分是可用的910。该部分可以跟踪给定章节的除了实际文本以外的所有元素。“AR链接”子部分912可以提供针对该给定章节的所有AR链接的可见性。在一些实施例中，每个AR链接报告行包括：1)AR链接策展名称914，2)AR链接类型916，例如视频、播客、3D模型、Web链接、PDF等，3)该AR链接已被查看/调用的次数918，4)收到“喜欢”的数量920，5)收到“不喜欢”的数量922，和/或6)该AR链接是否被标记为断开922。如果不喜欢的计数达到预定阈值，则可以移除AR链接或用新内容更新AR链接。另外，如果指示AR链接未处于活动状态，则可以修复断开的链接。更新和/或修复可以是自动过程，也可以是管理员手动完成的过程。

在一些实施例中，到实际移动应用的下载链接926也可以是可用的。如果书籍已出版，则此链接指向相应的移动应用商店，但如果书籍仍在生产中，则此链接指向移动原型。该移动原型在创作各章时会不断更新。

现在应该理解，本文描述的系统和方法涉及通过数字出版平台经由用于书籍的学习插页广告来开发、管理、启动和提供伴随增强。该系统可以包括移动设备。该移动设备具有能够扫描书籍的文本并提供AR链接从而向用户提供学习插页广告的应用。该系统还可以包括数字出版平台。该数字出版平台用于开发内容、管理AR链接、为用户启动应用以及通过学习插页广告来创建伴随增强。

本文中使用的术语仅出于描述特定方面的目的，而无意于进行限制。如本文所使用的，单数形式“一”、“一个”和“该”旨在包括复数形式，包括“至少一个”，除非内容清楚地另外指出。“或”是指“和/或”。如本文所使用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合。将进一步理解的是，当在本说明书中使用时，术语“包括(comprises)”和/或“包括(comprising)”或“包括(includes)”和/或“包括(including)”规定了所述特征、区域、整数、步骤、操作、元素和/或组件的存在，但不排除存在或增加一个或多个其他特征、区域、整数、步骤、操作、元素、组件和/或其组。术语“或其组合”是指包括至少一个前述元素的组合。

注意，术语“基本上”和“约”在本文中可以用来表示固有的不确定性程度，其可以归因于任何定量比较、值、测量或其他表示。这些术语在本文中还被用来表示定量表示可以不同于所陈述的参考的程度，而不会导致所讨论的主题的基本功能发生变化。

尽管这里已经图示和描述了特定的实施例，但是应该理解，在不脱离所要求保护的主题的精神和范围的情况下，可以做出各种其他改变和修改。而且，尽管本文已经描述了所要求保护的主题的各个方面，但是这些方面不需要结合使用。因此，意图是所附权利要求书覆盖在所要求保护的主题的范围内的所有这样的改变和修改。