掌桥专利:专业的专利平台
掌桥专利
首页

一种辅助阅读方法和系统

文献发布时间:2024-04-29 00:47:01


一种辅助阅读方法和系统

本申请要求在2023年12月26日提交中国专利局、申请号为202311812523.1、发明名称为“一种辅助阅读方法和系统”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。

技术领域

本申请涉及图像处理技术领域,尤其涉及一种辅助阅读方法和系统。

背景技术

长时间的近距离阅读会使眼部睫状肌一直处于紧张状态,从而导致视觉疲劳。若读者进行长时间高强度用眼阅读,容易导致眼睛近视。

然而,传统的护眼阅读设备有墨水屏阅读器等,这类阅读器虽然可有效减少常规显示屏发出的短波长蓝光对人眼的危害,但是仍需要读者近距离阅读,无法解决长时间的近距离阅读会导致视觉疲劳的问题。

因此,亟需一种能够使读者远距离观看纸质书本文件的方案,从而避免读者长时间近距离阅读导致视力疲劳的问题发生。

发明内容

本申请提供了一种辅助阅读方法和系统,能够使读者远距离观看纸质书本文件,从而避免读者长时间近距离阅读导致视力疲劳的问题发生。

第一方面,提供了一种辅助阅读方法,方法包括:

获取摄像设备拍摄的用户的书本中页面的第一图像;

通过显示设备向用户显示第一图像,显示设备与用户之间的距离可调;

若识别到第一图像包含用户的手指,确定手指顶端在第一图像中的位置;

根据手指顶端的位置,确定第一图像中距离手指顶端最近的第一检索目标,第一检索目标为文字或图片;

获取第一检索目标对应的第一检索结果;

通过显示设备向用户显示第一图像的同时显示第一检索结果。

在一种可行的设计中,根据手指顶端的位置,确定第一图像中距离手指顶端最近的第一检索目标,包括:

采用人工智能算法识别页面的内容和内容在第一图像中的位置;

根据手指顶端的位置和内容在第一图像中的位置,确定页面中距离手指顶端最近的目标内容,目标内容为文字或图片;

根据距离手指顶端最近的目标内容确定第一检索目标。

在一种可行的设计中,目标内容为文字,根据距离手指顶端最近的目标内容确定第一检索目标,包括:

采用人工智能算法将目标内容划分为多个分词;

获取多个分词中每一分词的位置;

根据每一分词的位置和手指顶端的位置,确定每一分词与手指顶端的距离;

将与手指顶端的距离最小的分词确定为第一检索目标;

目标内容为图片,根据距离手指顶端最近的目标内容确定第一检索目标,包括:

将目标内容确定为第一检索目标。

在一种可行的设计中,获取第一检索目标对应的第一检索结果,包括:

基于云服务器中存储的第一关联关系获取第一检索目标对应的第一检索结果,云服务器存储有多个第一关联关系,每一第一关联关系用于关联检索目标、检索目标所属于的目标内容和检索目标对应的检索结果;

和/或,采用搜索引擎对第一检索目标进行检索,获取第一检索结果。

在一种可行的设计中,目标内容为文字,基于云服务器中存储的第一关联关系获取第一检索目标对应的第一检索结果,包括:

采用人工智能算法识别第一检索目标所属于的目标内容;

将目标内容和第一检索目标作为第一匹配条件,与云服务器中存储的各第一关联关系进行匹配,确定多个第一关联关系中是否包括与第一匹配条件相匹配的第一目标关联关系,第一目标关联关系用于关联目标内容、第一检索目标和第一检索结果;

若多个第一关联关系中包括第一目标关联关系,得到第一目标关联关系中的第一检索结果。

在一种可行的设计中,方法还包括:

遍历第一图像中页面的目标内容,在遍历每一目标内容的过程中:

将当前目标内容作为第二匹配条件,与各第一关联关系依次进行匹配;

确定各第一关联关系是否包括与第二匹配条件相匹配的第二目标关联关系,第二目标关联关系用于关联当前目标内容、当前目标内容的检索目标和当前目标内容的检索目标对应的检索结果;

若各第一关联关系包括第二目标关联关系,通过显示设备向用户显示第一图像的同时显示角标控件,角标控件用于控制是否显示第二检索结果,第二检索结果为当前目标内容的检索目标对应的检索结果。

在一种可行的设计中,方法还包括:

获取摄像设备拍摄的用户的书本中页面的第二图像,第二图像的拍摄时间晚于第一图像;

若从第二图像上识别到用户的手指区域存在与角标控件区域重合的部分,根据角标控件对应的第二目标关联关系,确定角标控件对应的目标内容关联的第二检索结果;

通过显示设备向用户显示第二检索结果。

在一种可行的设计中,方法还包括:

若识别到第一图像的下一帧图像未包含手指,在通过显示设备显示下一帧图像时,停止显示第一检索结果。

在一种可行的设计中,显示设备包括显示屏,方法还包括:

响应于用户的手指在显示屏上进行滑动的操作,采用人工智能算法将用户的手指在显示屏上滑动的轨迹转化为批注文本;

将批注文本、批注文本在第一图像中的位置、用户的账号和第一图像中预设位置的内容构成的第二关联关系存储至云服务器。

第二方面,提供了一种辅助阅读系统,包括人工智能处理器、显示设备和摄像设备,显示设备包括第一无线网络模块和显示屏,摄像设备包括第二无线网络模块、摄像头模组、底座、支架和悬臂,人工智能处理器安装于显示设备或摄像头模组,显示设备与用户之间的距离可调;

摄像头模组固定于悬臂上,悬臂用于调整摄像头模组的角度;

悬臂固定于支架的一端;

支架的另一端固定连接底座,底座用于实现摄像设备的平稳放置;

摄像头模组用于将拍摄的用户的书本中页面的各图像,按照帧顺序通过第二无线网络模块向显示设备发送;

显示设备用于通过第一无线网络模块接收各图像;

显示设备还用于通过显示屏向用户显示各图像;

人工智能处理器用于若识别到图像包含用户的手指,确定手指顶端的位置;

人工智能处理器还用于根据手指顶端的位置,确定图像中距离手指顶端最近的第一检索目标,第一检索目标为文字或图片;

人工智能处理器还用于获取第一检索目标对应的第一检索结果;

人工智能处理器还用于通过显示设备向用户显示第一图像的同时显示第一检索结果。

本申请实施例中,由于显示设备与用户之间的距离能够根据用户的需求调节,因此,将摄像设备拍摄的书本页面的图像通过显示设备显示,能够使读者远距离观看纸质书本文件,从而避免读者长时间近距离阅读导致视力疲劳的问题发生。另外,若识别到图像包含用户的手指,能够根据距离手指顶端最近检索目标进行检索,向用户展示检索结果,能够随时解决用户疑问,无需用户自己上网检索,从而提升用户的阅读体验。

附图说明

为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请一示例性实施例提供的一例辅助阅读系统示意图;

图2是本申请一示例性实施例提供的一例辅助阅读方法示意性流程图;

图3是本申请一示例性实施例提供的一例辅助阅读系统中显示屏显示的内容示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

图1是本申请一示例性实施例提供的一例辅助阅读系统示意图,如图1所示,该系统包括人工智能处理器1、显示设备2和摄像设备3。其中,显示设备2包括第一无线网络模块21和显示屏22,摄像设备3包括摄像头模组31、底座32、支架33、悬臂34、第二无线网络模块35,人工智能处理器1安装于显示设备2或摄像头模组31,显示设备2与用户之间的距离可调。其中,底座32用于为整个摄像设备3提供支撑,底座32固定连接支架33的底端。,支架33能够调节高度,支架33的顶端在水平面上360度旋转连接悬臂34的一端,悬臂34的另一端与摄像头模组31固定连接。悬臂34通过旋转能够改变摄像头模组31的位置,从而使得摄像头模组31能够清晰地拍摄待阅读的书本的页面。

在上述系统中,用户将待阅读的书本的页面放置于摄像头模组31的下方,摄像头模组31拍摄当前书本的页面后获取第一图像。摄像头模组31将第一图像通过第二无线网络模块35传输至显示设备2的第一无线网络模块21,显示设备2通过显示屏22显示第一图像,以供用户通过显示屏22进行阅读。由于显示设备2的与用户之间的距离可调,因此,用户可根据自己的需求,调节显示设备2的与用户之间的距离,从而起到远距离观看纸质书本文件的效果,能够避免读者长时间近距离阅读导致视力疲劳的问题发生。本申请对第一无线网络模块21和第二无线网络模块35采用的无线传输技术的类型不作限定。

进一步地,人工智能处理器1除了能够识别第一图像中书本页面的内容,还能识别用户的手指,根据手指的位置、书本页面中内容的位置以及显示屏22显示的控件的位置,能够实现与用户的交互,提升辅助阅读系统的智能化。例如当用户手指在书本页面某内容附近时,显示对该内容进行联网检索的结果;又例如,当用户手指在显示屏22上的显示区域与控件在显示屏22上的显示区域存在重合部分时,显示与该控件关联的内容等。可见,本申请提供的辅助阅读系统还能够实现对阅读内容的实时查阅、搜索等,从而提升用户的阅读体验和趣味性。

示例性地,该辅助阅读系统还包括云服务器。云服务器用于存储用户在使用该辅助阅读系统时产生的检索目标以及相应的检索结果,以便于其他用户使用其他辅助阅读系统时,通过云服务器能够查看该辅助阅读系统上传到云服务器的检索目标以及相应的检索结果,实现了不同的用户之间共享检索目标和检索结果。

基于图1所示的辅助阅读系统,如图2所示,本申请提供了一种辅助阅读方法,方法包括:

S110,获取摄像设备拍摄的用户的书本中页面的第一图像。

具体地,摄像设备将拍摄的书本页面的视频流向显示设备发送,视频流由连续的多帧图像构成,该多帧图像包括第一图像。

S120,通过显示设备向用户显示第一图像。

其中,显示设备与用户之间的距离可调。

由于显示设备与用户之间的距离可调,且显示设备的显示屏的尺寸也可根据用户需求确定,因此,当用户距离显示屏较远以实现用户的眼部睫状肌处于放松状态时,依然能够看清楚显示屏上显示的书本页面的内容。

S130,若识别到第一图像包含用户的手指,确定手指顶端在第一图像中的位置。

其中,手指顶端指的是位于手指指尖的一端。

例如图3所示,手指顶端的位置即手指区域中距离图像坐标系的原点最近的像素的坐标。

示例性地,采用人工智能算法识别第一图像是否包含用户的手指,以及若包含用户的手指,进一步识别出手指顶端在图像中的位置。

人工智能算法的类型本申请不作限定,只要能够识别用户的手指,对页面中的文字和图片进行光学字符识别(Optical Character Recognition,OCR)识别即可。

S140,根据手指顶端的位置,确定第一图像中距离手指顶端最近的第一检索目标。

其中,第一检索目标为文字或图片。

在一种可行的设计中,通过以下方式实现根据手指顶端的位置,确定第一图像中距离手指顶端最近的第一检索目标:

采用人工智能算法识别页面的内容和内容在第一图像中的位置;

根据手指顶端的位置和内容在第一图像中的位置,确定页面中距离手指顶端最近的目标内容,目标内容为文字或图片;

根据距离手指顶端最近的目标内容确定第一检索目标。

其中,页面的内容包括文本、图片等,本申请对内容的形式不作限定。因此,目标内容可能是一行文字,也可能是一张图片或并排的多张图片。

示例性地,内容的位置是内容在图像上所占的像素区域中垂直坐标值最大的像素的坐标。

例如图3所示,目标内容(即第一目标行文字)所占的像素区域中垂直坐标值最大的像素为第一像素点,将第一像素点的坐标(x1,y1)作为第一目标行文字的位置。可以看出,第一目标行文字是手指的上一行文字。

示例性地,通过以下方式实现根据手指顶端的位置和内容在第一图像中的位置,确定页面中距离手指顶端最近的目标内容:

分别确定每一行文字或每一张图片所占的像素区域中垂直坐标值最大的目标像素点;

计算每一目标像素点的垂直坐标与手指顶端的像素点的垂直坐标的差值的绝对值;

将差值的绝对值最小的目标像素点所属的像素区域的内容确定为目标内容。

上述示例中,采用人工智能算法能够准确快速地识别页面的内容,以及内容在第一图像中的位置。从而结合手指顶端的位置,确定页面中距离手指顶端最近的目标内容,以便于精确地确定第一检索目标。

示例性地,若距离手指顶端最近的目标内容包括一张图片,将该图片确定为第一检索目标。

在一种可行的设计中,若距离手指顶端最近的目标内容是文字,通过以下方式实现,根据距离手指顶端最近的目标内容确定第一检索目标:

采用人工智能算法将目标内容划分为多个分词;

获取采用人工智能算法识别的多个分词中每一分词的位置;

根据每一分词的位置和手指顶端的位置,确定每一分词与手指顶端的距离;

将与手指顶端的距离最小的分词确定为第一检索目标。

示例性地,每一分词的位置是根据分词在图像上所占的像素区域确定的。

例如,将分词在图像上所占的像素区域的任一个顶点的像素坐标作为分词的位置。

应理解,若将分词在图像上所占的像素区域的任一个顶点的像素坐标作为分词的位置,不同的分词均使用在像素区域上相同位置的顶点。

示例性地,通过以下方式实现,根据每一分词的位置和手指顶端的位置,确定每一分词与手指顶端的距离:

若将分词在图像上所占的像素区域的顶点的像素坐标作为分词的位置,通过以下公式(1)确定每一分词与手指顶端的距离d:

其中,分词在图像上所占的像素区域的顶点的像素坐标为(a

需要说明的是,本申请对于分词的位置的定义不作限定,例如还可将分词所占的像素区域的中心点的像素坐标作为分词的位置等。相应地,对于每一分词与手指顶端的距离的计算参见公式(1)即可。

示例性地,通过以下方式实现,获取采用人工智能算法识别的多个分词中每一分词的位置:

获取人工智能算法对应的神经网络模型;

使用已划分了分词并标注了分词位置的图像组成的数据集训练神经网络模型;

将第一图像输入训练好的神经网络模型,获取神经网络模型输出的分词,以及相应的位置。

上述示例中,采用人工智能算法能够基于语义准确地将目标内容划分为多个分词,并识别出每一分词的位置。根据每一分词的位置和手指顶端的位置,能够精确地确定与手指顶端的距离最小的分词,将该分词作为第一检索目标即可。

S150,获取第一检索目标对应的第一检索结果。

在一种可行的设计中,在辅助阅读系统包括云服务器的情况下,云服务器存储有多个第一关联关系,每一第一关联关系用于关联检索目标、检索目标所属于的目标内容和检索目标对应的检索结果。因此,可通过以下方式实现,获取所述第一检索目标对应的第一检索结果:

基于云服务器中存储的第一关联关系获取第一检索目标对应的第一检索结果。

基于上述示例,不同的辅助阅读系统能够通过云服务器实现检索结果的共享。

在一种可行的设计中,目标内容为文字的情况下,辅助阅读系统获取第一检索结果的具体步骤包括:

采用人工智能算法识别第一检索目标所属于的目标内容;

将目标内容和第一检索目标作为第一匹配条件,与云服务器中存储的各第一关联关系进行匹配,确定多个第一关联关系中是否包括与第一匹配条件相匹配的第一目标关联关系,第一目标关联关系用于关联目标内容、第一检索目标和第一检索结果;

若多个第一关联关系中包括第一目标关联关系,得到第一目标关联关系中的第一检索结果。

示例性地,运维人员可以对读者在读书时通常会对哪些检索目标进行检索进行调研,将调研到的检索目标和云服务器中已存储的第一关联关系进行比对,将云服务器中未存储的检索目标通过搜索引擎获取检索结果,构成新的第一关联关系并添加到云服务器中。

上述示例中,人工智能算法在识别第一检索目标的同时,还能识别第一检索目标所属的目标内容。若能够根据目标内容和第一检索目标搜索到相匹配的目标第一关联关系,意味着该第一关联关系中的检索目标的前后文字信息与该第一检索目标的前后文字信息相同,因此,根据第一目标关联关系可直接获取第一检索结果。由于目标内容的前后文字信息对第一检索目标起到了限定作用,因此,将目标内容和第一检索目标同时作为匹配条件,能够提升确定的第一目标关联关系的准确率。

为了应对多个第一关联关系中不包括第一目标关联关系的情况,在一种可行的设计中,本申请还提供了一种获取第一检索结果的方式:

采用搜索引擎对第一检索目标进行检索,获取第一检索结果。

具体地,将识别到的第一检索目标输入到搜索引擎进行检索,将搜索引擎输出的具有预设格式的检索结果作为第一检索结果。预设格式的设置能够排除冗余的检索结果,例如,将百度输出的该第一检索目标在百度百科对应的解释作为第一检索结果,相关的广告内容则可排除。

示例性地,为了保证不同的辅助阅读系统获取的检索结果的一致性,不同的辅助阅读系统使用同一搜索引擎进行检索。

需要说明的是,本申请对于上述提供的两种获取第一检索结果的方式的顺序不作限定,例如,可以先对云服务器中存储的各第一关联关系进行检索,若能够检索到第一目标关联关系,直接获取第一检索结果即可,若没有检索到第一目标关联关系,再采用搜索引擎对第一检索目标进行检索。然后将检索结果、检索目标、检索目标所属于的句子构成第一关联关系,存储到云服务器中。

又例如,可以先采用搜索引擎对第一检索目标进行检索,获取第一检索结果。然后以第一检索目标和第一检索目标所属于的句子为匹配条件,在云服务器中存储的各第一关联关系中进行检索,若检索到相匹配的第一目标关联关系,为了保证第一目标关联关系中第一检索结果的实时性,直接将本次采用搜索引擎检索到的第一检索结果替换第一目标关联关系中原有的第一检索结果。若未检索到相匹配的第一目标关联关系,直接将第一检索结果、第一检索目标和第一检索目标所属于的句子构成第一关联关系,存储于云服务器中。

上述示例中,存储于云服务器中的第一关联关系只关联检索目标所属于的句子的信息,而不关联书名、页码等信息,因此无需对书名和页码等信息进行扫描和存储,节省了辅助阅读系统的运算资源。

S160,通过显示设备向用户显示第一图像的同时显示第一检索结果。

本申请对于在显示屏上显示第一检索结果的位置不作限定,只要第一检索结果所占的像素区域与第一检索目标所属的句子所占的像素区域不存在重合部分即可,即在不影响用户阅读的情况下显示第一检索结果。

例如3所示,当用户的手指指向第一检索目标后,在显示屏上位于另一张页面的区域中显示对话框,对话框内显示第一检索目标对应的第一检索结果。

在一种可行的设计中,在云服务器存储了各第一关联关系的基础上,通过以下方式实现不同用户使用不同的辅助阅读系统时,可以共享拍摄的用户的书本中页面检索结果的效果,具体步骤包括:

遍历第一图像中页面的目标内容,在遍历每一目标内容的过程中:

将当前目标内容作为第二匹配条件,与各第一关联关系依次进行匹配;

确定各第一关联关系是否包括与第二匹配条件相匹配的第二目标关联关系,第二目标关联关系用于关联当前目标内容、当前目标内容的检索目标和当前目标内容的检索目标对应的检索结果;

若各第一关联关系包括第二目标关联关系,通过显示设备向用户显示第一图像的同时显示角标控件,角标控件用于控制是否显示第二检索结果,第二检索结果为当前目标内容的检索目标对应的检索结果。

示例性地,在遍历每一目标内容的过程中,通过以下方式实现,通过显示设备向用户显示第一图像的同时显示角标控件:

获取当前目标内容所占的第一像素区域;

获取当前目标内容的上一行目标内容所占的第二像素区域,和当前目标内容的下一行目标内容所占的第三像素区域;

确定第四像素区域,所述第四像素区域位于第一像素区域与第二像素区域之间,且与第一像素区域与第二像素区域均不存在重合的部分,或者所述第四像素区域位于第一像素区域与第三像素区域之间,且与第一像素区域与第三像素区域均不存在重合的部分;

通过显示设备向用户显示第一图像的同时,在第一图像的第四像素区域显示角标控件。

需要说明的是,上述对于角标控件的显示位置仅为示例性说明,可根据需求设置,本申请对此不作限定,例如,将角标控件固定显示于图像的顶角处。

上述示例实现了在获取页面后,先遍历页面,若发现有其他人对同一页面任意内容的检索记录,显示角标,让用户通过决定是否将手指放置于角标相应的页面中的位置,来确认是否显示其他人的检索结果。从而实现了跨用户分享检索结果的效果,提升辅助阅读系统的趣味性。

在一种可行的设计中,通过以下方式实现用户通过角标控件显示检索结果的方式:

获取摄像设备拍摄的用户的书本中页面的第二图像,第二图像的拍摄时间晚于第一图像;

若从第二图像上识别到用户的手指区域存在与角标控件区域重合的部分,根据角标控件对应的第二目标关联关系,确定角标控件对应的目标内容关联的第二检索结果;

通过显示设备向用户显示第二检索结果。

在一种可行的设计中,方法还包括:

若识别到第一图像的下一帧图像未包含手指,在通过显示设备显示下一帧图像时,停止显示第一检索结果。

由于当图像中未包含用户手指的时候,表明用户无需再看检索结果了,直接停止显示第一检索结果即可。

在一种可行的设计中,显示设备包括显示屏,该显示屏为触控显示屏,方法还包括:

响应于用户的手指在显示屏上进行滑动的操作,采用人工智能算法将用户的手指在显示屏上滑动的轨迹转化为批注文本;

将批注文本、批注文本在第一图像中的位置、用户的账号和第一图像中预设位置的内容构成的第二关联关系存储至云服务器。

其中,预设位置根据实际需求设置即可。例如,预设位置为第一图像中页码较小的页面上前两行文字所位于的位置。

上述示例实现了用户随时做笔记的功能,另外,通过将批注文本、批注文本在第一图像中的位置、用户的账号和第一图像中预设位置的内容存储至云服务器,以便于下次该用户使用其账号在辅助阅读系统上进行阅读时,若系统根据第一图像中预设位置的内容,在云服务器中存储的各第二关联关系查找到相匹配的第二关联关系,则根据该查找到的第二关联关系确定待显示的批注文本的内容,和批注文本在第一图像中的位置,并在该位置显示该批注文本,提升了用户的阅读体验。

本申请实施例中,由于显示设备与用户之间的距离能够根据用户的需求调节,因此,将摄像设备拍摄的书本页面的图像通过显示设备显示,能够使读者远距离观看纸质书本文件,从而避免读者长时间近距离阅读导致视力疲劳的问题发生。另外,若识别到图像包含用户的手指,能够根据距离手指顶端最近检索目标进行检索,向用户展示检索结果,能够随时解决用户疑问,无需用户自己上网检索,从而提升用户的阅读体验。

本申请还提供了一种辅助阅读系统,包括人工智能处理器、显示设备和摄像设备,显示设备包括第一无线网络模块和显示屏,摄像设备包括第二无线网络模块、摄像头模组、底座、支架和悬臂,人工智能处理器安装于显示设备或摄像头模组,显示设备与用户之间的距离可调;

摄像头模组固定于悬臂上,悬臂用于调整摄像头模组的角度;

悬臂固定于支架的一端;

支架的另一端固定连接底座,底座用于实现摄像设备的平稳放置;

摄像头模组用于将拍摄的用户的书本中页面的各图像,按照帧顺序通过第二无线网络模块向显示设备发送;

显示设备用于通过第一无线网络模块接收各图像;

显示设备还用于通过显示屏向用户显示各图像;

人工智能处理器用于若识别到图像包含用户的手指,确定手指顶端的位置;

人工智能处理器还用于根据手指顶端的位置,确定图像中距离手指顶端最近的第一检索目标,所述第一检索目标为文字或图片;

人工智能处理器还用于获取所述第一检索目标对应的第一检索结果;

人工智能处理器还用于通过显示设备向用户显示第一图像的同时显示第一检索结果。

在一种可行的设计中,人工智能处理器通过以下方式实现,根据手指顶端的位置,确定第一图像中距离手指顶端最近的第一检索目标:

采用人工智能算法识别页面的内容和内容在第一图像中的位置;

根据手指顶端的位置和内容在第一图像中的位置,确定页面中距离手指顶端最近的目标内容,目标内容为文字或图片;

根据距离手指顶端最近的目标内容确定第一检索目标。

在一种可行的设计中,目标内容为文字,人工智能处理器通过以下方式实现,根据距离手指顶端最近的目标内容确定第一检索目标:

采用人工智能算法将目标内容划分为多个分词;

获取多个分词中每一分词的位置;

根据每一分词的位置和手指顶端的位置,确定每一分词与手指顶端的距离;

将与手指顶端的距离最小的分词确定为第一检索目标;

目标内容为图片,根据距离手指顶端最近的目标内容确定第一检索目标,包括:

将目标内容确定为第一检索目标。

在一种可行的设计中,人工智能处理器通过以下方式实现,获取第一检索目标对应的第一检索结果:

基于云服务器中存储的第一关联关系获取第一检索目标对应的第一检索结果,云服务器存储有多个第一关联关系,每一第一关联关系用于关联检索目标、检索目标所属于的目标内容和检索目标对应的检索结果;

和/或,采用搜索引擎对第一检索目标进行检索,获取第一检索结果。

在一种可行的设计中,目标内容为文字,人工智能处理器通过以下方式实现,基于云服务器中存储的第一关联关系获取第一检索目标对应的第一检索结果:

采用人工智能算法识别第一检索目标所属于的目标内容;

将目标内容和第一检索目标作为第一匹配条件,与云服务器中存储的各第一关联关系进行匹配,确定多个第一关联关系中是否包括与第一匹配条件相匹配的第一目标关联关系,第一目标关联关系用于关联目标内容、第一检索目标和第一检索结果;

若多个第一关联关系中包括第一目标关联关系,得到第一目标关联关系中的第一检索结果。

在一种可行的设计中,人工智能处理器还用于通过以下方式实现向用户显示第一图像的同时显示角标控件:

遍历第一图像中页面的目标内容,在遍历每一目标内容的过程中:

将当前目标内容作为第二匹配条件,与各第一关联关系依次进行匹配;

确定各第一关联关系是否包括与第二匹配条件相匹配的第二目标关联关系,第二目标关联关系用于关联当前目标内容、当前目标内容的检索目标和当前目标内容的检索目标对应的检索结果;

若各第一关联关系包括第二目标关联关系,通过显示设备向用户显示第一图像的同时显示角标控件,角标控件用于控制是否显示第二检索结果,第二检索结果为当前目标内容的检索目标对应的检索结果。

在一种可行的设计中,人工智能处理器还用于通过以下方式实现用户间共享检索结果:

获取摄像设备拍摄的用户的书本中页面的第二图像,第二图像的拍摄时间晚于第一图像;

若从第二图像上识别到用户的手指区域存在与角标控件区域重合的部分,根据角标控件对应的第二目标关联关系,确定角标控件对应的目标内容关联的第二检索结果;

通过显示设备向用户显示第二检索结果。

在一种可行的设计中,人工智能处理器还用于若识别到第一图像的下一帧图像未包含手指,在通过显示设备显示下一帧图像时,停止显示第一检索结果。

在一种可行的设计中,显示设备包括显示屏,显示设备还用于响应于用户的手指在显示屏上进行滑动的操作,采用人工智能算法将用户的手指在显示屏上滑动的轨迹转化为批注文本;

显示设备还用于将批注文本、批注文本在第一图像中的位置、用户的账号和第一图像中预设位置的内容构成的第二关联关系存储至云服务器。

上述系统实施例的其他实现方式和效果参见辅助阅读方法实施例中的说明,在此不再赘述。

以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。

应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。

还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

相关技术
  • 一种阅读能力评估方法及系统及其辅助装置
  • 一种辅助盲人阅读的文本转换方法及系统
  • 一种辅助老年人阅读文字以及防走失实时交互阅读系统
  • 一种辅助泊车装置、系统及辅助泊车方法
  • 一种儿童图书辅助阅读机器人的使用方法
  • 辅助阅读设备及辅助阅读系统和辅助阅读方法
  • 带有跨语言阅读向导的计算机辅助阅读系统和方法
技术分类

06120116594287