掌桥专利:专业的专利平台
掌桥专利
首页

电子书签处理方法、相关装置及介质

文献发布时间:2024-04-18 19:59:31


电子书签处理方法、相关装置及介质

技术领域

本公开涉及数据处理领域,特别是涉及一种电子书签处理方法、相关装置及介质。

背景技术

目前的电子书应用普遍采用电子书签。如果用户在电子书浏览过程中需要在某一页记录当前阅读位置,则在该页生成电子书签。当用户下次需要返回到当前阅读位置时,借助于电子书签返回当前阅读位置。

目前的电子书签的问题是:用户只能在电子书内查看添加过的书签,且用户可能添加过很多的电子书签,当借助于电子书签返回上一次阅读位置时,需要反复查找比对,进入电子书中电子书签对应的相应页效率低下。另外,用户阅读电子书时,不容易对电子书各部分之间的联系获得宏观认识。目前的电子书的有效信息展示效率低,电子书的信息触达效率低。

发明内容

本公开实施例提供了一种电子书签处理方法、相关装置及介质,它能够提高电子书的有效信息展示效率、和信息触达效率。

根据本公开的一方面,提供了一种电子书签处理方法,包括:

显示对象化电子书签空间的第一入口控件;

响应于对所述第一入口控件的第一触发,显示所述对象化电子书签空间,其中,所述对象化电子书签空间包含多个对象化电子书签子空间,每个所述对象化电子书签子空间对应于一本电子书,所述对象化电子书签子空间包含所述电子书中的多个对象化电子书签对应的多个虚拟对象,多个所述虚拟对象在所述对象化电子书签子空间内基于所述对象化电子书签在所述电子书中的绑定页号排列;

响应于对所述虚拟对象的第二触发,显示所述虚拟对象对应的所述对象化电子书签在所述电子书中的所述绑定页面。

根据本公开的一方面,提供了一种电子书签处理装置,包括:

第一显示单元,用于显示对象化电子书签空间的第一入口控件;

第二显示单元,用于响应于对所述第一入口控件的第一触发,显示所述对象化电子书签空间,其中,所述对象化电子书签空间包含多个对象化电子书签子空间,每个所述对象化电子书签子空间对应于一本电子书,所述对象化电子书签子空间包含所述电子书中的多个对象化电子书签对应的多个虚拟对象,多个所述虚拟对象在所述对象化电子书签子空间内基于所述对象化电子书签在所述电子书中的绑定页号排列;

第三显示单元,用于响应于对所述虚拟对象的第二触发,显示所述虚拟对象对应的所述对象化电子书签在所述电子书中的所述绑定页面。

可选地,所述虚拟对象包括第一类型的所述虚拟对象、和第二类型的所述虚拟对象;

所述第二显示单元具体用于:

如果一个所述第二类型的所述虚拟对象在所述对象化电子书签子空间中位于两个所述第一类型的所述虚拟对象之间,将所述第二类型的所述虚拟对象显示为在两个所述第一类型的所述虚拟对象飞行。

可选地,所述虚拟对象包括第一类型的所述虚拟对象、和第二类型的所述虚拟对象;

所述第二显示单元具体用于:

如果所述第二类型的所述虚拟对象对应的所述对象化电子书签的第一关联文本、与一个所述第一类型的所述虚拟对象对应的所述对象化电子书签的第二关联文本语义相关,将所述第二类型的所述虚拟对象显示为停留在所述第一类型的所述虚拟对象上。

可选地,所述电子书签处理装置还包括:

第一确定单元,用于在所述第二类型的所述虚拟对象对应的所述对象化电子书签的所述第一绑定页面中,确定所述第一关联文本;

第二确定单元,用于在所述第一类型的所述虚拟对象对应的所述对象化电子书签的所述第二绑定页面中,确定所述第二关联文本;

第一获取单元,用于基于所述第一关联文本,获取第一关联文本向量;

第二获取单元,用于基于所述第二关联文本,获取第二关联文本向量;

第三确定单元,用于确定所述第一关联文本向量和所述第二关联文本向量的相似度,并基于所述相似度确定所述第一关联文本和所述第二关联文本语义相关。

可选地,所述第一显示单元具体用于:在所述第一绑定页面中,获取预定位置的第一目标文本段和所述第一目标文本段前后各预定数目个文本段,作为所述第一关联文本;

所述第二显示单元具体用于:在所述第二绑定页面中,获取所述预定位置的第二目标文本段和所述第二目标文本段前后各所述预定数目个文本段,作为所述第二关联文本。

可选地,所述第一获取单元具体用于:

将所述第一关联文本分成多个第一词;

确定每个所述第一词的第一统计特征;

将所述第一词、和所述第一词的所述第一统计特征按照所述第一统计特征由高到低的顺序级联,得到第一级联结果;

对所述第一级联结果向量化,得到第一关联文本向量。

可选地,所述第二获取单元具体用于:

将所述第二关联文本分成多个第二词;

确定每个所述第二词的第二统计特征;

将所述第二词、和所述第二词的所述第二统计特征按照所述第二统计特征由高到低的顺序级联,得到第二级联结果;

对所述第二级联结果向量化,得到第二关联文本向量。

可选地,所述电子书签处理装置还包括:

第四显示单元,用于响应于在用户当前浏览页对对象化电子书签生成控件的第三触发,显示对象化电子书签模板集;

第一接收单元,用于接收对所述对象化电子书签模板集中目标对象化电子书签模板的选择;

第五显示单元,用于在所述用户当前浏览页上,显示基于所述目标对象化电子书签模板的对象化电子书签。

可选地,所述第一接收单元具体用于:

响应于在用户当前浏览页对对象化电子书签生成控件的所述第三触发,显示通用电子书签控件、和对象化电子书签模板集调用控件;

响应于对所述通用电子书签控件的第四触发,在所述用户当前浏览页上显示所述通用电子书签;

响应于对所述对象化电子书签模板集调用控件的第五触发,显示所述对象化电子书签模板集。

可选地,所述电子书签处理装置还包括:

第三获取单元,用于获取所述用户当前浏览页上预定位置的目标文本句;

第四确定单元,用于确定所述用户当前浏览页在所述电子书中的所属章节;

第四获取单元,用于获取当前时间戳;

第一加入单元,用于将所述目标文本句、所述章节、和所述当前时间戳加入所述目标对象化电子书签模板,得到所述对象化电子书签。

可选地,所述电子书签处理装置还包括:

第二接收单元,用于接收对所述对象化电子书签在第一滑动方向上的滑动操作;

第一移动单元,用于在所述用户当前浏览页上,将所述对象化电子书签沿着所述第一滑动方向移动。

可选地,所述电子书签处理装置还包括:

第六显示单元,用于响应于对所述对象化电子书签模板的导入控件的第六触发,显示拍摄界面;

第一拍摄单元,用于在所述拍摄界面拍摄目标对象,得到拍摄图像;

第七显示单元,用于显示对象化电子书签模板,其中,所述对象化电子书签模板包含所述虚拟对象,所述虚拟对象与所述拍摄图像中的所述目标对象对应;

第二加入单元,用于响应于模板集加入控件的第七触发,将所述对象化电子书签模板加入所述对象化电子书签模板集。

可选地,第七显示单元用于:

从所述拍摄图像中,识别所述目标对象的类型;

如果所述目标对象的所述类型是所述第一类型,从所述拍摄图像中提取所述目标对象对应的主体部分,并基于所述主体部分生成并显示所述对象化电子书签模板;

如果所述目标对象的所述类型是所述第二类型,从所述拍摄图像中识别所述目标对象的目标对象名称,并基于第一对照表获取所述目标对象名称对应的标志物图像,并基于所述标志物图像生成并显示所述对象化电子书签模板,其中,所述第一对照表指示对象名称与所述标志物图像的对应关系。

可选地,所述电子书签处理装置还包括:

第五获取单元,用于获取目标视频库;

第一识别单元,用于在所述目标视频库的视频中,识别出所述第二类型的所述对象;

第三接收单元,用于接收针对识别出的所述对象输入的所述对象名称;

第二识别单元,用于从所述视频中提取识别出的所述对象的所述标志物图像;

第一记录单元,用于将所述对象名称和所述标志物图像相对应地记录,得到所述第一对照表。

可选地,第二显示单元具体用于:

将所述第一类型的所述目标对象对应的所述虚拟对象显示为所述主体部分;

将所述第二类型的所述目标对象对应的所述虚拟对象显示为从所述拍摄图像中提取的所述目标对象。

可选地,所述从所述拍摄图像中识别所述目标对象的目标对象名称,是通过对象识别模型进行的;所述电子书签处理装置还包括:

第六获取单元,用于获取训练样本集,所述训练样本集中的每个训练样本包括样本对象图像、与所述样本对象图像中的样本对象名称的标签;

第一预处理单元,用于将每个所述样本对象图像进行预处理,得到预处理后样本对象图像;

第一输入单元,用于将所述预处理后样本对象图像输入预训练模型,得到样本对象名称识别结果;

第一调整单元,用于基于所述样本对象名称识别结果与所述标签,计算损失函数,并基于所述损失函数调整所述预训练模型,得到所述对象识别模型。

可选地,第六获取单元具体用于:

获取开源的第一训练样本子集;

获取第一样本对象图像集,将所述第一样本对象图像集中每个第一样本对象图像输入标签生成模型,得到所述第一样本对象图像中的样本对象名称的所述标签,并将所述标签添加到所述第一样本对象图像,以得到第二训练样本子集;

获取第二样本对象图像集,接收针对所述第二样本对象图像集中每个第二样本对象图像输入的所述标签,并将所述标签添加到所述第二样本对象图像,以得到第三训练样本子集;

将所述第一训练样本子集、所述第二训练样本子集、和所述第三训练样本子集整合为所述训练样本集。

可选地,第一预处理单元具体用于:

从所述样本对象图像中,滤除图像质量低于预定质量标准的所述样本对象图像,得到过滤后样本对象图像;

裁剪掉所述过滤后样本对象图像的背景部分,得到裁剪后样本对象图像;

对所述裁剪后样本对象图像进行图像增强,得到所述预处理后样本对象图像。

可选地,所述电子书签处理装置还包括:

第八显示单元,用于响应于对对象化电子书签列表显示控件的第八触发,显示所述对象化电子书签列表;

第九显示单元,用于响应于对书签笔记设置控件的第九触发,显示所述对象化电子书签列表中每个所述对象化电子书签对应的第一选择控件;

第十显示单元,用于响应于对多个所述对象化电子书签对应的所述第一选择控件的选择,显示笔记设置界面,所述笔记设置界面包含选择的所述第一选择控件对应的多个所述对象化电子书签;

第四接收单元,用于在所述笔记设置界面上,接收输入的书签笔记。

可选地,第二显示单元具体用于:

将选择的多个所述对象化电子书签对应的多个所述虚拟对象显示为基于连结物布置,其中,多个所述虚拟对象中的第一类型的所述虚拟对象由所述连结物串联,多个所述虚拟对象中的第二类型的所述虚拟对象围绕所述连结物执行预定动作;

在所述连结物的周围,显示书签笔记查看控件。

可选地,所述电子书签处理装置还包括:

第十一显示单元,用于响应于针对所述书签笔记的第一分享操作,将所述书签笔记显示到分享区;

第五接收单元,用于接收所述分享区上对所述书签笔记的第一互动记录;

第十二显示单元,用于显示所述对象化电子书签空间中基于所述第一互动记录的所述书签查看控件。

可选地,所述电子书签处理装置还包括:

第十三显示单元,用于响应于对一个所述虚拟对象的第十一触发,显示所述虚拟对象对应的对象化电子书签预览框,所述对象化电子书签预览框具有第二选择控件;

第十四显示单元,用于响应于对所述对象化电子书签预览框中所述第二选择控件的选择,显示其它的所述虚拟对象对应的所述第二选择控件;

第十五显示单元,用于响应于对其它的所述虚拟对象对应的所述第二选择控件的选择,显示笔记设置界面,所述笔记设置界面包含选择的各个所述第二选择控件对应的所述对象化电子书签;

第六接收单元,用于在所述笔记设置界面上,接收输入的书签笔记。

可选地,所述电子书签处理装置还包括:

第十六显示单元,用于响应于针对所述对象化电子书签的第二分享操作,将所述对象化电子书签显示到分享区;

第七接收单元,用于接收所述分享区上对所述对象化电子书签的第二互动记录;

第十七显示单元,用于显示所述对象化电子书签空间中基于所述第二互动记录的所述书签查看控件。

根据本公开的一方面,提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上所述的电子书签处理方法。

根据本公开的一方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的电子书签处理方法。

根据本公开的一方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序,所述计算机程序被计算机设备的处理器读取并执行,使得该计算机设备执行如上所述的电子书签处理方法。

本公开实施例设置对象化电子书签空间。对象化电子书签空间中有多个对象化电子书签子空间,每个对象化电子书签子空间对应于一本电子书。对象化电子书签子空间包括多个虚拟对象,每个虚拟对象对应于一个对象化电子书签。多个虚拟对象在对象化电子书签子空间中的排序,与多个虚拟对象对应的多个对象化电子书签在电子书中的绑定页号的顺序一致。这样,通过各对象化电子书签在对象化电子书签空间中的排布、以及对象化电子书签之间的排序,能够清晰地表达电子书各部分内容之间的联系,能够有效展示电子书的关键内容点和关键内容点之间的联系,提高了电子书的有效信息展示效率。响应于对对象化电子书签空间中虚拟对象的第二触发,能够快速进入到该对象化电子书签在该电子书中的绑定页面,提高了电子书的信息触达效率。

本公开的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本公开技术方案的进一步理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开的技术方案,并不构成对本公开技术方案的限制。

图1是本公开实施例的电子书签处理方法的体系架构图;

图2A至图2B是本公开的实施例应用于在阅读应用中添加电子书签的界面示意图;

图3是根据本公开的一个实施例的电子书签处理方法的流程图;

图4A至图4E是本公开的一个实施例的电子书签处理方法的界面示意图;

图5是对象化电子书签子空间中第一类型的虚拟对象与第二类型的虚拟对象的一个界面示意图;

图6是对象化电子书签子空间中第一类型的虚拟对象与第二类型的虚拟对象的另一个界面示意图

图7是本公开实施例的确定第一关联文本和第二关联文本语义相关的一个流程图;

图8A至图8B是确定第一关联文本和第二关联文本的界面示意图;

图9A至图9B是图7中步骤730的流程图;

图10A至图10B是确定第一关联文本向量和第二关联文本向量的结构框图;

图11是本公开实施例的对象化电子书签模板导入以及对象化电子书签生成的流程图;

图12A至图12F是第一类型的对象化电子书签模板导入的界面示意图;

图13A至图13F是第二类型的对象化电子书签模板导入的界面示意图

图14是图11中步骤1130的一个流程图;

图15是本公开实施例的第一对照表生成的流程图;

图16是本公开实施例的对象识别模型获得的流程图;

图17是图16中步骤1610的一个流程图;

图18是图16中步骤1620的一个流程图;

图19A至图19F是对象化电子书签生成的界面示意图;

图20是图11中步骤1150的一个流程图;

图21是本公开实施例的基于目标对象化电子书签模板的对象化电子书签生成的流程图;

图22是本公开实施例的书签笔记生成的流程图;

图23A至图23H是基于对象化电子书签列表的对象化电子书签发表书签笔记的界面示意图;

图24是图3中步骤320的一个流程图;

图25是本公开实施例的生成的另一流程图;

图26A至图26F是基于对象化电子书签子空间的虚拟对象发表书签笔记的界面示意图;

图27是本公开实施例的对象化电子书签分享的流程图;

图28A至图28F是基于分享区对象化电子书签的第二互动记录显示书签查看控件的界面示意图;

图29是本公开实施例的书签笔记分享的流程图;

图30A至图30E是基于分享区书签笔记的第一互动记录显示书签查看控件的界面示意图;

图31是根据本公开的实施例的电子书签处理装置的模块图;

图32是根据本公开的实施例的电子书签处理方法的终端结构图;

图33是根据本公开的实施例的电子书签处理方法的服务器结构图。

具体实施方式

为了使本公开的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本公开进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本公开,并不用于限定本公开。

需要说明的是,在本公开的各个具体实施方式中,当涉及到需要根据目标对象属性信息或属性信息集合等与目标对象特性相关的数据进行相关处理时,都会先获得目标对象的许可或者同意,而且,对这些数据的收集、使用和处理等,都会遵守相关法律法规和标准。此外,当本公开实施例需要获取目标对象属性信息时,会通过弹窗或者跳转到确认页面等方式获得目标对象的单独许可或者单独同意,在明确获得目标对象的单独许可或者单独同意之后,再获取用于使本公开实施例能够正常运行的必要的目标对象相关数据。

对本公开实施例进行进一步详细说明之前,对本公开实施例中涉及的名词和术语进行说明,本公开实施例中涉及的名词和术语适用于如下的解释:

电子书签:是指在客户程序和网络浏览器中,用户在菜单或页上做的标志,以便作为今后查找的参考。比如:当用户阅读电子书时,可以添加电子书签作为标志,以记录浏览位置。

目前的电子书应用普遍采用电子书签。如果用户在电子书浏览过程中需要在某一页记录当前阅读位置,则在该页生成电子书签。当用户下次需要返回到当前阅读位置时,借助于电子书签返回当前阅读位置。

目前的电子书签的问题是:用户只能在电子书内查看添加过的书签,且用户可能添加过很多的电子书签,当借助于电子书签返回上一次阅读位置时,需要反复查找比对,进入电子书中电子书签对应的相应页效率低下。另外,用户阅读电子书时,不容易对电子书各部分之间的联系获得宏观认识。目前的电子书的有效信息展示效率低,电子书的信息触达效率低。

基于此,本公开实施例提供一种电子书签处理方法、相关装置及介质,该电子书签处理方法能够提高电子书的有效信息展示效率、和信息触达效率。

本公开实施例应用的系统体系构架及场景说明

图1是是根据本公开的实施例的电子书签处理方法应用的系统构架图。它包括它包括服务器110、互联网120、对象终端130等。

服务器110是指能对对象终端130提供电子书签处理服务的计算机系统。相对于对象终端130来说,服务器110在稳定性、安全性、性能等方面都要求更高。服务器110可以是网络平台中的一台高性能计算机、多台高性能计算机的集群、一台高性能计算机中划出的一部分(例如虚拟机)、多台高性能计算机中划出的一部分(例如虚拟机)的组合等。服务器110也可以以有线或无线的方式与互联网120进行通信,交换数据。

对象终端130是向对象提供电子阅读服务,并通过接收对象的触发操作,如对第一入口控件的第一触发、对虚拟对象的第二触发,为对象提供电子书签处理服务的设备。它包括桌面电脑、膝上型电脑、PDA(个人数字助理)、手机、车载终端、家庭影院终端、专用终端等多种形式。另外,它可以是单台设备,也可以是多台设备组成的集合。例如,多台设备通过局域网连接,公用一台显示设备进行协同工作,共同构成一个终端。对象终端130也可以以有线或无线的方式与互联网120进行通信,交换数据。

本公开实施例可以应用在多种场景下,例如图2A-图2B所示的在阅读应用中添加电子书签的场景。

如图2A所示,对象终端130是手机终端。对象终端130的界面上显示的是一个阅读应用软件,用户可以在阅读应用软件中阅读电子书。用户的当前阅读位置为第Z章第zz页,当用户需要记录当前阅读位置时,可通过对阅读应用软件中相关空间的触发添加对象化电子书签,对象化电子书签添加后的界面如图2B所示。

图2B展示了对象化电子书签添加后的阅读应用软件的界面。对象化电子书签位于阅读应用软件界面上,且对象化电子书签包括多种书签信息。书签信息展示了用户的当前阅读位置为第Z章、用户添加电子书签的时间、以及当前阅读位置的文本信息,书签信息还可以包括当前阅读位置的页数。另外,书签信息还展示了对象化电子书签通过植物A的标本的形式进行显示。对象化电子书签的应用提高了信息显示效率,提高了书签的可用性。

本公开实施例的总体说明

相关技术的电子书签处理方法使得电子书的有效信息展示效率低,电子书的信息触达效率低。根据本公开的一些实施例,提供了一种电子书签处理方法、相关装置及介质,它能够提高电子书的有效信息展示效率、和信息触达效率。

电子书签处理方法是通过对象化电子书签空间显示对象化电子书签的方法。在对象化电子书签空间中,通过对各个对象电子书签的排布、以及对象化电子书签之间的排序,展示电子书的关键内容点和关键内容点之间的联系,并通过对对象化电子书签空间中虚拟对象的第二触发,能够快速进入到该对象化电子书签在该电子书中的绑定页面。本公开实施例能够提高电子书的有效信息展示效率、和信息触达效率。

本公开实施例的电子书签处理方法响应于对象的触发,对象终端130可以获取本地数据,或者向服务器110请求数据。对象终端130在获取本地数据或者来自服务器110的数据后,将数据渲染,并通过对象终端130将对应的内容展示给对象。

如图3所示,根据本公开的一个实施例,电子书签处理方法包括:

步骤310、显示对象化电子书签空间的第一入口控件;

步骤320、响应于对第一入口控件的第一触发,显示对象化电子书签空间,其中,对象化电子书签空间包含多个对象化电子书签子空间,每个对象化电子书签子空间对应于一本电子书,对象化电子书签子空间包含电子书中的多个对象化电子书签对应的多个虚拟对象,多个虚拟对象在对象化电子书签子空间内基于对象化电子书签在电子书中的绑定页号排列;

步骤330、响应于对虚拟对象的第二触发,显示虚拟对象对应的对象化电子书签在电子书中的绑定页面。

下面对上述步骤310至330进行简要描述。

在步骤310中,显示对象化电子书签空间的第一入口控件。第一入口控件与对象化电子书签空间相对应,通过对第一入口控件的触发,可显示对象化电子书签空间。第一入口控件是显示在阅读应用软件界面中的控件,第一入口控件可以为单一形式的控件,如按钮,第一入口控件也可以以多种形式控件组合的形式展示,如复选框加按钮、输入框加按钮。

第一入口控件可位于阅读应用软件的任意界面。对象化电子书签空间与对象化电子书签相关联,为提高对象化电子书签空间的信息触达效率,如图4A所示,第一入口控件设置于对象化电子书签对应的书签集界面。

在步骤320中,响应于对第一入口控件的第一触发,显示对象化电子书签空间,其中,对象化电子书签空间包含多个对象化电子书签子空间,每个对象化电子书签子空间对应于一本电子书,对象化电子书签子空间包含电子书中的多个对象化电子书签对应的多个虚拟对象,多个虚拟对象在对象化电子书签子空间内基于对象化电子书签在电子书中的绑定页号排列。如图4A所示,对象终端130接收对第一入口控件的第一触发,如图4B所示,对象终端130响应于对第一入口控件的第一触发,显示对象化电子书签空间。

参照图4B,对象化电子书签空间包括多个对象化电子书签子空间,不同的对象化电子书签子空间对应不同的电子书,具体地,书籍A、书籍B、书籍C分别对应于不同的对象化电子书签子空间。对象化电子书签子空间中包含多个虚拟对象,响应于对对象化电子子书签空间的放大操作,显示对应的对象化子空间的放大界面。书籍A对应的对象化子空间的放大界面如图4C显示。

如图4C所示,对象化电子书签子空间中包含多个虚拟对象,且每个虚拟对象对应电子书书籍A中的一个对象化电子书签,多个虚拟对象基于对应的对象化电子书签在书籍A中的绑定页号排列。

虚拟对象排列的方式多种多样,例如,多个虚拟对象可以按行或者按列进行排列,多个虚拟对象可以按照“S”型的方式进行排列。在一个实施例中,参照图4C,多个虚拟对象在按照对象化电子书签在电子书中的绑定页号进行排列的基础上,以螺旋的形式进行排列,螺旋的形式使得多个虚拟对象的排列更加集中,提高了对象化电子书签子空间的信息传递效率。

对象化电子书签在对象化电子书签空间中以虚拟对象的形式展示,虚拟对象可以显示为任一对象,例如花、鸟、树。另外,对象化电子书签与虚拟对象相对应,当虚拟对象为花时,对象化电子书签包括基于花制成的干花标本,当虚拟对象为鸟时,对象化电子书签可以包括与鸟对应的羽毛,而当对象化电子书签为树时,对象化电子书签包括基于与树对应的树叶制成的树叶标本。

本公开实施例通过各对象化电子书签在对象化电子书签空间中的排布、以及对象化电子书签之间的排序,能够清晰地表达电子书各部分内容之间的联系,能够有效展示电子书的关键内容点和关键内容点之间的联系,提高了电子书的有效信息展示效率。

在步骤330中,响应于对虚拟对象的第二触发,显示虚拟对象对应的对象化电子书签在电子书中的绑定页面。虚拟形象与对象化电子书签相对应,而电子书中设置有与对象化电子书签对应的绑定页面,绑定页面为对象化电子书签在电子书中的设置位置,例如,对象化电子书签A在电子书中的设置位置为第100页,那么对象化电子书签A在电子书中的绑定页面为电子书的第100页,响应于对对象化电子书签A对应的虚拟对象的第二触发,显示电子书的第100页。响应于对对象化电子书签空间中虚拟对象的第二触发,能够快速进入到该对象化电子书签在该电子书中的绑定页面,提高了电子书的信息触达效率。

如图4C所示,对虚拟对象进行第二触发,且该虚拟对象对应的对象化电子书签在书籍A中的添加位置为第Z章第zz页,之后显示的界面如图4D所示。图4D为虚拟对象对应的对象化电子书签在电子书中的绑定页面,绑定页面包括电子书的文本内容和对象化电子书签,对象化电子书签包括多种书签信息。书签信息展示了用户的当前阅读位置为第Z章、用户添加电子书签的时间、以及当前阅读位置的文本信息,书签信息还可以包括当前阅读位置的页数。另外,书签信息还展示了对象化电子书签通过植物A的标本的形式进行显示。

上述步骤310至330的实施例设置对象化电子书签空间。对象化电子书签空间中有多个对象化电子书签子空间,每个对象化电子书签子空间对应于一本电子书。对象化电子书签子空间包括多个虚拟对象,每个虚拟对象对应于一个对象化电子书签。多个虚拟对象在对象化电子书签子空间中的排序,与多个虚拟对象对应的多个对象化电子书签在电子书中的绑定页号的顺序一致。这样,通过各对象化电子书签在对象化电子书签空间中的排布、以及对象化电子书签之间的排序,能够清晰地表达电子书各部分内容之间的联系,能够有效展示电子书的关键内容点和关键内容点之间的联系,提高了电子书的有效信息展示效率。响应于对对象化电子书签空间中虚拟对象的第二触发,能够快速进入到该对象化电子书签在该电子书中的绑定页面,提高了电子书的信息触达效率。

以上是对步骤310至330进行的总体描述,下面将针对步骤310至330的具体实现过程展开详细描述。

步骤320的详细描述

在步骤320中,响应于对第一入口控件的第一触发,显示对象化电子书签空间,其中,对象化电子书签空间包含多个对象化电子书签子空间,每个对象化电子书签子空间对应于一本电子书,对象化电子书签子空间包含电子书中的多个对象化电子书签对应的多个虚拟对象,多个虚拟对象在对象化电子书签子空间内基于对象化电子书签在电子书中的绑定页号排列。

在一实施例中,虚拟对象包括第一类型的虚拟对象、和第二类型的虚拟对象,步骤320包括:

如果一个第二类型的虚拟对象在对象化电子书签子空间中位于两个第一类型的虚拟对象之间,将第二类型的虚拟对象显示为在两个第一类型的虚拟对象飞行。

在对象化电子书签子空间中,多个虚拟对象基于对象化电子书签在电子书中的绑定页号排列,而虚拟对象包括第一类型的虚拟对象和第二类型的虚拟对象,第二类型的虚拟对象对应的对象化电子书签在电子书中的位置、以及文本内容,可能是用户想重点关注的内容,这时,用户可能倾向于关注该对象化电子书签代表的电子书内容与前后文的联系,因此,当一个第二类型的虚拟对象在对象化电子书签子空间中位于两个第一类型的虚拟对象之间,将第二类型的虚拟对象显示为在两个第一类型的虚拟对象之间进行飞行,将用户想要重点关注的内容与上下文的联系在视觉上以更直观的方式呈现,提高了信息显示效率,且提高了对象化电子书签的可用性。

第一类型和第二类型的虚拟对象为两种不同的虚拟对象,且第二类型的虚拟对象显示为在两个第一类型的虚拟对象飞行,为提高对象化电子书签的趣味性和观赏性,第二类型的虚拟对象通常设置为可移动的对象,例如设置为鸟类虚拟对象、昆虫类虚拟对象等,第一类型的虚拟对象可以设置为不可移动的对象,例如花类虚拟对象、树类虚拟对象等,对应的,对象化电子书签子空间可以通过花丛、树林的形式展示,对象化电子书签空间则通过花园、森林的形式展示。

另外,第二类型的虚拟对象在两个第一类型的虚拟对象之间飞行,即第二类型的虚拟对象在两个第一类型的虚拟对象之间移动,那么第二类型的虚拟对象还可以设置为水生动物,第一类型的虚拟对象可以对应设置为珊瑚、水草等。

用户在阅读实体书时,通常使用植物标本、鸟类羽毛作为书签,因此,为了提高对象化电子书签的真实性,本公开实施例将植物书签作为第一类型的对象化电子书签、羽毛书签作为第二类型的对象化电子书签,对应的,第一类型的虚拟对象为花,第二类型的虚拟对象为鸟。参照图4E,图4E为对象化电子书签子空间的示意图,在对象化电子书签子空间中,多个对象化电子书签对应的虚拟对象螺旋排列,其中,书签5对应的虚拟形象为鸟类虚拟形象,且书签5位于书签4、书签6之间,那么书签5对应的虚拟形象在书签4与书签6之间进行飞行。图5所示的对象化电子书签子空间与书籍A相对应,鸟类虚拟形象对应的绑定页面为书籍A的第F章第ff页,且其位于两个花类虚拟形象之间,因此,该鸟类虚拟形象沿图5所示虚线在两个花类虚拟形象之间进行飞行。另外,植物和鸟类是较为常见的两类对象,其图像获取较为方便,根据该图像可生成对象化电子书签以及对应的虚拟形象。因此,本公开实施例将植物书签作为第一类型的对象化电子书签、羽毛书签作为第二类型的对象化电子书签,能够提高对象化电子书签的获取便捷度。

在对象化电子书签子空间中,第二类型的虚拟对象可以始终显示为在两个第一类型的虚拟对象之间进行飞行的状态,也可以在飞行一段时间后,第二类型的虚拟对象停留在其中一个第一类型的虚拟对象附近。例如,参照图5,第二类型的虚拟对象,即鸟类虚拟对象可以停留在绑定页面为第E章第ee页对应的虚拟对象附近,或者,停留在绑定页面为第Z章第zz页对应的虚拟对应附近。除此之外,第二类型的虚拟对象停留在两个第一类型的虚拟对象之间的任意位置。

另外,第二类型的虚拟对象显示为在两个第一类型的虚拟对象飞行,具体地,第二类型的虚拟对象的飞行路径可以为任意形式,例如,该虚拟对象沿直线飞行,或者该虚拟对象沿S型曲线飞行,只需第二类型的虚拟对象的飞行路径的起点和终点分别为两个第一类型的虚拟对象即可。

在另一实施例中,虚拟对象包括第一类型的虚拟对象、和第二类型的虚拟对象,步骤S320包括:

如果第二类型的虚拟对象对应的对象化电子书签的第一关联文本、与一个第一类型的虚拟对象对应的对象化电子书签的第二关联文本语义相关,将第二类型的虚拟对象显示为停留在第一类型的虚拟对象上。

虚拟对象与对象化电子书签相对应,而对象化电子书签设置于电子书中,电子书包括多个文本。因此,每一对象化电子书签都在电子书中有对应的关联文本。第二类型的虚拟对象对应的对象化电子书签的关联文本为第一关联文本,第一类型的虚拟对象对应的对象化电子书签的关联文本为第二关联文本,如果第一关联文本与第二关联文本语义相关,那么可以让第二类型的虚拟对象显示为停留在第一类型的虚拟对象上,从而使得用户对于电子书中各个对象化电子书签之间的语义关联性一目了然,帮助了解书中各部分之间的联系。另外,该方式使得上下文有关联的对象化电子书签能够在视觉上以更直观的方式显示,提高了页面信息显示效率,并提高了信息显示有效性,同时提高了书签可用性。

如图6所示,鸟类虚拟形象对应的第一关联文本与第A章第aa页的花类虚拟形象对应的第二关联文本语义相关,因此,鸟类虚拟形象停留在该花类虚拟对象上。

需要说明的是,与第一关联文本语义相关的第二关联文本的数量不受限制,可以为一个,也可以为多个。当第一关联文本仅与一个第二关联文本语义相关时,第二类型的虚拟对象显示为停留在第一类型的虚拟对象上,而当第一关联文本与多个第二关联文本语义相关时,第二类型的虚拟对象显示为基于语义相关的顺序在多个第一类型的虚拟对象依次进行停留盘旋。

在一实施例中,参照图7,语义相关通过以下方式确定:

步骤710、在第二类型的虚拟对象对应的对象化电子书签的第一绑定页面中,确定第一关联文本;

步骤720、在第一类型的虚拟对象对应的对象化电子书签的第二绑定页面中,确定第二关联文本;

步骤730、基于第一关联文本,获取第一关联文本向量;

步骤740、基于第二关联文本,获取第二关联文本向量;

步骤750、确定第一关联文本向量和第二关联文本向量的相似度,并基于相似度确定第一关联文本和第二关联文本语义相关。

下面对步骤710-步骤750进行详细描述。

在步骤710中,在第二类型的虚拟对象对应的对象化电子书签的第一绑定页面中,确定第一关联文本。首先确定第二类型的虚拟对象对应的对象化电子书签的第一绑定页面,在第一绑定页面中,能够确定对象化电子书签插入位置的上下文,从而根据上下文内容确定第一关联文本。

在步骤720中,在第一类型的虚拟对象对应的对象化电子书签的第二绑定页面中,确定第二关联文本。首先确定第一类型的虚拟对象对应的对象化电子书签的第二绑定页面,在第二绑定页面中,能够确定对象化电子书签插入位置的上下文,从而根据上下文内容确定第二关联文本。

在步骤730中,基于第一关联文本,获取第一关联文本向量。对第一关联文本进行向量化处理,即将文本转换为向量形式,得到第一关联文本向量。

向量化处理的方式多种多样,而本公开实施例采用词袋模型(Bag-of-wordsmodel)或词频-逆向文件频率(term frequency–inverse document frequency,TF-IDF)模型对第一关联文本进行处理,从而获取第一关联文本向量。

虽然词语无法直接转化为数值,但是通过统计文本中词语的出现情况,也可以表现出一定的信息,这就是词袋模型。顾名思义,词袋模型就是把文中的词用袋子装起来统一作为文本的表示。

TF-IDF是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(TermFrequency),IDF是逆文本频率指数(Inverse Document Frequency)。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。

在步骤740中,基于第二关联文本,获取第二关联文本向量。对第二关联文本进行向量化处理,即将文本转换为向量形式,得到第二关联文本向量。本公开实施例主要采用词袋模型或TF-IDF模型对第二关联文本进行处理,从而获取第二关联文本向量。

需要说明的是,为便于计算,第一关联文本进行向量化的方式需要与第一关联文本进行向量化的形式保持一致,即若通过词袋模型对第一关联文本进行向量化处理,获取第一关联文本向量,那么同样需要通过词袋模型对第一关联文本进行处理,获取第二关联文本向量。而若第一关联文本进行向量化的方法为TF-IDF模型,那么第二关联文本进行向量化的方法同样为TF-IDF模型

在步骤750中,确定第一关联文本向量和第二关联文本向量的相似度,并基于相似度确定第一关联文本和第二关联文本语义相关。本公开实施例通过计算第一关联文本向量和第二关联文本向量的相似度确定第一关联文本和第二关联文本是否语义相关。

语义相关的确定方式包括多种方式,例如排序、设置阈值等。当语义相关的确定方式为排序时,基于第一关联文本向量和多个第二关联文本向量的相似度进行排序,从而选取预设数量的第二关联文本,确定该第二关联文本与第一关联文本语义相关。另外,当语义相关的确定方式为设置阈值时,本公开实施例可获取相似度阈值,获取与第一关联文本向量的相似度大于相似度阈值的第二关联文本,并确定该第二关联文本与第一关联文本语义相关。

第一关联文本向量和第二关联文本向量的相似度的计算可以使用余弦相似度、欧氏距离等方法。余弦相似度是通过计算第一关联文本向量和第二关联文本向量的夹角余弦值来判断两个向量的相似度,夹角越小则相似度越高。欧氏距离是计算第一关联文本向量和第二关联文本向量之间的欧几里德距离,距离越小则相似度越高。

上述步骤710至步骤750的实施例,本公开实施例分别对第二类型的虚拟对象和第一类型的虚拟对象进行处理,确认与第二类型的虚拟对象对应的第一关联文本向量、与第一类型的虚拟对象对应的第二关联文本向量,并确定第一关联文本向量和第二关联文本向量的相似度,进而确定第一关联文本和第二关联文本语义相关。本公开实施例通过相似度的计算确定第一关联文本和第二关联文本语义相关,之后能够通过对第一类型和第二类型的虚拟形象的处理,使具有语义相关的对象化电子书签在视觉上以更直观的方式显示,提高页面信息显示效率,并提高信息显示有效性,同时提高书签可用性。

以上是对步骤710至750的总体描述,下面对步骤710至步骤740的具体实现展开详细描述。

在步骤710中,在第二类型的虚拟对象对应的对象化电子书签的第一绑定页面中,确定第一关联文本。

在一实施例中,步骤710包括:

在第一绑定页面中,获取预定位置的第一目标文本段和第一目标文本段前后各预定数目个文本段,作为第一关联文本。

如图8A所示,第二类型的虚拟对象为鸟类虚拟对象,那么该虚拟对象对应的对象化电子书签显示为羽毛,具体为羽毛A。本公开实施例将第一绑定页面的首段文本作为第一目标文本段,且将第一目标文本段与该第一目标文本段的前后各一个文本段,作为第一关联文本。

本公开实施例第一目标文本段对应的预定位置不进行限制,预定位置可以为对象化电子书签对应的绑定页面的首段文本所处位置,也可以为对象化电子书签对应的绑定页面的第二段文本或第三段文本所处的位置。但由于可能存在用户的字体设置较大或者电子书本身的段落较长,使得电子书的一页通常只有一个段落,因此为了便于获取第一关联文本,通常将对象化电子书签对应的绑定页面的首段文本所处的位置设定为预定位置,即将对象化电子书签对应的绑定页面的首段文本作为第一目标文本段。另外,本公开实施例不对预定数目的具体数值进行限制,其具体值可根据电子书或用户需求进行设置。

在步骤720中,在第一类型的虚拟对象对应的对象化电子书签的第二绑定页面中,确定第二关联文本。

在一实施例中,步骤720包括:

在第二绑定页面中,获取预定位置的第二目标文本段和第二目标文本段前后各预定数目个文本段,作为第二关联文本。

如图8B所示,第二类型的虚拟对象为花类虚拟对象,那么该虚拟对象对应的对象化电子书签显示为干花标本。本公开实施例将第一绑定页面的首段文本作为第一目标文本段,且将第一目标文本段与该第一目标文本段的前后各一个文本段,作为第一关联文本。

本公开实施例第一目标文本段对应的预定位置不进行限制,预定位置可以为对象化电子书签对应的绑定页面的首段文本所处位置,也可以为对象化电子书签对应的绑定页面的第二段文本或第三段文本所处的位置。但由于可能存在用户的字体设置较大或者电子书本身的段落较长,使得电子书的一页通常只有一个段落,因此为了便于获取第一关联文本,通常将对象化电子书签对应的绑定页面的首段文本所处的位置设定为预定位置,即将对象化电子书签对应的绑定页面的首段文本作为第一目标文本段。

另外,本公开实施例不对预定数目的具体数值进行限制,其具体值可根据电子书或用户需求进行设置,但为便于相似度的计算,第二关联文本获取过程中的预定数目需与第一关联文本获取过程中的保持一致。选取第二目标文本段段前以及段后的文本段的预定数目也可以不同,例如在图8B中的对象化电子书签对应的第一绑定页面中,第一目标文本段为为第Z章的首段,而在部分电子书中,章节之间的文本关联度较小,因此,可以将第二目标文本段段前的预定数目设置为0,至将第二目标文本段和第二目标文本段后预定数目个文本段,作为第二关联文本。

在步骤730中,基于第一关联文本,获取第一关联文本向量。

在一实施例中,参照图9A,步骤730包括:

步骤910、将第一关联文本分成多个第一词;

步骤920、确定每个第一词的第一统计特征;

步骤930、将第一词、和第一词的第一统计特征按照第一统计特征由高到低的顺序级联,得到第一级联结果;

步骤940、对第一级联结果向量化,得到第一关联文本向量。

下面对于步骤910至940进行详细描述。

在步骤910中,将第一关联文本分成多个第一词。第一关联文本的长度较长,因此可以对第一关联文本进行分词,得到多个第一词,从而基于多个第一词与第二关联文本进行相似度计算。

分词是将一段文本按照一定的规则切割成一个个词语,通常使用中文分词器或者英文分词器来完成。例如,当第一关联文本为中文时,通过中文分词器进行分词,具体地,第一关联文本“我喜欢中国菜”可以分成“我”、“喜欢”、“中国菜”三个第一词。

另外,将第一关联文本直接进行分词得到的多个第一词可能包括多个停用词,停用词是在文本中频繁出现但通常不携带实际含义或不重要的词语,如介词、连词、副词等。例如,在第一关联文本“我喜欢中国菜”中,停用词可以去除“我”、“喜欢”、“的”。本公开实施例可以获取预设的停用词列表,在去除停用词的过程中,将第一关联文本对应的第一词与停用词列表进行比较,从而将列表中包含的停用词从已有的第一词中去除。停用词的去除能够去除部分实际含义较少或不重要的第一词,从而使得到的第一词更具有实际意义,提高第一关联文本向量的获取效率。

在步骤920中,确定每个第一词的第一统计特征。第一关联文本向量的获取方法不同,第一统计特征对应的具体内容也不相同。在词袋模型中,第一统计特征为每个第一词在所有第一词,即第一关联文本中出现的次数。而在TF-IDF模型中,首先基于每个第一词在第一关联文本中的出现频率、以及在第一关联文本和第二关联文本中的出现频率计算其权重,之后将该权重作为第一统计特征。

在步骤930中,将第一词、和第一词的第一统计特征按照第一统计特征由高到低的顺序级联,得到第一级联结果。第一统计特征与第一词在第一关联文本中的出现次数或权重相对应,因此,第一统计特征通过数值的形式展示。根据第一统计特征,按照由高到低的顺序对第一词、以及第一词的统计特征进行级联,得到第一级联结果。

在步骤940中,对第一级联结果向量化,得到第一关联文本向量。第一关联文本向量为第一级联结果的向量化形式,且在第一关联文本向量中,第一词与第一统计特征一一对应。

上述步骤910至940的实施例,参照图10A,在第一关联文本向量获取的过程中,首先对第一关联文本进行分词,得到多个第一词,之后确定多个第一词对应的第一统计特征,并根据由高到由高到低的顺序对得到的多个第一统计特征进行级联,得到第一关联文本向量。本公开实施例中第一关联文本向量用于计算相似度,而对第一关联文本进行分词等操作使得到的第一关联文本向量更加精确,从而提高了相似度的准确度,并使得到的与第二关联文本语义相关的第一关联文本更加准确,为第一类型和第二类型的虚拟形象的位置关系提供了依据,进一步提高了电子书的信息显示效率,且提高书签的可用性。

在步骤740中,基于第二关联文本,获取第二关联文本向量。

在一实施例中,参照图9B,步骤740包括:

步骤960、将第二关联文本分成多个第二词;

步骤970、确定每个第二词的第二统计特征;

步骤980、将第二词、和第二词的第二统计特征按照第二统计特征由高到低的顺序级联,得到第二级联结果;

步骤990、对第二级联结果向量化,得到第二关联文本向量。

下面对于步骤960至990进行详细描述。

在步骤960中,将第二关联文本分成多个第二词。第二关联文本的长度较长,因此可以对第二关联文本进行分词,得到多个第二词,从而基于第二词与多个第一关联文本进行相似度计算。第二关联文本在分词过程中使用的停用词列表与第一关联文本的分词过程相同。

在步骤970中,确定每个第二词的第二统计特征。第一关联文本向量的获取方法不同,第一统计特征对应的具体内容也不相同。在词袋模型中,第二统计特征为每个第二词在所有第二词,即第二关联文本中出现的次数。而在TF-IDF模型中,首先基于每个第二词在第二关联文本中的出现频率、以及在第一关联文本和第二关联文本中的出现频率计算其权重,之后将该权重作为第二统计特征。另外,在确定第二统计特征与第一统计特征过程中使用的模型相同,即第二统计特征与第一统计特征的数据类型相同。

在步骤980中,将第二词、和第二词的第二统计特征按照第二统计特征由高到低的顺序级联,得到第二级联结果。第二统计特征与第二词在第二关联文本中的出现次数或权重相对应,因此,第二统计特征通过数值的形式展示。根据第二统计特征,按照由高到低的顺序对第二词、以及第二词的统计特征进行级联,得到第二级联结果。

在步骤990中,对第二级联结果向量化,得到第二关联文本向量。第二关联文本向量为第二级联结果的向量化形式,且在第二关联文本向量中,第二词与第二统计特征一一对应。

上述步骤960至990的实施例,参照图10B,在第二关联文本向量获取的过程中,首先对第二关联文本进行分词,得到多个第二词,之后确定多个第二词对应的第二统计特征,并根据由高到由高到低的顺序对得到的多个第二统计特征进行级联,得到第二关联文本向量。本公开实施例中第二关联文本向量用于计算相似度,而对第二关联文本进行分词等操作使得到的第二关联文本向量更加精确,从而提高了相似度的准确度,并使得到的与第一关联文本语义相关的第二关联文本更加准确,为第一类型和第二类型的虚拟形象的位置关系提供了依据,进一步提高了电子书的信息显示效率,且提高书签的可用性。

对象化电子书签模板的导入

参照图11,在一实施例中,在步骤310之前,电子书签处理方法还包括:

步骤1110、响应于对对象化电子书签模板的导入控件的第六触发,显示拍摄界面;

步骤1120、在拍摄界面拍摄目标对象,得到拍摄图像;

步骤1130、显示对象化电子书签模板,其中,对象化电子书签模板包含虚拟对象,虚拟对象与拍摄图像中的目标对象对应;

步骤1140、响应于模板集加入控件的第七触发,将对象化电子书签模板加入对象化电子书签模板集。

下面对步骤1110至1140进行详细描述。

在步骤1110中,响应于对对象化电子书签模板的导入控件的第六触发,显示拍摄界面。第六触发作用于对象化电子书签模板的导入控件,响应于第六触发,启动对象化电子书签模板的导入流程,首先显示拍摄界面。该导入控件是显示在阅读应用软件界面中的控件,其可以为单一形式的控件,如按钮,也可以以多种形式控件组合的形式展示,如复选框加按钮、输入框加按钮。

对象化电子书签模板与对象化电子书签相对应,基于对象化电子书签模板,能够生成对象化电子书签。

如图12A和图13A所示,阅读应用软件的“书架”界面显示有“导入”按钮。在点击“导入”按钮之后,出现如图12B、图13B的两个按钮,分别为“导入书籍”和“导入书签”。按钮“导入书签”可视作本公开实施例的电子书签模板的导入控件,响应于对“导入书签”按钮的第六触发,显示拍摄界面,拍摄界面如图12C、图13C所示。

在步骤1120中,在拍摄界面拍摄目标对象,得到拍摄图像。拍摄图像为目标对象的图像,而目标对象与对象化电子书签子空间中的虚拟对象相对应,根据该拍摄图像,能够确定对象化电子书签子空间中的虚拟对象。

在一些实施例中,虚拟对象可以为花类虚拟对象、鸟类虚拟对象,因此,目标对象为花、鸟。如图12C所示,当花出现在拍摄界面时,响应于对拍摄按钮的触发,得到含有花类目标对象的拍摄图像。如图13C所示,当鸟出现在拍摄界面时,响应于对拍摄按钮的触发,得到含有鸟类目标对象的拍摄图像。

在步骤1130中,显示对象化电子书签模板,其中,对象化电子书签模板包含虚拟对象,虚拟对象与拍摄图像中的目标对象对应。对拍摄图像进行图像处理,可生成包含与目标对象对应的虚拟对象的对象化电子书签模板。除虚拟对象外,对象化电子书签模板还可以包含目标对象的名称,目标对象的名称能够用于区分各对象化电子书签模板,对象化电子书签模板还预留书签信息,如添加对象化电子书签的当前时间戳、目标文本句、章节等。目标文本句通常为对象化电子书签所处界面的文本句。

对象化电子书签模板中的虚拟对象为拍摄图像中的目标对象经过处理后的对象,例如,当目标对象为花类目标对象时,对象化电子书签模板中的虚拟对象可以为该花类目标对象对应的干花标本,而当目标对象为鸟类目标对象时,对象化电子书签模板中的虚拟对象可以为该鸟类目标对象对应的羽毛。

步骤1140、响应于模板集加入控件的第七触发,将对象化电子书签模板加入对象化电子书签模板集。第七触发与模板集加入控件相对应,响应于第七触发,将对象化电子书签模板加入对象化电子书签模板集,之后显示对象化电子书签模板集界面,对象化电子书签模板集界面包括该对象化电子书签模板。

图12D和图13D显示的界面包括对象化电子书签模板,并包括“重新导入”按钮和“导入书签集”按钮,按钮“导入书签集”即为本公开实施例中的模板集加入控件。响应于对按钮“导入书签集”的第七触发,将对象化电子书签模板加入对象化电子书签模板集,之后显示的对象化电子书签模板集界面如图12E、图13E所示。而响应于对按钮“重新导入”的触发,显示拍摄界面,可在拍摄界面重新对目标对象进行拍摄,得到新的拍摄图像。

图12E的对象化电子书签模板集界面包括图12D中的植物A对应的对象化电子书签模板,图13E的对象化电子书签模板集界面包括图13D中的羽毛A对应的对象化电子书签模板。另外,在对象化电子书签模板集界面,响应于对对象化电子书签模板的触发,显示对象化电子书签模板的使用记录。如响应于对图12E中的植物A对应的对象化电子书签模板的触发,显示如图12F所示的界面,在该界面中,显示了植物A对应的对象化电子书签模板使用记录,包括在m本书中使用n次、以及在每本书中的使用次数以及对应的对象化电子书签。响应于对图13E中的羽毛A对应的对象化电子书签模板的触发,显示如图13F所示的界面,在该界面中,显示了羽毛A对应的对象化电子书签模板使用记录,包括在m本书中使用n次、以及在每本书中的使用次数以及对应的对象化电子书签。

上述步骤1110至1140的实施例设置有拍摄界面,并通过在拍摄界面拍摄目标对象,得到拍摄图像,进而确定与目标对象对应的对象化电子书签模板,本公开实施例通过拍摄获取对象化电子书签模板提高了书签获得方式的灵活性,且目标对象与对象化电子书签模板对应,进而能够对象化电子书签模板生成对象化电子书签,提高了电子书签的个性化。

以上是对步骤1110至1140的总体描述,下面对步骤1130的具体实现展开详细描述。

在步骤1130中,显示对象化电子书签模板,其中,对象化电子书签模板包含虚拟对象,虚拟对象与拍摄图像中的目标对象对应。

在一实施例中,参照图14,步骤1130包括:

步骤1410、从拍摄图像中,识别目标对象的类型;

步骤1420、如果目标对象的类型是第一类型,从拍摄图像中提取目标对象对应的主体部分,并基于主体部分生成并显示对象化电子书签模板;

步骤1430、如果目标对象的类型是第二类型,从拍摄图像中识别目标对象的目标对象名称,并基于第一对照表获取目标对象名称对应的标志物图像,并基于标志物图像生成并显示对象化电子书签模板,其中,第一对照表指示对象名称与标志物图像的对应关系。

下面对步骤1410-步骤1430进行详细描述。

在步骤1410中,从拍摄图像中,识别目标对象的类型。根据图像识别技术对拍摄图像进行识别,确定目标对象的类型。

需要说明的是,本公开实施例可以通过预训练模型从拍摄图像中,识别目标对象的类型,如残差网络(ResNet)模型、Inception网络模型。

在步骤1420中,如果目标对象的类型是第一类型,从拍摄图像中提取目标对象对应的主体部分,并基于主体部分生成并显示对象化电子书签模板。对于第一类型的虚拟对象对应的目标对象,从拍摄图像中提取目标对象对应的主体部分,并基于主体部分生成并显示对象化电子书签模板。

如图12C所示,当第一类型的目标对象为花时,从拍摄图像中提取目标对象对应的主体部分,即提取目标对象的花朵部分,之后通过图像处理技术对花朵部分进行标本或干花处理,得到干花标本。具体地,本公开实施例可以通过应用滤镜、光线效果和颜色调整等技术来模拟标本或干花的视觉效果。之后基于干花标本生成并显示对象化电子书签模板,生成的对象化电子书签模板如图12D中植物A对应的对象化电子书签模板所示。

在步骤1430中,如果目标对象的类型是第二类型,从拍摄图像中识别目标对象的目标对象名称,并基于第一对照表获取目标对象名称对应的标志物图像,并基于标志物图像生成并显示对象化电子书签模板,其中,第一对照表指示对象名称与标志物图像的对应关系。部分目标对象的拍摄图像可能存在清晰度较低、拍摄角度等问题,无法直接通过拍摄图像获取目标对象对应的标志物图像,因此,本公开实施例通过拍摄图像确定目标对象名称,并基于第一对照表获取目标对象名称对应的标志物图像,进而基于标志物图像生成并显示对象化电子书签模板。

在第一对照表中,对象名称与标志物图像一一对应。基于目标对象的目标对象名称在第一对照表中进行查找,能够确定与目标对象名称对应的标志物图像。

如图13C所示,第二类型的目标对象为鸟,由于设备自身限制以及鸟可能处于飞行状态等,得到的拍摄图像较为模糊,另外,鸟可能停留在树上或电线杆等较高的地方,使得拍摄图片的拍摄角度不足以满足直接通过拍摄图像确定目标对象对应的标志物图像。在此基础上,本公开实施例从拍摄图像中识别目标对象的目标对象名称,并基于第一对照表,确定标志物图像,进而生成对象化电子书签模板,生成的对象化电子书签模板如图13D中羽毛A对应的对象化电子书签模板所示。

上述步骤1410至1430的实施例根据目标对象的不同,对拍摄图像进行对应处理,进而生成对象化电子书签模板,从而使得目标对象的拍摄图像得到对应处理,提高了对象化电子书签模板的个性化,进而提高了电子书签的个性化。

在一实施例中,参照图15,第一对照表通过以下方式生成:

步骤1510、获取目标视频库;

步骤1520、在目标视频库的视频中,识别出第二类型的对象;

步骤1530、接收针对识别出的对象输入的对象名称;

步骤1540、从视频中提取识别出的对象的标志物图像;

步骤1550、将对象名称和标志物图像相对应地记录,得到第一对照表。

下面对步骤1510至1550进行详细描述。

在步骤1510中,获取目标视频库。目标视频库包括第二类型的目标对象的视频。目标视频库中的视频清晰度较高、拍摄角度优良,能够满足通过该视频识别标志物图像的需求。

在步骤1520中,在目标视频库的视频中,识别出第二类型的对象。基于拍摄图像中的目标对象,确定含有目标对象的目标视频库中的视频,并在该视频中,识别出第二类型的对象。

在步骤1530中,接收针对识别出的对象输入的对象名称。

在目标视频库中,对象与对象名称一一对应,根据第二类型的对象,能够直接确定其对应的对象名称。或者,通过数据标注服务确定针对识别出的对象输入的对象名称。

在步骤1540中,从视频中提取识别出的对象的标志物图像。目标视频库中的视频满足通过该视频识别标志物图像的需求,因此,通过目标视频库能够提取识别出的对象的标志物图像。具体地,可通过获取目标视频库中的多个帧图像,并对帧图像进行提取,从而得到多个标志物图像,之后对多个标志物图像进行筛选,确定最终得到的与对象对应的标志物图像,

在步骤1550中,将对象名称和标志物图像相对应地记录,得到第一对照表。

上述步骤1510至1550的实施例通过对目标视频库中的视频提取,确定目标对象的标志物图像,增加得到的对象化电子书签模板的现实贴近度,另外,本公开实施例能够通过第一对照表快速确认与目标对象对应的标志物图像,提高了对象化电子书签模板的导入速度。

在一实施例中,与步骤1410至1430相对应,步骤320包括:

将第一类型的目标对象对应的虚拟对象显示为主体部分;

将第二类型的目标对象对应的虚拟对象显示为从拍摄图像中提取的目标对象。

在对象化电子书签子空间中,第一类型与第二类型的虚拟对象之间通常处于交互状态,例如,如果一个第二类型的虚拟对象在对象化电子书签子空间中位于两个第一类型的虚拟对象之间,将第二类型的虚拟对象显示为在两个第一类型的虚拟对象飞行。参照图12C和图4C所示,第一类型的目标对象,如花类目标对象,在对象化电子书签子空间中对应的虚拟对象显示为主体部分。参照图13C和图4C所示,第二类型的目标对象,如鸟类目标对象,在对象化电子书签子空间中对应的虚拟对象显示为从拍摄图像中提取的目标对象。

在一实施例中,从拍摄图像中识别目标对象的目标对象名称,是通过对象识别模型进行的,参照图16,对象识别模型通过以下方式获得:

步骤1610、获取训练样本集,训练样本集中的每个训练样本包括样本对象图像、与样本对象图像中的样本对象名称的标签;

步骤1620、将每个样本对象图像进行预处理,得到预处理后样本对象图像;

步骤1630、将预处理后样本对象图像输入预训练模型,得到样本对象名称识别结果;

步骤1640、基于样本对象名称识别结果与标签,计算损失函数,并基于损失函数调整预训练模型,得到对象识别模型。

下面对步骤1610至1640进行详细描述。

在步骤1610中,获取训练样本集,训练样本集中的每个训练样本包括样本对象图像、与样本对象图像中的样本对象名称的标签。对象识别模型的训练样本集包括多个训练样本,每个训练样本包括样本对象图像、与样本对象图像中的样本对象名称的标签,在训练样本集中,样本对象图像与样本对象名称一一对应。另外,样本对象图像包括样本对象。

在步骤1620中,将每个样本对象图像进行预处理,得到预处理后样本对象图像。预处理的目的是准备样本对象图像,以供对象识别模型的训练和测试使用,并且预处理能够提高样本对象图像的质量,从而提高对象识别模型的鲁棒性和准确性。

在步骤1630中,将预处理后样本对象图像输入预训练模型,得到样本对象名称识别结果。预训练模型可根据需求进行进行设置,其具体可以为残差网络(ResNet)模型、Inception网络模型。

在步骤1640中,基于样本对象名称识别结果与标签,计算损失函数,并基于损失函数调整预训练模型,得到对象识别模型。根据预训练模型输出的样本对象名称识别结果与样本对象图像对应的样本对象名称标签计算损失函数,根据损失函数对预训练模型进行调整训练,当损失函数小于设定值或训练轮次满足预设次数时,将得到的预训练模型作为对象识别模型。

上述步骤1610至1640的实施例通过训练样本集与预训练模型进行训练,得到对象识别模型,使得到的模型能够准确地区别拍摄图像中目标对象的类型,提高了拍摄图像识别的精度。

以上是对步骤1610至1640的总体描述,下面对步骤1610和步骤1620的具体实现展开详细描述。

在步骤1610中,获取训练样本集,训练样本集中的每个训练样本包括样本对象图像、与样本对象图像中的样本对象名称的标签。

在一实施例中,参照图17,步骤1610包括:

步骤1710、获取开源的第一训练样本子集;

步骤1720、获取第一样本对象图像集,将第一样本对象图像集中每个第一样本对象图像输入标签生成模型,得到第一样本对象图像中的样本对象名称的标签,并将标签添加到第一样本对象图像,以得到第二训练样本子集;

步骤1730、获取第二样本对象图像集,接收针对第二样本对象图像集中每个第二样本对象图像输入的标签,并将标签添加到第二样本对象图像,以得到第三训练样本子集;

步骤1740、将第一训练样本子集、第二训练样本子集、和第三训练样本子集整合为训练样本集。

下面对步骤1710至步骤1740进行详细描述。

在步骤1710中,获取开源的第一训练样本子集。第一训练样本子集可以从ImageNet、Flickr等开源数据集中获取。在第一训练样本子集中,样本对象图像与样本对象名称一一对应。

在步骤1720中,获取第一样本对象图像集,将第一样本对象图像集中每个第一样本对象图像输入标签生成模型,得到第一样本对象图像中的样本对象名称的标签,并将标签添加到第一样本对象图像,以得到第二训练样本子集。在第一样本对象图像集中,第一样本对象图像集不包含第一样本图像对应的样本对象名称,因此将第一样本对象图像输入标签生成模型,确定其对应的样本对象名称的标签,基于该标签与对应的第一样本对象图像,得到第二训练样本子集。

标签生成模型可基于数据标注服务确定,将第一样本对象图像发送给数据标注服务,得到第一样本对象图像中的样本对象名称,进而确定样本对象名称的标签。

在步骤1730中,获取第二样本对象图像集,接收针对第二样本对象图像集中每个第二样本对象图像输入的标签,并将标签添加到第二样本对象图像,以得到第三训练样本子集。第二样本对象图像集中的第二样本对象图像可由用户手动标记其对应的样本对象名称的标签,并将标签添加到第二样本对象图像,以得到第三训练样本子集。

在步骤1740中,将第一训练样本子集、第二训练样本子集、和第三训练样本子集整合为训练样本集。

上述步骤1710至1740的实施例通过三种不同的方式获取训练样本集,增加了训练样本集中训练样本的获取途径,从而提高了训练样本集中训练样本的多样性,丰富了训练样本的种类,提高了训练准确性。

在步骤1620中,将每个样本对象图像进行预处理,得到预处理后样本对象图像。

在一实施例中,参照图18,步骤1620包括:

步骤1810、从样本对象图像中,滤除图像质量低于预定质量标准的样本对象图像,得到过滤后样本对象图像;

步骤1820、裁剪掉过滤后样本对象图像的背景部分,得到裁剪后样本对象图像;

步骤1830、对裁剪后样本对象图像进行图像增强,得到预处理后样本对象图像。

在步骤1810中,从样本对象图像中,滤除图像质量低于预定质量标准的样本对象图像,得到过滤后样本对象图像。图像质量较差时,无法对图像进行准确识别,因此本公开实施例设定有预定质量标准,并滤除图像质量低于预定质量标准的样本对象图像。

在步骤1820中,裁剪掉过滤后样本对象图像的背景部分,得到裁剪后样本对象图像。裁剪掉过滤后样本对象图像的背景部分,以保留主要部分,即包括样本对象的部分,消除背景噪声,从而降低对象识别模型训练过程中背景噪声的影响。

在步骤1830中,对裁剪后样本对象图像进行图像增强,得到预处理后样本对象图像。应用图像增强技术,如亮度调整、对比增强、图像模糊等对样本对象图像进行处理,使得到的样本对象图像的质量更好,有助于提高对象识别模型的鲁棒性和准确性。

上述步骤1810至1830的实施例通过过滤、裁剪、图像增强等操作对样本对象图像进行预处理,从而提高了预处理后样本对象图像的质量,有助于提高对象识别模型的鲁棒性和准确性。

对象化电子书签的生成

参照图11,在一实施例中,在步骤1140与步骤310之间,电子书签处理方法还包括:

步骤1150、响应于在用户当前浏览页对对象化电子书签生成控件的第三触发,显示对象化电子书签模板集;

步骤1160、接收对对象化电子书签模板集中目标对象化电子书签模板的选择;

步骤1170、在用户当前浏览页上,显示基于目标对象化电子书签模板的对象化电子书签。

下面对步骤1150至1170进行详细描述。

在步骤1150中,响应于在用户当前浏览页对对象化电子书签生成控件的第三触发,显示对象化电子书签模板集。用户当前浏览页为用户在阅读电子书时的当前浏览界面。第三触发与对象化电子书签生成控件相对应,响应于第三触发,启动对象化电子书签的生成流程,显示对象化电子书签模板集。

参照图19A,用户当前浏览页包括多个控件,其中一个控件显示为“添加书签”,响应于对“添加书签”的触发,显示的界面如图19B所示。图19B所示的界面包括对象化电子书签模板集调用控件,响应于对对象化电子书签模板集调用控件的触发,显示如图19C所示的对象化电子书签模板集。“添加书签”与对象化电子书签模板集调用控件的组合等同于本公开实施例中的对象化电子书签生成控件。

另外,响应于对图19A所示“添加书签”的触发,可直接生成如图19C所示的对象化电子书签模板集,“添加书签”直接相当于本公开实施例中的对象化电子书签生成控件。

在步骤1160中,接收对对象化电子书签模板集中目标对象化电子书签模板的选择。对象化电子书签模板集包括多个对象化电子书签模板,用户可根据需要选择对象化电子书签模板,并将该对象化电子书签模板作为目标对象化电子书签模板,从而生成与对应的对象化电子书签。

如图19C所示,对象化电子书签模板包括“植物”选项和“羽毛”选项,植物选项对应的界面包括多个第一类型的对象化电子书签模板,羽毛选项对应的界面包括多个第二类型的对象化电子书签模板,图19C为植物选项对应的界面图像,该对象化电子书签模板界面包括植物A、植物B、植物C对应的对象化电子书签模板,而植物A对应的对象化电子书签模板为目标对象化电子书签模板,接收对植物A对象化电子书签模板的选择。

在步骤1170中,在用户当前浏览页上,显示基于目标对象化电子书签模板的对象化电子书签。基于接收到的目标对象化电子书签模板的选择,在用户当前浏览页上显示基于目标对象化电子书签模板的对象化电子书签。

参照图19C,目标对象化电子书签模板为植物A对应的对象化电子书签模板,接收对目标对象化电子书签模板的选择,显示的界面如图19D所示。图19D所示的用户当前浏览页显示有基于目标对象化电子书签模板生成的对象化电子书签。

上述步骤1150至1170的实施例响应于对对象化电子书签模板集中目标对象化电子书签模板的选择,基于目标对象化电子书签模板生成对象化电子书签,并在用户当前浏览页显示该对象化电子书签,本公开实施例能够快速基于目标对象化电子书签模板生成对象化电子书签,提高了对象化电子书签的生成显示效率。

以上是对步骤1150至1170的总体描述,下面对步骤1150的具体实现展开详细描述。

在步骤1150中,响应于在用户当前浏览页对对象化电子书签生成控件的第三触发,显示对象化电子书签模板集。

在一实施例中,参照图20,步骤1150包括:

步骤2010、响应于在用户当前浏览页对对象化电子书签生成控件的第三触发,显示通用电子书签控件、和对象化电子书签模板集调用控件;

步骤2020、响应于对通用电子书签控件的第四触发,在用户当前浏览页上显示通用电子书签;

步骤2030、响应于对对象化电子书签模板集调用控件的第五触发,显示对象化电子书签模板集。

下面对步骤2010至2030进行详细描述。

在步骤2010中,响应于在用户当前浏览页对对象化电子书签生成控件的第三触发,显示通用电子书签控件、和对象化电子书签模板集调用控件。第三触发与对象化电子生成控件相对应,响应于第三触发,显示通用电子书签控件、和对象化电子书签模板集调用控件。其中,通用电子书签控件与相关技术中的电子书签相对应。

如图19A所示,“添加书签”为对象化电子书签生成控件,响应于对“添加书签”的第三触发,显示图19B所示的通用电子书签控件、和对象化电子书签模板集调用控件。

通用电子书签控件和对象化电子书签模板集调用控件可以在用户当前浏览页显示,另外,响应于第三触发,可显示新的界面,该界面包括通用电子书签控件和对象化电子书签模板集调用控件。

在步骤2020中,响应于对通用电子书签控件的第四触发,在用户当前浏览页上显示通用电子书签。第四触发与通用电子书签控件相对应,响应于第四触发,在用户当前浏览页上显示通用电子书签,通用电子书签为相关技术中应用较为广泛的电子书签。

响应于对图19B所示的通用电子书签控件的第四触发,显示的界面如图19F所示,图19F为用户当前浏览页,且该用户当前浏览页包括通用电子书签。

在步骤2030中,响应于对对象化电子书签模板集调用控件的第五触发,显示对象化电子书签模板集。第五触发与对象化电子书签模板集调用控件相对应,响应于第五触发,显示对象化电子书签模板集。例如,响应于对图19B所示的对象化电子书签模板集调用控件的第四触发,显示的界面如图19F所示,该界面包括对象化电子书签模板集。

上述步骤2010至2040的实施例设置有通用电子书签控件和对象化电子书签模板集调用控件,响应于对通用电子书签控件的第四触发,在用户当前浏览页上显示通用电子书签,而响应于对对象化电子书签模板集调用控件的第五触发,显示对象化电子书签模板集,进而可生成对象化电子书签,本公开实施例设置有通用电子书签和对象化电子书签,提高了电子书签的生成灵活性,另外,用户可根据需要进行选择电子书签,例如,用户可以将通用电子书签作为电子书的阅读位置的标记,而将对象化电子书签作为电子书的优美段落或精美句子所在位置的标记,从而提高了电子书签的可用性。另外,在对象化电子书签子空间中各虚拟形象基于语义相关进行互动时,无需对象化电子书签作为对电子书的阅读位置的标记,能够减少虚拟形象中的冗余信息,从而使得上下文有关联的书签在视觉上以更直观的方式显示,提高页面信息显示效率,并提高信息显示有效性。

在一实施例中,参照图21,基于目标对象化电子书签模板的对象化电子书签通过以下方式生成:

步骤2110、获取用户当前浏览页上预定位置的目标文本句;

步骤2120、确定用户当前浏览页在电子书中的所属章节;

步骤2130、获取当前时间戳;

步骤2140、将目标文本句、章节、和当前时间戳加入目标对象化电子书签模板,得到对象化电子书签。

下面对步骤2110至2140进行详细描述。

在步骤2110中,获取用户当前浏览页上预定位置的目标文本句。预定位置为用户当前浏览页上的某一位置,其可以根据需要进行设置,目标文本句可以为用户当前浏览页上的任一文本句。

当对象化电子书签用于标记用户在电子书的当前阅读位置时,目标文本句通常为该用户当前浏览页上的首段文本或首句文本。而当对象化电子书签作为电子书的优美段落或精美句子所在位置的标记时,目标文本句可用户进行选择。

在步骤2120中,确定用户当前浏览页在电子书中的所属章节。

在步骤2130中,获取当前时间戳。当前时间戳为添加对象化电子书签的时间,当前时间戳可以包括年、月、日等信息,甚至可以进一步精确到时、分、秒。当前时间戳能够进一步对电子书中的各个对象化电子书签进行区分,还可以根据当前时间戳确定各个对象化电子书签的添加顺序。

在步骤2140中,将目标文本句、章节、和当前时间戳加入目标对象化电子书签模板,得到对象化电子书签。基于目标文本句、章节、当前时间戳以及目标对象化电子书签模板,得到对象化电子书签,使得到的对象化电子书签包含多种信息,从而使得到的对象化电子书签的信息内容更加丰富。

参照图19B,目标对象化电子书签模板的文字部分包括植物A的名称,基于目标对象化电子书签模板的对象化电子书签如图19C所示,对象化电子书签的其余文字部分还包括目标文本句、章节、和当前时间戳。

上述步骤2110至2140的实施例响应于对对象化电子书签模板集中目标对象化电子书签模板的选择,自动获取用户当前浏览页上预定位置的目标文本句、用户当前浏览页在电子书中的所属章节、当前时间戳,并将目标文本句、章节、和当前时间戳加入目标对象化电子书签模板,得到对象化电子书签,使得到的对象化电子书签的信息内容更加丰富。

在一实施例中,在步骤1170之后,电子书签处理方法还包括:

接收对对象化电子书签在第一滑动方向上的滑动操作;

在用户当前浏览页上,将对象化电子书签沿着第一滑动方向移动。

如图19D所示,对象化电子书签位于用户当前浏览页的右上角,但该对象化电子书签遮挡了部分文字内容,从而影响了用户的阅读体验,因此,用户可以对对象化电子书签在第一滑动方向上进行滑动操作,使得对象化电子书签在用户当前浏览页上沿第一滑动方向移动,移动后的对象化电子书签如图19E所示,经过移动,对象化电子书签对用户当前浏览页的文字部分无遮挡,降低了对用户阅读体验的影响。

根据对象化电子书签在用户当前浏览页的位置不同,第一滑动方向也不同,例如,当对象化电子书签在用户当前浏览页的左上角时,对象化电子书签沿第一滑动方向向左上角移动。

滑动操作主要用于改变对象化电子书签的浏览位置,因此,通过滑动操作,还可以将对象化电子书签向用户当前浏览页的中心位置移动,使得对象化电子书签更加醒目。

书签笔记的相关处理

参照图22,在一实施例中,在步骤1170之后,书签笔记的相关处理方法包括:

步骤2210、响应于对对象化电子书签列表显示控件的第八触发,显示对象化电子书签列表;

步骤2220、响应于对书签笔记设置控件的第九触发,显示对象化电子书签列表中每个对象化电子书签对应的第一选择控件;

步骤2230、响应于对多个对象化电子书签对应的第一选择控件的选择,显示笔记设置界面,笔记设置界面包含选择的第一选择控件对应的多个对象化电子书签;

步骤2240、在笔记设置界面上,接收输入的书签笔记。

下面对步骤2210至2240进行详细描述。

在步骤2210中,响应于对对象化电子书签列表显示控件的第八触发,显示对象化电子书签列表。对象化电子书签列表为电子书中的所有对象化电子书签的列表,对象化电子书签列表包括多个对象化电子书签以及对象化电子书签对应的文本内容,即目标文本句。

如图23A所示,在用户当前浏览页面显示有对象化电子书签列表显示控件,响应于对对象化电子书签列表显示控件的第八触发,在用户当前浏览页面显示对象化电子书签列表,在对象化电子书签列表,多个对象化电子书签按照其在电子书中对应的绑定页面的顺序进行排列,并基于章节进行划分。对象化电子书签列表中的对象化电子书签只包括其对应的形象部分以及目标文本句。例如第一章中首个对象化电子书签包括目标文本句,目标文本句的一侧还显示有植物A对应的干花标本形象。

在图23A中,笔记设置界面还包括电子书的相关信息,具体为书籍A的名称、封面以及书籍信息,书籍信息可以为书籍A的作者、简介等。

在步骤2220中,响应于对书签笔记设置控件的第九触发,显示对象化电子书签列表中每个对象化电子书签对应的第一选择控件。对象化电子书签列表的界面还设置有书签笔记设置控件,响应于对书签笔记设置空间的触发,显示多个第一选择控件,多个第一选择控件与对象化电子书签列表中的对象化电子书签一一对应,第一选择控件可以通过复选框、按钮等形式显示。

图23A所示的界面中设置设置有书签笔记设置控件,对书签笔记设置控件进行点击操作,即响应于对书签笔记设置控件的第九触发,显示如图23B所示的界面,在图23B中,每一对象化电子书签的左侧都显示有对应的第一选择控件。

在步骤2230中,响应于对多个对象化电子书签对应的第一选择控件的选择,显示笔记设置界面,笔记设置界面包含选择的第一选择控件对应的多个对象化电子书签。对多个对象电子书签对应的第一选择控件的选择,代表着对书签笔记所对应的对象电子书签的选择。笔记设置界面包含选择的第一选择控件对应的多个对象化电子书签,清楚地展示了书签笔记所对应的对象化电子书签。

参照图23C,对预期得到的书签笔记对应的对象化电子书签左侧的第一选择控件进行选择,在选择完毕后,响应于对“写笔记”按钮的触发,显示如图23D所示的笔记设置界面。

图23D的笔记设置界面包括笔记编辑框、选择的第一选择控件对应的多个对象化电子书签、输入键盘。多个对象电子书签按照其在电子书中对应的绑定页面的顺序进行排列,且多个对象电子书签对应的形象,如植物A、羽毛A、植物C,由一根线进行串联,使书签笔记对应的多个对象化电子书签之间的练习更加紧密,提高了书签笔记的信息显示效率。另外,用户可通过输入键盘在笔记编辑框中写下书签笔记,并对书签笔记的内容进行编辑。

输入键盘还可以为其他形式的键盘,也可以通过语音输入等操作对笔记编辑框中的书签笔记进行输入编辑。

在步骤2240中,在笔记设置界面上,接收输入的书签笔记。在笔记设置界面,接收用户输入的书签笔记,并对书签笔记进行显示。在书签笔记输入完成后,可对书签笔记进行发表确认。

如图23E所示,用户可在笔记编辑框输入编辑书签笔记,当书签笔记输入完成后,响应于对书签笔记发表控件的触发,显示书签笔记发表成功通知。图23E中输入键盘上的“GO”按钮为本公开实施例中的书签笔记发表控件,其还可通过其他形式显示,本公开实施例对此不做限制。如图23F所示,用户当前浏览页显示有发表成功通知,表示笔记设置界面输入的书签笔记发表成功。

上述步骤2210至2240的实施例能够选择多个对象化电子书签撰写一篇书签笔记,以串联起电子书中不同位置的内容,本公开实施例通过书签笔记对各对象化电子书签之间的关系进行展示,提高了对象化电子书签之间的的关联度。

在一实施例中,参照图24,与步骤2210至2240相对应,步骤320包括:

步骤2410、将选择的多个对象化电子书签对应的多个虚拟对象显示为基于连结物布置,其中,多个虚拟对象中的第一类型的虚拟对象由连结物串联,多个虚拟对象中的第二类型的虚拟对象围绕连结物执行预定动作;

步骤2420、在连结物的周围,显示书签笔记查看控件。

下面对步骤2410至2420进行详细描述。

在步骤2410中,将选择的多个对象化电子书签对应的多个虚拟对象显示为基于连结物布置,其中,多个虚拟对象中的第一类型的虚拟对象由连结物串联,多个虚拟对象中的第二类型的虚拟对象围绕连结物执行预定动作。在对象化电子书签所处的电子书对应的对象化电子书签子空间中,书签笔记通过连结物的形式进行显示,且书签笔记将选择的多个对象化电子书签对应的第一类型的虚拟对象进行串联,而第二类型的虚拟对象则围绕连结物执行预定动作,从而实现第二类型的虚拟对象与连结物之间的交互。

第二类型的虚拟对象对连结物执行的预定动作可以根据第二类型的虚拟形象对应的具体类型进行设置,且对于同一类型的虚拟形象,预定动作也可以多种多种,例如,第二类型的虚拟对象设置于连结物上,或者,第二类型的虚拟对象在连结物串联的多个第一类型的虚拟对象之间进行飞行。

参照图23G,第C章cc页、第E章ee页以及第Z章zz页对应的虚拟对象为选择的多个对象化电子书签对应的第一类型的虚拟对象,连结物将这些第一类型的虚拟形象进行串联,另外,选择的多个对象化电子书签对应的第二类型的虚拟对象为第F章ff页对应的虚拟对象,在图23G所示的界面中,第二类型的虚拟对象为鸟,而书签笔记对应的连结物的对象显示为藤蔓,第F章ff页对应的鸟类虚拟对象会去衔藤蔓的叶子,从而实现预定动作的执行。

在步骤2420中,在连结物的周围,显示书签笔记查看控件。连接物与书签笔记相对应,因此,在连接物的周围,显示有书签笔记查看控件,响应于对连结物或书签笔记查看控件的触发,显示书签笔记界面。

参照图23G所示,在连结物的周围,即藤蔓的周围显示有“书签笔记”,“书签笔记”为书签笔记查看控件,相应与对连结物或书签笔记查看控件的触发,显示书签笔记界面。

上述步骤2410至2420的实施例通过连结物将选择的多个对象化电子书签对应的第一类型的虚拟形象串联起来,并且第二类型的虚拟对象围绕连结物执行预定操作,使得各个对象化电子书签之间的关联在视觉上以更直观的方式呈现,提高了对象化电子书签之间关联信息的显示效率。

在一实施例中,在步骤2420之后,电子书签处理方法还包括:

接收对书签笔记查看控件的第十触发;

显示书签笔记界面,书签笔记界面包含书签笔记、以及选择的多个对象化电子书签。

如图23G所示,书签笔记查看控件位于连结物的周围。另外,第十触发与书签笔记查看控件相对应,响应于第十触发,显示如图23H所示的书签笔记界面。在图23H中,书签笔记界面包括书签笔记、以及书签笔记对应的多个对象化电子书签。

需要说明的是,书签笔记界面还包括重新编辑控件,响应于对重新编辑控件的触发,显示笔记设置界面,在笔记设置界面,可以对书签笔记进行重新编辑。

在另一实施例中,参照图25,在步骤320之后,电子书签处理方法还包括:

步骤2510、响应于对一个虚拟对象的第十一触发,显示虚拟对象对应的对象化电子书签预览框,对象化电子书签预览框具有第二选择控件;

步骤2520、响应于对对象化电子书签预览框中第二选择控件的选择,显示其它的虚拟对象对应的第二选择控件;

步骤2530、响应于对其它的虚拟对象对应的第二选择控件的选择,显示笔记设置界面,笔记设置界面包含选择的各个第二选择控件对应的对象化电子书签;

步骤2540、在笔记设置界面上,接收输入的书签笔记。

下面对步骤2510至2540进行详细描述。

在步骤2510中,响应于对一个虚拟对象的第十一触发,显示虚拟对象对应的对象化电子书签预览框,对象化电子书签预览框具有第二选择控件。在电子书对应的对象化电子书签子空间中,设置有多个与对象化电子书签对应的虚拟对象。响应于对其中一个虚拟对象的第十一触发,显示虚拟对象对应的对象化电子书签预览框。对象化电子书签预览框包括对应的对象化电子书签在电子书中的绑定页面的章节、页数以及目标文本句。另外,在对象化电子书签预览框中,显示有第二选择控件。第二选择控件与对象化电子书签相对应。

响应于对一个虚拟对象的第十一触发,显示的界面如图26A所示。在图26A中,对象化电子书签预览框指向其对应的虚拟形象,表示该对象化电子书签预览框与虚拟形象相对应,另外,对象化电子书签预览框中包括对象化电子书签对应的绑定页面“zz页”、绑定页面所处章节“第Z章”以及目标文本句。

在步骤2520中,响应于对对象化电子书签预览框中第二选择控件的选择,显示其它的虚拟对象对应的第二选择控件。在选定当前对象化书签预览框中的第二选择控件,其他的虚拟对象对应的第二选择控件进行显示,可根据需要通过第二选择控件选择虚拟对象。

如图26B所示,对第Z章zz页对应的虚拟对象的对象化电子书签预览框中第二选择控件进行选择,显示如图26C所示的界面。在图26C所示的界面中,显示其他的虚拟对象对应的第二选择控件,并在对象化电子书签子空间界面显示“写书签二级笔记”的控件。对“写书签二级笔记”控件的触发,表示对虚拟对象选择完毕。

在步骤2530中,响应于对其它的虚拟对象对应的第二选择控件的选择,显示笔记设置界面,笔记设置界面包含选择的各个第二选择控件对应的对象化电子书签。对多个虚拟对象对应的第二选择控件的选择,代表着对书签笔记所对应的对象电子书签的选择。笔记设置界面包含选择的第一选择控件对应的多个对象化电子书签,清楚地展示了书签笔记所对应的对象化电子书签。

参照图26C,在预期得到的书签笔记对应的第二选择控件进行选择,在选择完毕后,限英语对“写书签二级笔记”的触发,显示如图26D所示的笔记设置界面。

图26D的笔记设置界面包括笔记编辑框、选择的第一选择控件对应的多个对象化电子书签、输入键盘。多个对象电子书签按照其在电子书中对应的绑定页面的顺序进行排列,且多个对象电子书签对应的形象,如植物A、羽毛A、植物C,由一根线进行串联,使书签笔记对应的多个对象化电子书签之间的练习更加紧密,提高了书签笔记的信息显示效率。另外,用户可通过输入键盘在笔记编辑框中写下书签笔记,并对书签笔记的内容进行编辑。

输入键盘还可以为其他形式的键盘,也可以通过语音输入等操作对笔记编辑框中的书签笔记进行输入编辑。

在步骤2540中,在笔记设置界面上,接收输入的书签笔记。在笔记设置界面,接收用户输入的书签笔记,并对书签笔记进行显示。在书签笔记输入完成后,可对书签笔记进行发表确认。

如图26E所示,用户可在笔记编辑框输入编辑书签笔记,当书签笔记输入完成后,响应于对书签笔记发表控件的触发,显示书签笔记发表成功通知。图26E中输入键盘上的“GO”按钮为本公开实施例中的书签笔记发表控件,其还可通过其他形式显示,本公开实施例对此不做限制。如图26F所示,用户当前浏览页显示有发表成功通知,表示笔记设置界面输入的书签笔记发表成功。

上述步骤2510至2540的实施例能够通过对虚拟对象对应的第二选择控件的的选择,实现对多个对象化电子书签的选择,并据此撰写一篇书签笔记,以串联起电子书中不同位置的内容,本公开实施例通过对对象化电子书签子空间内虚拟对象的操作生成书签笔记,提高了书签笔记生成方式的灵活性,另外,本公开实施例通过书签笔记对各对象化电子书签之间的关系进行展示,提高了对象化电子书签之间的的关联度。

互动助力对象化电子标签增长

参照图27,在一实施例中,在步骤320之后,电子书签处理方法还包括:

步骤2710、响应于针对对象化电子书签的第二分享操作,将对象化电子书签显示到分享区;

步骤2720、接收分享区上对对象化电子书签的第二互动记录;

步骤2730、显示对象化电子书签空间中基于第二互动记录的书签查看控件。

下面对步骤2710至2730进行详细描述。

在步骤2710中,响应于针对对象化电子书签的第二分享操作,将对象化电子书签显示到分享区。第二分享操作可以对对象化电子书签进行,也可以对对象化电子书签对应的虚拟对象进行操作,从而将对象化电子书签显示到分享区。

参照图28A,预期分享的对象化电子书签对应的绑定页面位于书籍A的第z章zz页,响应于其对应的虚拟形象的触发,在对象化电子书签子空间中显示“分享书签”控件。参照图28B,响应于对“分享书签”控件的触发,将虚拟形象对应的对象化电子书签显示到分享区,分享区的界面如图28E所示。

参照图28C,对象化电子书签列表中显示有多个对象化电子书签,响应于对对象化电子书签的触发,在对象化电子书签列表显示“分享书签”控件。参照图28D,响应于对“分享书签”控件的触发,将虚拟形象对应的对象化电子书签显示到分享区,分享区的界面如图28E所示。

在步骤2720中,接收分享区上对对象化电子书签的第二互动记录。接收分享区上基于其他用户对对象化电子书签进行互动生成的第二互动记录,第二互动记录至少包括转发、评论、点赞其中之一。

如图28E所示,在书籍A的分享区中,显示有用户分享对象化电子书签,根据该对象化电子书签,其他用户能够确定对象化电子书签的文本内容、以及对应的植物名称“植物A”、植物A的干花标本等信息,其他用户可对分享区中的对象化电子书签进行转发、评论和点赞。根据转发、评论和点赞的记录,生成分享区上对对象化电子书签的第二互动记录。

在步骤2730中,显示对象化电子书签空间中基于第二互动记录的书签查看控件。基于第二互动记录,可对分享区中对象化电子书签对应的虚拟形象进行操作,使该虚拟形象更加醒目,并在对象化电子书签子空间中显示基于第二互动记录的书签查看控件。而书签查看控件可视为对象化电子书签对应的虚拟形象。

虚拟形象的大小可根据第二互动记录确定,虚拟形象的大小可以表示为(1+x*n)倍,其中,n为自行拟定的值,可以根据需求随时变换,而n为第二互动记录,n具体可以设置为转发数、评论数或者点赞数,除此之外,n还可以为根据对转发数、评论数以及点赞数进行加权得到的结果。

在对象化电子书签子空间中,基于第二互动记录的虚拟形象如图28F所示,图28F中的第Z章zz页的虚拟形象基于图28E中的第二互动记录重新确定,图28A中为第二分享操作前的虚拟形象,与图28A相比,基于第二互动记录的虚拟形象明显增大。

上述步骤2710至2730的实施例基于对分享区内对象化电子书签的第二分享记录,显示书签查看控件,使对象化电子书签对应的书签查看控件,即虚拟形象区别于其他未分享的虚拟形象,使得虚拟形象更加醒目,另外,根据各个虚拟形象的大小,能够确定其在分享区中的受欢迎程度,从而提高了对象化电子书签分享信息的传递效率。

在一实施例中,参照图29,在步骤2420之后,电子书签处理方法还包括:

步骤2910、响应于针对书签笔记的第一分享操作,将书签笔记显示到分享区;

步骤2920、接收分享区上对书签笔记的第一互动记录;

步骤2930、显示对象化电子书签空间中基于第一互动记录的书签查看控件。

下面对步骤2910至2930进行详细描述。

在步骤2910中,响应于针对书签笔记的第一分享操作,将书签笔记显示到分享区。第一分享操作可以对书签笔记进行,也可以对书签笔记对应的连结物进行操作,从而将书签笔记显示到分享区。

参照图30A,响应于书签笔记对应的连结物或书签笔记查看控件的触发,在对象化电子书签子空间中显示“分享笔记”控件。参照图30B,响应于对“分享笔记”控件的触发,将书签笔记显示到分享区,分享区的界面如图30D所示。

参照图30C,书签笔记界面包括书签笔记,响应于对书签笔记的触发,在书签笔记界面显示“分享笔记”控件。响应于对“分享笔记”控件的触发,将书签笔记显示到分享区,分享区的界面如图30D所示。

在步骤2920中,接收分享区上对书签笔记的第一互动记录。接收分享区上基于其他用户对书签笔记进行互动生成的第一互动记录,第一互动记录至少包括转发、评论、点赞其中之一。

如图30D所示,在书籍A的分享区中,显示有用户分享的书签笔记,根据该对书签笔记,其他用户能够确定该书签笔记对应的笔记内容、以及对应的多份对象化电子书签,其他用户可对分享区中的对象化电子书签进行转发、评论和点赞。根据转发、评论和点赞的记录,生成分享区上对书签笔记的第一互动记录。

在步骤2930中,显示对象化电子书签空间中基于第一互动记录的书签查看控件。基于第一互动记录,可对分享区中书签笔记对应的连结物进行操作,使该连结物更加醒目,并在对象化电子书签子空间中显示基于第一互动记录的书签查看控件。而书签查看控件可视为书签笔记对应的连结物。

连结物的大小可根据第二互动记录确定,连结物的大小可以表示为(1+x*n)倍,其中,n为自行拟定的值,可以根据需求随时变换,而n为第二互动记录,n具体可以设置为转发数、评论数或者点赞数,除此之外,n还可以为根据对转发数、评论数以及点赞数进行加权得到的结果。

在对象化电子书签子空间中,基于第一互动记录的连结物如图30E所示,图30E中的连结物基于图30D中的第一互动记录重新确定,图30A中为第一分享操作前的虚拟形象,与图30A相比,基于第一互动记录的连结物明显增大。

上述步骤2910至2930的实施例基于对分享区内书签笔记的第一分享记录,显示书签查看控件,使书签笔记对应的书签查看控件,即连结物更加醒目,进而能够表示其在分享区中的受欢迎程度,从而提高了书签笔记分享信息的传递效率。

本公开实施例的装置和设备描述

可以理解的是,虽然上述各个流程图中的各个步骤按照箭头的表征依次显示,但是这些步骤并不是必然按照箭头表征的顺序依次执行。除非本实施例中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时间执行完成,而是可以在不同的时间执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

需要说明的是,在本申请的各个具体实施方式中,当涉及到需要根据任务内容属性信息或属性信息集合等与任务内容特性相关的数据进行相关处理时,都会先获得任务内容的许可或者同意,而且,对这些数据的收集、使用和处理等,都会遵守相关法律法规和标准。此外,当本申请实施例需要获取任务内容属性信息时,会通过弹窗或者跳转到确认页面等方式获得任务内容的单独许可或者单独同意,在明确获得任务内容的单独许可或者单独同意之后,再获取用于使本申请实施例能够正常运行的必要的任务内容相关数据。

图31为本公开实施例提供的电子书签处理装置3100的结构示意图,该电子书签处理装置3100包括:

第一显示单元3110,用于显示对象化电子书签空间的第一入口控件;

第二显示单元3120,用于响应于对第一入口控件的第一触发,显示对象化电子书签空间,其中,对象化电子书签空间包含多个对象化电子书签子空间,每个对象化电子书签子空间对应于一本电子书,对象化电子书签子空间包含电子书中的多个对象化电子书签对应的多个虚拟对象,多个虚拟对象在对象化电子书签子空间内基于对象化电子书签在电子书中的绑定页号排列;

第三显示单元3130,用于响应于对虚拟对象的第二触发,显示虚拟对象对应的对象化电子书签在电子书中的绑定页面。

可选地,虚拟对象包括第一类型的虚拟对象、和第二类型的虚拟对象;

第二显示单元3120具体用于:

如果一个第二类型的虚拟对象在对象化电子书签子空间中位于两个第一类型的虚拟对象之间,将第二类型的虚拟对象显示为在两个第一类型的虚拟对象飞行。

可选地,虚拟对象包括第一类型的虚拟对象、和第二类型的虚拟对象;

第二显示单元3120具体用于:

如果第二类型的虚拟对象对应的对象化电子书签的第一关联文本、与一个第一类型的虚拟对象对应的对象化电子书签的第二关联文本语义相关,将第二类型的虚拟对象显示为停留在第一类型的虚拟对象上。

可选地,电子书签处理装置3100还包括:

第一确定单元,用于在第二类型的虚拟对象对应的对象化电子书签的第一绑定页面中,确定第一关联文本;

第二确定单元,用于在第一类型的虚拟对象对应的对象化电子书签的第二绑定页面中,确定第二关联文本;

第一获取单元,用于基于第一关联文本,获取第一关联文本向量;

第二获取单元,用于基于第二关联文本,获取第二关联文本向量;

第三确定单元,用于确定第一关联文本向量和第二关联文本向量的相似度,并基于相似度确定第一关联文本和第二关联文本语义相关。

可选地,第一显示单元3110具体用于:在第一绑定页面中,获取预定位置的第一目标文本段和第一目标文本段前后各预定数目个文本段,作为第一关联文本;

第二显示单元3120具体用于:在第二绑定页面中,获取预定位置的第二目标文本段和第二目标文本段前后各预定数目个文本段,作为第二关联文本。

可选地,第一获取单元具体用于:

将第一关联文本分成多个第一词;

确定每个第一词的第一统计特征;

将第一词、和第一词的第一统计特征按照第一统计特征由高到低的顺序级联,得到第一级联结果;

对第一级联结果向量化,得到第一关联文本向量。

可选地,第二获取单元具体用于:

将第二关联文本分成多个第二词;

确定每个第二词的第二统计特征;

将第二词、和第二词的第二统计特征按照第二统计特征由高到低的顺序级联,得到第二级联结果;

对第二级联结果向量化,得到第二关联文本向量。

可选地,电子书签处理装置3100还包括:

第四显示单元,用于响应于在用户当前浏览页对对象化电子书签生成控件的第三触发,显示对象化电子书签模板集;

第一接收单元,用于接收对对象化电子书签模板集中目标对象化电子书签模板的选择;

第五显示单元,用于在用户当前浏览页上,显示基于目标对象化电子书签模板的对象化电子书签。

可选地,第一接收单元具体用于:

响应于在用户当前浏览页对对象化电子书签生成控件的第三触发,显示通用电子书签控件、和对象化电子书签模板集调用控件;

响应于对通用电子书签控件的第四触发,在用户当前浏览页上显示通用电子书签;

响应于对对象化电子书签模板集调用控件的第五触发,显示对象化电子书签模板集。

可选地,电子书签处理装置3100还包括:

第三获取单元,用于获取用户当前浏览页上预定位置的目标文本句;

第四确定单元,用于确定用户当前浏览页在电子书中的所属章节;

第四获取单元,用于获取当前时间戳;

第一加入单元,用于将目标文本句、章节、和当前时间戳加入目标对象化电子书签模板,得到对象化电子书签。

可选地,电子书签处理装置3100还包括:

第二接收单元,用于接收对对象化电子书签在第一滑动方向上的滑动操作;

第一移动单元,用于在用户当前浏览页上,将对象化电子书签沿着第一滑动方向移动。

可选地,电子书签处理装置3100还包括:

第六显示单元,用于响应于对对象化电子书签模板的导入控件的第六触发,显示拍摄界面;

第一拍摄单元,用于在拍摄界面拍摄目标对象,得到拍摄图像;

第七显示单元,用于显示对象化电子书签模板,其中,对象化电子书签模板包含虚拟对象,虚拟对象与拍摄图像中的目标对象对应;

第二加入单元,用于响应于模板集加入控件的第七触发,将对象化电子书签模板加入对象化电子书签模板集。

可选地,第七显示单元用于:

从拍摄图像中,识别目标对象的类型;

如果目标对象的类型是第一类型,从拍摄图像中提取目标对象对应的主体部分,并基于主体部分生成并显示对象化电子书签模板;

如果目标对象的类型是第二类型,从拍摄图像中识别目标对象的目标对象名称,并基于第一对照表获取目标对象名称对应的标志物图像,并基于标志物图像生成并显示对象化电子书签模板,其中,第一对照表指示对象名称与标志物图像的对应关系。

可选地,电子书签处理装置3100还包括:

第五获取单元,用于获取目标视频库;

第一识别单元,用于在目标视频库的视频中,识别出第二类型的对象;

第三接收单元,用于接收针对识别出的对象输入的对象名称;

第二识别单元,用于从视频中提取识别出的对象的标志物图像;

第一记录单元,用于将对象名称和标志物图像相对应地记录,得到第一对照表。

可选地,第二显示单元3120具体用于:

将第一类型的目标对象对应的虚拟对象显示为主体部分;

将第二类型的目标对象对应的虚拟对象显示为从拍摄图像中提取的目标对象。

可选地,从拍摄图像中识别目标对象的目标对象名称,是通过对象识别模型进行的;电子书签处理装置3100还包括:

第六获取单元,用于获取训练样本集,训练样本集中的每个训练样本包括样本对象图像、与样本对象图像中的样本对象名称的标签;

第一预处理单元,用于将每个样本对象图像进行预处理,得到预处理后样本对象图像;

第一输入单元,用于将预处理后样本对象图像输入预训练模型,得到样本对象名称识别结果;

第一调整单元,用于基于样本对象名称识别结果与标签,计算损失函数,并基于损失函数调整预训练模型,得到对象识别模型。

可选地,第六获取单元具体用于:

获取开源的第一训练样本子集;

获取第一样本对象图像集,将第一样本对象图像集中每个第一样本对象图像输入标签生成模型,得到第一样本对象图像中的样本对象名称的标签,并将标签添加到第一样本对象图像,以得到第二训练样本子集;

获取第二样本对象图像集,接收针对第二样本对象图像集中每个第二样本对象图像输入的标签,并将标签添加到第二样本对象图像,以得到第三训练样本子集;

将第一训练样本子集、第二训练样本子集、和第三训练样本子集整合为训练样本集。

可选地,第一预处理单元具体用于:

从样本对象图像中,滤除图像质量低于预定质量标准的样本对象图像,得到过滤后样本对象图像;

裁剪掉过滤后样本对象图像的背景部分,得到裁剪后样本对象图像;

对裁剪后样本对象图像进行图像增强,得到预处理后样本对象图像。

可选地,电子书签处理装置3100还包括:

第八显示单元,用于响应于对对象化电子书签列表显示控件的第八触发,显示对象化电子书签列表;

第九显示单元,用于响应于对书签笔记设置控件的第九触发,显示对象化电子书签列表中每个对象化电子书签对应的第一选择控件;

第十显示单元,用于响应于对多个对象化电子书签对应的第一选择控件的选择,显示笔记设置界面,笔记设置界面包含选择的第一选择控件对应的多个对象化电子书签;

第四接收单元,用于在笔记设置界面上,接收输入的书签笔记。

可选地,第二显示单元3120具体用于:

将选择的多个对象化电子书签对应的多个虚拟对象显示为基于连结物布置,其中,多个虚拟对象中的第一类型的虚拟对象由连结物串联,多个虚拟对象中的第二类型的虚拟对象围绕连结物执行预定动作;

在连结物的周围,显示书签笔记查看控件。

可选地,电子书签处理装置3100还包括:

第十一显示单元,用于响应于针对书签笔记的第一分享操作,将书签笔记显示到分享区;

第五接收单元,用于接收分享区上对书签笔记的第一互动记录;

第十二显示单元,用于显示对象化电子书签空间中基于第一互动记录的书签查看控件。

可选地,电子书签处理装置3100还包括:

第十三显示单元,用于响应于对一个虚拟对象的第十一触发,显示虚拟对象对应的对象化电子书签预览框,对象化电子书签预览框具有第二选择控件;

第十四显示单元,用于响应于对对象化电子书签预览框中第二选择控件的选择,显示其它的虚拟对象对应的第二选择控件;

第十五显示单元,用于响应于对其它的虚拟对象对应的第二选择控件的选择,显示笔记设置界面,笔记设置界面包含选择的各个第二选择控件对应的对象化电子书签;

第六接收单元,用于在笔记设置界面上,接收输入的书签笔记。

可选地,电子书签处理装置3100还包括:

第十六显示单元,用于响应于针对对象化电子书签的第二分享操作,将对象化电子书签显示到分享区;

第七接收单元,用于接收分享区上对对象化电子书签的第二互动记录;

第十七显示单元,用于显示对象化电子书签空间中基于第二互动记录的书签查看控件。

参照图32,图32为实现本公开实施例的电子书签处理方法的终端的部分的结构框图,该终端包括:射频(Radio Frequency,简称RF)电路3210、存储器3215、输入单元3230、显示单元3240、传感器3250、音频电路3260、无线保真(wireless fidelity,简称WiFi)模块3270、处理器3280、以及电源3290等部件。本领域技术人员可以理解,图32示出的终端结构并不构成对手机或电脑的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

RF电路3210可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器3280处理;另外,将设计上行的数据发送给基站。

存储器3215可用于存储软件程序以及模块,处理器3280通过运行存储在存储器3215的软件程序以及模块,从而执行内容终端的各种功能应用以及数据处理。

输入单元3230可用于接收输入的数字或字符信息,以及产生与内容终端的设置以及功能控制有关的键信号输入。具体地,输入单元3230可包括触控面板3231以及其他输入装置3232。

显示单元3240可用于显示输入的信息或提供的信息以及内容终端的各种菜单。显示单元3240可包括显示面板3241。

音频电路3260、扬声器3261,传声器3262可提供音频接口。

在本实施例中,该终端所包括的处理器3280可以执行前面实施例的电子书签处理方法。

本公开实施例的终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。本发明实施例可应用于各种场景,包括但不限于电子书、数据处理等。

图33为实施本公开实施例的电子书签处理方法的服务器的部分的结构框图。服务器可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,简称CPU)3322(例如,一个或一个以上处理器)和存储器3332,一个或一个以上存储应用程序3342或数据3344的存储介质3330(例如一个或一个以上海量存储装置)。其中,存储器3332和存储介质3330可以是短暂存储或持久存储。存储在存储介质3330的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器3322可以设置为与存储介质3330通信,在服务器上执行存储介质3330中的一系列指令操作。

服务器还可以包括一个或一个以上电源3326,一个或一个以上有线或无线网络接口3350,一个或一个以上输入输出接口3358,和/或,一个或一个以上操作系统3341,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。

服务器中的中央处理器3322可以用于执行本公开实施例的电子书签处理方法。

本公开实施例还提供一种计算机可读存储介质,计算机可读存储介质用于存储程序代码,程序代码用于执行前述各个实施例的电子书签处理方法。

本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序。计算机设备的处理器读取该计算机程序并执行,使得该计算机设备执行实现上述的电子书签处理方法。

本公开的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的内容,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“包含”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其它步骤或单元。

应当理解,在本公开中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联内容的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联内容是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。

应了解,在本公开实施例的描述中,多个(或多项)的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。

在本公开所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

还应了解,本公开实施例提供的各种实施方式可以任意进行组合,以实现不同的技术效果。

以上是对本公开的实施方式的具体说明,但本公开并不局限于上述实施方式,熟悉本领域的技术人员在不违背本公开精神的条件下还可作出种种等同的变形或替换,这些等同的变形或替换均包括在本公开权利要求所限定的范围内。

相关技术
  • 基于二维二硫化钼纳米薄膜与碲化镉晶体的II型异质结近红外光电探测器及其制备方法
  • 一种基于化学气相沉积二硫化钨的光电探测器及其制备方法
  • 一种基于常压化学气相沉积的大面积单层二硫化钨薄膜的制备方法和产品
技术分类

06120116517888