辅助阅读方法、计算机设备及存储装置

技术领域

本申请涉及辅助阅读领域，特别是涉及一种辅助阅读方法、计算机设备及存储装置。

背景技术

随着人工智能技术的快速发展，使得人们的日常生活、学习与工作越来越快捷、方便。例如用户在进行阅读练习或训练时，通常可能会遇到不理解或不认识的阅读内容，通过辅助阅读能有效帮助用户正确理解阅读内容进而了解阅读内容中更多的相关知识，让用户不再需要依靠其它人辅助而能独自完成阅读过程。

目前的辅助阅读方法中，通常是用户使用手指指向待阅读的区域后，基于手指在待阅读书籍的指示位置进行辅助阅读。但用户的手指是可以动态变化的，若用户在用手指进行辅助阅读的过程中手指的位置发生变化，会影响辅助阅读的准确性。

发明内容

本申请主要解决的技术问题是提供一种辅助阅读方法、计算机设备及存储装置，能够提高辅助阅读的准确性。

为了解决上述问题，本申请第一方面提供了一种辅助阅读方法，该辅助阅读方法包括：获取位于参考帧图像之后的图像作为目标帧图像，其中，参考帧图像和目标帧图像是不同时刻对待阅读区域采集得到的图像，参考帧图像包含预设指示物；基于参考帧图像与目标帧图像在一预设区域的相似度，确定目标帧图像的指示物稳定情况；其中，参考帧图像中的预设区域包括至少部分预设指示物；基于目标帧图像的指示物稳定情况，确定是否对待阅读区域进行辅助阅读。

为了解决上述问题，本申请第二方面提供了一种计算机设备，该计算机设备包括相互耦接的存储器和处理器，存储器中存储有程序数据，处理器用于执行程序数据以实现上述辅助阅读方法中的任一步骤。

为了解决上述问题，本申请第三方面提供了一种存储装置，该存储装置存储有能够被处理器运行的程序数据，程序数据用于实现上述辅助阅读方法中的任一步骤。

上述方案，通过获取位于参考帧图像之后的图像作为目标帧图像，参考帧图像包含预设指示物，基于不同时刻对待阅读区域采集得到的参考帧图像与目标帧图像在一预设区域的相似度，因参考帧图像中的预设区域包括至少部分预设指示物，根据相似度可以确定目标帧图像的指示物稳定情况，可以提高对目标帧图像指示物稳定情况判断的准确度。另外，基于目标帧图像的指示物稳定情况，确定是否对待阅读区域进行辅助阅读，能够减少进行错误辅助阅读的操作，从而提高辅助阅读的准确性。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要的附图作简单的介绍，显而易见地，下面描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请辅助阅读方法第一实施例的流程示意图；

图2是本申请图1中步骤S11之前一实施例的流程示意图；

图3是本申请指示物检测结果一实施例的示意图；

图4是本申请图1中步骤S12一实施例的流程示意图；

图5是本申请图1中步骤S13一实施例的流程示意图；

图6是本申请辅助阅读方法第二实施例的流程示意图；

图7是本申请计算机设备一实施例的结构示意图；

图8是本申请存储装置一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参阅图1，图1是本申请辅助阅读方法第一实施例的流程示意图，该方法包括以下步骤：

S11：获取位于参考帧图像之后的图像作为目标帧图像，其中，参考帧图像和目标帧图像是不同时刻对待阅读区域采集得到的图像，参考帧图像包含预设指示物。

通过摄像头对待阅读区域实时采集图像，以实时获取采集得到的多帧图像。可将多帧图像中包含预设指示物的图像作为参考帧图像，获取位于参考帧图像之后的图像作为目标帧图像。其中，参考帧图像和目标帧图像是不同时刻对待阅读区域采集得到的图像，参考帧图像和目标帧图像是连续的两帧图像。

另外，预设指示物可以是预先设置的指示物，例如预设指示物为手指、笔、类手指或类笔的物体，通过预设指示物的指示确定用户待阅读内容的位置。本申请对预设指示物不做限制。

S12：基于参考帧图像与目标帧图像在一预设区域的相似度，确定目标帧图像的指示物稳定情况；其中，参考帧图像中的预设区域包括至少部分预设指示物。

其中，参考帧图像中的预设区域包括至少预设指示物，基于参考帧图像与目标帧图像在一预设区域的相似度，可以判断目标帧图像与参考帧图像的差异大小。由于待阅读书籍的内容是不变的，指示物是可以动态变化的，从而参考帧图像与目标帧图像在一预设区域的相似度可以表示两幅图中预设区域指示物的差异。因此，基于参考帧图像与目标帧图像在一预设区域的相似度，可以确定目标帧图像的指示物的稳定情况，以确定是否进行了指读操作。

可选地，其预设区域可以为同一预设区域，使得基于参考帧图像与目标帧图像在同一预设区域的相似度，确定目标帧图像的指示物稳定情况。

S13：基于目标帧图像的指示物稳定情况，确定是否对待阅读区域进行辅助阅读。

基于目标帧图中的指示物的稳定情况，以判断是否进行指读操作，以确定是否对待阅读区域进行辅助阅读。若目标帧图像的指示物处于不稳定状态，可以确定用户没有进行指读操作，则可以不对待阅读区域进行辅助阅读，从而减少进行错误辅助阅读的操作。若目标帧图像的指示物处于稳定状态，可以确定用户没有进行指读操作，可以基于指示物的位置对待阅读区域进行辅助阅读。

本实施例中，通过获取位于参考帧图像之后的图像作为目标帧图像，参考帧图像包含预设指示物，基于不同时刻对待阅读区域采集得到的参考帧图像与目标帧图像在一预设区域的相似度，因参考帧图像中的预设区域包括至少部分预设指示物，根据相似度可以确定目标帧图像的指示物稳定情况，可以提高对目标帧图像指示物稳定情况判断的准确度。另外，基于目标帧图像的指示物稳定情况，确定是否对待阅读区域进行辅助阅读，能够减少进行错误辅助阅读的操作，从而提高辅助阅读的准确性。

在一些实施例中，请参阅图2，在上述实施例中步骤S11之前，还可以包括以下步骤：

S21：将对待阅读区域采集得到至少一帧图像进行指示物检测，得到每帧图像的指示物检测结果，其中，指示物检测结果包括图像是否存在预设指示物以及所存在的预设指示物的检测信息。

可选地，在步骤S21之前，还可以包括以下至少一个预处理步骤：

对图像进行透视变换。具体地，通过摄像头采集待阅读区域的图像时，由于摄像头与待阅读区域的桌面通常呈一定的角度，摄像头对待阅读区域采集的图像具有透视效应，可对图像进行透视变换，得到经透视变换的图像。

将图像缩放至预设尺寸。其中，可以将经透视变换的图像进行等比例缩放至预设尺寸，得到经缩放的图像。该预设尺寸是经过对指示物检测准确率的实验而得到的，本申请对预设尺寸的大小不做限制。另外，若未对图像进行透视变换或摄像头与待阅读区域的桌面没有呈一定的角度，也可以将对待阅读区域采集的图像缩放至预设尺寸，得到经缩放的图像。

将对待阅读区域采集得到至少一帧图像进行指示物检测，得到每帧图像的指示物检测结果，具体地，通过将图像缩放至预设尺寸后，利用指示物检测模型对图像进行特征提取并基于提取的特征进行判别，得到图像的指示物检测结果，可以减少指示物检测模型的运算量。该指示物检测模型是基于样本指示物的特征训练得到的模型，指示物的特征可以是指示物的轮廓特征、面积特征、形态特征等。

其中，指示物检测结果包括图像是否存在预设指示物以及所存在的预设指示物的检测信息。预设指示物的检测信息包括预设指示物在图像中的位置信息、方向信息、宽度和占比中的至少一种。请参阅图3，以预设指示物A为手指为例进行说明，将对待阅读区域B采集得到一帧图像C进行指示物A检测，预设指示物A在图像中的位置信息p包括指示物指向位置的横坐标p_x、纵坐标p_y。方向信息包括指示物方向向量d、指示物方向向量在横坐标X轴的投影d_x、指示物方向向量在纵坐标Y轴的投影d_y、指示物方向向量d与横坐标X轴正方向的夹角a中的至少一种。指示物A的宽度t为指示物A宽度方向的宽度，例如指示物为手指时，指示物的宽度t为指向手指的宽度，指示物为笔时，指示物A的宽度t为笔的宽度。指示物的占比r可以是指示物A在图像中的面积占比，指示物A的占比r也可以是指示物A所占的像素点个数与图像中像素点的总数量的比值。

在步骤S21中，若指示物检测结果为存在预设指示物，则执行步骤S22；否则，则继续执行上述步骤S21。

S22：基于预设指示物的检测信息确定图像是否存在异常。

可选地，若预设指示物在图像中的占比大于第一预设比例或小于第二预设比例，则确定图像存在异常。例如用户在进行辅助阅读的过程中，摄像头会实时不断地对待阅读区域采集图中，进行指示物检测，在预设指示物的指向动作的动态过程中，若预设指示物距离摄像头太近，使得预设指示物在图像中的占比大于第一预设比例，则可确定图像存在异常。另外，若检测图像的边缘位置存在部分预设指示物时，使得预设指示物在图像中的占比小于第二预设比例，指示物的指定动作可能不明确，则可确定图像存在异常。

可选地，若预设指示物在图像中的宽度大于预设宽度比例，则确定图像存在异常。例如预设指示物为手指为例，若用户使用手掌或拳头等进行指读，手指在图像中的宽度大于预设宽度比例，其指向范围较广，难以精确地确定手指的指向位置，此时的指示物的方向向量是不可靠的，则确定图像存在异常。

S23：过滤存在异常的图像。

通过预设指示物的检测信息确定图像是否存在异常，以过滤异常的图像，从而可以不对异常的图像进行辅助阅读，可以减少不必要的图像后续处理，加快辅助阅读的响应速度。

在一些实施例中，请参阅图4，对于上述实施例中步骤S12，还可以包括以下步骤：

S121：获取预设指示物在参考帧图像中的位置，作为预设指示物的最新位置。

其中，预设指示物的位置为预设指示物在图像中的坐标位置p，将获取预设指示物在参考帧图像中的位置，作为预设指示物的最新位置，该最新位置为全局变量。

S122：从参考帧图像中截取包含最新位置的第一预设区域，从目标帧图像中截取包含最新位置的第二预设区域。

从参考帧图像中以预设指示物的位置为中心，截取包含最近位置的第一预设区域，其第一预设区域可以是宽度为w、高度为h的矩形图像块。其中，可以预先设置辅助阅读场景，例如读字词、读语句、读段落、读文章等，其每组辅助阅读场景各对应一个第一预设区域。

位于参考帧图像下一帧的图像作为目标帧图像，可以不对目标帧图像进行预设指示物检测，按照参考帧图像中预设指示物的最新位置，从目标图像帧中截取包含最新位置的第二预设区域，其第二预设区域的截取方式可以参考第一预设区域。

可选地，第二预设区域与第一预设区域为同一位置的预设区域。

S123：获取第一预设区域和第二预设区域之间的相似度。

利用差异哈希算法分别获取第一预设区域的第一哈希序列和第二预设区域的第二哈希序列。通过获取第一哈希序列和第二哈希序列之间的汉明距离，以作为相似度。其中，第一哈希序列为全局变量，第二哈希序列为局部变量。汉明距离越小，则可以认为第一预设区域和第二预设区域越相似的，汉明距离越大，则认为第一预设区域和第二预设区域越不相似。

S124：基于相似度，确定目标帧图像的指示物稳定情况。

其中，指示物稳定情况包括指示物不稳定状态和指示物稳定状态。

若相似度不小于第一预设阈值，例如汉明距离不小于第一预设阈值，可确定第一预设区域和第二预设区域是不相似的，则表明目标帧图像中预设指示物的位置发生了变化，此时确定目标帧图像处于指示物不稳定状态。

若相似度小于第一预设阈值，例如汉明距离小于第一预设阈值，可确定第一预设区域和第二预设区域是相似的，则表明目标帧图像中预设指示物的位置比较接近，此时确定目标帧图像处于指示物稳定状态。

本实施例中，通过从参考帧图像中截取包含最新位置的第一预设区域，相对于预设指示物缓慢挪动的情况，从目标帧图像中截取包含最新位置的第二预设区域，基于相似度，确定目标帧图像的指示物稳定情况，可以减少对预设指示物稳定状态的误判，以减少不必要的辅助阅读。

在一些实施例中，请参阅图5，对于上述实施例中步骤S13，基于目标帧图像的指示物稳定情况，确定是否对待阅读区域进行辅助阅读，还可以包括以下步骤：

S131：判断目标帧图像的指示物是否处于稳定状态。

若判断为目标帧图像处于指示物不稳定状态，则执行步骤S132。

若判断为目标帧图像处于指示物稳定状态，则执行步骤S133。

S132：不对待阅读区域进行辅助阅读。

判断为目标帧图像处于指示物不稳定状态时，说明此时预设指示物的指读操作未完成；不对待阅读区域进行辅助阅读，可以减少不必要的辅助阅读，减少辅助阅读的运算量。

步骤S133判断为目标帧图像处于指示物持续稳定状态时，说明预设指示物还未离开已有的指向位置，不对待阅读区域进行辅助阅读，可以减少不必要的辅助阅读，减少辅助阅读的运算量。

S133：判断目标帧图像处于指示物初始稳定状态还是指示物持续稳定状态。

其中，指示物稳定状态包括指示物初始稳定状态和指示物持续稳定状态。在判断为目标帧图像处于指示物稳定状态时，可以进一步判断目标帧图像处于指示物初始稳定状态还是指示物持续稳定状态。

具体地，判断目标帧图像的前预设数量帧图像是否处于指示物稳定状态，例如判断目标帧图像的前一帧图像是否处于指示物稳定状态。若是，则确定目标帧图像处于指示物持续稳定状态。若否，则确定目标帧图像处于指示物初始稳定状态。

步骤S133中，若判断为目标帧图像处于指示物初始稳定状态，则执行步骤S132。

若判断为目标帧图像处于指示物持续稳定状态，则执行步骤S135。

S134：对待阅读区域进行辅助阅读。

判断为目标帧图像处于指示物初始稳定状态时，对待阅读区域进行辅助阅读。可检测是否存在与预设指示物在目标帧图像中的位置关联的预存音频资源。若存在，则基于预存音频资源进行辅助阅读；若不存在，则对目标帧图像中包含预设指示物的第三预设区域进行文本识别，并基于文本识别结果进行辅助阅读。

本实施例中，判断为目标帧图像处于指示物不稳定状态时，不对待阅读区域进行辅助阅读，可以减少不必要的辅助阅读，减少辅助阅读的运算量；另外，在判断为目标帧图像处于指示物不稳定状态时，进一步判断目标帧图像处于指示物初始稳定状态还是指示物持续稳定状态，指示物持续稳定状态时，不对待阅读区域进行辅助阅读，可以进一步减少不必要的辅助阅读，减少辅助阅读的运算量。

在一些实施例中，上述实施例中的对待阅读区域进行辅助阅读，可以包括：检测是否存在与预设指示物在目标帧图像中的位置关联的预存音频资源。具体地，可以在系统中建立进行辅助阅读支持的阅读资源数据库，预存辅助阅读支持的书籍等，从而预存书籍对应的音频资源。通过检测是否存在与预设指示物在目标帧图像中的位置关联的预存音频资源，可以判断预设指示物在目标帧图像是否为辅助阅读支持的书籍。若存在，则基于与预设指示物在目标帧图像中的位置关联的预存音频资源进行辅助阅读。

若不存在，则对目标帧图像中包含预设指示物的第三预设区域进行文本识别，并基于文本识别结果进行辅助阅读。其中，第三预设区域可以是以指示物的位置为中心，截取得到一尺寸的第三预设区域。可以预先设置辅助阅读场景，例如读字词、读语句、读段落、读文章等，其每组辅助阅读场景各对应一个第三预设区域。通过OCR(Optical CharacterRecognition，光学字符识别)技术识别第三预设区域中预设指示物指向的待阅读内容进行文本识别，以基于文本识别结果在互联网或辅助阅读系统中查找对应的音频资源，基于音频资源进行辅助阅读。

本实施例中，通过检测是否存在与预设指示物在目标帧图像中的位置关联的预存音频资源，在不存在预存音频资源时，对目标帧图像中包含预设指示物的第三预设区域进行文本识别，并基于文本识别结果进行辅助阅读。可以对辅助阅读不支持的待阅读书籍进行辅助阅读，从而更好的满足辅助阅读的需求。另外，对于辅助阅读不支持的待阅读内容，将包含预设指示物的第三预设区域进行文本识别，相当于将整个目标帧图像的内容进行文本识别，可以减少进行字词识别的运算量，提高辅助阅读效率。

请参阅图6，图6是本申请辅助阅读方法第二实施例的流程示意图，该方法包括以下步骤：

S31：获取位于参考帧图像之后的图像作为目标帧图像，其中，参考帧图像和目标帧图像是不同时刻对待阅读区域采集得到的图像，参考帧图像包含预设指示物。

S32：基于参考帧图像与目标帧图像在一预设区域的相似度，确定目标帧图像的指示物稳定情况；其中，参考帧图像中的预设区域包括至少部分预设指示物。

S33：基于目标帧图像的指示物稳定情况，确定是否对待阅读区域进行辅助阅读。

本实施例中的步骤S31至步骤S33的具体实施过程可以参考上述实施例中步骤S11至步骤S13的实施过程，在此不再赘述。

步骤S33中，若目标帧图像处于指示物不稳定状态，则执行步骤S34。

步骤S33中，若目标帧图像处于指示物持续稳定状态，则执行步骤S35至步骤37。

S34：将目标帧图像或目标帧图像之后的第n帧图像作为新的参考帧图像，并重新执行获取位于参考帧图像之后的图像作为目标帧图像及其后续步骤，其中，n为正整数。

目标帧图像处于指示物不稳定状态时，表明预设指示物的位置信息发生了变化，需要更新预设指示物的最新位置。此时可将目标帧图像或目标帧图像之后的第n帧图像作为新的参考帧图像，并重新执行获取位于参考帧图像之后的图像作为目标帧图像及其后续步骤，其中，n为正整数。

具体地，对目标帧图像进行指示物检测，得到目标帧图像的指示物检测结果，其中，指示物检测结果包括图像是否存在预设指示物以及所存在的预设指示物的检测信息。

若目标帧图像包含预设指示物，则将目标帧图像作为新的参考帧图像，更新该新的参考帧图像的预设指示物的位置为最新位置，以该新的参考帧图像的下一帧图像为新的目标帧图像。并重新执行获取位于参考帧图像之后的图像作为目标帧图像及其后续步骤。

若目标帧图像不包含预设指示物，则继续对目标帧图像的下一帧图像进行预设指示物检测，则将目标帧图像之后的包含预设指示物的第n帧图像作为新的参考帧图像，更新预设指示物的最新位置，以该新的参考帧图像的之后的图像为新的目标帧图像，并重新执行获取位于参考帧图像之后的图像作为目标帧图像及其后续步骤。

可选地，目标帧图像包含预设指示物的检测信息确定图像没有存在异常。

S35：统计与同一参考帧图像对比且处于指示物持续稳定状态的目标帧图像的连续帧数。

若目标帧图像处于指示物持续稳定状态，则统计与同一参考帧图像对比且处于指示物持续稳定状态的目标帧图像的连续帧数。例如参考帧图像之后的第一帧图像为目标帧图像时，目标帧图像处于指示物稳定状态，参考帧图像之后的第二帧图像为目标帧图像时，也处于指示物，则为指示物持续稳定状态，记录此时与同一参考帧图像对比且处于指示物持续稳定状态的目标帧图像的连续帧数为2。

S36：判断连续帧数是否大于第二预设阈值。

步骤S36中，若连续帧数大于第二预设阈值，则执行步骤S34，将目标帧图像或目标帧图像之后的第n帧图像作为新的参考帧图像，并重新执行获取位于参考帧图像之后的图像作为目标帧图像及其后续步骤。其中，目标帧图像可以是连续帧数大于第二预设阈值时的目标帧图像。

步骤S36中，若连续帧数不大于第二预设阈值，则执行步骤S37。

S37：将目标帧图像之后的第n帧图像作为新的目标帧图像，并重新执行基于参考帧图像与目标帧图像在一预设区域的相似度，确定目标帧图像的指示物稳定情况及其后续步骤。

连续帧数不大于第二预设阈值时，可以继续对目标帧图像之后的图像进行处理，将目标帧图像之后的第n帧图像作为新的目标帧图像，例如将目标帧图像的下一帧图像作为新的目标帧图像，并重新执行基于参考帧图像与目标帧图像在一预设区域的相似度，确定目标帧图像的指示物稳定情况及其后续步骤。

本实施例中，通过在目标帧图像处于指示物持续稳定状态时，统计与同一参考帧图像对比且处于指示物持续稳定状态的目标帧图像的连续帧数，若连续帧数大于第二预设阈值，则将目标帧图像或目标帧图像之后的第n帧图像作为新的参考帧图像，并重新执行获取位于参考帧图像之后的图像作为目标帧图像及其后续步骤；可以减少对目标帧图像的预设指示物及预设指示物稳定性的误判，从而提高辅助阅读的准确性。

对于上述实施例，本申请提供一种计算机设备，请参阅图7，图7是本申请计算机设备一实施例的结构示意图。该计算机设备100包括存储器101和处理器102，其中，存储器101和处理器102相互耦接，存储器101中存储有程序数据，处理器102用于执行程序数据以实现上述辅助阅读方法任一实施例的步骤。

在本实施例中，处理器102还可以称为CPU(Central Processing Unit，中央处理单元)。处理器102可能是一种集成电路芯片，具有信号的处理能力。处理器102还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器102也可以是任何常规的处理器等。

该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。

对于上述实施例的方法，其可以采用计算机程序的形式实现，因而本申请提出一种存储装置，请参阅图8，图8是本申请存储装置一实施例的结构示意图。该存储装置200中存储有能够被处理器运行的程序数据201，程序数据可被处理器执行以实现上述辅助阅读方法任一实施例的步骤。

该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。

本实施例存储装置200可以是U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序数据的介质，或者也可以为存储有该程序数据的服务器，该服务器可将存储的程序数据发送给其他设备运行，或者也可以自运行该存储的程序数据。

在本申请所提供的几个实施例中，应该理解的，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储装置中，该存储装置是一种计算机可读取存储介质。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。