照片存储管理系统及方法

技术领域

本发明涉及信息存储管理技术领域，特别是涉及照片存储管理系统及方法。

背景技术

越来越多的终端用户，将移动终端作为记录生活、扑捉美景的工具。行业内持续推出大像素的手机也证实了对于拍照这一块，消费者的需求在持续增长。根据移动互联网设计中心在 2012 年针对手机拍照进行的数据调查显示，44％的人已习惯在手机上处理照片。毫无疑问，此比例随着智能手机技术的进步仍在逐年上涨。

但大多数的用户对于移动终端拍照仅限于拍摄，而鲜少涉足整理。即便是上传到网络上的照片，也因为未加整理，导致存储的照片杂乱无章，在想要进行照片查找时，往往费事费力，有些照片由于时隔太久，当事人也想不起来具体的时间或是地点信息，查找起来就更加费力，往往要将存储空间内的照片全部浏览一遍，才可能找到想要的照片，搜索效率低，给用户的使用带来诸多不便。

发明内容

本发明的目的在于在照片输入的时候就提供标注功能，对输入的照片按照内容的不同进行分类存储，并且提供以图搜图和以关键字搜图的功能，以便于照片的整理和查找，本发明提供了一种照片存储管理系统及方法。

本申请的一个方面，提供了一种照片存储管理系统，包括：图像标记模块，用于对接收到的照片进行标记，标记出照片上呈现的各个内容，所述图像标记模块包括图像识别单元、自动标记单元、手动标记单元以及第一指令接收单元，所述自动标记单元、手动标记单元均与图像识别单元、第一指令接收单元连接；分类模块，用于对接收到的照片进行分类，包括第一目标检测网络和第二目标检测网络；存储模块，用于对分类照片进行存储，包括第一存储单元、第二存储单元以及第三存储单元；所述第一存储单元与第一目标检测网络相对应，所述第二存储单元与第二目标检测网络相对应；所述第一存储单元用于存储包括第一对象/第三对象的照片；第二存储单元用于存储包括第二对象/第四对象的照片；第三存储单元用于存储其他照片；检索模块，用于从所述存储模块中检索出目标照片，对象接收单元、特征提取单元、第二指令接收单元、目标匹配单元以及结果输出单元，对象接收单元与特征提取单元、目标匹配单元依次连接，第二指令接收单元与目标匹配单元连接，目标匹配单元与结果输出单元依次连接。

进一步地，所述手动标记单元包括自动目标识别单元和手动目标框选单元；自动目标识别单元与所述图像识别单元、第一指令接收单元连接，手动目标框选单元与所述第一指令接收单元连接。

进一步地，所述第一对象为人，第二对象为物，第三对象为人名或是称谓，第四对象为物名或是代号。

本申请的另一个方面，提供了一种照片存储管理方法，适用于一种照片存储管理系统，包括：接收照片，经第一目标检测网络判断照片中是否包括第一对象/第三对象，若是，则存储进第一存储单元，否则进入第二目标检测网络，第二目标检测网络判断是否包括第二对象/第四对象，若是，则存储进第二存储单元，否则存储进第三存储单元。

进一步地，计算照片上可识别对象所占据面积，占据不同面积的目标对象对应不同的第一评价值，检测照片上可识别对象所处的位置坐标，位于不同坐标处的目标对象对应不同的第二评价值，每个可识别对象综合面积大小和位置评价值对应一个综合评价值；所述第一目标检测网络设有第一评价阈值，当第一目标检测网络检测出的照片上的可识别对象的综合评价值大于第一评价阈值时，将所述照片存储进第一存储单元，否则进入第二目标检测网络，第一目标检测网络设有第二评价阈值，当第二目标检测网络检测出的照片上的可识别对象的综合评价值大于第二评价阈值时，将所述照片存储进第二存储单元，否则将其存储进第三存储单元。

进一步地，包括自动标记模式，接收输入照片，当自动标记单元被选中时，调用图像识别单元，识别照片中可能的感兴趣目标区域，进行关键字预标注，根据第一指令接收单元接收的内容选择接受或是取消预标注关键字。

进一步地，包括手动标记模式，接收输入照片，当手动标记单元被选中时进入图像编辑页面，当自动目标识别被选中时，调用图像识别单元，在照片上框选出可能的感兴趣目标区域，根据第一指令接收单元接收的内容对可能的感兴趣目标区域进行筛选和对象标注；当手动目标框选被选中时，第一指令接收单元接收输入的标记曲线和标记关键字，将标记曲线包围的区域与标记关键字进行对应。

进一步地，包括以图搜图模式，所述以图搜图模式包括：对象接收单元接收目标对象图，特征提取单元提取目标对象特征，根据第二指令接收单元接收的第一信息确定待检索目标对象，根据待检索目标对象特征判断目标对象类别，根据目标对象类别选择对应存储单元，根据第二指令接收单元的第二信息，输出满足检索条件的预对比照片群，目标匹配单元将待检索目标对象与预对比照片群进行目标匹配，最终输出与待检索目标对象相匹配的照片。

进一步地，包括以关键字搜图模式，所述以关键字搜图模式包括：对象接收单元接收关键字，特征提取单元提取关键字信息，根据第二指令接收单元接收的第一信息确定待检索目标对象，根据待检索目标对象特征判断目标对象类别，根据目标对象类别选择对应存储单元；根据第二指令接收单元的第二信息，输出满足检索条件的预对比图片群，目标匹配单元将待检索关键字与预对比图片群上的标记关键字进行匹配，输出与待检索关键字相匹配的图片。

与现有技术相比，本发明的实质性效果如下：（1）具有自动标记/手动标记功能，方便用户在存储初期对照片信息进行标注，也可以先存储，后进行标注；（2）按照人/物/其他，分为三个存储单元，分别存储对应目标照片，在进行照片检索时更具有针对性；（3）结合照片中可识别对象所占面积和所处坐标位置对可识别对象进行综合评分，按照综合评分最高的可识别对象的类别进行存储，充分结合了照片有目的拍摄的特性；（4）提供以图搜图和以关键字搜图的功能，与存储前的标记内容相关联，让用户可以个性化的标记照片内容，生成具有个体身份特征和语言特征的存储空间。

附图说明

图1是本发明分类存储流程图；

图2是本发明分类模块结构图；

图3是本发明存储模块结构图；

图4是本发明检索模块结构图；

图5是本发明图像标记模块结构图；

图6是以图搜图流程图；

图7是以关键字搜图流程图。

具体实施方式

下面结合附图对本发明作进一步说明：

一种照片管理系统，安装在用户终端设备上，包括图像标记模块、分类模块、存储模块以及检索模块，用户终端设备包括手机、ipad、电脑、笔记本等。一种照片管理方法，接收照片，如图1所示，经第一目标检测网络210判断照片中是否包括第一对象/第三对象，若是，则存储进第一存储单元，否则进入第二目标检测网络，第二目标检测网络判断是否包括第二对象/第四对象，若是，则存储进第二存储单元，否则存储进第三存储单元。下面，综合照片管理系统及方法来具体介绍。图像标记模块用于对接收到的照片进行标记，标记出照片上呈现的各个内容，如图2所示，包括图像识别单元110、自动标记单元120、手动标记单元140以及第一指令接收单元130，所述自动标记单元120、手动标记单元140均与图像识别单元110、第一指令接收单元130连接。本申请中的图片是指经过标记的照片或是存储后的照片。图像标记模块包括两种标记模式，一种是自动标记模式，另一种是手动标记模式，用户可自主选择通过自动标记或是手动标记进行标记，也可以先进行自动标记，倘若对自动标记的结果不满意再进行手动标记。自动标记模式适用于对于同一目标对象已经存储在用户终端设备上，并曾经进行过文字标注，手动标记模式适用于第一次接收的目标对象。

用户终端设备接收输入的照片后选择进入图像标记模块，当用户选择进入图像标记模块，选择自动标记模式时，调用图像识别单元110，对照片内容进行智能识别，在照片上显示智能识别出的用户可能感兴趣的标注目标，通过自动标记单元120进行预标注即生成与标注目标对应的标注关键字，用户可以选择接受标注目标或是取消标注目标，或是接受标注目标而取消标注关键字，重新输入标注关键字。终端设备通过第一指令接收单元130接收来自用户的指令信息，例如选择“确认”或是“取消”、键入标注关键字。

当用户选择进入图像标记模块，当用户选择手动标记模式时，可以选择进行自动目标识别或是手动目标框选，自动目标识别是指调用图像识别单元110识别出用户可能感兴趣的标注目标，由用户手动对标注目标进行筛选和对象标注；手动目标框选是指由用户在终端设备界面上通过标记曲线标识出感兴趣区域并标注关键字，将标记曲线包围的区域与标注关键字进行对应。

当自动目标识别141被选中时，调用图像识别单元110，在照片上框选出可能的感兴趣目标区域，根据第一指令接收单元130接收的内容对可能的感兴趣目标区域进行筛选和对象标注，当手动目标框选142被选中时，第一指令接收单元130接收输入的标记曲线和标注关键字，将标记曲线包围的区域与标注关键字进行对应。在进行标注时，用户可根据个人喜好设置与个体身份相适应的具有自身语言特征的关键字标注。

如图3所示，分类模块对接收到的照片进行分类，包括第一目标检测网络210和第二目标检测网络220。如图4所示，存储模块包括第一存储单元310、第二存储单元320以及第三存储单元330。第一存储单元与第一目标检测网络相对应，第二存储单元与第二目标检测网络相对应，第一存储单元用于存储包括第一对象/第三对象的照片；第二存储单元用于存储包括第二对象/第四对象的照片；第三存储单元用于存储其他照片。

经过图像标记模块标记的照片进入分类模块和存储模块，用户也可选择跳过图像标记模块直接进入分类模块和存储模块。第一目标检测网络和第二目标检测网络均采用深度学习训练得到，可以检测出图片上的图像信息或是文字信息，经第一目标检测网络判断照片中是否包括第一对象/第三对象，若是，则存储进第一存储单元，否则进入第二目标检测网络，第二目标检测网络判断是否包括第二对象/第四对象，若是，则存储进第二存储单元，否则存储进第三存储单元。

经过图像标记模块的图片在进入分类模块后进行文字识别，按照标准关键字进行类别划分。如果识别出的文字属于第三对象，将其存储至第一存储单元，如果识别出的文字属于第四对象，将其存储至第二存储单元，否则，将其存储至第三存储单元。其中，第三对象为人名或是称谓，第四对象为物名或是代号，这些人名、称谓、物名或是代号是预先存储在第一目标检测网络210和第二目标检测网络中的。

未经过图像标记模块直接进入分类模块的照片进行图像信息识别，按照识别出的图像信息进行类别划分。在进行目标检出时，与普通的目标检测输出大量的预选框不同，由于照片是基于有目标的拍摄，所拍摄的目标往往占据整张照片的关键位置（左上、左下、右上、右下或是中心区域），且大小至少为整张照片的1/9以上，这里的关键位置和大小阈值可进行自主设置。为了提高检测的准确性和快速性，在第一目标检测网络210和第二目标检测网络内设置检测算法，综合照片上目标对象的位置坐标和所占面积大小，判断该照片的主要对象类别。

计算照片上可识别对象所占据面积，占据不同面积的目标对象对应不同的第一评价值，检测照片上可识别对象所处的位置坐标，位于不同坐标处的目标对象对比不同的第二评价值，每个可识别对象综合面积大小和位置对应一个综合评价值。综合评价值小于一定阈值的可识别对象不出现，屏幕上出现的可识别对象根据其综合评价值的大小来决定，出现的数量可以进行设置。进一步地，第一目标检测网络210设有第一评价阈值，当第一目标检测网络210检测出的可识别对象的位置坐标和所占面积大小的综合评价值大于第一评价阈值时，将其存储进第一存储单元，否则进入第二目标检测网络，第一目标检测网络210设有第二评价阈值，当第二目标检测网络检测出的可识别对象的位置坐标和所占面积大小的综合评价值大于第二评价阈值时，将其存储进第二存储单元，否则将其存储进第三存储单元。

可以简单的理解为，如果占据整张照片面积最大且相比其他对象更靠近照片中心位置的对象为第一对象，将其存储至第一存储单元，如果占据整张照片面积最大且相比其他对象更靠近照片中心位置的的对象为第二对象，将其存储至第二存储单元，否则，将其存储至第三存储单元。其中，第一对象为人，第二对象为物。倘若用户对自动分类的结果不满意，还可以手动进行标记和存储位置的转移。

如图5所示，检索模块包括对象接收单元411、特征提取单元412、第二指令接收单元420、目标匹配单元430、结果输出单元440，对象接收单元411与特征提取单元412、目标匹配单元430依次连接，第二指令接收单元420与目标匹配单元430连接，目标匹配单元430与结果输出单元440依次连接。在进行图像检索时，包括以图搜图和关键字搜图两种方式。

以图搜图：如图6所示，首先输入目标对象图，对象接收单元接收目标对象，特征提取单元提取目标对象特征，根据第二指令接收单元接收的第一信息确定待检索目标对象，根据待检索目标对象特征判断目标对象类别，根据目标对象类别选择对应存储单元；根据第二指令接收单元的第二信息，输出满足检索条件的预对比图片群，目标匹配单元将待检索目标对象与预对比图片群进行目标匹配（待检索目标对象与每个图片上标注的感兴趣目标区域进行对比），输出与待检索目标对象相匹配的图片。第一信息指的是外部输入的确认指令，确认待检索目标对象是哪个，第二信息指的是外部输入的检索条件，例如时间跨度。

举个例子，输入一张图，图上有房子有人，想要检索20年1-6月内包括图上人的所有照片，首先是提取输入图上包括的目标对象有哪些（房子、人——“小南”的图像），然后根据第二指令接收单元接收到的第一信息确认待检索的目标对象是什么（选择“小南”的图像），确定目标对象类别（第一对象）对应的存储单元（第一存储单元），然后根据设定的检索条件即第二指令接收单元的第二信息（20年1-6月），输出第一存储单元内20年1-6月这个时间段内的预对比图片群（包括与“小南”图像相近的所有图片），将输入图片与这些预对比图片群进行逐一对比，最终输出与“小南”相匹配的目标图片。

以关键字搜图：如图7所示，首先输入关键字，对象接收单元接收关键字，特征提取单元提取关键字信息，根据第二指令接收单元接收的第一信息确定待检索目标对象，根据待检索目标对象特征判断目标对象类别，根据目标对象类别选择对应存储单元；根据第二指令接收单元的第二信息，输出满足检索条件的预对比图片群，目标匹配单元将待检索关键字与预对比图片群上的标记关键字进行匹配，输出与待检索关键字相匹配的图片。第一信息指的是外部输入的确认指令，确认待检索目标对象是哪个，第二信息指的是外部输入的检索条件，例如时间跨度。

举个例子，输入关键字“小南”，对象接收单元接收关键字，特征提取单元提取目标对象特征，此时预选框可能跳出“小南的妈妈”“小南的汽车”，根据第二指令接收单元接收的第一信息“小南”，确定目标对象为“小南”，类别为“第三对象”，选择对应存储单元（第一存储单元），根据第二指令接收单元的第二信息即用户输入的检索条件（20年1月），输出第一存储单元内满足第二指令接收单元的第二信息（20年1月）的标注有“小南”的预对比图片群，将关键字与预对比图片群的标注关键字进行对比，输出与所述关键字一致的标注关键字所对应的图片。这里的输入关键字如果不在预先未存储在系统中，则默认未检索到对应的目标对象。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。