图像处理装置、图像处理方法、图像处理程序及存储有该程序的记录介质

技术领域

本发明涉及一种图像处理装置、图像处理方法、图像处理程序及存储有该程序的记录介质。

背景技术

当希望从多个图像生成相册时，不得不选择使用于相册的图像。然而，通常，对用户而言不易掌握选择哪种图像为佳。以往，可考虑根据顾客的要求能够制作翻版的技术(专利文献1)、从多个图像中检索与诊断对象相似的图像的技术(专利文献2)、利用过去使用的主题而制作适合于用户嗜好的布局模板的技术(专利文献3)、使用图像特征量而检索图像的技术(专利文献4)及提取断层图像的技术(专利文献5)等。

现有技术文献

专利文献

专利文献1：日本特开2003-288350号公报

专利文献2：日本特开2005-065728号公报

专利文献3：日本特开2014-085814号公报

专利文献4：日本再表2016-162963号公报

专利文献5：日本特开2017-127474号公报

发明内容

发明要解决的技术课题

然而，专利文献1中所记载的技术是对某一个图像查找适合于翻版的图像的技术，专利文献2中所记载的技术也是从多个图像中查找一个图像的技术，因此均不适合于从包含多个图像的图像组提取一部分图像的技术。专利文献3中所记载的技术也是制作布局模板的技术，参考文献5中所记载的技术是使用图像特征量而检索图像的技术，参考文献6中所记载的技术是从断层图像组中提取断层图像的技术，因此并不适合于从包含多个图像的图像组提取一部分图像的技术。

本发明的目的在于能够从已输入的第1图像组中提取与以前从参考图像组提取的图像相似的图像。

用于解决技术课题的手段

基于第1发明的图像处理装置的特征在于，具备：参考图像组接收单元，接收多个参考图像组(即便不是参考图像组其本身，只要是表示参考图像组中所包含的多个图像的特征量即可。)的输入；第1图像提取单元，从多个参考图像组中分别提取一部分图像；第1图像组接收单元，接收第1图像组(即便不是第1图像组其本身，只要是表示第1图像组中所包含的多个图像的特征量即可。)的输入；图像组检索单元，从多个参考图像组中检索与第1图像组相似的第2图像组(即便不是第2图像组其本身，只要是表示第2图像组中所包含的多个图像的特征量即可。)；及第2图像提取单元，从第1图像组中提取与从第2图像组提取的一部分图像相似的图像。

第1发明也提供适合于图像处理装置的图像处理方法。即，该方法中，参考图像组接收单元接收多个参考图像组的输入，第1图像提取单元从多个参考图像组中分别提取一部分图像，第1图像组接收单元接收第1图像组的输入，图像组检索单元从多个参考图像组中检索与第1图像组相似的第2图像组，第2图像提取单元从第1图像组中提取与从第2图像组提取的一部分图像相似的图像。

基于第1发明的图像处理装置也可以设为如下，具备处理器，该处理器接收多个参考图像组的输入，从多个参考图像组中分别提取一部分图像，接收第1图像组的输入，从多个参考图像组中检索与第1图像组相似的第2图像组，从第1图像组中提取与所提取的一部分图像相似的图像。

第1发明也提供控制图像处理装置的计算机的计算机可读取的程序及存储有该程序的记录介质。

第1图像提取单元中的提取例如是利用于将所提取的一部分图像配置于相册的处理。在该情况下，还可以具备图像配置单元，该图像配置单元将在第2图像提取单元中提取的图像配置于相册。

图像配置单元例如根据配置有从第2图像组提取的一部分图像的相册信息，将在第2图像提取单元中提取的图像配置于相册。

相册信息例如为相册的布局信息及相册的模板信息中的至少一个。

图像配置单元例如比根据相册的布局信息的图像的配置更优先相册的页面顺序与图像的拍摄日期时间的时序的一致而将在第2图像提取单元中提取的图像配置于相册。

还可以具备排序单元，该排序单元求出配置于相册的各页面的图像各自的拍摄日期时间的中间拍摄日期时间，并且以使中间拍摄日期时间成为时间顺序的方式对相册的页面进行排序。

还可以具备第1图像替换单元，该第1图像替换单元以使配置于相册的一页面的图像的拍摄日期时间早于配置于下一页面的图像各自的拍摄日期时间的中间拍摄日期时间的方式，将配置于一页面的图像替换为其他图像。

还可以具备第2图像替换单元，该第2图像替换单元以使配置于相册的一页面的图像的拍摄日期时间晚于配置于上一页面的图像各自的拍摄日期时间的中间拍摄日期时间方式，将配置于一页面的图像替换为其他图像。

还可以具备第3图像替换单元，该第3图像替换单元以使配置于相册的一页面的图像的拍摄日期时间早于配置于下一页面的图像的最初的拍摄日期时间的方式，将配置于一页面的图像替换为其他图像。

还可以具备第4图像替换单元，该第4图像替换单元以使配置于相册的一页面的图像的拍摄日期时间晚于配置于上一页面的图像的最后的拍摄日期时间的方式，将配置于一页面的图像替换为其他图像。

图像配置单元例如关于相册的一个页面内的图像的配置，比根据相册的布局信息的图像的配置更优先图像的拍摄日期时间的时序的一致而将在第2图像提取单元中提取的图像配置于相册。

图像配置单元例如比相册的页面顺序与图像的拍摄日期时间的时序的一致更优先根据相册的布局信息的图像的配置而将在第2图像提取单元中提取的图像配置于相册。

图像配置单元例如关于相册的一个页面内的图像的配置，比图像的拍摄日期时间的时序的一致更优先根据相册的布局信息的图像的配置而将在第2图像提取单元中提取的图像配置于相册。

图像组检索单元例如在多个参考图像组的各参考图像组中，将参考图像组中所包含的图像按相似的图像分为第1小组的集合，将第1图像组中所包含的图像分为按相似的图像的第2小组的集合，将第1小组的集合与第2小组的集合的一致度为第1阈值以上的参考图像组作为与第1图像组相似的第2图像组来进行检索。

图像组检索单元例如在第1小组的集合中所包含的小组中，当小组彼此的相似度为第2阈值以上时，汇集小组彼此，在第2小组的集合中所包含的小组中，当小组彼此的相似度为第2阈值以上时，汇集小组彼此。

基于第2发明的图像处理装置的特征在于，具备：第1图像组接收单元，接收第1图像组的输入；图像组检索单元，从分别具有所提取的一部分图像的信息的多个参考图像组中检索与第1图像组相似的第2图像组；及图像提取单元，从第1图像组中提取与从通过图像组检索单元检索到的第2图像组提取的一部分图像相似的图像。

第2发明也提供适合于图像处理装置的图像处理方法。即，该方法中，第1图像组接收单元接收第1图像组的输入，图像组检索单元从分别具有所提取的一部分图像的信息的多个参考图像组中检索与第1图像组相似的第2图像组，图像提取单元从第1图像组中提取与从通过图像组检索单元检索到的第2图像组提取的一部分图像相似的图像。

在第2发明中也可以设为如下方式，图像处理装置具备处理器，该处理器接收第1图像组的输入，从分别具有所提取的一部分图像的信息的多个参考图像组中检索与第1图像组相似的第2图像组，从第1图像组中提取与从检索到的第2图像组提取的一部分图像相似的图像。

在第2发明中也提供控制图像处理装置的计算机的计算机可读取的程序及存储有该程序的记录介质。

第3发明在包含图像处理装置及图像组检索服务器的图像处理系统中，图像处理装置具备接收第1图像组的输入的第1图像组接收单元，图像组检索服务器具备从分别具有所提取的一部分图像的信息的多个参考图像组中检索与第1图像组相似的第2图像组的图像组检索单元，图像处理装置及图像组检索服务器中的至少一个具备从第1图像组中提取与从通过图像组检索单元检索到的第2图像组提取的一部分图像相似的图像的图像提取单元。

基于第4发明的图像处理装置具备：第1图像组接收单元，接收第1图像组的输入；及图像提取单元，从第1图像组中提取在分别具有所提取的一部分图像的信息的多个参考图像组中和从与第1图像组相似的第2图像组提取的一部分图像相似的图像。

第4发明也提供适合于图像处理装置的图像处理方法。即，该方法中，第1图像组接收单元接收第1图像组的输入，图像提取单元从第1图像组中提取在分别具有所提取的一部分图像的信息的多个参考图像组中和从与第1图像组相似的第2图像组提取的一部分图像相似的图像。

在第4发明中也可以设为如下，图像处理装置具备处理器，该处理器接收第1图像组的输入，图像提取单元从第1图像组中提取在分别具有所提取的一部分图像的信息的多个参考图像组中和从与第1图像组相似的第2图像组提取的一部分图像相似的图像。

在第4发明中也提供控制图像处理装置的计算机的程序及存储有该程序的记录介质。

基于第5发明的图像处理装置的特征在于，具备：第1图像组输入单元，接收第1图像组的输入；及提取单元，从第1图像组中提取相对于从参考图像组中提取的多个参考图像的相似度为阈值以上的多个图像。

第5发明也提供适合于图像处理装置的图像处理方法。即，该方法中，第1图像组输入单元接收第1图像组的输入，提取单元从第1图像组中提取相对于从参考图像组中提取的多个参考图像的相似度为阈值以上的多个图像。

也可以是如下，图像处理装置具备处理器，该处理器接收第1图像组的输入，从第1图像组中提取相对于从参考图像组中提取的多个参考图像的相似度为阈值以上的多个图像。

第5发明也提供控制图像处理装置的计算机的计算机可读取的程序及存储有该程序的记录介质。

也可以是如下，参考图像组存在多个，还具备参考图像组检测单元，该参考图像组检测单元从多个参考图像组中检测相对于第1图像组的相似度为阈值以上的参考图像组，提取单元从第1图像组中提取相对于从通过参考图像组检测单元检测到的参考图像组中提取的多个参考图像的相似度为阈值以上的多个图像。

也可以是如下，从参考图像组中提取的多个参考图像的各参考图像粘贴于模板的图像粘贴区域，还具备图像粘贴单元，该图像粘贴单元将在提取单元中提取的多个图像中，将相对于粘贴在模板的图像粘贴区域的参考图像的相似度为阈值以上的图像粘贴于模板的图像粘贴区域。

图像粘贴单元例如将在提取单元中提取的多个图像中相对于粘贴于模板图像粘贴区域的参考图像的相似度为阈值以上的图像粘贴于与粘贴有参考图像的图像粘贴区域对应的图像粘贴区域。

图像粘贴单元也可以将相对于粘贴在模板的图像粘贴区域的参考图像的相似度为阈值以上且在拍摄与参考图像对应的图像的予想定时下拍摄的图像粘贴于与粘贴有参考图像的图像粘贴区域对应的图像粘贴区域。

还可以具备模板指定单元，该模板指定单元从多个模板中指定一个模板。在该情况下，从参考图像组中提取的多个参考图像的各参考图像也可以粘贴于通过模板指定单元指定的模板的图像粘贴区域。

还可以是如下，多个参考图像的顺序已确定，还具备第1相似度调整单元，该第1相似度调整单元在第1图像组中所包含的图像中，对以与多个参考图像的各参考图像的顺序相应的顺序拍摄的图像或在拍摄与参考图像对应的图像的予想定时下拍摄的图像，提高相对于参考图像的相似度。

还可以具备第2相似度调整单元，该第2相似度调整单元在第1图像组中所包含的图像中，对持有与关于参考图像中所包含的脸部的信息相似的信息的图像，提高与参考图像的相似度。

还可以具备第3相似度调整单元，该第3相似度调整单元在第1图像组中所包含的图像中，对包含图像中出现的登场次数为阈值以上的人物的图像，提高与参考图像的相似度。

还可以具备图像商品制作单元，该图像商品制作单元使用通过提取单元提取的图像而制作图像商品。

还可以具备：人物指定单元，在第1图像组中所包含的图像中出现的人物中，指定所期望的人物；及第4相似度调整单元，对包含通过人物指定单元指定的人物的图像，提高与参考图像的相似度。

还可以具备：脸部图像检测单元，从第1图像组中所包含的图像中检测脸部图像；及脸部图像显示控制单元，以使通过脸部图像检测单元检测到的脸部图像显示于显示画面的方式控制显示装置。在该情况下，人物指定单元例如可以通过指定显示于显示画面的脸部图像来指定所期望的人物。

发明效果

根据第1发明，从多个参考图像组中检索与第1图像组相似的第2图像组，从第1图像组提取与从第2图像组提取的图像相似的图像，因此能够从第1图像组获得与以前从第2图像组提取的图像相似的图像。并且，在第2发明、第3发明及第4发明中，也能够从第1图像组获得与以前从第2图像组提取的图像相似的图像。根据第2发明，能够从第1图像组中获得与从参考图像组中提取的参考图像相似的图像。

附图说明

图1示出了图像处理系统的概要。

图2是表示客户端计算机的电结构的框图。

图3是表示接单服务器的电结构的框图。

图4示出了存储于接单数据库的布局信息表及模板信息表。

图5是表示图像处理系统的处理顺序的流程图。

图6是表示图像处理系统的处理顺序的流程图。

图7是在特征量空间中分类的图像组的一例。

图8示出了图像组被汇集的情况。

图9是在特征量空间中分类的图像组的一例。

图10是在特征量空间中分类的图像组的一例。

图11示出了由第2图像组中所包含的图像生成的相册的一部分。

图12示出了配置从第1图像组提取的图像的情况。

图13示出了由从第1图像组提取的图像生成的相册的一部分。

图14是表示图像配置处理顺序的流程图。

图15示出了图像的配置变更的情况。

图16示出了图像的配置变更的情况。

图17示出了图像的配置变更的情况。

图18是表示图像编辑系统的处理顺序的流程图。

图19是表示图像编辑系统的处理顺序的流程图。

图20是表示图像处理系统的处理顺序的流程图。

图21是表示图像处理系统的处理顺序的流程图。

图22示出了存储于接单数据库的多个参考图像组的情况。

图23示出了使用从参考图像组提取的参考图像而制作出的相册的内容。

图24示出了参考相册的第1页。

图25是第1图像组中所包含的图像的一例。

图26示出了参考图像及与参考图像相似的图像。

图27示出了从第1图像组提取的图像粘贴于参考相册的情况。

图28示出了相册的第1页。

图29是表示图像处理系统的处理顺序的流程图的一部分。

图30是主人公指定窗的一例。

图31示出了结婚仪式的流程等。

图32示出了相似度计算处理顺序。

具体实施方式

[第1实施例]

图1是表示本发明的第1实施例的图，示出了图像处理系统的概要。

图像处理系统为从多个图像中提取图像并且将所提取的图像布置于页面而生成相册的系统。

在互联网上连接有n台(n为自然数)客户端计算机1-n及接单服务器5(图像组检索服务器)。在接单服务器5中连接有接单数据库6。各客户端计算机1-n与接单服务器5能够彼此进行通信。各客户端计算机1-n及接单服务器5构成图像处理系统。

客户端计算机1-n中的任一个与接单服务器5进行通信而生成相册。

图2是表示客户端计算机1的电结构的框图。各客户端计算机2-n也是与客户端计算机1相同的结构。

客户端计算机1的整体动作由CPU(Central Processing Unit：中央处理器)10集中控制。

在客户端计算机1中包含将图像及其他信息显示于显示画面的显示装置11以及与互联网及其他网络连接而与客户端计算机1以外的装置等进行通信的通信装置12。并且，在客户端计算机1中还包含硬盘13、访问硬盘13的硬盘驱动器14、存储数据等的存储器15、输入指令等的键盘16及鼠标17。而且，客户端计算机1中还包含访问光盘19的光盘驱动器18以及进行向存储卡21的数据的写入及记录于存储卡21的数据的读取的存储卡读卡器20。

后述的客户端计算机1的操作程序经由互联网由通信装置12接收。所接收的操作程序安装于客户端计算机1。操作程序也可以记录于光盘19等便携式记录介质并从该便携式记录介质读取，而不是经由如互联网等网络由客户端计算机1接收后安装于客户端计算机1。在该情况下，从便携式记录介质读取的操作程序安装于客户端计算机1。客户端计算机1的计算机(CPU10)能够读取操作程序是不言而喻的。

图3是表示连接有接单数据库6的接单服务器5的电结构的框图。

接单服务器5的整体动作由CPU(Central Processing Unit)30集中控制。

接单服务器5中包含与互联网及其他网络连接而与接单服务器5以外的装置等进行通信的通信装置31。并且，接单服务器5中还包含硬盘32、访问硬盘32的硬盘驱动器33及存储数据等的存储器34。而且，接单服务器5中还包含访问光盘36的光盘驱动器35以及进行向存储卡38的数据的写入及记录于存储卡38的数据的读取的存储卡读卡器37。

后述的接单服务器5的操作程序经由互联网由通信装置31接收。所接收的操作程序安装于接单服务器5。操作程序也可以记录于光盘36等便携式记录介质并且从该便携式记录介质读取，而不是经由如互联网等网络由接单服务器5接收后安装于接单服务器5。在该情况下，从便携式记录介质读取的操作程序安装于接单服务器5。接单服务器5的计算机(CPU30)能够读取操作程序是不言而喻的。

图4示出了存储于接单数据库6的内容。

在接单数据库6中存储有m个(m为自然数)布局信息表及m个模板信息表。在布局信息表中存储有关于过去生成的相册的布局信息。在模板信息表中存储有利用于过去生成的相册的模板信息。

表1为m个布局信息表中的一个布局信息表的一例。

[表1]

在布局信息表中与图像ID对应地存储有多个图像(称为参考图像组)各自的特征量。特征量可以是图像的分辨率、数据量、散焦的程度、主要被摄体的种类、主要被摄体相对于图像的相对大小、主要被摄体的位置及色调等。并且，特征量也可以是组合上述多个而生成的特征量。而且，特征量也可以是通过监督学习或无监督学习预先学习的学习完毕型接收图像的输入并输出的由多个参数构成的特征量。在此，关于从学习完毕型输出的特征量，对人而言有时无法解释其意图，但至少是如输入一个图像时唯一地输出那样的数值群，则能够用作本发明的特征量。特征量是为了确定作为使用于相册的图像(从多个图像提取的图像)是否合适及相册的配置位置等而所需的信息。并且，在布局信息表中还存储有某个用户在多个图像中的对相册使用过的图像还是未使用的图像的选择信息以及所使用的图像的相册的页面、位置及图像的尺寸等各种信息。选择信息中，若标有“Y”，则表示在相册中已使用的图像，若标有“N”，则表示在相册中未使用的图像。位置由以相册各页面的左上方为原点(0、0)时的坐标来表示。尺寸由图像的(横向长度)mm×(纵向长度)mm来表示。

例如，图像ID1的图像的选择信息为“Y”，因此由客户端计算机1-n的各用户作为使用于相册的图像来选择，并且通过CPU10(第1图像提取单元)等提取，页面信息为“1”，因此使用于相册的1页，位置信息为(0、0)，因此以使图像的左上方的位置与页面的左上方的位置一致的方式进行定位，尺寸为60×40，因此表示横向长度为60mm，纵向长度为40mm。相同地，图像ID2的图像的选择信息为“N”，因此可知未使用于相册。如上所述，本发明的第1图像提取单元潜在地能够对任意的参考图像组提取一部分图像。但是，在从第1图像组中进行图像提取时，实际上无需一定要对所记录的所有参考图像组进行一部分图像的提取，本发明的第1图像提取单元对第2图像组进行一部分图像的提取便足以。

表2是m个模板信息表中的一个模板信息表的一例。

[表2]

表2的模板信息表与表1的布局信息表对应。分别对布局信息表赋予有识别布局信息表的布局信息表ID，且分别对模板信息表也赋予有识别模板信息表的模板信息表ID，使用这些布局信息表ID及模板信息表ID而管理与布局信息表对应的模板信息表。

布局信息表及模板信息表为关于参考图像组的相册信息，在接单数据库6中存储有多个布局信息表及模板信息表，因此成为关于多个参考图像组的相册信息存储于接单数据库6。在接单数据库6中不仅存储有多个参考图像组的相册信息，而且除了多个参考图像组的相册信息以外还存储有多个参考图像组其本身(图像数据其本身)。当存储有多个参考图像组其本身时，若进行分析则可知图像的特征量，因此布局信息表及模板信息表也可以不存储于接单数据库6。

如后述，每当进行相册的订单时，在接单服务器5中，从客户端计算机发送布局信息及模板信息，这些布局信息及模板信息(关于参考图像组的相册信息)由接单服务器5的通信装置31(参考图像组输入单元)接收，由此在接单服务器5中生成布局信息表及模板信息表。所生成的布局信息表及模板信息表通过接单服务器5存储于接单数据库6。

图5及图6是表示图像处理系统的处理顺序的流程图，示出了接单服务器5及客户端计算机1-n中的任一个客户端计算机的处理顺序。在该实施例中，假设客户端计算机1与接单服务器5(在第1实施例中，接单服务器5为图像处理装置的一例)之间进行通信。

在客户端计算机1的存储器15中存储有表示欲使用于相册的多个图像(第1图像组)的图像数据。例如，当在存储卡21中存储有表示第1图像组的数据时，通过存储卡读卡器20，表示第1图像组的数据从存储卡21输入于客户端计算机1。当客户端计算机1为智能手机等时，表示因每次通过智能手机的相机进行拍摄时积蓄而获得的多个图像的图像数据成为表示第1图像组的数据。

表示第1图像组的图像数据从客户端计算机1发送至接单服务器5(图5步骤S41)。也可以不是表示第1图像组的图像数据其本身，而是表示第1图像组中所包含的图像的特征量的数据从客户端计算机1发送至接单服务器5。表示特征量的数据可以在客户端计算机1中进行检测，也可以在客户端计算机1以外的其他装置中进行检测。

若在接单服务器5的通信装置31(第1图像组接收单元)中接收从客户端计算机1发送的表示第1图像组的数据(或表示第1图像组的特征的数据)(图5步骤S51)，则通过接单服务器5的CPU30(图像组检索单元)从由存储于接单数据库6的布局信息表及模板信息表构成的多个参考图像组的相册信息中检索与第1图像组相似的第2图像组的相册信息(图5步骤S52)。当在接单数据库6中存储有多个参考图像组本身时，也可以检索第2图像组其本身，而不是检索第2图像组的信息。当检索第2图像组其本身时，也读取识别第2图像组中所包含的多个图像中已使用于相册的图像的选择信息。

“图像组相似”是指，两个图像组中所包含的图像彼此相似。“检索与第1图像组相似的第2图像组”是指，“从多个图像组将包含与第1图像组中所包含的多个图像相似的多个图像的图像组作为第2图像组来查找”。

以如下方式检索关于与第1图像组相似的第2图像组的相册信息。

图7示出了通过第1阶段的分类而第1图像组中所包含的多个图像分类为多个组的情况。

在图7中，横轴表示第1特征量，纵轴表示第2特征量，示出了根据两个特征量而多个图像分类为多个组的情况，当然，特征量不仅可以使用两个，也可以使用三个以上是不言而喻的。在图7中，分类对象的多个图像通过CPU30分为组G1至组G100这100个组。例如，利用k-means法(k均值聚类算法)来实现该分组。在组G1至组G100的各组中包含图像。当然，即便没有实际的图像，但只要从图像的特征量分组出所对应的图像(识别图像的数据)即可。

图8示出了分类为组G1至组G100的多个组的情况。

接着，通过CPU30判断组彼此的相似度是否为阈值以内，对阈值以内的组，组彼此被汇集。关于组彼此的相似度，例如按组G1至组G100的每个组求出图7所示的特征量空间上的重心，并且利用这些重心的相似度即可。

例如，若组G1与组G2的相似度(组G1的重心与组G2的重心的相似度)为阈值以内，则这些组G1及组G2被汇集而生成新的组G101。当将组G1及组G2视为小组时，在小组彼此的相似度为阈值(第2阈值)以上的情况下，相当于汇集小组彼此。相同地，若组G3与组G4的相似度为阈值以内，则这些组G3及组G4被汇集而生成新的组G102。相同地，组G97及组G98被汇集而生成新的组G149，组G99及组G100被汇集而生成新的组G150。关于新生成的组，若组彼此的相似度为阈值以内，则被汇集。例如，组G101及组G149被汇集而生成新的组G201。

若没有组彼此的相似度为阈值以内的组，则如图9所示，第1图像组中所包含的图像按相似的图像分为小组的集合(第2小组的集合)。

与图7相同地，图9示出了以横轴为第1特征量、纵轴为第2特征量来规定的特征量空间。

在该特征量空间中，第1图像组中所包含的图像分为组G301至组G307这7个小组。并且，在组G301至组G307的各小组中，通过CPU30计算重心C301至C307。

相同地，对存储于接单数据库6的多个参考图像组的特征量进行参考图7及图8进行说明的处理，如图10所示，参考图像组的每一个按参考图像组中所包含的图像的特征量相似的图像分为小组的集合(第1小组的集合)。

与图9相同地，图10示出了以横轴为第1特征量、纵轴为第2特征量来规定的特征量空间。

在该特征量空间中，参考图像组中所包含的图像的特征量分为组G401至G408这8个小组。在组G401至组G408中，也计算重心C401至重心C408。

对存储于接单数据库6的多个参考图像组的各参考图像组，生成如图10所示的图像的特征量的分布。

对所有多个参考图像组的各参考图像组，计算如图9所示的对第1图像组生成的组G301至组G307的重心C301至重心C307各自与如图10所示的对参考图像组生成的组G401至组G408的重心C401至重心C408各自的特征量空间上的距离之和(第1小组与第2小组的一致度)。这些距离之和成为阈值以下(第1小组与第2小组的一致度相当于阈值以上)的参考图像组作为与第1图像组相似的第2图像组而由CPU30(图像组检索单元)检索。

若从多个参考图像组中检索到第2图像组，则从检索到的第2图像组提取的一部分图像被CPU30发现，并且通过CPU30(第2图像提取单元)从第1图像组中所包含的图像中提取与所提取的一部分图像相似的图像(图5步骤S53)。参考存储于接单数据库6的布局信息表及模板信息表的组中存储于与第2图像组对应的布局信息表中的选择信息便可知道从第2图像组提取了哪一图像。如上所述，是提取了选择信息成为“Y”的图像的图像。

图11示出了由从第2图像组提取的图像生成的相册的一部分页面。

相册的一部分页面利用了模板70。在该模板70中规定有在左上方、左下方及右边分别粘贴图像的区域71、72及73。在这些区域71、72及73中粘贴有图像I11、I12及I13。从与第2图像组对应的布局信息表及模板信息表可知关于页面70的信息(在哪一区域粘贴有哪一图像等信息)。

通过CPU30从第1图像组提取的图像配置于相册(图5步骤S54)。图像根据和与第1图像组相似的第2图像组对应的模板信息表及布局信息表中所包含的相册信息配置于相册。

图12示出了从第1图像组提取的图像配置于相册的情况。

假设作为分别与从第2图像组提取的图像I11、I12及I13相似的图像，从第1图像组提取了图像I21、I22及I23。并且，可找到与粘贴有从第2图像组提取的图像I11、I12及I13的模板70相同的模板。

与第2图像组的图像I11相似的第1图像组的图像I21配置于配置有图像I11的区域71。与第2图像组的图像I12相似的第1图像组的图像I22配置于配置有图像I12的区域72。相同地，与第2图像组的图像I13相似的第1图像组的图像I23配置于配置有图像I13的区域73。

图13示出了由从第1图像组提取的图像生成的相册的一部分页面。

图13所示的相册的一部分页面为参考由从图11所示的第2图像组提取的图像生成的相册的一部分页面而以成为相似相册的方式生成的页面。

比较图11与图13可知，相似的图像彼此以相同的布局构成相册。

如此，根据存储于与第2图像组对应的模板信息表的模板ID，确定相册的模板，且从第1图像组提取的图像按照粘贴有从第2图像组提取的图像的页面、位置及大小而配置于相册。因此，能够由第1图像组自动生成和由与第1图像组相似的第2图像组生成的相册相似的相册。

若生成相册，则进行配置于所生成的相册的图像的配置部位的修正及图像的变更等处理，但关于该处理，将在后面详细叙述。

若由第1图像组生成相册，则生成关于该第1图像组的布局信息表及模板信息表，所生成的布局信息表及模板信息表通过接单服务器5的CPU30存储于接单数据库6(图5步骤S55)。

接着，表示相册的相册数据从接单服务器5发送至客户端计算机1(图6步骤S56)。

若在客户端计算机1中接收相册数据(图6步骤S42)，则在接单服务器5中生成的相册显示于客户端计算机1的显示装置11的显示画面(图6步骤S43)。

客户端计算机1的用户确认所显示的相册后，若认为需要修正相册，则亲自修正相册。例如，根据需要进行配置于相册的图像的替换、图像的配置位置的变更、图像大小的变更及模板的变更等。当修正了相册时(图6步骤S44中“是”)，表示所修正的内容的修正数据从客户端计算机1发送至接单服务器5(图6步骤S45)。也可以不发送修正数据而将修正后的相册数据发送至接单服务器5。

若在接单服务器5中接收从客户端计算机1发送的修正数据(图6步骤S57中“是”)，则根据所接收的修正数据更新第2图像组的布局信息表及模板信息表的内容(图6步骤S58)。

若由客户端计算机1的用户按下订单按钮(图6步骤S46中“是”)，则订单指令从客户端计算机1发送至接单服务器5(图6步骤S47)。

若在接单服务器5中接收从客户端计算机1发送的订单指令(图6步骤S59中“是”)，则进行接单处理。使用存储于接单数据库6的布局信息表及模板信息表中与第2图像组对应的布局信息表及模板信息表来生成相册。当在接单服务器5中存储有相册数据时，也可以使用相册数据来生成相册。

图14是表示图像配置处理顺序(图5步骤S54的处理顺序)的流程图。图14所示的处理顺序使配置于所生成的相册的图像的拍摄日期时间成为时间顺序。

如参考图11至图13进行的说明，以与从多个参考图像组检索到的第2图像组的相册相似的方式配置(临时配置)第1图像组中所包含的图像(步骤S81)。

图15示出了由第1图像组中所包含的图像生成的相册的一部分。

在图15的左侧示出了构成相册的一部分的第1页的页面图像P1、第2页的页面图像P2及第3页的页面图像P3。在页面图像P1中，在左上方、左下方及右边分别配置有图像I31、图像I32及图像I33。图像I31拍摄于2018年5月13日10时53分，图像I32拍摄于2018年5月12日11时34分，图像I33拍摄于2018年5月13日13时02分。在页面图像P2中，在左边、右上方及右下方分别配置有图像I34、图像I35及图像I36。图像I34拍摄于2018年5月12日7时33分，图像I35拍摄于2018年5月16日10时28分，图像I36拍摄于2018年5月16日12时38分。在页面图像P3中，在左上方、左下方及右边分别配置有图像I37、图像I38的及图像I39。图像I37拍摄于2018年5月13日13时04分，图像I38拍摄于2018年5月14日12时26分，图像I39拍摄于2018年5月16日16时57分。在该阶段，相册内的图像的配置的顺序与图像的拍摄日期时间的顺序并不一定一致。因此，当有用户要求时，接着进行以下顺序。

首先，读取配置于各页面的图像的拍摄日期时间中的中间拍摄日期时间(中间拍摄日期时间为配置于各页面的图像的拍摄日期时间的中间值、平均值及中央值等中任一个均可。)。在第1页的页面图像P1中所包含的图像I31、图像I32及图像I33中，图像I31拍摄于2018年5月13日10时53分，图像I32拍摄于2018年5月12日11时34分，图像I33拍摄于2018年5月13日13时02分，因此中间拍摄日期时间为图像I31的2018年5月13日10时53分，该拍摄日期时间由CPU30读取(请求)(步骤S82)。相同地，在第2页的页面图像P2中所包含的图像I34、图像I35及图像I36中，图像I34拍摄于2018年5月12日7时33分，图像I35拍摄于2018年5月16日10时28分，图像I36拍摄于2018年5月16日12时38分，因此中间拍摄日期时间为图像I35的2018年5月16日10时28分，该拍摄日期时间由CPU30读取。而且，在第3页的页面图像P3中所包含的图像I37、图像I38的及图像I39中，图像I37拍摄于2018年5月13日13时04分，图像I38拍摄于2018年5月14日12时26分，图像I39拍摄于2018年5月16日16时57分，因此中间拍摄日期时间为图像I38的2018年5月14日12时26分，该拍摄日期时间由CPU30读取。

如图15的右侧所示，以使所读取的中间拍摄日期时间成为时间顺序的方式，通过CPU30(排序单元)对页面图像P1、P2及P3进行排序(步骤S83)。第1页没有排序变化，第2页从页面图像P2排序成P3，第3页从页面图像P3排序成P2。如此，若以页面单位观察，则成为时间顺序，因此作为相册，能够以更自然的顺序来配置图像。但是，在该阶段，存在某一页面的某一照片的拍摄日期时间晚于下一页面的照片群的中间拍摄日期时间等的可能性。因此，当有用户要求时，接着进行以下顺序。

接着，以使配置于相册的一页面的图像的拍摄日期时间早于配置于下一页面的图像各自的拍摄日期时间的中间拍摄日期时间的方式，配置于一页面的图像通过CPU30(第1图像替换单元)替换为其他图像(步骤S84)。

如图15的右侧所示，设成第1页的页面图像P1中所包含的图像I31拍摄于2018年5月13日10时53分，图像I32拍摄于2018年5月12日11时34分，图像I33拍摄于2018年5月13日13时02分，均早于下一页面即第2页的页面图像P3中所包含的图像各自的拍摄日期时间的中间拍摄日期时间即2018年5月14日12时26分，因此不进行第1页的图像P1中所包含的图像I31、I32及I33的替换。

设成第2页的页面图像P3中所包含的图像I37拍摄于2018年5月13日13时04分，图像I38拍摄于2018年5月14日12时26分，图像I39拍摄于2018年5月16日16时57分，包含拍摄日期时间晚于下一页面即第3页的页面图像P2中所包含的图像各自的拍摄日期时间的中间拍摄日期时间即2018年5月16日10时28分的图像I39。因此，图像I39的拍摄日期时间早于下一页面的页面图像P2中所包含的图像各自的拍摄日期时间的中间拍摄日期时间即2018年5月16日10时28分，且替换为与图像I39相似的图像。

而且，以使配置于相册的一页面的图像的拍摄日期时间晚于配置于上一页面的图像各自的拍摄日期时间的中间拍摄日期时间的方式，配置于一页面的图像通过CPU30(第2图像替换单元)替换为其他图像(步骤S85)。

参考在图15的右侧示出的页面图像P1、P2及P3，设成第2页的页面图像P3(一页面)中所包含的图像I37拍摄于2018年5月13日13时04分，图像I38拍摄于2018年5月14日12时26分，图像I39拍摄于2018年5月16日16时57分，晚于上一页面即第1页的页面图像P1中所包含的图像I31、I32及I33的中间拍摄日期时间即2018年5月13日13时02分，因此不会替换与设成第2页的页面图像P3的图像。

设成第3页的页面图像P2(一页面)中所包含的图像I34拍摄于2018年5月12日7时33分，图像I35拍摄于2018年5月16日10时28分，图像I36拍摄于2018年5月16日12时38分，包含拍摄日期时间早于上一页面即第2页的页面图像P3中所包含的图像I37、I38及I39的中间拍摄日期时间即2018年5月14日12时36分的图像I34。因此，图像I34的拍摄日期时间晚于上一页面的页面图像P3中所包含的图像各自的拍摄日期时间的中间拍摄日期时间即2018年5月14日12时36分，且替换为与图像I34相似的图像。

在图16的左侧示出了第1页的页面图像P1、第2页的页面图像P3及第3页的页面图像P2。示于图16的左侧的页面图像P1、P3及P2中所包含的图像I31至I39及其配置与示于图15的右侧的页面图像P1、P3及P2中所包含的图像I31至I39及其配置相同，但为了使用户便于理解被替换的图像I39及I34而对这些图像I39及I34标注了阴影线。也可以不标注阴影线，而使被替换的图像I39及I34比其他图像更暗或更亮，以便能够与其他图像区别。但是，无需将被替换的图像I39及I34一定要设成能够与其他图像区别的方式。

如图16的右侧所示，通过执行步骤S84及步骤S85，第2页的页面图像P3中所包含的图像I39替换为拍摄日期时间为2018年5月14日16时57分的图像I40，第3页的页面图像P2中所包含的图像I34替换为拍摄日期时间为2018年5月14日14时33分的图像I41。由此，变得配置于相册的一页面的图像的拍摄日期时间晚于配置于上一页面的图像各自的拍摄日期时间的中间拍摄日期时间，且变得配置于相册的一页面的图像的拍摄日期时间早于配置于下一页面的图像各自的拍摄日期时间的中间拍摄日期时间。因此，在该阶段，存在某一页面的某一图像晚于配置于下一页的图像的最初的拍摄日期时间等的可能性。因此，当有用户要求时，接着执行下述步骤。

以使配置于相册的一页面的图像的拍摄日期时间早于配置于下一页面的图像的最初的拍摄日期时间的方式，配置于一页面的图像通过CPU30(第3图像替换单元)替换为其他图像(步骤S86)。

如图16的右侧所示，设成第1页的页面图像P1(一页面)中所包含的图像I31拍摄于2018年5月13日10时53分，图像I32拍摄于2018年5月12日11时34分，图像I33拍摄于2018年5月13日13时02分，拍摄的日期时间早于配置于下一页面即第2页的页面图像P3的图像I37、I38及I39的最初的拍摄日期时间即2018年5月13日13时04分。因此，页面图像P1中所包含的图像I31、I32及I33不会被替换。

设成第2页的页面图像P3(一页面)中所包含的图像I37拍摄于2018年5月13日13时04分，图像I38拍摄于2018年5月14日12时26分，图像I42拍摄于2018年5月14日13时57分，图像I40的拍摄日期时间晚于配置于下一页面即页面图像P2的图像I41、I35及I36的最初的拍摄日期时间即2018年5月14日14时33分。因此，页面图像P3中所包含的图像I40拍摄于晚于配置于下一页面即页面图像P2的图像I41、I35及I36的最初的拍摄日期时间即2018年5月14日14时33分的拍摄日期时间，且替换为与图像I40(或图像I39)相似的图像。

图17的左侧的页面图像P1、P3及P2中所包含的图像I31-I33、I35-I37、I41及I42与显示于图16的右侧的页面图像P1、P3及P2中所包含的图像I31-I33、I35-I37、I41及I42相同，其配置也相同。但是，关于被替换的图像I40，为了使用户便于理解对图像I40标有阴影线。

如图17的右侧所示，页面图像P3的图像I40拍摄于晚于配置于下一页面即页面图像P2的图像I41、I35及I36的最初的拍摄日期时间即2018年5月14日14时33分的拍摄日期时间，且替换为与图像I40相似的图像I42。图像I42的拍摄日期时间为2018年5月14日13时57分，拍摄于晚于配置于页面图像P2的图像I41、I35及I36的最初的拍摄日期时间即2018年5月14日14时33的拍摄日期时间。

接着，以使配置于相册的一页面的图像的拍摄日期时间晚于配置于上一页面的图像的最后的拍摄日期时间的方式，配置于一页面的图像通过CPU30(第4图像替换单元)替换为其他图像(步骤S87)。

如图17的右侧所示，设成第2页的页面图像P3(一页面)中所包含的图像I37拍摄于2018年5月13日13时04分，图像I38拍摄于2018年5月14日12时26分，图像I42拍摄于2018年5月14日13时57分，拍摄的日期时间晚于配置于上一页面即第1页的页面图像P1的图像I31、I32及I33的最后的拍摄日期时间即2018年5月13日13时02分。因此，页面图像P3中所包含的图像I37、I38及I42不会被替换。

设成第3页的页面图像P2(一页面)中所包含的图像I41拍摄于2018年5月14日14时33分，图像I35拍摄于2018年5月16日10时28分，图像I36拍摄于2018年5月16日12时38分，拍摄的日期时间晚于配置于上一页面即页面图像P3的图像I37、I38及I42的最后的拍摄日期时间即2018年5月14日13时57分。因此，页面图像P2中所包含的图像I41、I35及I36也不会被替换。

如此，通过执行步骤S87为止的步骤，能够使配置于相册的图像的拍摄日期时间成为时间顺序。即，能够比根据相册的布局信息的图像的配置更优先相册的页面顺序及图像的拍摄日期时间的时序的一致而配置所提取的图像。

在上述处理中，分开进行步骤S84的处理及步骤S85的处理，但也可以以使配置于相册的一页面的图像的拍摄日期时间晚于配置于上一页面的图像各自的拍摄日期时间的中间拍摄日期时间且早于配置于一页面的下一页面的图像各自的拍摄日期时间的中间拍摄日期时间的方式，作为一个处理替换配置于一页面的图像。

并且，也可以不分开进行步骤S86的处理及步骤S87的处理，而以使配置于相册的一页面的图像的拍摄日期时间晚于配置于上一页面的图像的最后的拍摄日期时间且早于配置于一页面的下一页面的图像的最初的拍摄日期时间的方式，作为一个处理替换配置于一页面的图像。

而且，在上述实施例中，在相册的一个页面内未按照图像的拍摄日期时间的时序来配置图像，但也可以在相册的一个页面内，优先图像的拍摄日期时间的时序的一致而配置从第2图像组提取的图像。在该情况下，成为按每个页面预先确定粘贴页面内所形成的图像的区域的位置及摄像日期时间的时序的顺序，并且按照所确定的顺序配置所提取的图像。

而且，在上述实施例中，也可以比相册的页面顺序与图像的拍摄日期时间的时序的一致更优先根据相册的布局信息的图像的配置而将从第2图像组提取的图像配置于相册。在该情况下，如上所述，结束在临时配置的状态下图像向相册的配置，且不进行参考图14至图17进行说明的处理即可。

并且，关于相册的一个页面内的图像的配置，当比图像的拍摄日期时间的时序的一致更优先根据相册的布局信息的图像的配置而将在第2图像组中提取的图像配置于相册时，进行参考图14至图17进行说明的处理即可。

根据第1实施例，能够通过过去的布局中适合于用户的图像的布局生成相册。

[第2实施例]

图18及图19是表示图像处理系统的处理顺序的流程图，示出了接单服务器5及客户端计算机1-n中的任一个客户端计算机的处理顺序。在第2实施例中，也假设在客户端计算机1与接单服务器5(在第2实施例中，客户端计算机1为图像处理装置的一例)之间进行通信。

在第2实施例中由客户端计算机1进行在第1实施例中由接单服务器5进行的图像向相册的配置(图5步骤S14的处理)。

如上所述，在与接单服务器5连接的接单数据库6中存储有表示多个参考图像组的特征量的m个布局信息表及m个模板信息表，这些多个参考图像组的特征量从接单服务器5发送至客户端计算机1(图18步骤S91)。

若在客户端计算机1的通信装置12中接收从接单服务器5发送的多个参考图像组的特征量(图18步骤S101)，则所接收的特征量临时存储于存储器15。

在存储卡21中存储有包含用于生成相册的多个图像的第1图像组，通过存储卡读卡器20(第1图像组接收单元)读取存储于存储卡21的第1图像组。

通过CPU10(图像组检索单元)从多个参考图像组的特征量中检索与所读取的第1图像组相似的第2图像组的特征量(图18步骤S102)。在图18步骤S102的处理中，在客户端计算机1中进行与图5步骤S52的处理相同的处理。实质上成为从多个参考图像组中检索第2图像组。在多个参考图像组的特征量中包含布局信息表，在该布局信息表中包含表示从参考图像组中是否作为使用于相册的图像来选择的选择信息，因此参考图像组可以说具有从参考图像组提取的一部分图像的信息。

接着，通过客户端计算机1的CPU10(图像提取单元)从第1图像组提取与从第2图像组提取的一部分图像(例如，图11中的图像I11、I12及I13)相似的图像(例如，图12中的图像I21、I22及I23)(图18步骤S103)。在图18步骤S103的处理中，如上所述，在客户端计算机1中进行与图5步骤53的处理相同的处理。

如图13所示，从第1图像组提取的图像以与第2图像组的布局相同的布局配置于相册(图18步骤S104)。在图18步骤S104的处理中，如上所述，在客户端计算机1中进行与图5步骤S54的处理相同的处理。

在客户端计算机1的显示装置11的显示画面显示配置有从第1图像组提取的图像的相册的内容，用户确认该内容。确认的结果，若需要修正相册的内容(图19步骤S105中“是”)，则由用户进行修正(图19步骤S106)。

若由客户端计算机1的用户按下订单按钮(图19步骤S107中“是”)，则订单指令及相册数据从客户端计算机1发送至接单服务器5(图19步骤S108)。如上所述，相册数据是为了生成相册而所需的数据。根据相册数据，能够生成从第1图像组提取的图像配置于各页面的相册。

若在接单服务器5中接收从客户端计算机1发送的订单指令及相册数据(图19步骤S92中“是”)，则通过接单服务器5的CPU30分析所接收的相册数据，获得布局信息及模板信息。由所获得的布局信息及模板信息重新生成布局信息表及模板信息表，并且存储于接单数据库6(图19步骤S93)。由所接收的相册数据生成相册而进行接单处理(图19步骤S94)。

在第2实施例中，根据过去的布局中适合于用户的图像的布局，能够在客户端计算机1中生成相册。

在第2实施例中，在客户端计算机1(图像处理装置)中输入第1图像组(客户端计算机1具备第1图像组输入单元)，在接单服务器5(图像组检索服务器)中从多个参考图像组中检索与第1图像组相似的第2图像组，且通过CPU10(图像提取单元)从第1图像组中提取与从第2图像组提取的一部分图像相似的图像。然而，在接单服务器5中，也可以从第1图像组中提取与从第2图像组提取的一部分图像相似的图像。在该情况下，将第2图像组的识别数据发送至接单服务器5，并根据存储于布局信息表及模板信息表中的信息，通过接单服务器5的CPU30(图像提取单元)从第1图像组中提取与从第2图像组提取的一部分图像相似的图像。

[第3实施例]

在第3实施例中，也与第1实施例相同地，利用多个客户端计算机1-n与接单服务器5经由互联网进行通信的图像处理系统。在第3实施例中，对制作结婚仪式的相册的实施例进行说明，但可以是制作结婚仪式以外的活动等的相册的方式，也能够适用于相册以外的例如在一张纸张粘贴多个图像的方式中。只要是从图像组(第1图像组Pg)中提取多个图像的方式，则能够适用于任何方式。

图20及图21是表示图像处理系统的处理顺序的流程图，示出了接单服务器5及客户端计算机1的处理顺序。也能够使用客户端计算机1-n中客户端计算机1以外的任一个客户端计算机。在该实施例中，客户端计算机1与接单服务器5(在第3实施例中，接单服务器5为图像处理装置的一例)之间进行通信。在图21中，对与图6所示的处理相同的处理标注相同的符号，并省略说明。

在存储卡21(也可以是其他记录介质)中形成有多个图像文件夹，在该多个图像文件夹中分别存储有多个图像。由用户指定存储有使用于相册的图像的图像文件夹。用户可以是举行了结婚仪式的新郎新娘其本人，也可以是如相册制作商等经营商。存储于所指定的图像文件夹中的多个图像作为第1图像组Pg从存储卡读卡器20(是第1图像组输入单元的一例)被输入(步骤S110)，且由客户端计算机1读取。表示第1图像组Pg中所包含的多个图像的数据通过客户端计算机1的通信装置12发送至接单服务器5(第1图像组Pg的发送)(步骤S111)。

若在接单服务器5的通信装置31(是第1图像组输入单元的一例)中接收从客户端计算机1的通信装置12发送的表示多个图像的数据(第1图像组Pg的接收)(步骤S121)，则从接单数据库6中检测与第1图像组Pg相似的参考图像组(步骤S122)。

图22示出了存储于接单数据库6的多个参考图像组的情况。

在接单数据库6中存储有参考图像组Irg1至Irg9这9个参考图像组(可以存储有少于9个的参考图像组，也可以存储有多于9个的参考图像组)。参考图像组可以是以前从用户接收相册的订单时存储的图像的集合，也可以是使用样品图像来制作相册时的图像的集合。

在参考图像组Irg1中包含多个图像Ir100至Ir200，在这些图像Ir100至Ir200中提取图像Ir100至图像Ir130而制作相册。将从参考图像组Irg1提取的图像Ir100至图像Ir130称为参考图像。相同地，在参考图像组Irg2中包含多个图像Ir201至Ir300，在这些图像Ir201至Ir300中提取图像Ir201至图像Ir230作为参考图像而制作相册。关于其他参考图像组也相同。在该实施例中，假设参考图像组Irg1作为与第1图像组Pg相似的参考图像组被检测到。通过对第1实施例进行说明的方法能够实现相似的参考图像组的检测。将多个参考图像组中所包含的图像(不仅是参考图像，而且是参考图像组中所包含的图像)分布于根据如图7、图9、图10等所示那样的特征量合并的空间上，且将第1图像组Pg中所包含的图像分布于坐标上，参考图像组中所包含的图像与第1图像组Pg中所包含的图像之间的空间上的距离越短图像组彼此的相似度越变大，其相似度成为阈值以上的参考图像组成为与第1图像组Pg相似的参考图像组。阈值可以是预先设定的，也可以以直至获得与第1图像组Pg最相似的参考图像组的方式改变。

图23示出了参考相册Ab1的各页面。

在参考相册Ab1的模板T1中粘贴有参考图像Ir100至Ir130。参考相册Ab1为第1页至第6页。如图24所示，在第1页规定有图像粘贴区域Ar1至Ar5，在这些图像粘贴区域Ar1至Ar5中粘贴有参考图像Ir100至Ir104。

参考图23，在第2页粘贴有参考图像Ir105至Ir109，在第6页粘贴有参考图像Ir126至Ir130。其他页面也相同。

若检测到与第1图像组Pg相似的参考图像组Irg1，则通过接单服务器5的CPU30(是提取单元的一例)从第1图像组Pg提取与检测到的参考图像组Ir100至Ir130相似的图像(相似度为阈值以上的图像)(步骤S123)。阈值可以是预先设定的，也可以以直至获得最相似的图像的方式变更。

图25是第1图像组Pg中所包含的图像的一例。

在第1图像组Pg中包含图像P11至图像P100这90张图像。

图26示出了参考图像Ir100至Ir104及与这些参考图像Ir100至Ir104相似的图像P11至P15。

如上所述，参考图像Ir100至Ir104包含于参考图像组Irg1，图像P11至P15包含于第1图像组Pg。作为与粘贴于参考相册Ab1的第1页的参考图像Ir100、Ir101、Ir102、Ir103及Ir104相似的图像从第1图像组Pg分别提取图像P11、P12、P13、P14及P15。关于作为与参考图像相似的图像而从第1图像组Pg提取的图像相对于1张参考图像可以是1张，也可以是多张。当与1张参考图像对应地从第1图像组Pg提取1张图像图像时，从第1图像组Pg提取相对于该1张参考图像的相似度最高的图像即可，但并不一定是这种方式。对相册的图像粘贴区域进行粘贴时确定1张图像即可。

关于粘贴于参考相册Ab1的第1页以外的页面的参考图像Ir105至Ir130，也相同地从第1图像组Pg提取图像。

图27示出了从第1图像组Pg提取的图像粘贴于参考相册Ab1的情况。

关于参考相册Ab1的第1页，作为分别与参考图像Ir100、Ir101、Ir102、Ir103及Ir104相似的图像从第1图像组Pg提取有图像P11、P12、P13、P14及P15。在粘贴有参考图像Ir100、Ir101、Ir102、Ir103及Ir104的图像粘贴区域Ar1、Ar2、A3、Ar4及Ar5各自的位置上通过接单服务器5的CPU30(图像粘贴单元的一例)粘贴图像P11、P12、P13、P14及P15。

图28示出了相册的第1页。

在图28中，与图24所示的参考相册Ab1相同地，在图像粘贴区域Ar1至Ar5分别粘贴有图像P1至P5。比较图24与图28可知，可获得与参考相册Ab1的第1页的印象相同的印象的相册。

返回图27，作为与粘贴于参考相册Ab1的第2页的参考图像Ir105、Ir106、Ir107、Ir108及Ir109相似的图像，从第1图像组Pg提取图像P16、P17、P18、P19及P20。在粘贴有参考图像Ir105、Ir106、Ir107、Ir108及Ir109的图像粘贴区域的各位置上粘贴图像P16、P17、P18、P19及P20。对其他页面也进行相同的处理，并且作为与粘贴于参考相册Ab1的最后的第6页的参考图像Ir126、Ir127、Ir128、Ir129及Ir130相似的图像，从第1图像组Pg提取图像P26、P27、P28、P29及P30。在粘贴有参考图像Ir126、Ir127、Ir128、Ir129及Ir130的图像粘贴区域的各位置上粘贴图像P36、P37、P38、P39及P40。

如此，在与粘贴有参考图像Ir101至Ir130的模板T1相同的模板T1上粘贴所提取的图像P11至P40(图20步骤S124)。尤其在粘贴有参考图像的图像粘贴区域的位置上粘贴与该参考图像相似的图像，因此粘贴有所提取的图像P1至P30的相册成为具有与粘贴有参考图像Ir101至Ir130的参考相册Ab1相似的结构的相册。

如此，若生成相册(电子相册)，则表示所生成的相册的相册数据从接单服务器5发送至客户端计算机1(图21步骤S56)。

若在客户端计算机1中接收相册数据(步骤S42)，则显示所生成的相册(步骤S43)。若修正相册(步骤S44)，则修正数据从客户端计算机1发送至接单服务器5(步骤S45)。

若在接单服务器5中接收修正数据(步骤S57中“是”)，则进行相册数据的修正(步骤S58A)。

若在客户端计算机1中按下订单按钮(步骤S46中“是”)，则订单指令从客户端计算机1发送至接单服务器5(步骤S47)。

若在接单服务器5中接收从客户端计算机1发送的订单指令(步骤S59中“是”)，则进行接单处理(步骤S60)。

能够从第1图像组Pg提取与从参考图像组提取的参考图像相似的图像，并且能够使用第1图像组Pg中所包含的图像而较简单地制作持有与参考相册Ab1相同的印象的相册。

[变形例]

图29是表示图像处理系统的处理顺序的流程图的一部分，与图20的处理顺序对应。在图29中，对与图20的处理相同的处理的一部分标注了相同的符号。

如上所述，若对客户端计算机1输入第1图像组Pg(步骤S131)，则用户指定使用于相册的模板(步骤S132)。例如，若启动相册制作程序而输入第1图像组Pg，则在客户端计算机1的显示装置11的显示画面显示模板指定窗(省略图示)。在该模板指定窗中显示多个模板的图像(表示模板内容的图像)，对所期望的模板的图像用鼠标17(模板指定单元)进行选择。于是，模板被选择。

接着，用户指定相册的主人公(步骤S133)。

图30为主人公指定窗140的一例。

若第1图像组Pg输入于客户端计算机1，则通过客户端计算机1的CPU10，从第1图像组Pg中所包含的多个图像进行脸部检测处理，并且检测以一定频度以上的比例来出现的脸部图像。在主人公指定窗140中显示有检测到的脸部图像F1至F8。并且，在主人公指定窗140的右下方还形成有显示有“确定”这一文字的确定按钮141。不仅显示以一定频度以上的比例来出现的脸部图像，还可以将脸部检测处理中检测到的所有脸部图像显示于主人公指定窗140。若在脸部图像F1至F8中用鼠标17点击用户欲设为主人公的脸部图像并按下确定按钮141，则所点击的脸部图像的人物被设为主人公。主人公既可以是一个人也可以是两个人以上。

本实施例为与结婚仪式的相册相关的实施例，因此如图30所示，设置有作为主人公用于指定新郎的脸部的区域R1及用于指定新娘的脸部的区域R2。用户在确定新郎时，将在脸部图像F1至F8(当存在其他脸部图像时，通过滚动来显示其他脸部图像)中作为新郎来确定的脸部图像拖放到区域R1。用户在确定新娘时，将在脸部图像F1至F8中作为新娘来确定的脸部图像拖放到区域R2。由此，能够确定新郎及新娘。另外，也可以预先显示通过人物识别(多次出现的人物)或对象识别(新郎新娘平常穿着的衣装等)推断为新郎及新娘的人物的脸部图像。

在本实施例中，作为新郎来确定的人物及作为新娘来确定的人作为分别担负新郎及新娘这一身份(角色)的人物来区别。在后述的说明中，假设在提到主人公的情况下，当制作结婚仪式的相册时，对比样本中的新郎与第1图像组Pg中的新郎，相同地，对比样本中的新娘与第1图像组Pg中的新娘。

若指定了主人公，则输入于客户端计算机1的第1图像组Pg、所指定的模板的识别数据及表示主人公的数据(脸部图像数据)从客户端计算机1发送至接单服务器5(步骤S134)。

若在接单服务器5中接收从客户端计算机1发送的第1图像组Pg、所指定的模板的识别数据及表示主人公的数据(脸部图像数据)(步骤S135)，则从存储于接单数据库6的参考图像组中包含粘贴于所指定的模板上的参考图像的参考图像组中，通过接单服务器5的CPU30(是参考图像组检测单元的一例)检测与第1图像组相似的参考图像组(步骤S136)。例如，如上所述，即便第1图像组Pg与参考图像组Irg1相似(即便相似度为阈值以上)，当使用参考图像组Irg1中所包含的参考图像来生成的参考相册Ab1未使用所指定的模板时，该参考图像组Irg1不会作为与第1图像组Pg相似的参考图像组而提取。

若提取参考图像组，则如上所述，从第1图像组Pg提取与所提取的参考图像组中所包含的参考图像相似的图像(步骤S123)(关于相似的图像的提取处理，将在后面叙述)，在与粘贴有参考图像的模板(所指定的模板)相同的模板上粘贴所提取的图像(步骤S124)而生成相册。

图31示出了结婚仪式的流程与在该结婚仪式中拍摄粘贴于参考相册Ab1的各页面的参考图像Ir100至Ir130的定时之间的关系。

例如，在时刻t0开始结婚仪式，在时刻t1之前的期间，新郎、新娘入场。在从时刻t1至时刻t2的期间，进行新郎、新娘的介绍，从时刻t2至时刻t3的期间，进行对主宾的致意。从时刻t3至时刻t4的期间，进行干杯，从时刻t4至时刻t5的期间，进行切结婚蛋糕仪式，从时刻t5至时刻t6的期间，进行畅谈及进餐。从时刻t6至时刻t7的期间，进行客人的余兴表演，从时刻t7至时刻t8的期间，进行向父母的献花仪式，从时刻t8至时刻t9的期间，进行新郎、新娘的谢辞。如此，在结婚仪式等活动中，已确定有大体的流程，也确定有在各时间段拍摄的对象。

按照活动中的流程的内容的参考图像粘贴于参考相册。例如，在参考相册Ab1的第1页粘贴有从时刻t0至时刻t1的期间进行的与“新郎新娘入场”对应的参考图像及与“新郎新娘介绍”对应的参考图像(Ir101至Ir105)。相同地，在参考相册Ab1的第2页粘贴有与“对主宾的致意”对应的参考图像、与“干杯”对应的参考图像(Ir106至Ir110)及与“切结婚蛋糕仪式”对应的参考图像。在参考相册Ab1的第3页至第4页粘贴有与“畅谈及进餐”对应的参考图像，在参考相册的第5页粘贴有与“客人的余兴表演”对应的参考图像，以及在参考相册Ab1的第6页粘贴有与“献花”对应的参考图像及与“谢辞”对应的参考图像(Ir126至Ir130)。

拍摄的时刻记录于图像文件标题，因此参考拍摄时刻，可知图像在哪一拍摄定时被拍摄。在第1图像组Pg中所包含的图像中，关于和与第1图像组Pg相似的参考图像组中所包含的参考图像的拍摄定时相同的拍摄定时的图像，以使相似度变高的方式进行校正，关于和与第1图像组Pg相似的参考图像组中所包含的参考图像的拍摄定时不同的拍摄定时的图像，以使相似度变低的方式进行校正，从而能够使所校正的相似度最高的图像显示于选择图像显示区域90。

并且，若在第1图像组Pg中所包含的图像中只提取与参考图像相似的图像而粘贴于相册的图像粘贴区域，则有时会粘贴不合场景的图像。例如，图21所示的参考图像Ir100至Ir104为第1页的图像，因此是与从时刻t0至时刻t1的“新郎新娘入场”的场景及从时刻t1至时刻t2的“新郎新娘介绍”的场景对应的参考图像。在这种情况下，即便是与参考图像Ir至Ir104相似的图像，若在不是从时刻t0至时刻t2的定时的定时例如从时刻t8至时刻t9的定时拍摄的图像粘贴于第1页，则所生成的相册不会与结婚仪式的流程匹配。因此，在该实施例中，在拍摄与参考图像相似的图像的予想定时下拍摄的图像粘贴于与粘贴有参考图像的图像粘贴区域对应的图像粘贴区域。

如图26所示，即使在判断为参考图像Ir103与图像P4相似的情况下，若为图像P4在时刻t7至时刻t8的定时下拍摄的情况，则参考图像Ir103粘贴于第1页，第1页为粘贴有在从时刻t0至时刻t2的期间拍摄的定时图像的页面，因此图像P4不会粘贴于第1页。例如，粘贴于粘贴在图27所示的第6页的参考图像Ir126至I130中的任一个的图像粘贴区域。

图32是表示相似度计算处理(图29步骤S123中的处理的一部分)的处理顺序的流程图。

对第1图像组中所包含的多个图像的所有图像进行图32所示的相似度计算处理。对第1图像组中所包含的图像与存储于接单数据库6的参考图像的所有组合计算第1图像组中所包含的图像与存储于接单数据库6的参考图像的相似度(步骤S151)。

若拍摄参考图像的予想定时与拍摄第1图像组中所包含的图像的定时一致，则判断为第1图像组中所包含的图像是以予想定时拍摄的图像(步骤S152中“是”)，通过接单服务器5的CPU30(是第1相似度调整单元的一例)提高相似度。相同地，在粘贴于参考相册的参考图像的顺序与图像的拍摄顺序一致的情况下也可以提高相似度。

接着，关于持有与参考图像的脸部的信息相似的信息的图像(步骤S154中“是”)，也通过接单服务器5的CPU30(是第2相似度调整单元的一例)提高相似度。脸部的信息为从脸部获得的信息，是关于脸部的相似度的信息、关于脸部的数量的信息等。例如，当认为在图像中所包含的脸部(认为主要被摄体的脸部)的数量大致相同的情况下，通过接单服务器5的CPU30提高相似度(步骤S155)。并且，当使用参考图像组中所包含的参考图像来生成的参考相册为用户过去生成的相册时，此后有时生成相同的相册。在这种情况下，通过提高与粘贴于过去的相册的参考图像中所包含的脸部的图像相似的图像的相似度，能够生成与过去的相册相同的新的相册。

对第1图像组Pg中所包含的多个图像通过CPU30检测人物的登场次数，关于该登场次数为阈值以上的图像或指定为主人公的人物的图像(步骤S156中“是”)，通过接单服务器5的CPU30(是第3相似度调整单元、第4相似度调整单元的一例)提高相似度(步骤S157)。

如此，已调整的相似度为阈值以上的图像被设为与参考图像相似的图像。相似度被调整，因此能够生成更适当的相册。

在上述实施例中，在推荐图像显示区域101中，根据相似度的高低选择并显示需显示的图像，在时序图像一览显示区域102中，根据时序选择并显示需显示的图像，但也可以采用除此以外的选择方法及显示方法。例如，在推荐图像显示区域101中，根据不考虑拍摄定时的一致度时的相似度的高低选择需显示的图像，但也可以采用在拍摄定时的一致度高于阈值的图像的附近标注表示优选的标记等显示方法。并且，例如，在时序图像一览显示区域102中，根据时序选择需显示的图像这一点与上述实施例没有变化，但也可以采用在显示于样本图像显示区域80的图像及相似度高于阈值的图像附近标注表示优选的标记等显示方法。

在上述实施例中，是制作结婚仪式的相册的方式，但也可以参考样本的相册而制作结婚仪式的相册以外的相册。例如，也可以设为制作汇集了一年间的学校活动的相册。在这种情况下，当将一年前制作的相册作为样本而制作新的相册时，在一年间进行的活动在每年的同一时期举行的情况较多，因此也可以提高在相同的时期拍摄的图像的相似度。

在上述实施例中，在主人公中以不同的身份来区别了新郎与新娘，但也可以根据相册的制作目的，不区别多个主人公而进行处理。即，当在样本的相册中登场的主人公有k人(k为自然数)，并且将第1图像组Pg中的主人公确定为m人(m为自然数)时，能够进行如下处理：对照出k人中的任一个人的图像及照出m人中的任一个人的图像与照出k人中的哪个人及照出m人中的哪个人无关地，作为照出主人公的类似图像而提高相似度。

在上述实施例中，主要在接单服务器5中进行图像提取处理等，但在客户端计算机1中存储有参考图像组时等，也可以在客户端计算机1(成为图像处理装置)中进行上述的接单服务器5的处理。在该情况下，代替客户端计算机1，也能够利用平板终端、智能手机及专用图像处理装置等来构成。

并且，在上述实施例中，使用从第1图像组提取的图像来生成相册，但并不限于生成相册的情况，在1张纸张等图像商品中粘贴多个图像的随机打印及从多个图像中提取图像并且一一打印所提取的图像时等也能够利用。

在执行上述处理的处理部除了执行软件而作为各种处理部发挥功能的客户端计算机1的CPU10及接单服务器5的CPU30以外，还包含如FPGA(field-programmable gatearray：现场可编程门阵列)等制造后能够变更电路结构的可编程逻辑器件、ASIC(application specific integrated circuit：专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电气电路等。

一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA或CPU与FPGA的组合)构成。作为将多个处理部由一个处理器来构成的例子，第1，有如以客户端计算机或服务器等计算机为代表，由一个以上的CPU与软件的组合来构成一个处理器，且该处理器作为多个处理部而发挥功能的方式。第2，有如以片上系统等为代表，使用将包含多个处理部的整个系统的功能由一个IC(integrated circuit/集成电路)芯片来实现的处理器的方式。如此，各种处理部作为硬件结构使用一个以上各种处理器而构成。

而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的电气电路。

符号说明

1-客户端计算机，5-接单服务器，6-接单数据库，10-CPU，11-显示装置，12-通信装置，13-硬盘，14-硬盘驱动器，15-存储器，16-键盘，17-鼠标，18-光盘驱动器，19-光盘，20-存储卡读卡器，21-存储卡，30-CPU，31-通信装置，32-硬盘，33-硬盘驱动器，34-存储器，35-光盘驱动器，36-光盘，37-存储卡读卡器，38-存储卡，70-模板，71-73-区域，140-主人公指定窗，141-确定按钮，C301-重心，C307-重心，C401-重心，C408-重心，G1-G4-小组，G97-G102-组，G149-组，G150-组，G201-组，G301-组，G307-组，G401-组，G408-组，I11-I13-图像，I21-I23-图像，I31-I42-图像，P1-P3-页面图像，Ab1-参考相册，Ar1-Ar5-图像粘贴区域，Ir100-Ir130-参考图像，Ir201-Ir230-参考图像，Ir901-Ir930-参考图像，Ir131-Ir200-图像，Ir231-Ir300、Ir931-Ir1000-图像，Irg1-Irg9-参考图像组，P11-P100-图像，Pg-第1图像组，T1-模板。