掌桥专利:专业的专利平台
掌桥专利
首页

面部认证系统、面部认证管理装置、方法及程序

文献发布时间:2023-06-29 06:30:04


面部认证系统、面部认证管理装置、方法及程序

本申请是申请日为2019年10月25日、申请号为201980090976.3、发明名称为“面部认证系统以及面部认证方法”的申请的分案申请。

技术领域

本公开涉及一种基于拍摄对象者所得到的图像数据来执行面部认证处理的面部认证系统以及面部认证方法。

背景技术

以往以来,作为与面部对照有关的技术,已知如下技术:在第一装置中至少构成特征量提取部件、登记者特征量存储部件以及对照部件,在被保管在相比于第一装置而言安全等级更高的场所的第二装置中构成登记者面部图像存储部件,在第一装置需要利用登记者的面部图像的情况下,与第二装置之间构建数据通信路径,通过该数据通信路径从第二装置获取登记者的面部图像,将登记者的面部图像的数据不保存在非易失性的记录介质中而在工作存储器上利用,即使面部对照系统被盗或遭受攻击,也能够尽可能地保护登记者的面部图像(参照专利文献1)。

现有技术文献

专利文献

专利文献1:日本专利第5353147号公报

发明内容

发明要解决的问题

此外,现有技术是如下技术:将具有摄像部件和所有登记者的面部特征量数据来执行面部对照处理的面部认证机设置在物理空间,在图像服务器等网络空间内管理登记者的面部图像数据。因此,全然没有考虑设置认证服务器的结构,即,全然没有考虑将特征量数据和面部图像数据这两种数据放置在云服务器等中来针对面部认证服务的每个提供者稳定且高效地运用面部认证系统的结构。

因此,本公开的主要目的在于提供一种能够针对面部认证服务的每个提供者稳定且高效地运用面部认证系统的面部认证系统以及面部认证方法。

用于解决问题的方案

本公开的面部认证系统是基于拍摄面部认证的对象者所得到的图像数据来执行面部认证处理的面部认证系统,该面部认证系统构成为,具备:多个面部认证机;服务器装置,其经由网络而与该面部认证机连接;以及终端装置,其经由网络而与该服务器装置连接,其中,所述面部认证机具有拍摄对象者的摄像机,所述服务器装置包括:面部图像管理部,其蓄积预先登记的使用者的面部图像数据;以及多个面部图像对照部,所述面部图像对照部根据所述摄像机的摄影图像数据来生成对象者的面部特征量数据,并执行该对象者的面部特征量数据与根据所述使用者的面部图像数据生成的所述使用者的面部特征量数据的对照处理,所述服务器装置响应于管理者在所述终端装置中的操作输入,来获取所述面部认证机与所述面部图像对照部之间的关联信息,所述面部认证机基于从所述服务器装置获取到的所述关联信息,来确定作为所述对照处理的请求目的地的所述面部图像对照部,并请求进行所述对照处理。

另外,本公开的面部认证方法是使信息处理装置基于拍摄面部认证的对象者所得到的图像数据来执行面部认证处理的面部认证方法,所述面部认证方法构成为,在登记使用者时,经由网络而与多个面部认证机连接的服务器装置中包括的面部图像管理部蓄积使用者的面部图像数据,在面部认证时,所述面部认证机利用摄像机拍摄对象者,所述服务器装置中包括的多个面部图像对照部根据所述摄像机的摄影图像数据来生成对象者的面部特征量数据,并执行该对象者的面部特征量数据与根据所述使用者的面部图像数据生成的使用者的面部特征量数据的对照处理,经由网络而与所述服务器装置连接的终端装置在面部认证之前,响应于管理者的操作输入来将所述面部认证机与所述面部图像对照部之间的关联信息提供给所述服务器装置。

发明的效果

根据本公开,由与面部认证机对应的服务器装置的面部图像对照部进行负担大的对照处理。因此,减轻面部认证机的负担,并且可以无需将作为隐私保护的对象的信息保管在面部认证机中。由此,能够针对面部认证服务的每个提供者稳定且高效地运用面部认证系统。

附图说明

图1是本实施方式所涉及的面部认证系统的整体结构图。

图2是示出对照组的概要的说明图。

图3是示出由面部认证机1进行的面部对照的询问的概要的说明图。

图4是示出面部对照单元的概要的说明图。

图5是示出面部认证机1的概要结构的框图。

图6是示出管理终端2的概要结构的框图。

图7是示出面部管理服务器5的概要结构的框图。

图8是示出面部对照服务器6的概要结构的框图。

图9是示出在面部认证机1中进行的面部图像提取处理的概要的说明图。

图10是示出在面部认证机1中进行的面部剪切处理的概要的说明图。

图11是示出在面部认证机1中进行的面部剪切处理的概要的说明图。

图12是示出面部图像提取处理的概要的说明图。

图13是示出基于对照组信息进行的面部认证的询问的概要的说明图。

图14是示出在管理终端2中显示的登录画面的说明图。

图15是示出在与对照组有关的登记、参照、更新以及删除时在管理终端2中显示的画面的说明图。

图16是示出在与对照组有关的登记、参照、更新以及删除时在管理终端2中显示的画面的说明图。

图17是示出与对照组有关的登记、参照以及更新的处理的过程的时序图。

图18是示出与对照组有关的登记、参照、更新的处理的概要的说明图。

图19是示出与对照组有关的删除处理的过程的时序图。

图20是示出与对照组有关的删除处理的概要的说明图。

图21是示出与对照组有关的批量登记处理的过程的时序图。

图22是示出在同面部认证机1与对照组之间的关联有关的登记、参照、更新以及删除时在管理终端2中显示的画面的说明图。

图23是示出在同面部认证机1与对照组之间的关联有关的登记、参照、更新以及删除时在管理终端2中显示的画面的说明图。

图24是示出同面部认证机1与对照组之间的关联有关的登记处理的过程的时序图。

图25是示出同面部认证机1与对照组之间的关联有关的登记处理的概要的说明图。

图26是示出同面部认证机1与对照组之间的关联有关的参照处理的过程的时序图。

图27是示出同面部认证机1与对照组之间的关联有关的更新处理的过程的时序图。

图28是示出同面部认证机1与对照组之间的关联有关的删除处理的过程的时序图。

图29是示出在同面部对照服务器6与对照组之间的关联有关的登记、参照以及删除时在管理终端2中显示的画面的说明图。

图30是示出在同面部对照服务器6与对照组之间的关联有关的登记、参照以及删除时在管理终端2中显示的画面的说明图。

图31是示出同面部对照服务器6与对照组之间的关联有关的登记处理的过程的时序图。

图32是示出同面部对照服务器6与对照组之间的关联有关的参照处理的过程的时序图。

图33是示出同面部对照服务器6与对照组之间的关联有关的删除处理的过程的时序图。

图34是示出同面部对照服务器6与对照组之间的关联有关的删除处理的概要的说明图。

图35是示出在与使用者有关的登记、参照、更新以及删除时在管理终端2中显示的画面的说明图。

图36是示出在与使用者有关的登记、参照、更新以及删除时在管理终端2中显示的画面的说明图。

图37是示出与使用者有关的登记处理的过程的时序图。

图38是示出与使用者有关的登记处理的概要的说明图。

图39是示出与使用者有关的批量登记处理的过程的时序图。

图40是示出与使用者有关的参照处理的过程的时序图。

图41是示出与使用者有关的更新处理的过程的时序图。

图42是示出与使用者有关的更新处理的概要的说明图。

图43是示出与使用者有关的删除处理的过程的时序图。

图44是示出与使用者有关的删除处理的概要的说明图。

图45是示出面部图像提取处理的概要的说明图。

图46是示出图像质量检查处理的概要的说明图。

图47是示出面部特征量计算处理的概要的说明图。

图48是示出面部特征量登记处理(特征量指定)的概要的说明图。

图49是示出面部特征量登记处理(图像指定)的概要的说明图。

图50是示出面部特征量删除处理的概要的说明图。

图51是示出面部登记的概要的说明图。

图52是示出面部信息同步处理的概要的说明图。

图53是示出面部特征量数据的复制处理的概要的说明图。

图54是示出面部认证时的处理的概要的说明图。

图55是示出与认证日志有关的参照处理的概要的说明图。

图56是示出在管理终端2中显示的认证日志参照画面的说明图。

图57是示出面部认证机1的外部应用程序协作的概要的说明图。

图58是示出本系统中的运行状况监视功能的概要的说明图。

图59是示出在管理终端2中显示的备份画面和恢复画面的说明图。

图60是示出本实施方式的变形例所涉及的面部图像提取处理的概要的说明图。

具体实施方式

为了解决所述课题而完成的第一发明是基于拍摄面部认证的对象者所得到的图像数据来执行面部认证处理的面部认证系统,该面部认证系统构成为,具备:多个面部认证机;服务器装置,其经由网络而与该面部认证机连接;以及终端装置,其经由网络而与该服务器装置连接,其中,所述面部认证机具有拍摄对象者的摄像机,所述服务器装置包括:面部图像管理部,其蓄积预先登记的使用者的面部图像数据;以及多个面部图像对照部,所述面部图像对照部根据所述摄像机的摄影图像数据来生成对象者的面部特征量数据,并执行该对象者的面部特征量数据与根据所述使用者的面部图像数据生成的所述使用者的面部特征量数据的对照处理,所述服务器装置响应于管理者在所述终端装置中的操作输入,来获取所述面部认证机与所述面部图像对照部之间的关联信息,所述面部认证机基于从所述服务器装置获取到的所述关联信息,来确定作为所述对照处理的请求目的地的所述面部图像对照部,并请求进行所述对照处理。

由此,由与面部认证机对应的服务器装置的面部图像对照部进行负担大的对照处理。因此,减轻面部认证机的负担,并且可以无需将作为隐私保护的对象的信息保管在面部认证机中。由此,能够针对面部认证服务的每个提供者稳定且高效地运用面部认证系统。

另外,第二发明构成为,针对面部认证服务的每个提供者设置所述服务器装置。

由此,各种面部认证服务的提供者能够利用面部认证系统。

另外,第三发明构成为,所述服务器装置将所述面部图像对照部的网络地址作为所述关联信息提供给所述面部认证机。

由此,能够在面部认证机中确定作为对照处理的请求目的地的面部图像对照部,并请求进行对照处理。

另外,第四发明是使信息处理装置基于拍摄面部认证的对象者所得到的图像数据来执行面部认证处理的面部认证方法,所述面部认证方法构成为,在登记使用者时,经由网络而与多个面部认证机连接的服务器装置中包括的面部图像管理部蓄积使用者的面部图像数据,在面部认证时,所述面部认证机利用摄像机拍摄对象者,所述服务器装置中包括的多个面部图像对照部根据所述摄像机的摄影图像数据来生成对象者的面部特征量数据,并执行该对象者的面部特征量数据与根据所述使用者的面部图像数据生成的使用者的面部特征量数据的对照处理,经由网络而与所述服务器装置连接的终端装置在面部认证之前,响应于管理者的操作输入来将所述面部认证机与所述面部图像对照部之间的关联信息提供给所述服务器装置。

由此,与第一发明同样地,能够针对面部认证服务的每个提供者稳定且高效地运用面部认证系统。

以下,参照附图来说明本公开的实施方式。

图1是本实施方式所涉及的面部认证系统的整体结构图。

该面部认证系统具备面部认证机1、管理终端2(终端装置、面部认证管理装置)以及面部认证服务器3(云服务器)。面部认证服务器3具备面部管理服务器5(面部图像管理部)和面部对照服务器6(面部图像对照部)。

面部认证机1、管理终端2、面部管理服务器5以及面部对照服务器6经由因特网等网络进行连接。针对面部认证服务的每个提供者(从业者)构建面部认证系统。在建筑物的出入口、房间的出入口等需要进行面部认证的每个场所设置多个面部认证机1。根据面部认证机1的台数等设置所需数量的面部对照服务器6。

面部认证机1具备摄像机11,由该摄像机11获取映现出使用者的摄影图像。另外,面部认证机1具有显示器12,通过该显示器12显示从面部对照服务器6获取到的面部认证结果,并将面部认证结果通知给使用者。

管理终端2是由管理者操作的终端,由PC构成,安装有用于对面部认证机1、面部管理服务器5以及面部对照服务器6的动作进行管理的管理应用程序。管理者能够利用该管理应用程序进行各种管理业务。此外,管理应用程序作为Web应用程序来进行安装。

面部管理服务器5统一管理使用者的信息。具体地说,蓄积并管理已登记的使用者的姓名、面部图像数据等信息。

面部对照服务器6在面部认证时,从面部认证机1获取面部认证的对象者的面部图像数据,根据该面部图像数据生成对象者的面部特征量数据,通过将该对象者的面部特征量数据与本装置中保管的登记者(登记完毕的使用者)的面部特征量数据进行比较来进行面部对照,从而进行判定对象者是否为登记者的面部认证。

另外,面部对照服务器6在面部认证之前,在登记使用者时从管理终端2获取使用者的面部图像数据,根据该面部图像数据来生成使用者的面部特征量数据,并保管在本装置中。此外,还能够从管理终端2获取使用者的摄影图像,由面部对照服务器6从摄影图像中获取面部图像数据。

此外,在本实施方式中,设为面部管理服务器5(面部图像管理部)和面部对照服务器6(面部图像对照部)分别存在于物理上不同的信息处理装置内,但也可以设为存在于单个的信息处理装置内。

另外,在本实施方式中,设置了管理终端2和面部管理服务器5,但也可以在单个的信息处理装置中构成管理终端2和面部管理服务器5。例如,通过在面部管理服务器5中安装管理应用程序,面部管理服务器5能够兼用作管理终端2。

另外,在本实施方式中,设为进行面部特征量对照,但面部对照不限定于面部特征量对照,也可以采用应用了机器学习等的对照方法。并且,本实施方式还能够应用于面部认证以外的生物体认证。

接着,说明对照组。图2是示出对照组的概要的说明图。

在本实施方式中,根据使用者接受面部认证的面部认证机1的设置场所等,对使用者进行分组,并针对各使用者设定对照组。另外,与使用者同样地,根据面部认证机1的设置场所等对面部认证机1进行分组,并针对各面部认证机1设定对照组。并且,与面部认证机1同样地,对与面部认证机1对应的面部对照服务器6、即从面部认证机1受理面部对照的询问(请求)的面部对照服务器6进行分组,并针对各面部对照服务器6设定对照组。

例如,属于多个公司的使用者在设置于多个公司所入驻的多租户的建筑物的玄关的面部认证机1处接受面部认证。另一方面,无法利用同一数据库来管理所属的组织不同的使用者的信息。因此,在这样的情况下,形成多个公司各自的对照组,以对照组为单位保管使用者的登记信息,由面部认证机1对每个公司的对照组的面部对照服务器6进行面部对照的询问。

只有在与使用者所属的对照组对应的面部认证机1处才能接受认证。因而,即使是登记完毕的使用者,也无法在不属于自己的对照组的面部认证机1、例如未许可自己进入的建筑物的面部认证机1处接受认证。

例如,在某事业单位工作的使用者前往其它事业单位的情况下,无法在该事业单位的面部认证机1处接受认证。

接着,说明从面部认证机1对面部对照服务器6进行的面部对照的询问。图3是示出由面部认证机1进行的面部对照的询问的概要的说明图。

面部认证机1对属于与本装置相同的对照组的面部对照服务器6进行面部对照的询问,向作为询问目的地(请求目的地)的面部对照服务器6发送面部对照的请求。另外,在面部认证机1中保持有面部对照服务器6的网络地址(IP地址)来作为对照组信息,基于该网络地址对与本装置对应的面部对照服务器6进行面部对照的询问。

在该面部认证的询问方法中存在图3的(A)所示的一齐询问、图3的(B)所示的随机询问以及图3的(C)所示的依次询问(询问目的地切换)。

如图3的(A)所示,在一齐询问的情况下,对与多个对照组分别对应的面部对照服务器6一齐进行面部对照的询问。例如,在面部认证机1设置在多租户的建筑物的玄关且多个对照组的使用者要接受面部认证的情况下,向各组的面部对照服务器6一齐发送面部对照的请求。

此外,为了减轻一个面部对照服务器6的负担,还能够将属于一个对照组的使用者的面部特征量数据分割地保管在多个面部对照服务器6中,在该情况下,也对在与面部认证机1相同的对照组内登记内容互不相同的所有面部对照服务器6一齐进行面部对照的询问。

如图3的(B)所示,在随机询问的情况下,从与面部认证机1相同的对照组内的多个面部对照服务器6中,随机地选择作为面部对照的询问目的地的面部对照服务器6。多个面部对照服务器6的登记内容相同。即,将同一使用者作为对照对象,并保管同一使用者的面部特征量数据。在这样的询问方法中,由于来自面部认证机1的询问被分配给各面部对照服务器6,因此能够减轻各面部对照服务器6的负担,能够实现负担分散。

如图3的(C)所示,在依次询问的情况下,从与面部认证机1相同的对照组内的多个面部对照服务器6中,依次选择面部对照的询问目的地。具体地说,对面部对照服务器6赋予顺序(优先级),按照该顺序选择面部对照服务器6,在没有来自优先级高的面部对照服务器6的应答的情况下,将发送目的地切换为面部对照服务器6。即,选择对照组内的第一优先级的面部对照服务器6,对该面部对照服务器6请求面部认证。然后,在没有来自面部对照服务器6的应答的情况下,选择相同对照组内的下一个优先级的其它面部对照服务器6,对该面部对照服务器6请求面部认证。通过这样的控制能够实现冗余化(备份)。

接着,对面部对照单元进行说明。图4是示出面部对照单元的概要的说明图。

在面部对照服务器6中能够设置多个进行面部对照的面部对照单元。该面部对照单元具有执行面部对照程序的面部对照工序以及登记有作为面部对照的比较对象的使用者的信息(面部特征量数据)的面部对照数据库。

该面部对照单元是针对每个对照组设置的,响应于来自属于对照组的面部认证机1的面部对照的请求来进行面部对照。因而,能够用一个面部对照服务器6应对多个对照组。

在此,在面部认证机1中保持有面部对照服务器6的网络地址(IP地址)来作为对照组信息,能够基于该网络地址来对与本装置对应的面部对照服务器6进行面部对照的询问,但在本实施方式中,还保持有以面部对照单元为单位的网络地址(IP地址),能够基于该网络地址来对与本装置对应的面部对照单元进行面部对照的询问。

另外,由于面部对照数据库是针对每个对照组设置的,因此能够以对照组为单位保管使用者的面部特征量数据。面部对照工序用于执行以组为单位保管的面部特征量数据与根据从同一组的面部认证机1获取到的面部图像数据生成的面部特征量数据的对照处理。

在此,面部认证机1与面部对照单元的对应关系有各种方式。

在图4的(A)所示的例子中,在面部对照服务器6中,面部认证机1所属的对照组的面部对照单元设置有1个,面部认证机1与面部对照服务器6一一对应。

图4的(B)所示的例子中,面部认证机1与面部对照服务器6一一对应,但在面部对照服务器6中,面部认证机1所属的对照组的面部对照单元设置有2个。

在该情况下,在设置于多租户的建筑物的玄关的面部认证机1的情况下,能够由不同的对照数据库来管理所属的组织不同的使用者的信息(例如,使用者A、使用者B)。

图4的(C)所示的例子中,面部认证机1与面部对照服务器6以1对2的方式对应,面部认证机1对两个面部对照服务器6进行面部对照的询问(使用者X的对照请求)。在该情况下,通过在不同的面部对照服务器6中设置两个以上的相同的面部对照单元、即以同一使用者的面部特征量数据进行面部对照的面部对照单元,能够实现面部对照服务器6的负担分散、死机应对(日文:死活対応)。

接着,对面部认证机1的概要结构进行说明。图5是示出面部认证机1的概要结构的框图。

面部认证机1具备摄像机11(摄像部)、显示器12(输出部)、通信部13、存储部14以及控制部15。

摄像机11始终拍摄规定的摄影区域,如果人物进入摄影区域,则能够拍摄该人物并获取面部认证的对象者的摄影图像。此外,为了省电,也可以设置人感传感器(未图示),在探测到人的到来后启动摄像机11。

显示器12显示面部认证结果,接受面部认证的人物能够确认面部认证结果。此外,也可以设置扬声器来作为输出对象者的认证结果的输出部,用声音通知面部认证结果。

通信部13(面部图像发送部、认证结果接收部)经由网络来与面部对照服务器6进行通信。在本实施方式中,将面部图像数据发送到面部对照服务器6。另外,从面部对照服务器6接收使用者的认证结果。另外,通信部13经由网络来与面部管理服务器5进行通信。在本实施方式中,从面部管理服务器5接收对照组信息等。

存储部14存储对照组信息、由构成控制部15的处理器执行的控制程序等。

控制部15具备启动处理部21、面部图像提取部22、面部对照请求部23、认证结果通知部24、认证结果调整部25以及运行状况监视部26。该控制部15由处理器构成,通过由处理器执行存储部14中存储的程序来实现控制部15的各部。

启动处理部21在面部认证机1启动时,从面部管理服务器5获取对照组信息并存储在存储部14中。此外,对照组信息的获取不限于此,也可以伴随对照组信息的更新等,从面部管理服务器5向作为对象的面部认证机1发布对照组信息。

面部图像提取部22从摄像机11获取面部认证的对象者的摄影图像(摄像机图像捕获),从该摄影图像中探测出人物的面部(面部探测),判定所探测出的面部的尺寸是否适当(面部尺寸检查),从摄影图像中剪切出面部区域(面部剪切),来获取对象者的面部图像数据。此外,面部图像数据也可以是仅面部区域的图像的数据,但也可以是摄影图像数据与该摄影图像数据上的面部区域的位置信息(面部框信息)的组合。

面部对照请求部23向与本装置一致的对照组的面部对照服务器6发送面部对照的请求。

认证结果通知部24将从面部对照服务器6获取到的面部认证结果显示在显示器12中,来向使用者通知面部认证结果。

认证结果调整部25进行用于使从面部对照服务器6获取到的使用者的面部对照结果与外部系统的在后述的图57中记载的管理服务器8(外部装置)协作的控制。该认证结果调整部25由连接应用程序构成,用于向外部系统的管理服务器8通知使用者的面部对照结果。

运行状况监视部26监视本装置的运行状况,并向面部管理服务器5通知本装置的运行状况。

接着,对管理终端2进行说明。图6是示出管理终端2的概要结构的框图。

管理终端2具备通信部31、显示器32(显示部)、输入设备33(操作部)、存储部34以及控制部35。

通信部31经由网络而与面部管理服务器5进行通信。在本实施方式中,从面部管理服务器5接收画面信息等,并将与此相应的管理者的操作信息等发送到面部管理服务器5。

显示器32显示各种画面。输入设备33是鼠标、键盘等,用于对显示器32中显示的画面进行操作。

存储部34存储由构成控制部35的处理器执行的程序(管理应用程序)等。

控制部35具备GUI控制部41。该控制部35由处理器构成,通过由处理器执行存储部34中存储的程序(管理应用程序)来实现控制部35的各部。

GUI控制部41使从面部管理服务器5发布的各种操作画面显示于显示器32。另外,响应于管理者使用输入设备33进行的输入操作,来获取输入信息,并且进行画面控制。在本实施方式中,进行与同登录相关联的画面、具体地说是登录画面有关的显示输入控制。另外,进行与同使用者管理相关联的画面有关的显示输入控制,该画面具体是指与同使用者有关的登记(单独登记、批量登记)、参照、更新以及删除相关联的画面。另外,进行与同对照组管理相关联的画面有关的显示输入控制,该画面具体是指与同对照组有关的登记(单独登记、批量登记)、参照、更新以及删除相关联的画面。另外,进行与同认证机管理相关联的画面有关的显示输入控制,该画面具体是指同认证机与对照组之间的关联有关的登记、参照、更新以及删除相关联的画面。另外,进行与认证日志的参照画面有关的显示输入控制。

接着,对面部管理服务器5的概要结构进行说明。图7是示出面部管理服务器5的概要结构的框图。

面部管理服务器5具备通信部51、存储部52以及控制部53。

通信部51经由网络而与管理终端2进行通信。另外,通信部51经由网络而与面部认证机1进行通信。另外,通信部51与面部对照服务器6进行通信。

存储部52存储面部信息数据库、同面部认证机1与对照组之间的关联信息有关的数据库、同面部对照服务器6与对照组之间的关联信息有关的数据库、管理者访问日志、以及由构成控制部53的处理器执行的控制程序等。

在面部信息数据库中登记有使用者的姓名、面部图像、对照组等,来作为与已登记的使用者有关的信息。此外,为了保护隐私,使用者的面部图像也可以被以加密状态存储。

控制部53具备管理者访问管理部61、使用者管理部62、对照组管理部63、面部认证机管理部64、面部对照服务器管理部65、面部信息管理部66、数据库管理部67、运行状况监视部68以及认证日志呈现部69。该控制部53由处理器构成,通过由处理器执行存储部52中存储的程序来实现控制部53的各部。控制部53的各部构成为Web API(Web ApplicationProgramming Interface:Web应用编程接口)。

管理者访问管理部61根据从管理终端2访问本装置的管理者的允许访问组,来允许或拒绝管理者的访问(登录)。

另外,管理者访问管理部61管理从管理终端2对本装置的访问,当管理者操作管理终端2来访问本装置时,将此时的信息作为管理者访问日志(历史记录信息)存储在存储部52中。另外,响应于来自管理终端2的参照请求来向管理终端2呈现管理者访问日志。

使用者管理部62管理与使用者有关的信息,响应于来自管理终端2的请求来进行与使用者有关的必要的处理。在本实施方式中,从管理终端2进行与使用者有关的登记、参照、更新以及删除的请求,响应于该请求来进行必要的处理。

对照组管理部63管理与对照组有关的信息,响应于来自管理终端2的请求来进行与对照组有关的必要处理。在本实施方式中,从管理终端2进行与对照组有关的登记、参照、更新以及删除的请求,响应于该请求来进行必要的处理。另外,针对每个面部认证机1生成对照组信息、即面部认证机1向与自身的对照组一致的面部对照服务器6请求面部认证所需的信息,并将该对照组信息提供给面部认证机1。

面部认证机管理部64管理与面部认证机1有关的信息,响应于来自管理终端2的请求来进行与面部认证机1有关的必要的处理。在本实施方式中,从管理终端2进行同面部认证机1与对照组之间的关联有关的登记、参照、更新以及删除的请求,响应于该请求来进行必要的处理。

面部对照服务器管理部65管理与面部对照服务器6有关的信息,响应于来自管理终端2的请求来进行与面部对照服务器6有关的必要的处理。在本实施方式中,从管理终端2进行同面部对照服务器6与对照组之间的关联有关的登记、参照以及删除的请求,响应于该请求来进行必要的处理。

面部信息管理部66对本装置和面部对照服务器6中分别保管的使用者的面部信息进行管理。在本实施方式中,进行面部信息的同步,使得本装置中保管的使用者的面部信息(使用者的姓名、面部图像等)与面部对照服务器6中保管的使用者的面部信息(使用者的面部特征量数据)维持匹配的状态。另外,面部信息管理部66进行面部信息(使用者的面部特征量数据)的复制。

数据库管理部67管理本装置中设置的数据库,并进行数据库的备份和恢复。

运行状况监视部68监视本装置的运行状况,并且接收来自面部认证机1和面部对照服务器6的运行状况的通知,响应于管理者利用管理终端2进行的操作,来将面部认证机1、本装置(面部管理服务器5)以及面部对照服务器6的运行状况以画面形式显示于管理终端2。

认证日志呈现部69响应于来自管理终端2的参照请求,来从面部对照服务器6获取认证日志,并将认证日志呈现在管理终端2中。

接着,对面部对照服务器6的概要结构进行说明。图8是示出面部对照服务器6的概要结构的框图。

面部对照服务器6具备通信部71、存储部72以及控制部73。

通信部71(面部图像接收部、认证结果发送部)经由网络来与面部认证机1进行通信。在本实施方式中,从面部认证机1接收面部图像数据等。另外,将使用者的认证结果等发送到面部认证机1。另外,通信部71经由网络来与面部管理服务器5进行通信。在本实施方式中,从面部管理服务器5接收各种处理的请求等,并将与其相应的响应等发送到面部管理服务器5。

存储部72存储面部对照数据库、使用者与特征量之间的关联信息、与本装置的对照组有关的信息、认证日志以及由构成控制部73的处理器执行的控制程序等。

在面部对照数据库中登记有使用者的面部特征量数据等来作为与所登记的使用者有关的信息。另外,面部对照数据库是针对每个对照组设置的,以组为单位保管使用者的面部特征量数据。在此,所登记的使用者的面部特征量数据也可以备份保存到设置在面部对照服务器6内的HDD、SSD等非易失性存储器中,以防预料不到地从面部对照数据库中消失。

控制部73具备对照组管理部81、图像质量检查部82、面部图像提取部83、面部特征量生成部84、面部特征量管理部85、面部特征量对照部86、认证日志管理部87、数据库管理部88以及运行状况监视部89。该控制部73由处理器构成,通过由处理器执行存储部72中存储的程序来实现控制部73的各部。控制部73的各部构成为Web API。

对照组管理部81管理本装置所属的对照组,响应于来自面部管理服务器5的请求来进行与对照组有关的登记、删除的处理。

图像质量检查部82判定摄影图像内的面部区域的图像是否满足规定的质量。具体地说,从作为对象的图像中探测有无佩戴口罩以及有无佩戴太阳镜,并且计算面部认证匹配度(基于面部的朝向、表情得到的评价值)。

在登记使用者时,面部图像提取部83从自管理终端2获取到的使用者的摄影图像中提取面部图像。此时,从摄影图像中探测人物的面部(面部探测),判定所探测到的面部的尺寸是否适当(面部尺寸检查),从摄影图像中剪切出面部区域(面部剪切),来获取人物的面部图像。此外,在面部认证时,也可以从自面部认证机1获取到的对象者的摄影图像中提取面部图像。

在登记使用者时和面部认证时,面部特征量生成部84从面部图像数据中探测面部特征点并生成面部特征量数据。

在登记使用者时,面部特征量管理部85将面部特征量生成部84中生成的使用者的面部特征量数据登记到与使用者的对照组对应的面部对照数据库中。另外,在更新、删除时,响应于来自面部管理服务器5的请求来删除面部对照数据库中登记的面部特征量数据。另外,在进行了与面部特征量生成或面部对照的算法有关的程序的版本升级的情况下,响应于来自面部管理服务器5的请求来更新面部对照数据库中登记的面部特征量数据,以使其与新的程序对应。

在面部认证时,面部特征量对照部86将根据从面部认证机1获取到的面部图像数据生成的对象者的面部特征量数据与本装置中保管的登记者(登记完毕的使用者)的面部特征量数据进行比较,来判定对象者是否为登记者。该面部特征量对照部86是与同本装置相关联的对照组相对应的面部特征量对照部,在对本装置关联了多个对照组的情况下,具有针对各对照组的多个面部特征量对照部86。该面部特征量对照部86(面部对照工序)与面部对照数据库组合而构成面部对照单元。

此外,面部特征量对照部86计算对象者与登记者的相似度(对照得分)。通过将该相似度与规定的阈值进行比较,能够判定面部认证成功与否。除了将该成功与否的判定结果作为对照结果通知给面部认证机1以外,也可以还将与相似度高的登记者有关的人物ID或相似度作为对照结果通知给面部认证机1。

当从面部认证机1向本装置进行面部认证的请求时,认证日志管理部87将此时的信息、即作为面部认证的请求源的面部认证机1的设备ID、面部对照结果等信息作为认证日志蓄积到存储部72中。另外,响应于来自面部管理服务器5的请求来将认证日志提供给面部管理服务器5。

数据库管理部88管理本装置中设置的数据库,并进行数据库的备份和恢复。

运行状况监视部89监视本装置的运行状况,并将本装置的运行状况通知给面部管理服务器5。

此外,在本实施方式中,作为面部对照服务器6的主要功能,具备面部图像提取、面部特征量生成以及面部特征量对照的各功能,但能够在相互独立的其它信息处理装置中构成这些功能。例如,也可以将面部图像提取的功能在与面部特征量生成及面部特征量对照等其它功能相独立的其它信息处理装置中构成。

接着,说明在面部认证时由面部认证机1的面部图像提取部22进行的处理。图9是示出由面部认证机1的面部图像提取部22进行的处理的概要的说明图。

在面部认证机1中能够设置多个摄像机11。在该情况下,针对每个摄像机11设置从摄像机11获取摄影图像的摄像机图像捕获工序。在启动了面部认证机1时开始进行该摄像机图像捕获工序,将从摄像机11获取到的摄影图像交给控制工序。在控制工序中,对各摄像机11的摄影图像进行面部探测、面部尺寸检查、面部剪切的各处理。

此外,面部认证机1在控制工序中读入设定文件,基于设定文件中记载的每个摄像机11的设定信息来执行摄像机图像捕获工序。此时,在执行摄像机图像捕获工序时,从控制工序接收摄像机类别、摄像机连接信息、图像获取速率、获取图像尺寸的各信息来作为参数。

在面部探测中,探测摄像机11的摄影图像中包含的面部区域。基于探测结果来设定面部框(包围面部区域的矩形的框)。

在此,有时在摄像机11的摄影图像中包含多个面部区域。在该情况下,从探测到的多个面部区域中选择作为面部认证的对象的面部区域(探测面部筛选处理)。此时,可以仅选择一个作为面部认证的对象的面部区域,但也可以选择多个作为面部认证的对象的面部区域。在该情况下,也可以设为能够由管理者指定所要选择的面部区域的数量。

在该探测面部筛选处理中,基于面部框的面积来选择作为面部认证的对象的面部区域即可。即,根据面部框的宽度和高度来计算面部框的面积,将各面部框的面积进行比较,并按照面积从大到小的顺序来选择规定数量的面部区域。此外,在仅选择一个面部区域的情况下,选择面积最大的面部区域即可。另外,在面部框的面积相同的情况下,按照探测出的顺序选择面部区域即可。

另外,也可以基于面部框的宽度来选择作为面部认证的对象的面部区域。即,将各面部框的宽度进行比较,按照宽度从大到小的顺序来选择规定数量的面部区域。此外,在仅选择一个面部区域的情况下,选择宽度最大的面部区域即可。另外,在面部框的宽度相同的情况下,按照探测出的顺序选择面部区域即可。

此外,作为面部探测的预处理,例如进行灰度等级变换。

在面部尺寸检查的处理中,判定从摄影图像中探测到的面部区域(面部框)的尺寸是否满足了规定的基准(适当范围)。具体地说,当在面部探测中获取到的面部框的宽度和高度处于规定的范围内的情况下,判定为面部区域的尺寸适当。具体地说,针对面部框的宽度和高度分别设定阈值(最小值和最大值),将面部框的宽度及高度与各自的最小值及最大值进行比较,在面部框的宽度为其最小值以上且最大值以下、同时面部框的高度为其最小值以上且最大值以下的情况下,判定为面部区域的尺寸适当。

图10、图11是示出由面部认证机1进行的面部剪切处理的概要的说明图。

在面部剪的切处理中,针对摄像机的摄影图像进行以下处理:以在面部探测中获取到的面部区域(面部框)为基准设定剪切区域,并将该剪切区域(面部剪切框)的图像剪切为面部图像。以将面部区域作为中心沿纵向和横向扩展了该面部区域的状态设定剪切区域。

在图10的(A)所示的例子中,将扩展系数k设为3,将在面部探测中探测到的面部区域的3倍的区域设定为剪切区域。在图10的(B)所示的例子中,将扩展系数k设为4,将面部区域的4倍的区域设定为剪切区域。

在此,如图10的(B)所示,根据面部框的左上方的顶点A的坐标(x,y)以及面部框的宽度w和高度h,如下面的式子那样求出面部框的中心B的坐标(x’,y’)。

(x’,y’)=((x+w)/2,(y+h)/2)

另外,根据面部框的宽度w和高度h以及扩展系数k,如下面的式子那样求出剪切区域的宽度W和高度H。

W=w×k

H=h×k

然后,根据面部框的中心B的坐标(x’,y’)、剪切区域的宽度W和高度H,如下面的式子那样求出剪切区域的左上方的顶点C的坐标(X,Y)。

(X,Y)=(x’-(W/2),y-(H/2))

通过该剪切区域的左上方的顶点C的坐标(X,Y)以及剪切区域的宽度W和高度H来规定剪切区域。

另外,在摄影图像中包含整个剪切区域的情况下是没有问题的,但如图11的(A)所示那样存在以下情况:不是整个剪切区域包含在摄影图像中、即剪切区域的一部分从摄影图像溢出。

在该情况下,如图11的(B)所示那样生成与剪切区域相同尺寸的背景图像。该背景图像用于填补从摄影图像溢出的空白部,并用规定颜色(例如黑色)涂满。另外,如图11的(C)所示,从摄影图像剪切出剪切区域的图像,来获取剪切图像。然后,如图11的(D)所示,将剪切图像叠加于背景图像上来生成面部图像。

接着,对面部图像提取处理进行说明。图12是示出面部图像提取处理的概要的说明图。

如上所述,在面部认证机1的面部图像提取部22中,通过面部图像提取处理、即面部探测、面部尺寸检查、面部剪切的各处理,来进行根据使用者的摄影图像数据生成面部图像数据的处理,但在面部对照服务器6的面部图像提取部83中也能够同样地进行该面部图像提取处理。

在登记使用者时,通过从管理终端2经由面部管理服务器5向面部对照服务器6发送使用者的摄影图像数据,来由面部对照服务器6的面部图像提取部83进行面部图像提取处理。

另一方面,在面部认证时,仅在面部认证机1中进行面部图像提取处理,在面部对照服务器6中不进行面部图像提取处理。在该情况下,对面部认证机1赋予高精度的面部探测功能。另外,面部认证机1利用摄像机11始终拍摄摄影区域,在探测到面部的时刻将面部图像信息(摄影图像数据和面部框信息)发送到面部对照服务器6。由此,面部图像提取处理的负担被分散到多个面部认证机1,能够减轻面部对照服务器6的负担。另外,由于能够实现通信量的削减,因此能够减轻网络的负担。而且,由于能够高速地进行面部认证的应答,因此能够高效地进行依次出现的对象者的面部认证。

即,构成为由面部认证机1和面部对照服务器6分担使用者的面部认证处理,因此不需要如以往那样设置多个将使用者的面部认证处理全部集中于面部认证机1的昂贵的认证机。另外,即使发生面部特征量数据的更新等,也不需要大规模的对认证机的维护作业而由面部对照服务器6进行作业即可。因而,根据本实施方式,能够构建结构便宜且作业性优异的面部认证系统。

此外,也可以设为管理终端2不具备面部图像提取的功能的结构,即,在管理终端2中不设置面部图像提取部22。

图13是示出基于对照组信息进行的面部认证的询问的概要的说明图。

面部管理服务器5保持与使用者所属的对照组有关的信息、面部认证机1与对照组之间的关联信息、以及面部对照服务器6与对照组之间的关联信息。另外,在面部管理服务器5的对照组管理部63中,基于面部认证机1与对照组之间的关联信息以及面部对照服务器6与对照组之间的关联信息,来生成每个面部认证机1的对照组信息。

该对照组信息是面部认证机1向与自身的对照组一致的面部对照服务器6请求面部认证所需的信息。在该对照组信息中包含面部认证机1所属的对照组的识别信息(组编号)、以及被从该面部认证机1请求面部认证的面部对照服务器6、即与面部认证机1的对照组对应的面部对照服务器6的目的地信息。在此,目的地信息具体地说是面部对照服务器6的网络地址(例如IP地址),根据该目的地信息来确定作为面部认证的请求目的地的面部对照服务器6,面部认证机1与作为该面部认证的请求目的地的面部对照服务器6相关联。此外,在面部认证机1属于多个对照组的情况下,在对照组信息中包含对应的多个面部对照服务器6各自的地址(IP地址)。

在面部认证机1中,在启动时等,启动处理部21从面部管理服务器5获取对照组信息来作为动作设定信息,并存储在本装置中。在面部认证机1中,当探测到人物的面部时,向与本装置所属的对照组一致的面部对照服务器6发送面部对照的请求。该面部对照的请求中包含本装置所属的对照组的信息等。

此外,在面部认证机1中,关于从面部管理服务器5获取与对照组信息等有关的设定信息的时刻,除了启动时以外,也可以在规定的时刻或者以规定间隔定期地进行获取,或者还能够采用从面部管理服务器5发布对照组信息的结构。

在面部对照服务器6中保持本装置的面部对照工序与对照组之间的关联信息。在面部对照服务器6中,当接收到来自面部认证机1的面部认证的请求时,基于对照组与面部认证工序之间的关联信息以及从面部认证机1获取到的对照组,来确定与面部认证机1对应的面部认证工序,并在该面部认证工序中进行面部对照。由此,在与所指定的对照组对应的面部认证工序中进行面部对照处理。

另外,在本实施方式中,在面部对照服务器6中,针对每个对照组设置面部对照数据库,以对照组为单位来保管面部特征量数据。因此,在面部对照时,以与面部认证机1的对照组对应的面部对照数据库中登记的面部特征量数据为对象来进行面部对照即可。另一方面,也可以是,在面部对照服务器6中,与面部认证机1的对照组无关地进行对照之后,对对照结果实施筛选。即,也可以是,在以面部对照服务器6中保管的所有使用者的面部特征量数据为对象进行面部对照之后,仅提取与属于面部认证机1的对照组的使用者进行对照的对照结果。在该情况下,也可以不针对每个对照组分开地设置面部对照数据库。

接着,对管理者访问管理进行说明。

在本系统中,对从管理终端2向面部管理服务器5和面部对照服务器6的访问进行管理。面部管理服务器5具备管理者访问管理部61。该访问管理部监视从管理终端2对面部管理服务器5和面部对照服务器6访问(登录)的状况,当探测到来自管理终端2的访问时,将与该访问有关的信息(进行了访问的管理者、日期时间等)作为管理者访问日志(历史记录信息)进行记录。另外,面部管理服务器5响应于来自管理终端2的参照管理者访问日志的请求,来向管理终端2提供管理者访问日志,管理者能够浏览管理者访问日志。

在本实施方式中,对管理者设定对使用者的信息进行访问的访问权,来限制对使用者的信息的访问(使用者信息的登记、参照、更新以及删除等)。根据对管理者赋予的访问权的不同,将管理者分组为多个管理者组。在此,管理者被按照系统运用管理者、服务运用管理者以及普通管理者进行分组。

另外,在本实施方式中,根据能够访问使用者的信息的管理者组,将使用者分组为多个允许访问组。允许访问组是能够访问该使用者的数据的管理者组。在此,使用者被按照系统运用管理者、服务运用管理者以及普通管理者进行分组。

在面部管理服务器5中,在受理了管理者的登录时,获取已登录的管理者的管理者组(管理者类型),基于该管理者组和作为对象的使用者所属的允许访问组来判定是否能够访问(参照、更新以及删除)使用者的信息,并允许访问使用者的信息。即,能够仅对在管理者所属的管理者组中已被允许的使用者的信息进行参照、更新以及删除的处理。

系统运用管理者是管理本系统的运用(维护等)的人物,能够访问所有使用者、即允许访问组为系统用户、管理用户、普通用户中的任一用户的使用者的信息。另外,服务运用管理者是管理本系统的面部认证服务的运用(使用者的登记、删除等)的人物,能够访问允许访问组为管理用户或普通用户的使用者的信息。另外,普通管理者是被服务运用管理者赋予了权限的人物,能够仅访问允许访问组为普通用户的使用者的信息。

图14是示出在管理终端2中显示的登录画面的说明图。

在管理终端2中,当启动管理应用程序并访问面部管理服务器5时,显示登录画面。在该登录画面中,管理者能够输入自己的用户ID和密码。当管理者在该登录画面中输入用户ID和密码并操作登录按钮时,在面部管理服务器5中进行用户认证。在登录成功的情况下显示主画面。在登录失败的情况下,显示错误。

接着,对与对照组有关的登记、参照、更新以及删除进行说明。图15、图16是示出在进行与对照组有关的登记、参照、更新以及删除时在管理终端2中显示的画面的说明图。

在管理终端2中,在进行与对照组有关的登记、参照、更新以及删除时,显示图15的(A)所示的参照画面、图15的(B)所示的登记画面、图15的(C)所示的更新画面以及图16所示的删除画面。

图15的(A)所示的参照画面是用于将登记完毕的对照组进行一览显示的画面。通过浏览该参照画面,管理者能够确认对照组的登记内容。

在该参照画面中设置有一览显示部101和更新按钮102。在一览显示部101中,按每个登记完毕的对照组将对照组ID(编号)与关于对照组的说明(设置场所)并列地进行显示。由此,管理者能够确认登记完毕的对照组。在该参照画面中,当操作更新按钮102时,一览显示部101被更新为最新的登记内容。另外,通过选择对照组,具体地说是通过操作对照组ID,来迁移到更新画面(参照图15的(C))。

另外,在该参照画面中,能够指定项目(对照组、说明)并执行排序。此外,也可以设为能够指定一览显示部101的显示件数(面部对照服务器6的台数)、面部对照服务器6或对照组的显示范围。另外,也可以设为能够指定与各项目(设备ID、面部对照服务器6、说明)有关的检索条件来进行检索。

图15的(B)所示的登记画面(第一画面)是用于使管理者进行对照组的登记的画面。

在该登记画面中设置有说明输入部103和登记按钮104。能够在说明输入部103输入关于对照组的说明。当在输入了说明之后操作登记按钮104时,在面部管理服务器5中进行基于输入内容将对照组信息登记到数据库中的处理。

图15的(C)所示的更新画面是用于使管理者进行对照组的登记内容的更新的画面。

在该更新画面中设置有说明输入部105和更新按钮106。能够在说明输入部105输入关于对照组的说明。当在输入了说明之后操作更新按钮106时,在面部管理服务器5中进行基于输入内容更新数据库中登记的对照组信息的处理。

图16所示的删除画面是用于使管理者进行对照组的删除的画面。

在该删除画面中设置有一览显示部107和删除按钮108。在一览显示部107中,将登记完毕的对照组(编号)以及关于对照组的说明进行一览显示。另外,在该一览显示部107中,按每个对照组设置有复选框。能够通过复选框来选择对照组。当通过复选框选择要删除的对照组并操作删除按钮108时,在面部管理服务器5中进行删除所选择的对照组的处理。

在此,通过在菜单画面(未图示)中选择参照而迁移到图15的(A)所示的参照画面。另外,通过在菜单画面中选择登记而迁移到图15的(B)所示的登记画面。另外,通过在菜单画面中选择更新而迁移到图15的(C)所示的更新画面。另外,通过在菜单画面中选择删除而迁移到图16所示的删除画面。

接着,对与对照组有关的登记、参照、更新以及删除的处理进行说明。图17是示出与对照组有关的登记、参照以及更新的处理的过程的时序图。图18是示出与对照组有关的登记、参照、更新的处理的概要的说明图。

首先,对与本系统中的对照组有关的登记处理进行说明。

如图17的(A)所示,在管理终端2中,管理者进行用于指示与对照组有关的登记的操作。在本实施方式中,管理者在与对照组有关的登记画面(参照图15的(B))中进行登记对照组的操作。

如图18所示,当在管理终端2中进行了用于指示登记对照组的操作时,面部管理服务器5在对照组管理部63中进行与对照组有关的登记处理。在该登记处理中,将由管理者输入的对照组的信息登记到对照组的数据库中。

然后,面部管理服务器5在结束与对照组有关的登记处理时,将表示登记处理是否正常地结束的处理结果以画面形式显示于管理终端2。另外,面部管理服务器5在管理者访问管理部61中记录管理者访问日志。

接着,对与对照组有关的参照处理进行说明。

如图17的(B)所示,在管理终端2中,管理者进行用于指示与对照组有关的参照的操作。在本实施方式中,在菜单画面等中进行打开与对照组有关的参照画面(参照图15的(A))的操作。

当在管理终端2中进行用于指示参照对照组的操作时,在面部管理服务器5中进行与对照组有关的参照处理。在该参照处理中,参照与对照组有关的数据库,来生成以所有对照组为对象的对照组的列表信息,并基于该列表信息来使以所有对照组为对象的参照画面显示于管理终端2。另外,当管理者在显示于管理终端2的参照画面(参照图15的(A))中进行选择项目并指示排序的操作时,生成排序后的状态的列表信息,并使反映出排序的参照画面显示于管理终端2。

接着,对与对照组有关的更新处理进行说明。

如图17的(C)所示,在管理终端2中,管理者进行用于指示更新对照组的操作。在本实施方式中,在与对照组相关的更新画面(参照图15的(C))中输入更新内容并操作更新按钮106。

当在管理终端2中进行了用于指示更新对照组的操作时,在面部管理服务器5中进行与对照组有关的更新处理。在该更新处理中,用管理者所指定的内容更新与对照组有关的数据库。然后,当在面部管理服务器5中更新处理结束时,将表示更新处理是否正常地结束的结果以画面形式显示于管理终端2。

接着,对与对照组有关的删除处理进行说明。图19是示出与对照组有关的删除处理的过程的时序图。图20是示出与对照组有关的删除处理的概要的说明图。

如图19所示,在管理终端2中,管理者进行用于指示删除对照组的操作。在本实施方式中,在与对照组有关的删除画面(参照图16)中选择作为删除对象的对照组并操作删除按钮108。

如图20所示,当在管理终端2中进行用于指示删除对照组的操作时,在面部管理服务器5中进行与对照组有关的删除处理。在该删除处理中,从与对照组有关的数据库中删除管理者所指定的对照组的登记信息。另外,删除作为对象的对照组与面部对照服务器6之间的关联信息。此时,在删除作为对象的对照组与面部对照服务器6之间的关联信息之后,删除对照组的登记信息。另外,从对照组与使用者之间的关联的数据库中删除与作为对象的对照组有关的信息。另外,从面部信息数据库中删除属于作为对象的对照组的使用者的面部信息(面部特征量数据)。另外,删除作为对象的对照组与面部认证机1之间的关联信息。另外,面部管理服务器5在管理者访问管理部61中记录管理者访问日志。

另外,面部管理服务器5向面部对照服务器6发送删除对照组的请求。该删除对照组的请求中包含作为删除对象的对照组的信息。

面部对照服务器6在接收到来自面部管理服务器5的删除对照组的请求时,进行与对照组有关的删除处理。在该删除处理中,删除所指定的对照组与面部对照部(面部对照工序)之间的关联信息。此时,使与作为删除对象的对照组有关的面部对照部停止,并且删除与对照组对应的面部对照数据库。

然后,面部对照服务器6在删除处理结束时向面部管理服务器5发送删除对照组的响应。该响应中包含表示删除处理是否正常地结束的处理结果。

当在面部管理服务器5中接收到来自面部对照服务器6的删除对照组的响应且本装置的删除处理也结束时,将表示删除处理是否正常地结束的处理结果以画面形式显示于管理终端2。

此外,面部认证机1通过重新启动,来反映该处理,并删除对照组的信息。

接着,对与对照组有关的批量登记处理进行说明。图21是示出与对照组有关的批量登记处理的过程的时序图。

在本系统中,能够使用存储有与作为对象的对照组有关的信息的列表信息的文件,将对照组批量登记到面部管理服务器5中。

具体地说,首先,在管理终端2中,进行用于指示与对照组有关的批量登记的操作。在本实施方式中,管理者在登记画面(未图示)中选择存储有与作为对象的对照组有关的列表信息的文件并操作登记按钮。

此时,读入所选择的列表信息的文件,并将该列表信息显示在管理终端2的确认画面中。管理者在确认画面中确认了登记内容之后,进行用于指示批量登记对照组的操作。另外,在确认画面中能够根据需要修正登记内容。

当在管理终端2中进行用于指示批量登记对照组的操作时,在面部管理服务器5中进行与对照组有关的批量登记处理。在该批量登记处理中,基于从管理终端2获取到的对照组的列表信息,重复进行与作为对象的各对照组有关的登记处理。

然后,当在面部管理服务器5中批量登记处理结束时,将表示批量登记处理是否正常地结束的登记结果以画面形式显示于管理终端2。此时,向管理者报告登记失败的对照组,来催促重新进行与该对照组有关的登记。将登记结果以日志文件的形式输出。

此外,在此,对与对照组有关的批量登记处理进行了说明,但还能够进行与对照组有关的批量更新、批量删除的处理。

接着,对同本系统中的面部认证机1与对照组之间的关联有关的登记、参照、更新以及删除进行说明。图22、图23是示出在进行同面部认证机1与对照组之间的关联有关的登记、参照、更新以及删除时在管理终端2中显示的画面的说明图。

在进行同面部认证机1与对照组之间的关联有关的登记、参照、更新以及删除时,在管理终端2中显示图22的(A)所示的参照画面、图22的(B)所示的登记画面以及图23所示的删除画面。

图22的(A)所示的参照画面是用于将登记完毕的面部认证机1与对照组的关联设定进行一览显示的画面。通过浏览该参照画面,管理者能够确认对照组的登记内容。

在该参照画面中设置有一览显示部111和面部认证机指定部112。在一览显示部111中显示各认证机的设备ID、与各认证机相关联的对照组(编号)以及关于对照组的说明。能够在面部认证机指定部112通过下拉菜单选择作为对象的面部认证机1(设备ID)。由此,能够将一览显示部111的显示内容锁定为特定的面部认证机1,在一览显示部111中仅显示与特定的面部认证机1相关联的对照组。此外,在未在面部认证机指定部112指定面部认证机1的情况下,在一览显示部111中显示与所有面部认证机1有关的信息。

另外,在该参照画面中能够指定项目(设备ID、面部认证机1、说明)并执行排序。此外,也可以设为能够指定一览显示部111的显示件数(面部认证机1的台数)、面部对照服务器6或对照组的显示范围。另外,也可以设为能够指定与各项目(设备ID、面部认证机1、说明)有关的检索条件来进行检索。

此外,在图22的(A)示出的例子中,按设置有面部认证机1的场所(例如事业单位的所在地)对面部认证机1进行分组。

图22的(B)所示的登记画面(第二画面)是用于进行面部认证机1与对照组的关联设定的画面。能够用于登记对认证机关联对照组的信息。

在该登记画面中设置有认证机指定部113、对照组指定部114以及登记按钮115。能够在认证机指定部113通过下拉菜单选择作为对象的面部认证机1(设备ID)。能够在对照组指定部114通过下拉菜单选择作为对象的面部认证机1的对照组。在该下拉菜单中显示通过与对照组有关的登记画面(参照图15的(B))登记的对照组。当在该登记画面中输入了面部认证机1和对照组之后操作登记按钮115时,在面部管理服务器5中进行基于输入内容登记对照组信息的处理。

此外,存在对一个面部认证机1关联多个对照组的情况,但在该情况下,在登记画面中重复进行对一个面部认证机1关联一个对照组的登记操作即可。另外,也可以在登记画面中设置多个对照组指定部114。

图23所示的删除画面是用于删除面部认证机1与对照组的关联设定的画面。

在该删除画面中设置有一览显示部116、面部认证机指定部117以及删除按钮118。在一览显示部116中显示各认证机的设备ID、与各面部认证机1相关联的对照组(编号)以及关于对照组的说明。另外,在该一览显示部116中,针对每个关联设定设置了复选框。能够通过复选框来选择关联设定。当通过复选框选择要删除的登记事项并操作删除按钮118时,在面部管理服务器5中进行删除所选择的登记事项的处理。能够在面部认证机指定部117通过下拉菜单选择面部认证机1。由此,能够在锁定为特定的面部认证机1的状态下更新一览显示部116的显示内容。

在此,通过在菜单画面(未图示)中选择参照而迁移到图22的(A)所示的参照画面。另外,通过在菜单画面中选择登记而迁移到图22的(B)所示的登记画面。另外,通过在菜单画面中选择删除而迁移到图23所示的删除画面。另外,通过在菜单画面中选择更新而迁移到更新画面(未图示)。另外,当管理者在参照画面中选择面部认证机1与对照组的关联时,迁移到更新画面(未图示)。

此外,在图23所示的例子中,在删除画面中将登记完毕的关联进行一览显示,但也可以设为能够在单独编辑画面中进行删除。另外,更新画面(未图示)与登记画面(图22的(B))相同。

接着,对同面部认证机1与对照组之间的关联有关的登记处理进行说明。图24是示出同面部认证机1与对照组之间的关联有关的登记处理的过程的时序图。图25是示出同面部认证机1与对照组之间的关联有关的登记处理的概要的说明图。

在管理终端2中,管理者进行打开登记画面(参照图)的操作。在本实施方式中,在菜单画面(未图示)中进行选择登记的操作。

如图25所示,当在管理终端2中进行打开登记画面的操作时,面部管理服务器5参照与登记设备(面部认证机1和面部对照服务器6)有关的数据库来生成面部认证机1的列表信息。另外,参照与对照组有关的数据库来生成对照组的列表信息。然后,基于面部认证机1的列表信息和对照组的列表信息来生成登记画面的画面信息,并将登记画面显示于管理终端2。

接着,在管理终端2中,管理者在登记画面中进行用于指示登记面部认证机1与对照组之间的关联的操作。在本实施方式中,在登记画面(参照图22的(B))中输入面部认证机1与对照组的组合并操作登记按钮。

当在管理终端2中进行用于指示登记面部认证机1与对照组之间的关联的操作时,面部管理服务器5进行同面部认证机1与对照组之间的关联有关的登记处理。在该登记处理中,以管理者所指定的面部认证机1与对照组的组合将关联信息登记到数据库中。此外,通过使面部认证机1重新启动来反映面部认证机1与对照组之间的关联。

然后,当在面部管理服务器5中登记处理结束时,将表示登记处理是否正常地结束的登记结果以画面形式显示于管理终端2。

接着,对同面部认证机1与对照组之间的关联有关的参照处理进行说明。图26是示出同面部认证机1与对照组之间的关联有关的参照处理的过程的时序图。

在管理终端2中,管理者进行用于指示参照面部对照服务器6与对照组之间的关联的操作。在本实施方式中,在菜单画面等中进行打开参照画面(参照图22的(A))的操作。

当在管理终端2中进行用于指示参照面部认证机1与对照组之间的关联的操作时,面部管理服务器5进行与对照组有关的参照处理。在该参照处理中,参照同面部认证机1与对照组之间的关联有关的数据库,来生成以所有面部对照服务器6为对象的关联信息的列表,并使参照画面显示于管理终端2。另外,当管理者在参照画面中进行锁定作为对象的面部认证机1的操作时,生成以所选择的面部认证机1为对象的关联的列表,并使反映出锁定的参照画面显示于管理终端2。另外,当管理者在参照画面中进行选择项目并指示排序的操作时,生成排序后的状态的列表信息,并使反映出排序的参照画面显示于管理终端2。

另外,在面部管理服务器5中,记录管理者访问日志。

接着,对同面部认证机1与对照组之间的关联有关的更新处理进行说明。图27是示出同面部认证机1与对照组之间的关联有关的更新处理的过程的时序图。

在管理终端2中,管理者进行打开更新画面(未图示)的操作。在本实施方式中,在菜单画面(未图示)中进行选择更新的操作。

当在管理终端2中进行打开更新画面的操作时,面部管理服务器5参照与登记设备有关的数据库来生成面部认证机1的列表信息。另外,参照与对照组有关的数据库来生成对照组的列表信息。然后,基于面部认证机1的列表信息和对照组的列表信息来生成登记画面的画面信息,并将更新画面显示于管理终端2。在该更新画面中,基于同面部认证机1与对照组之间的关联有关的登记信息,以初始状态显示当前登记的组合。

接着,在管理终端2中,管理者在更新画面中进行用于指示更新面部认证机1与对照组之间的关联的操作。在本实施方式中,在更新画面(未图示)中输入更新内容并操作更新按钮。此外,更新内容是指变更认证机与对照组的组合的内容。

当在管理终端2中进行用于指示更新面部认证机1与对照组之间的关联的操作时,面部管理服务器5进行同面部认证机1与对照组之间的关联有关的更新处理。在该更新处理中,用管理者所指定的内容来更新同面部认证机1与对照组之间的关联有关的数据库。进行以管理者所输入的认证机与对照组的组合来更新数据库的关联信息的处理。然后,当在面部管理服务器5中更新处理结束时,将表示更新处理是否正常地结束的结果以画面形式显示于管理终端2。

接着,对同面部认证机1与对照组之间的关联有关的删除处理进行说明。图28是示出同面部认证机1与对照组之间的关联有关的删除处理的过程的时序图。

在管理终端2中,管理者进行用于指示删除认证机与对照组的关联的操作。在本实施方式中,在删除画面(参照图23)中选择登记事项(关联)并操作删除按钮。

当在管理终端2中进行用于指示删除面部认证机1与对照组之间的关联的操作时,面部管理服务器5进行同面部认证机1与对照组之间的关联有关的删除处理。在该删除处理中,删除管理者所指定的面部认证机1与对照组之间的关联信息。

然后,当在面部管理服务器5中删除处理结束时,将表示该删除处理是否正常地结束的结果以画面形式显示于管理终端2。另外,在面部管理服务器5中,记录管理者访问日志。

接着,对本系统中的同面部对照服务器6与对照组之间的关联有关的登记、参照以及删除进行说明。图29、图30是示出在进行同面部对照服务器6与对照组之间的关联有关的登记、参照以及删除时在管理终端2中显示的画面的说明图。

在进行同面部对照服务器6与对照组之间的关联有关的登记、参照、更新以及删除时,在管理终端2中显示图29的(A)所示的参照画面、图29的(B)所示的登记画面以及图30所示的删除画面。

图29的(A)所示的参照画面是用于将登记完毕的面部对照服务器6与对照组的关联设定进行一览显示的画面。通过浏览该参照画面,管理者能够确认对照组的登记内容。

在该参照画面中设置有一览显示部121和面部对照服务器指定部122。在一览显示部121中显示各面部对照服务器6的设备ID、与各认证机相关联的对照组(编号)以及关于对照组的说明。能够在面部对照服务器指定部122通过下拉菜单选择作为对象的面部对照服务器6(设备ID)。由此,能够将一览显示部121的显示内容锁定为特定的面部对照服务器6,并在一览显示部121中仅显示与特定的面部对照服务器6相关联的对照组。此外,在未在面部对照服务器指定部122指定面部对照服务器6的情况下,在一览显示部121中显示与所有面部对照服务器6有关的信息。

另外,在该参照画面中,能够指定项目(设备ID、面部对照服务器6、说明)并执行排序。此外,也可以设为能够指定一览显示部121的显示件数(面部对照服务器6的台数)、面部对照服务器6或对照组的显示范围。另外,也可以设为能够指定与各项目(设备ID、面部对照服务器6、说明)有关的检索条件来进行检索。

图29的(B)所示的登记画面(第二画面)是用于指定对照组与面部对照服务器6之间的关联的画面。

在该登记画面中设置有面部对照服务器指定部123、对照组指定部124以及登记按钮125。能够在面部对照服务器指定部123通过下拉菜单选择面部对照服务器6的设备ID。能够在对照组指定部124通过下拉菜单选择对照组。在下拉菜单中显示通过与对照组有关的登记画面(参照图15的(B))登记的对照组。

当指定面部对照服务器6和对照组并操作登记按钮125时,以所指定的面部对照服务器6与对照组的组合来登记对照组与面部对照服务器6之间的关联信息。

此外,存在对一个面部对照服务器6分配多个对照组的情况,在该情况下,在登记画面中重复进行对一个面部对照服务器6关联一个对照组的登记操作即可。另外,也可以在登记画面中设置多个对照组指定部124。

图30所示的删除画面是用于删除面部对照服务器6与对照组的关联设定的画面。

在该删除画面中设置有一览显示部126、面部对照服务器指定部127以及删除按钮128。在一览显示部126中显示各面部对照服务器6的设备ID、与各面部对照服务器6相关联的对照组(编号)以及关于对照组的说明。另外,在该一览显示部126中,针对每个关联设定设置有复选框。能够通过复选框选择关联设定。当通过复选框选择要删除的登记事项并操作删除按钮128时,在面部管理服务器5中进行删除所选择的登记事项的处理。能够在面部对照服务器指定部127通过下拉菜单选择面部对照服务器6。由此,能够在锁定为特定的面部对照服务器6的状态下更新一览显示部126的显示内容。

在此,通过在菜单画面(未图示)中选择参照来显示图29的(A)所示的参照画面。通过在菜单画面(未图示)中选择登记来显示图29的(B)所示的登记画面。通过在菜单画面(未图示)中选择删除来显示图30所示的删除画面。另外,当在图29的(A)所示的参照画面的一览显示部121中选择面部对照服务器6时,迁移到图29的(B)所示的登记画面,能够在此变更面部对照服务器6与对照组的关联。

此外,在图30所示的例子中,在删除画面中将登记完毕的关联进行一览显示,但也可以设为在单独编辑画面(未图示)中进行删除。

接着,对同面部对照服务器6与对照组之间的关联有关的登记处理进行说明。图31是示出同面部对照服务器6与对照组之间的关联有关的登记处理的过程的时序图。

在管理终端2中,管理者进行打开登记画面(参照图29的(B))的操作。在本实施方式中,在菜单画面(未图示)中进行选择登记的操作。

当在管理终端2中进行打开登记画面的操作时,面部管理服务器5参照与登记设备有关的数据库来生成面部对照服务器6的列表信息。另外,参照与对照组有关的数据库来生成对照组的列表信息。然后,基于面部对照服务器6的列表信息和对照组的列表信息来生成登记画面的画面信息,并将登记画面显示于管理终端2。

接着,在管理终端2中,管理者在登记画面中进行用于指示登记面部对照服务器6与对照组之间的关联的操作。在本实施方式中,在登记画面(参照图29的(B))中输入面部对照服务器6与对照组的组合并操作登记按钮125。

当在管理终端2中进行用于指示登记面部对照服务器6与对照组之间的关联的操作时,面部管理服务器5进行同面部对照服务器6与对照组之间的关联有关的登记处理。在该登记处理中,以管理者所指定的面部对照服务器6与对照组的组合来将关联信息登记到数据库中。

另外,面部管理服务器5将登记对照组的请求发送到作为对象的面部对照服务器6。

在面部对照服务器6中,在接收到来自面部管理服务器5的登记对照组的请求时,进行与对照组有关的登记处理。在该登记处理中,将对照组作为本装置的设定信息进行登记。然后,面部对照服务器6在登记处理结束时,向面部管理服务器5发送登记的响应。

当在面部管理服务器5中登记处理结束时,将表示该登记处理是否正常地结束的结果以画面形式显示于管理终端2。另外,在面部管理服务器5中,记录管理者访问日志。

接着,对同面部对照服务器6与对照组之间的关联有关的参照处理进行说明。图32是示出同面部对照服务器6与对照组之间的关联有关的参照处理的过程的时序图。

在管理终端2中,管理者进行用于指示参照面部对照服务器6与对照组之间的关联的操作。在本实施方式中,在菜单画面等中进行打开参照画面(参照图29的(A))的操作。

当在管理终端2中进行用于指示参照面部对照服务器6与对照组之间的关联的操作时,面部管理服务器5进行同面部对照服务器6与对照组之间的关联有关的参照处理。在该参照处理中,参照同面部对照服务器6与对照组之间的关联有关的数据库,来生成以所有面部对照服务器6为对象的关联信息的列表,并使参照画面显示于管理终端2。另外,当管理者在参照画面中进行锁定作为对象的面部对照服务器6的操作时,生成以所选择的面部对照服务器6为对象的关联的列表,并使反映出锁定的参照画面显示于管理终端2。另外,当管理者在参照画面中进行选择项目并执行排序的操作时,生成排序后的状态的列表,并使反映出排序的参照画面显示于管理终端2。

另外,在面部管理服务器5中,记录管理者访问日志。

接着,对同面部对照服务器6与对照组之间的关联有关的删除处理进行说明。图33是示出同面部对照服务器6与对照组之间的关联有关的删除处理的过程的时序图。图34是示出同面部对照服务器6与对照组之间的关联有关的删除处理的概要的说明图。

在管理终端2中,管理者进行用于指示删除面部对照服务器6与对照组之间的关联的操作。在本实施方式中,在删除画面(参照图30)中选择作为对象的关联并操作删除按钮。

如图34所示,当在管理终端2中进行用于指示删除面部对照服务器6与对照组之间的关联的操作时,面部管理服务器5进行同面部对照服务器6与对照组之间的关联有关的删除处理。在该删除处理中,删除作为对象的面部对照服务器6与对照组之间的关联信息。另外,从面部信息数据库中删除与作为对象的面部对照服务器6相关联的面部登记ID。

另外,面部管理服务器5将删除对照组的请求发送到作为对象的面部对照服务器6。

面部对照服务器6在接收到来自面部管理服务器5的删除对照组的请求时,进行与对照组有关的删除处理。在该删除处理中,删除与本装置的对照组有关的设定信息。然后,面部对照服务器6在删除处理结束时,向面部管理服务器5发送响应。

当在面部管理服务器5中删除处理结束时,将表示该删除处理是否正常地结束的结果以画面形式显示于管理终端2。另外,在面部管理服务器5中,记录管理者访问日志。

接着,对与使用者有关的登记、参照、更新以及删除进行说明。图35、图36是示出在进行与使用者有关的登记、参照、更新以及删除时在管理终端2中显示的画面的说明图。

在进行与使用者有关的登记、参照、更新以及删除时,在管理终端2中显示图35的(A)所示的单独编辑画面、图35的(B)所示的检索画面以及图36所示的一览显示画面。

图35的(A)所示的单独编辑画面(第二画面、第三画面)是用于进行与使用者有关的登记、参照、更新以及删除的操作的画面。

在该登记画面中设置有姓名输入部131、使用者代码输入部132、对照组输入部133、允许访问组输入部134、有效化日期输入部135、无效化日期输入部136、附加信息输入部137、面部图像输入部138以及执行按钮139。

能够在姓名输入部131输入使用者的姓名。能够在使用者代码输入部132输入使用者代码、代码编号(例如职员编号等)。能够在对照组输入部133输入对照组。在对照组输入部133中显示通过与对照组有关的登记画面(参照图15的(B))登记的对照组。能够通过复选框选择对照组。能够在允许访问组输入部134输入允许访问组。能够通过下拉菜单选择允许访问组。能够在有效化日期输入部135输入有效化日期、即能够使该人物的面部对照有效的日期。能够在无效化日期输入部136输入无效化日期、即能够使面部对照无效的日期。通过设定该有效化日期和无效化日期,能够使针对多个使用者的服务同时开始或结束。能够在附加信息输入部137输入附加信息。

在面部图像输入部138中设置有面部图像指定部141、选择按钮142以及面部图像显示部143。能够在该面部图像指定部141指定使用者的摄影图像的文件。当指定预先存储在管理终端2中的使用者的摄影图像的文件并操作选择按钮142时,使用者的摄影图像被经由面部管理服务器5发送到面部对照服务器6,在面部对照服务器6中进行根据使用者的摄影图像生成面部图像的处理(面部探测、面部剪切等),使用者的面部图像显示于面部图像显示部143。

当在该登记画面中输入各项目的信息并操作执行按钮139时,进行基于输入内容登记使用者的信息的处理。

这样,在登记画面中能够对使用者分配对照组,由此,使用者与对照组之间的关联信息被登记到数据库中。另外,在该登记画面中,能够登记有效化日期和无效化日期。该有效化日期和无效化日期用于规定在面部对照服务器6中保管使用者的面部信息(面部特征量数据)的期间,当到了有效化日期时,使用者的面部图像数据被登记到面部对照服务器6的数据库中,当到了无效化日期时,使用者的面部图像数据被从面部对照服务器6的数据库中删除。

另外,通过在该登记画面中指定使用者的摄影图像,来将使用者的面部图像数据登记到面部对照服务器6的数据库中。

图35的(B)所示的检索画面是用于输入与登记完毕的使用者信息有关的检索条件的画面。能够锁定符合检索条件的使用者并显示在一览显示画面中。在该检索画面中设置有姓名输入部131、使用者代码输入部132、对照组输入部133、允许访问组输入部134、有效化日期输入部135、无效化日期输入部136、更新日期时间输入部144、获取件数输入部145以及检索按钮146。

姓名输入部131、使用者代码输入部132、对照组输入部133、允许访问组输入部134、有效化日期输入部135、无效化日期输入部136与登记画面中的相同。能够在更新日期时间输入部144指定更新日期时间(期间)。能够在获取件数输入部145指定获取件数。

当在该检索画面中在必要的项目处输入了检索条件并操作检索按钮146时,迁移到反映出检索结果的一览显示画面(参照图36)。

图36所示的一览显示画面是用于进行与登记完毕的使用者有关的一览显示、批量更新以及批量删除的画面。

通过浏览该参照画面,管理者能够确认使用者的登记内容。在该一览显示画面中设置有一览显示部147和执行按钮148。在一览显示部147中显示使用者代码、姓名、对照组等。另外,在一览显示部147中,按每个使用者设置有复选框。能够通过复选框选择使用者。当通过复选框选择要删除的使用者并操作执行按钮148(删除按钮)时,在面部管理服务器5中进行删除所选择的使用者的处理。

另外,在一览显示画面中能够指定项目(使用者代码、姓名、对照组等)并进行排序(按顺序排列)。此外,也可以设为能够指定一览显示部147的显示件数(使用者的人数)、使用者代码、对照组的显示范围。另外,也可以设为能够指定与各项目有关的检索条件来进行检索。

在此,单独编辑画面(参照图35的(A))是用于进行与使用者有关的登记、参照、更新以及删除的操作的画面。具体地说,当在菜单画面(未图示)中选择登记时,显示未输入的单独编辑画面,在此,能够通过输入与使用者有关的信息来新登记使用者。另外,当在一览显示画面(参照图36)中进行选择使用者的操作时,迁移到单独编辑画面,能够在此单独地确认与登记完毕的使用者有关的信息(单独参照),另外,能够重新输入所需的项目的登记内容(单独更新),另外,能够删除所需的项目的登记内容(单独删除)。

另外,在单独更新时,当在单独编辑画面(参照图35的(A))的面部图像指定部141另外指定了使用者的摄影图像时,能够根据该摄影图像新生成使用者的面部图像,并将使用者的登记时的面部图像替换为新的面部图像。

另外,一览显示画面(参照图36)是用于进行与登记完毕的使用者有关的批量参照、批量更新以及批量删除的画面。具体地说,当在菜单画面(未图示)中选择一览显示时,显示一览显示画面(参照图36),能够在此汇总地确认与登记完毕的使用者有关的信息(批量参照)。另外,能够通过选择复选框来汇总地删除所需的使用者(批量删除)。另外,也可以另外设置能够以一览表的页为单位进行信息的选择的复选框。

另外,能够汇总地更新多个使用者的信息(批量更新)。在该情况下,在检索画面(参照图35的(B))中指定作为对象的使用者、对照组等条件并操作检索按钮146,在响应于此而显示出的一览显示画面(参照图36)中操作执行按钮148(批量更新按钮)。此外,在批量更新中,使用者的姓名、使用者代码等使用者固有信息以外的项目成为更新对象。

另外,当在菜单画面(未图示)中选择检索时,显示检索画面(参照图35的(B)),当在该检索画面中输入检索条件并操作检索按钮146时,迁移到反映出检索结果的一览显示画面(参照图36)。

接着,对与使用者有关的登记处理进行说明。图37是示出与使用者有关的登记处理的过程的时序图。图38是示出与使用者有关的登记处理的概要的说明图。

在管理终端2中,管理者进行用于指示与使用者有关的登记的操作。在本实施方式中,管理者在登记模式的单独编辑画面(参照图35的(A))中输入使用者的信息,并且指定使用者的摄影图像的文件,之后操作登记按钮。

如图38所示,当在管理终端2中进行用于指示与使用者有关的登记的操作时,面部管理服务器5开始进行与使用者有关的登记处理。在该登记处理中,首先向与作为对象的使用者一致的对照组的面部对照服务器6发送提取面部图像的请求。在该请求中包含从管理终端2获取到的使用者的摄影图像。此时,在与作为对象的使用者一致的对照组的面部对照服务器6存在多个的情况下,选择一个面部对照服务器6,并向这一个面部对照服务器6发送提取面部图像的请求。

面部对照服务器6在接收到来自面部管理服务器5的提取面部图像的请求时,进行面部图像提取处理。在该面部图像提取处理中,对从面部管理服务器5获取到的使用者的摄影图像进行面部探测以及面部剪切等处理,来提取使用者的面部图像。然后,向面部管理服务器5发送提取面部图像的响应。该响应中包含使用者的面部图像。

面部管理服务器5在从面部对照服务器6接收到提取面部图像的响应时,向与作为对象的使用者一致的对照组的面部对照服务器6发送登记面部的请求。在该请求中能够包含从特定的面部对照服务器6获取到的使用者的面部图像。此时,在与作为对象的使用者一致的对照组的面部对照服务器6存在多个的情况下,以包含从特定的面部对照服务器6获取到的使用者的面部图像的方式向所有面部对照服务器6发送登记面部的请求。

面部对照服务器6在接收到来自面部管理服务器5的登记面部的请求时,进行面部登记处理。在该面部登记处理中,根据先提取出的使用者的面部图像来生成面部特征量,并将该面部特征量登记在数据库中。此时,与使用者的面部特征量相关联地赋予面部登记ID。然后,向面部管理服务器5发送登记面部的响应。在该响应中包含表示面部登记是否正常地结束的结果以及面部登记ID。此外,随着完成向数据库登记面部特征量,所提取出的使用者的面部图像被删除。另外,也可以将面部特征量的数据备份保存到与面部对照服务器6的面部对照数据库不同的其它管理的HDD、SSD等非易失性存储器中。

面部管理服务器5在从面部对照服务器6接收到登记面部的响应且处理正常地结束的情况下,进行与使用者有关的登记处理。在该登记处理中,将从管理终端2获取到的使用者的信息登记到面部信息数据库中。另外,面部管理服务器5将从面部对照服务器6获取到的使用者的面部图像登记到面部信息数据库中。另外,面部管理服务器5将由面部对照服务器6发行的面部登记ID作为使用者的信息登记到面部信息数据库中。

接着,面部管理服务器5将表示与使用者有关的更新是否正常地结束的结果以画面形式显示于管理终端2。另外,在面部管理服务器5中,记录管理者访问日志。

接着,对与使用者有关的批量登记处理进行说明。图39是示出与使用者有关的批量登记处理的过程的时序图。

在本实施方式中,能够使用存储有与作为对象的多个使用者有关的列表信息的文件,来批量地登记使用者的信息。

具体地说,首先,在管理终端2中,管理者进行用于指示与使用者有关的批量登记的操作。在本实施方式中,管理者在登记画面(未图示)中选择存储有与作为对象的使用者有关的列表信息的文件并操作登记按钮。

此时,读入所选择的列表信息的文件,并将该列表信息显示在管理终端2的确认画面中。管理者在确认画面中确认登记内容之后进行用于指示使用者的批量登记的操作。另外,在确认画面上,能够根据需要修改登记内容。

当在管理终端2中进行用于指示与使用者有关的批量登记的操作时,面部管理服务器5开始进行与使用者有关的批量登记处理。在该批量登记处理中,针对作为对象的所有使用者的每一个使用者重复进行登记处理。与各使用者有关的登记处理同图37示出的与使用者有关的登记处理(单独登记处理)相同。

然后,面部管理服务器5针对作为对象的所有使用者,从面部对照服务器6接收登记面部的响应,当批量登记处理结束时,将表示批量登记处理是否正常地结束的登记结果以画面形式显示于管理终端2。此时,向管理者报告登记失败的使用者,来催促重新进行与该使用者有关的登记。另外,将登记结果以日志文件的形式输出。

接着,对与使用者有关的参照处理进行说明。图40是示出与使用者有关的参照处理的过程的时序图。

在管理终端2中,管理者进行用于指示与使用者有关的一览显示的操作。在本实施方式中,在菜单画面等中进行打开与对照组有关的一览显示画面(参照图36)的操作。

当在管理终端2中进行用于指示与使用者有关的一览显示的操作时,面部管理服务器5参照数据库来生成包含所有使用者的列表信息,并基于该列表信息来在管理终端2中显示一览显示画面(参照图36)。

另外,在管理终端2中,管理者进行用于指示与使用者有关的检索的操作。具体地说,显示检索画面(参照图35的(B)),管理者在该检索画面中输入检索条件并操作检索按钮。

当在管理终端2中进行用于指示与使用者有关的检索的操作时,面部管理服务器5参照数据库,以符合检索条件的使用者为对象来生成列表信息,并基于该列表信息来在管理终端2中显示作为检索结果的一览显示画面(参照图36)。

另外,在管理终端2中,管理者进行用于指示与使用者的一览显示有关的排序的操作。具体地说,管理者在一览显示画面中进行用于指定项目并指示排序的操作。

当在管理终端2中进行用于指示排序的操作时,面部管理服务器5生成按照所指定的项目进行了排序的使用者列表信息,并基于该使用者列表信息来在管理终端2中显示反映出排序的一览显示画面。

此外,当管理者在一览显示画面(参照图36)中进行用于选择使用者并指示单独显示的操作时,面部管理服务器5参照数据库来获取所选择的使用者的信息,并基于该使用者的信息来在管理终端2中显示单独编辑画面(参照图35的(A))。

接着,对与使用者有关的更新处理进行说明。图41是示出与使用者有关的更新处理的过程的时序图。图42是示出与使用者有关的更新处理的概要的说明图。

首先,对使用者的摄影图像发生变更的情况进行说明。在该情况下,在管理终端2中,管理者进行用于指示与使用者有关的更新的操作。在本实施方式中,在指定并显示作为更新对象的使用者的更新模式下,管理者在单独编辑画面(未图示)中重新输入使用者的信息,并且替换使用者的摄影图像的文件,之后操作更新按钮。

如图42所示,当在管理终端2中进行用于指示与使用者有关的更新的操作时,面部管理服务器5开始进行与使用者有关的更新处理。在该更新处理中,首先向与作为对象的使用者一致的对照组的面部对照服务器6发送提取面部图像的请求。在该请求中包含从管理终端2获取到的使用者的摄影图像。此时,在与作为对象的使用者一致的对照组的面部对照服务器6存在多个的情况下,选择一个面部对照服务器6,并向这一个面部对照服务器6发送提取面部图像的请求。

面部对照服务器6在接收到来自面部管理服务器5的提取面部图像的请求时,在面部图像提取部83中进行面部图像提取处理。在该面部图像提取处理中,对从面部管理服务器5获取到的使用者的摄影图像进行面部探测、面部剪切等处理,来生成使用者的面部图像。然后,向面部管理服务器5发送提取面部图像的响应。在该响应中包含使用者的面部图像。

当从面部对照服务器6接收到提取面部图像的响应时,面部管理服务器5向与作为对象的使用者一致的对照组的面部对照服务器6发送登记面部的请求。在该请求中能够包含从特定的面部对照服务器6获取到的使用者的面部图像。此时,在与作为对象的使用者一致的对照组的面部对照服务器6存在多个的情况下,以包含从特定的面部对照服务器6获取到的使用者的面部图像的方式向所有面部对照服务器6发送登记面部的请求。

面部对照服务器6在接收到来自面部管理服务器5的登记面部的请求时,进行面部登记处理。在该面部登记处理中,根据先提取出的使用者的面部图像来生成面部特征量,并将该面部特征量登记到数据库中。此时,与使用者的面部特征量相关联地赋予面部登记ID。然后,向面部管理服务器5发送登记面部的响应。在该响应中包含表示面部登记是否正常地结束的结果以及面部登记ID。

面部管理服务器5当在从面部对照服务器6接收到登记面部的响应时面部登记成功的情况下,向与登记面部的请求相同的面部对照服务器6发送删除面部特征量的请求。此外,在面部登记失败的情况下,不进行删除面部特征量的请求,而仍以旧的面部特征量的状态进行面部对照。

面部对照服务器6在接收到来自面部管理服务器5的删除面部特征量的请求时,进行面部特征量删除处理。在该面部特征量删除处理中删除数据库中登记的对象者的旧的面部特征量。然后,向面部管理服务器5发送删除面部特征量的响应。在该响应中包含表示面部特征量删除是否正常地结束的结果。

面部管理服务器5在从面部对照服务器6接收到删除面部特征量的响应且处理正常地结束的情况下,进行与使用者有关的更新处理。在该更新处理中,用从管理终端2获取到的使用者的信息来更新面部信息数据库的登记内容。另外,将从面部对照服务器6获取到的使用者的面部图像登记到面部信息数据库中。另外,用由面部对照服务器6发行的新的面部登记ID来更新面部信息数据库的登记内容。即,删除旧的面部登记ID,取而代之地登记新的面部登记ID。

接着,面部管理服务器5将表示与使用者有关的更新是否正常地结束的处理结果以画面形式显示于管理终端2。另外,在面部管理服务器5中,记录管理者访问日志。

接着,对使用者的摄影图像没有变更、即摄影图像以外的项目发生变更的情况进行说明。在该情况下,在管理终端2中,管理者进行用于指示与使用者有关的更新的操作,此时,管理者在更新模式的单独编辑画面(未图示)中重新输入使用者的信息之后操作更新按钮。

当在管理终端2中进行用于指示与使用者有关的更新的操作时,面部管理服务器5进行与使用者有关的更新处理。在该更新处理中,用管理者所输入的使用者的信息来更新面部信息数据库的登记内容。然后,将表示与使用者有关的更新是否正常地结束的结果以画面形式显示于管理终端2。另外,在面部管理服务器5中,记录管理者访问日志。

接着,对与使用者有关的删除处理进行说明。图43是示出与使用者有关的删除处理的过程的时序图。图44是示出与使用者有关的删除处理的概要的说明图。

在管理终端2中,管理者进行用于指示与使用者有关的删除的操作。在本实施方式中,在指定并显示了作为删除对象的使用者的删除模式下,管理者在单独编辑画面(未图示)中操作删除按钮。另外,管理者在删除模式的一览显示画面(未图示)中选择作为对象的使用者并操作批量删除按钮。

如图44所示,当在管理终端2中进行用于指示与使用者有关的删除的操作时,面部管理服务器5开始进行与使用者有关的删除处理。在该删除处理中,首先向与作为对象的使用者一致的对照组的面部对照服务器6发送删除面部的请求。此时,在与使用者一致的对照组的面部对照服务器6存在多个的情况下,向所有面部对照服务器6发送删除面部的请求。

面部对照服务器6在接收到来自面部管理服务器5的删除面部的请求时,进行与作为对象的使用者的面部信息有关的删除处理。在该删除处理中,从数据库中删除相应的使用者的信息(面部特征量数据)。

另外,面部对照服务器6在删除处理结束时向面部管理服务器5发送删除面部的响应。在该响应中包含表示删除处理是否正常地结束的结果。

另外,面部管理服务器5在接收到来自面部对照服务器6的删除面部的响应且处理正常地结束的情况下,进行与使用者有关的删除处理。在该删除处理中,从面部信息数据库中删除作为对象的使用者的信息。然后,在删除处理结束时,将表示该删除处理是否正常地结束的处理结果以画面形式显示于管理终端2。另外,在面部管理服务器5中,记录管理者访问日志。

接着,对在面部对照服务器6中进行的面部图像提取处理进行说明。图45是示出面部图像提取处理的概要的说明图。

面部管理服务器5向面部对照服务器6发送提取面部图像的请求。在该请求中包含使用者的摄影图像数据和面部剪切条件(面部图像提取条件)。此外,面部剪切条件是在面部图像提取处理(面部探测、面部尺寸检查、面部剪切)中使用的参数。具体地说,是探测到多个面部的情况下所采用的面部的数量(面部探测数量)、在探测面部时以面部框的面积和高度中的哪一个为基准的面部采用方式、以及与作为用作面部的基准的面部框的宽度及高度有关的最小值及最大值(面部尺寸检查阈值)等。

面部对照服务器6在从面部管理服务器5接收到提取面部图像的请求时,在面部图像提取部83中进行面部图像提取处理。在该面部图像提取处理中进行面部探测、面部尺寸检查以及面部剪切的各处理。然后,向面部管理服务器5发送提取面部图像的响应。在该响应中包含面部图像数据(还存在包含多个面部图像数据的情况)和面部框的位置信息(面部框的左上方的顶点的坐标、面部框的宽度和高度)。

该面部对照服务器6的面部图像提取部83中进行的处理与面部认证机1的面部图像提取部22中进行的处理相同。即,首先对从面部认证机1获取到的摄影图像中包含的面部区域进行探测(面部探测)。在此,在摄影图像中包含多个面部区域的情况下,基于面部区域的面积和横向宽度来筛选面部区域。接着,判定从摄影图像中探测到的面部区域(面部框)的尺寸是否满足了规定的基准(适当范围)(面部尺寸检查)。接着,以通过面部探测获取到的面部区域(面部框)为基准对摄像机11的摄影图像设定剪切区域,将该剪切区域的图像剪切为面部图像(面部剪切),来获取面部图像。

接着,说明在面部对照服务器6中进行的图像质量检查。图46是示出图像质量检查处理的概要的说明图。

面部对照服务器6的图像质量检查部82判定从摄影图像数据中探测到的面部区域(面部框)的图像是否满足了规定的质量。具体地说,从图像中探测有无佩戴口罩以及有无佩戴太阳镜。另外,根据图像来计算面部认证匹配度。面部认证匹配度是与面部的朝向、表情相应的评价值。

在该图像质量检查时,首先,面部管理服务器5向面部对照服务器6发送图像质量检查的请求。在该请求中包含摄影图像数据和面部框信息。

面部对照服务器6在从面部管理服务器5接收到图像质量检查的请求时,在图像质量检查部82中判定摄影图像内的面部区域(面部框)的图像是否满足了规定的质量,并计算质量评价值。然后,向面部管理服务器5发送图像质量检查的响应。在该响应中包含质量评价值。

接着,说明在面部登记时进行的面部特征量生成处理。图47是示出面部特征量生成处理的概要的说明图。

面部对照服务器6的面部特征量生成部84根据先提取出的使用者的面部图像数据来生成面部特征量数据,并将该面部特征量数据保存在面部对照数据库中。

在生成该面部特征量时,首先,面部管理服务器5或面部认证机1向面部对照服务器6发送生成面部特征量的请求。

面部对照服务器6在从面部管理服务器5接收到生成面部特征量的请求时,在面部特征量生成部84中根据先提取出的面部区域的图像来生成面部特征量数据。然后,向面部管理服务器5发送生成面部特征量的响应。

接着,说明在面部登记时进行的面部特征量登记处理。图48是示出面部特征量登记处理(特征量指定)的概要的说明图。图49是示出面部特征量登记处理(图像指定)的概要的说明图。

面部对照服务器6具有提取面部图像的功能和生成面部特征量的功能,响应于来自面部管理服务器5的请求来进行面部图像提取和面部特征量生成的各处理。另一方面,在同一对照组中存在多个面部对照服务器6的情况下,需要将使用者的面部特征量重复登记到各面部对照服务器6的面部对照数据库中。

此时,在一个面部对照服务器6中进行面部图像提取和面部特征量生成的各处理,并将在此获取到的面部特征量提供给剩余的面部对照服务器6,由此能够在所有面部对照服务器6中进行面部特征量的登记。在该情况下,面部管理服务器5在生成面部特征量的响应中预先接收在某一个面部对照服务器6中生成的面部特征量数据,并在针对剩余的面部对照服务器6的登记面部特征量的请求中附加面部特征量数据,来进行登记面部特征量的指示(特征量指定)。

另外,在一个面部对照服务器6中进行面部图像提取处理,将在此获取到的面部图像数据提供给剩余的面部对照服务器6,并在该剩余的面部对照服务器6中进行面部特征量生成处理,由此能够在所有面部对照服务器6中进行面部特征量数据的登记。在该情况下,面部管理服务器5在提取面部图像的响应中预先接收从某一个面部对照服务器6获取到的面部图像数据等,并在针对剩余的面部对照服务器6的登记面部特征量的请求中附加面部图像数据等,来进行登记面部特征量的指示(图像指定)。

如图48所示,在指定特征量的情况下,首先,面部管理服务器5向面部对照服务器6发送登记面部特征量的请求。在该请求中包含使用者的对照组、面部特征量数据以及使用者代码。

面部对照服务器6在从面部管理服务器5接收到登记面部特征量的请求时,在面部特征量管理部85中将请求中附加的使用者的面部特征量数据登记到面部对照数据库中。此时,登记到与使用者所属的对照组对应的面部对照单元的面部对照数据库中。另外,面部对照服务器6对完成了面部登记的使用者赋予登记者代码。将登记者代码与面部特征量相对应地登记到面部对照数据库中。

然后,面部对照服务器6在面部特征量登记处理结束时向面部管理服务器5发送响应。在该响应中包含表示处理是否正常地结束的处理结果以及面部登记ID(登记者代码)。

如图49所示,在进行图像指定的情况下,首先,面部管理服务器5向面部对照服务器6发送登记面部特征量的请求。在该请求中包含使用者的对照组、使用者的摄影图像数据、面部框信息以及使用者代码。

面部对照服务器6在从面部管理服务器5接收到登记面部特征量的请求时,在面部特征量生成部84中根据请求中附加的使用者的面部图像数据(摄影图像数据和面部框信息)来生成面部特征量数据,在面部特征量管理部85中将使用者的面部特征量数据登记到面部对照数据库中。此时,登记到与使用者所属的对照组对应的面部认证工序的面部对照数据库中。另外,面部对照服务器6对完成了面部登记的使用者赋予登记者代码。另外,将登记者代码与面部特征量相对应地登记到面部对照数据库中。

然后,面部对照服务器6向面部管理服务器5发送登记面部特征量的响应。在该响应中包含表示处理是否正常地结束的处理结果以及面部登记ID。

接着,说明在更新和删除时进行的面部特征量删除处理。图50是示出面部特征量删除处理的概要的说明图。

在进行与使用者有关的删除时,从面部对照服务器6的面部对照数据库中删除作为对象的使用者的面部特征量数据。另外,在进行与使用者有关的更新时,从面部对照服务器6的面部对照数据库中删除作为对象的使用者的旧的面部特征量数据。此外,在删除了面部特征量时,作为对象的使用者的其它信息也被删除,同面部特征量与使用者的对应关系有关的信息也被删除。

具体地说,首先,面部管理服务器5向面部对照服务器6发送删除面部特征量的请求。在该请求中包含对照组和面部登记ID。

面部对照服务器6在从面部管理服务器5接收到删除的请求时,在面部特征量管理部85中基于请求中附加的面部登记ID来确定使用者,并从面部对照数据库中删除作为对象的使用者的面部特征量。此时,在作为对象的使用者属于多个对照组的情况下,按每个对照组进行删除处理。即,从每个对照组的面部对照数据库中删除作为对象的使用者的面部特征量。

另外,面部对照服务器6在删除处理结束时向面部管理服务器5发送删除面部特征量的响应。在该删除响应中包含表示删除处理是否正常地结束的处理结果。

接着,说明在进行与使用者有关的登记处理时进行的面部登记。图51是示出面部登记的概要的说明图。

在面部管理服务器5进行与使用者有关的登记处理时,首先,使面部对照服务器6进行提取面部图像的处理,在将从面部对照服务器6获取到的面部图像数据登记到面部信息数据库中之后,向面部对照服务器6提供面部图像数据,以使面部对照服务器6进行面部登记的处理。在该面部登记的处理中,根据从面部管理服务器5获取到的面部图像来生成面部特征量,并将该面部特征量登记到面部对照数据库中。

具体地说,首先,面部管理服务器5向面部对照服务器6发送登记面部的请求。在该登记面部的请求中包含使用者代码、对照组、使用者登记ID以及面部图像数据。

面部对照服务器6在从面部管理服务器5接收到登记面部的请求时,在图像质量检查部82中对该请求中附加的使用者的面部图像进行图像质量检查。接着,在面部特征量生成部84中根据使用者的面部图像数据生成面部特征量数据,在面部特征量管理部85中将使用者的面部特征量数据登记到与使用者的对照组对应的面部对照数据库中。此时,保存面部管理服务器5的面部信息数据库中使用的使用者登记ID与面部对照服务器6的面部对照数据库中使用的登记面部特征量时的登记ID之间的关联信息。另外,在已经登记了使用者登记ID的情况下,删除并替换原来的面部特征量。另外,将使用者代码作为使用者的信息登记到面部对照数据库中。

面部对照服务器6在进行向与使用者所属的所有对照组对应的面部对照数据库登记的处理时,向面部管理服务器5发送登记面部的响应。在该响应中包含表示登记处理是否正常地结束的处理结果。

接着,说明在面部管理服务器5中进行的面部信息同步处理。图52是示出面部信息同步处理的概要的说明图。

面部管理服务器5的面部信息管理部66执行与面部对照服务器6之间的同步处理。在该同步处理中,设为面部管理服务器5中的面部信息数据库的登记内容与面部对照服务器6中的面部对照数据库的登记内容一致。具体地说,设为面部管理服务器5的面部信息数据库中登记的使用者信息(面部图像)与面部对照服务器6的面部对照数据库中登记的使用者的面部特征量数据相互匹配。另外,设为在面部管理服务器5和面部对照服务器6中与面部对照服务器6的对照组有关的登记内容是一致的。

在此,关于同步处理的时刻,以规定的周期定期地执行同步处理。另外,在进行了使用者信息的登记、更新以及删除时执行同步处理。另外,在删除了对照组时、启动了面部对照服务器6时,执行同步处理。

另外,关于作为同步处理的对象的使用者,以所有使用者为对象进行同步。另外,以指定的使用者为对象进行同步。另外,以在指定的期间内被进行了更新的使用者为对象进行同步。

另外,在本实施方式中,登记每个使用者的有效化日期和无效化日期作为使用者信息。有效化日期是能够使作为对象的使用者的面部对照有效的日期,在该有效化日期以后的成为有效状态的期间,实施使用者的面部认证,且能够接受面部认证。无效化日期是能够使面部对照无效的日期,在该无效化日期以后的成为无效状态的期间,不实施使用者的面部认证,不能接受面部认证。

另外,面部管理服务器5的面部信息管理部66以所有使用者为对象进行有效化和无效化的判定,来作为同步的时刻判定。在使用者的面部对照有效化而进入了有效化期间时,指示面部对照服务器6进行面部登记处理、即登记作为对象的使用者的面部特征量数据的处理。另外,在使用者的面部对照无效化而进入了无效化期间时,指示面部对照服务器6进行面部删除处理、即删除作为对象的使用者的面部特征量数据的处理。因而,在有效化日期以前的期间、无效化日期以后的期间,使用者的面部信息(面部特征量数据)未被保管在面部对照服务器6中。

另外,面部管理服务器5判定在面部对照服务器6中是否正常地结束了规定的处理,如果判定为处理失败而需要重新执行处理,则指示面部对照服务器6重新执行处理。在此,作为对象的处理是登记面部、删除面部、登记对照组、删除对照组的各处理。

此外,在面部管理服务器5中,记录同步日志(同步处理的历史记录信息)。

接着,对面部特征量数据的复制处理进行说明。图53是示出面部特征量数据的复制处理的概要的说明图。

在本实施方式中,在面部对照服务器6中针对每个对照组设置有面部对照数据库,以对照组为单位管理使用者的面部特征量数据,另外,为了负担分散或死机应对等而设置多个相同对照组的面部对照数据库。因此,需要向多个面部对照数据库中登记同一使用者的面部特征量数据。另一方面,根据使用者的面部图像数据生成面部特征量数据的处理的负担大,在多个面部对照服务器6中重复进行该处理并非高效的。

因此,在本实施方式中,在已经生成使用者的面部特征量数据并登记到面部对照数据库中的情况下,在两个面部对照数据库之间进行面部特征量数据的复制。即,能够利用原来的面部对照数据库中登记的面部特征量数据来进行其它面部对照数据库的登记。

面部管理服务器5的面部信息管理部66基于面部信息数据库来管理面部对照数据库中的每个使用者的面部特征量数据的登记状况,在发生了与使用者的面部图像数据有关的某种变更的情况下,指示在两个面部对照数据库之间进行面部特征量数据的复制(传送指示)。

此时,在存在以个人为单位的变更的情况下,如图53的(A)所示,进行以个人为单位的面部特征量数据的复制(个人复制)。例如,在新登记了使用者或者更新了使用者的情况下,进行以个人为单位的面部特征量数据的复制。另外,为了提高与特定的使用者有关的面部对照的精度,有时使用不同的面部图像数据来追加生成面部特征量数据,针对同一使用者登记多个面部特征量数据。在该情况下,也仅以特定的使用者为对象来进行以个人为单位的面部特征量数据的复制。

另外,在存在以对照组为单位的变更的情况下,如图53的(B)所示,以对照组为单位进行面部特征量数据的复制(成组复制)。例如,在新登记了对照组的情况下,将最初登记有面部特征量数据的面部对照数据库的面部特征量数据批量地复制到为相同的登记内容的第二个以后的面部对照数据库中。另外,在为了分散负担或冗余化而设置多个相同的登记内容的面部对照数据库的情况下,也以对照组为单位复制使用者的面部特征量数据。

接着,对本系统中的面部认证时的处理进行说明。图54是示出面部认证时的处理的概要的说明图。

面部认证机1在从摄像机11的摄影图像中探测出人物的面部并获取到面部图像时,向面部对照服务器6发送面部对照的请求。在该面部对照的请求中包含作为请求源的面部认证机1的设备ID、面部认证机1的对照组、面部认证的对象者的摄影图像数据、面部框信息以及对照条件。

面部对照服务器6首先在面部特征量生成部84中根据从面部认证机1获取到的对象者的面部图像来生成对象者的面部特征量。接着,在与面部认证机1的对照组对应的面部对照单元的面部特征量对照部86中,将对象者的面部特征量与面部认证数据库中登记的使用者的面部特征量进行对照。此时,在与作为请求源的面部认证机1一致的对照组的面部认证工序中进行面部对照。当面部对照结束时,向作为请求源的认证机发送面部对照的响应。在该面部对照的响应中包含对照结果(成功、失败)、对照得分以及使用者代码。

面部特征量对照部86计算表示面部认证的对象者与已登记的使用者之间的相似度的对照得分,在该对照得分为规定的基准值以上的情况下,将面部认证的对象者视为已登记的使用者本人,生成表示面部对照成功的对照结果。另一方面,在所有使用者的对照得分不为基准值以上的情况下,判定为面部认证的对象者不是已登记的使用者,生成表示面部对照失败的对照结果。

此外,也可以将在面部对照服务器6中进行的面部对照的处理条件(面部对照的参数)附加到对照的请求中。由此,能够从面部认证机1指示在面部对照服务器6中进行的面部对照的处理内容。例如,指定与对照得分有关的阈值作为面部对照的处理条件,使对照得分为规定的阈值以上的对照结果包含在响应中。另外,指定对照结果数量作为面部对照的处理条件,使对照得分从高到低的规定数量的对照结果包含在响应中。

另外,在面部对照服务器6中,当面部对照结束时,在认证日志管理部87中将通过面部对照获取到的对照结果等信息作为认证日志(面部认证的历史记录信息)保存到数据库中。此时,除了仅将面部认证的结果(成功、失败)作为认证日志进行保存之外,也可以还使对照得分包含在认证日志中。另外,也可以使从面部认证机1获取到的对象者的面部图像包含在认证日志中。在该情况下,可以将对象者的面部图像进行加密并保存。

此外,在得到多个对照得分超过阈值的有效的对照结果的情况下,也可以锁定对照得分从高到低的规定数量的对照结果并作为认证日志进行保存。另外,在面部对照没有正常地结束或者没有得到对照得分超过阈值的有效的对照结果的情况下,也可以仅将来自面部认证机1的请求中包含的信息作为认证日志进行保存。

图55是示出与认证日志有关的参照处理的概要的说明图。

面部对照服务器6响应于从管理终端2经由面部管理服务器5发出的请求,来将本装置中蓄积的认证日志(面部识别历史记录信息)发送到管理终端2,管理者能够在管理终端2中浏览认证日志信息。此时,管理者能够指定条件,管理者能够浏览符合所指定的条件的认证日志。

具体地说,管理终端2显示输入用于检索认证日志的检索条件的画面,在该画面中,管理者能够指定作为面部认证的请求源的面部认证机1、使用者、提取件数、执行了面部对照的对照日期时间(提取期间)以及对照结果(成功、失败)等作为检索条件。

当管理者在管理终端2中输入检索条件并进行用于指示检索的操作时,面部管理服务器5的认证日志呈现部69向面部对照服务器6发送参照认证日志的请求。在该参照认证日志的请求中包含管理者所指定的检索条件。此时,认证日志呈现部69基于同面部认证机1与对照组的关联有关的信息、同面部对照服务器6与对照组的关联有关的信息以及与使用者有关的信息,来确定与作为对象的面部认证机1或使用者一致的对照组的面部对照服务器6,并向该面部对照服务器6发送参照认证日志的请求。另外,在面部管理服务器5中,记录管理者访问日志。

面部对照服务器6在从面部管理服务器5接收到参照认证日志的请求时,按照该请求中包含的检索条件来检索认证日志,作为检索结果,生成汇总了符合检索条件的认证日志而得到的列表,将该认证日志的列表附加于参照认证日志的响应中并发送到面部管理服务器5。此外,能够将对象者的面部图像作为认证日志发送到面部管理服务器5,但在该情况下,由于对象者的面部图像被进行了加密,因此在解密后附加到响应中。

面部管理服务器5在从面部对照服务器6接收到参照认证日志的响应时,基于该响应中包含的认证日志的列表,使一览显示出符合管理者所指定的检索条件的认证日志的检索结果的画面显示于管理终端2。此时,关于在面部对照服务器6中无法锁定的检索条件,从认证日志的列表中提取符合检索条件的认证日志,来生成能够锁定的认证日志的列表。

此外,在管理终端2中能够指定项目并指示排序,当进行该操作时,面部管理服务器5按所指定的项目对认证日志的列表执行排序,生成排序完毕的认证日志的列表。另外,在管理终端2中能够指定认证日志的获取件数,当进行该操作时,面部对照服务器6提取获取件数的认证日志并生成认证日志的列表。另外,在管理终端2中能够指定期间,当进行该操作时,面部对照服务器6提取包含在期间内的认证日志并生成认证日志的列表。

图56是示出在管理终端2中显示的认证日志参照画面的说明图。

在管理终端2中显示认证日志参照画面。在该认证日志参照画面中设置有检索条件指定部151和检索结果显示部152。

能够在检索条件指定部151输入作为对象的面部认证机1的设备ID、使用者代码、获取件数、对照日期时间以及对照结果的各项目来作为检索条件。此外,在对照日期时间的项目中能够指定期间(起点和终点)。另外,在对照结果的项目中,能够通过下拉菜单选择成功、失败、以及成功和失败这双方。当在该检索条件指定部151中输入了各项目的检索条件之后操作检索按钮153时,执行检索符合检索条件的认证日志的检索,并在检索结果显示部152中显示检索结果。

在检索结果显示部152中一览显示对照日期时间、对照结果(成功、失败)以及面部图像的各项目的数据来作为检索结果。在对照结果成功的情况下,在面部图像的项目中显示从面部认证机1获取到的面部认证的对象者的面部图像和所登记的使用者的面部图像。在对照结果失败的情况下,仅显示面部认证的对象者的面部图像。由此,管理者能够确认与所指定的面部认证机1或使用者有关的认证日志,并且能够通过对照日期时间或对照结果来锁定认证日志后进行确认。

能够在该检索结果显示部152指定项目并进行排序(按顺序排列)。另外,当操作保存按钮154时,检索结果显示部152中显示的认证日志信息被以规定的格式保存。由此,管理者能够按时间序列确认与所指定的面部认证机1或使用者有关的认证日志。

接着,对面部认证机1的外部应用程序协作的功能进行说明。图57是示出面部认证机1的外部应用程序协作的概要的说明图。

面部认证机1具备外部应用程序协作的功能,将从面部对照服务器6获取到的认证结果通知给外部应用程序、即外部系统的管理服务器8(管理装置)。外部系统利用本系统的认证结果向使用者提供各种服务。例如,外部系统是进出管理系统,在认证结果成功的情况下进行将门开锁的控制。另外,外部系统是结算系统,在认证结果成功的情况下进行执行结算的控制。

另外,面部认证机1具备认证结果调整部25(连接应用程序),将认证结果经由该认证结果调整部25通知给外部系统的管理服务器8。面部认证机1将认证结果(成功、失败)经由命名通道(工序间通信)通知给认证结果调整部25。认证结果调整部25通过规定的协议(WebSocket)将认证结果经由网络通知给外部系统的管理服务器8。此外,认证结果调整部25也可以根据外部系统中的认证结果的利用方法进行信息的加工、附加等必要的处理。

面部认证机1的面部对照请求部23向面部对照服务器6发送面部对照的请求,当响应于此而从面部对照服务器6接收到面部对照的响应时,将该响应中包含的认证结果(认证成功、认证失败)写入命名通道并通知给连接应用程序。此时,面部认证机1还获取认证者和摄像机11的识别信息来作为认证结果,并附加到认证结果的通知中。具体地说,在认证结果成功的情况下,将使用者代码和面部认证机1(摄像机11)的设备ID写入命名通道。另一方面,在认证结果失败的情况下,仅将认证结果(认证失败)写入命名通道。

另外,面部认证机1的认证结果调整部25抑制认证结果的通知,使得避免对外部系统重复通知同一内容的认证结果。在本实施方式中,当对连接应用程序通知认证结果时,设定通知抑制时间,在该通知抑制时间内,暂时停止通知同一内容的认证结果。

如果进行了与某个人物有关的认证成功的通知,则在从通知该认证成功起的规定时间(认证成功的通知抑制时间)内,抑制与该人物有关的认证成功的通知。另外,如果进行了与某个人物有关的认证失败的通知,则在从通知该认证失败起的规定时间(认证失败的通知抑制时间)内,抑制与该人物有关的认证失败的通知。

针对各认证结果(认证成功、认证失败)和每个人物设定该通知抑制时间,如果认证结果不同,则即使是同一个人物也分别设定通知抑制时间,如果认证结果相同但人物不同,则分别设定通知抑制时间。因而,在与某个人物有关的认证失败的通知抑制时间内,能够进行与该人物有关的认证成功的通知,在与某个人物有关的认证成功的通知抑制时间内,能够进行与该人物有关的认证失败的通知。另外,在与某个人物有关的认证失败的通知抑制时间内,能够进行与其他人物有关的认证失败的通知,在与某个人物有关的认证成功的通知抑制时间内,能够进行与其他人物有关的认证成功的通知。

接着,对本系统中的运行状况监视功能进行说明。图58是示出本系统中的运行状况监视功能的概要的说明图。

面部认证机1具备运行状况监视部26。该运行状况监视部26监视本装置的运行状况,以规定的周期定期地将本装置的运行状况(死机状况)通知给面部管理服务器5(监视服务器)。另外,面部对照服务器6具备运行状况监视部89。该运行状况监视部89监视本装置的运行状况,以规定的周期定期地将本装置的运行状况(死机状况)通知给面部管理服务器5(监视服务器)。

面部管理服务器5具备运行状况监视部68。该运行状况监视部68监视本装置的运行状况,以规定的周期定期地将本装置的运行状况(死机状况)记录到本装置中。另外,面部管理服务器5将从面部认证机1和面部对照服务器6通知的运行状况记录到本装置中。

在此,与所通知的运行状况有关的信息包含设备ID、获取时刻、死机状况、程序的版本信息等。

另外,在管理终端2中,请求面部管理服务器5参照运行状况,由此管理者能够确认运行状况。

接着,说明伴随面部对照服务器6中的程序的版本升级而进行的面部对照数据库的更新。

在面部对照服务器6中适当地进行面部特征量生成程序或面部对照程序的版本升级(更新),以提高面部对照的精度。另一方面,面部特征量数据依赖于面部特征量生成或面部对照的算法,如果变更该算法,则面部特征量数据也变化,因此需要重新生成面部特征量数据。

因此,在本实施方式中,当进行与面部特征量生成或面部对照的算法有关的程序的版本升级时,更新面部对照数据库中登记的面部特征量数据,使得与新的程序对应。即,删除已经保管的面部特征量数据,基于登记使用者时的面部图像数据重新生成面部特征量数据,并保管该新的面部特征量数据。

具体地说,在面部管理服务器5中,当通过运行状况通知功能探测到面部对照程序的版本升级时,向面部对照服务器6发送更新面部特征量数据的请求。在该请求中包含使用者的面部图像。面部对照服务器6中的面部特征量管理部85在接收到更新面部特征量数据的请求时,使面部特征量生成部84进行根据使用者的面部图像生成面部特征量数据的处理,并将新的面部特征量数据登记到面部对照数据库中。

此时,在多个面部对照服务器6中面部对照工序和面部对照数据库相同的情况下,即在多个面部对照服务器6彼此之间面部对照数据库中登记的面部特征量数据相同、并且在面部对照工序中进行以同一对照组的面部认证机1为对象的面部对照处理的情况下,在一个面部对照服务器6中重新生成面部特征量数据,并将该新的面部特征量数据登记到面部对照数据库中,此时将该面部对照数据库中登记的面部特征量数据复制到其它面部对照服务器6中,使面部对照数据库的登记内容相同。

此时,从面部管理服务器5向作为复制目的地的面部对照服务器6指示复制,经由面部管理服务器5将作为复制源的面部对照服务器6中保管的面部特征量数据传送到作为复制目的地的面部对照服务器6中即可。

接着,对备份和恢复进行说明。

在本实施方式中,能够对面部管理服务器5和面部对照服务器6中保管的数据库、文件进行备份和恢复。

面部管理服务器5中保管的信息中的成为备份对象的信息是使用者信息(面部信息)的数据库、面部图像的文件、对照组信息的数据库、认证机与对照组的关联信息的数据库、对照服务器与对照组的关联信息的数据库以及管理者访问日志的文件等。

面部对照服务器6中保管的信息中的成为备份对象的信息是认证日志的数据库和面部图像的文件等。

图59是示出在管理终端2中显示的备份画面和恢复画面的说明图。此外,能够通过画面内的标签来在备份画面与恢复画面之间进行切换。

如图59的(A)所示,在备份画面中设置有备份目的地指定部161、备份对象指定部162、进展状况显示部163以及执行按钮164。能够在备份目的地指定部161指定备份目的地。能够在备份对象指定部162选择面部管理服务器5和面部对照服务器6来作为成为备份对象的设备。当操作执行按钮164时执行备份。在进度状况显示部163中将成为备份对象的数据项目进行一览显示。在该数据项目中,响应于备份的结束而显示复选标记,管理者能够识别备份的进展状况。

在此,成为备份对象的数据是使用者信息(面部信息)的数据库、已登记的使用者的面部图像的文件、对照组信息的数据库、面部认证机1与对照组之间的关联信息的数据库、面部对照服务器6与对照组之间的关联信息的数据库、管理者访问日志的文件、认证日志的数据库以及面部认证的对象者的面部图像的文件等。

如图59的(B)所示,在恢复画面中,与备份画面同样地设置有恢复目的地指定部165、恢复对象指定部166、进展状况显示部167以及执行按钮168。能够在恢复目的地指定部165指定恢复目的地。能够在恢复对象指定部166选择面部管理服务器5和面部对照服务器6来作为成为恢复对象的设备。当操作执行按钮168时执行恢复。在进展状况显示部167中将成为恢复对象的数据项目进行一览显示。在该数据项目中,响应于恢复的结束而显示复选标记,管理者能够识别恢复的进展状况。

接着,对本实施方式的变形例进行说明。图60是示出本实施方式的变形例所涉及的面部图像提取处理的概要的说明图。

在上述的实施方式(参照图12)中,设为在面部认证机1和面部对照服务器6中进行根据使用者的摄影图像数据生成面部图像数据的面部图像提取处理,但在本变形例中,在面部认证机1和面部管理服务器5中进行面部图像提取处理,在面部对照服务器6中不进行面部图像提取处理。具体地说,省略了在上述的实施方式中设置在面部对照服务器6中的面部图像提取部83,并且在面部管理服务器5中设置有面部图像提取部201。

在登记使用者时,通过从管理终端2向面部管理服务器5发送使用者的摄影图像数据,来由面部管理服务器5的面部图像提取部201进行面部图像提取处理。另一方面,在面部认证时,由面部认证机1的面部图像提取部22进行面部图像提取处理,这与上述的实施方式相同。

如上所述,作为在本申请中公开的技术的例示,说明了实施方式。然而,本公开中的技术不限定于此,还能够应用于进行了变更、替换、添加、省略等所得到的实施方式。另外,还能够将在上述的实施方式中说明的各构成要素进行组合来形成新的实施方式。

此外,近年来,在IoT(Internet of Things:物联网)的世界中,CPS(CyberPhysical Systems:信息物理系统)受到关注,该CPS是通过物理空间与网络空间的信息协作来制作新的附加价值的新概念。其中,在本实施方式中也能够采用CPS概念。即,作为CPS的基本结构,例如能够将配置在物理空间的边缘设备与配置在网络空间的云服务器经由网络进行连接,通过在边缘设备和云服务器中搭载的处理器来分散地处理面部认证处理。在该面部认证处理中,获取由作为边缘设备的认证机的摄像机拍摄到的使用者的面部图像数据。接着,云服务器执行根据经由网络从边缘设备接收到的面部图像数据来生成特征量数据的处理,将该特征量数据与预先登记的使用者的特征量数据进行对照,来执行使用者的认证处理,利用面部认证应用软件继承与该认证处理有关的认证结果,并将该认证结果以在应用程序上定义的输出格式显示在显示器等中。在此,在边缘设备或云服务器中生成的各数据优选由搭载于标准化的平台上的Web应用程序等生成,通过使用这样的标准化平台,能够实现构建包含各种多样的传感器组、IoT应用软件的系统时的高效化。

产业上的可利用性

本公开所涉及的面部认证系统以及面部认证方法具有能够针对面部认证服务的每个提供者稳定且高效地运用面部认证系统的效果,作为基于拍摄对象者所得到的图像数据来执行面部认证处理的面部认证系统以及面部认证方法等是有用的。

附图标记说明

1:面部认证机;2:管理终端(终端装置、面部认证管理装置);3:面部认证服务器(服务器装置);5:面部管理服务器(面部图像管理部);6:面部对照服务器(面部图像对照部)。

相关技术
  • 一种面部识别考勤过程认证方法
  • 一种应用程序认证系统及认证方法
  • 终端装置、认证系统以及认证控制方法
  • 面部认证装置、面部认证方法以及面部认证程序
  • 面部认证服务器装置、面部认证方法及程序
技术分类

06120116024746