信息处理装置、信息处理方法和信息处理程序

本申请基于并要求在2018年7月25日提交的日本专利申请No.2018-139374的优先权，其全部内容通过引用合并于此。

技术领域

本发明涉及信息处理装置、信息处理方法和信息处理程序。

背景技术

在上述技术领域中，专利文献1公开了一种经由网络开设金融机构的账户的技术。在专利文献1中，通过在由扫描仪读取的图像信息与由用户输入的身份验证信息之间的匹配来执行身份验证。专利文献2公开了一种使用用户的面部图像的校对的身份验证技术，其通过指示面部的方向和眨眼来防止欺骗。此外，专利文献3公开了使用由面部方向的移动所引起的角膜反射的变化的身份验证技术。

引文列表

专利文献

专利文献1：日本专利公开No.2006-251944，

专利文献2：日本专利公开No.2003-317100，

专利文献3：日本专利公开No.2018-504703。

发明内容

技术问题

然而，即使将上述文献中描述的技术应用于在从终端开设账户时的身份验证，也需要输入用于资格审查所需的用户信息的工作。

问题解决方案

本发明提供一种解决上述问题的技术。

问题的解决方法

本发明的一个示例方面提供了一种信息处理装置，包括：

第一特征提取器，其从包括在运动图像中的用户的面部图像提取第一特征；

第二特征提取器，其从包括在所述运动图像中的用于认证所述用户的身份验证文件的面部图像提取第二特征；

第一校对器，其校对所述第一特征和所述第二特征是否相互匹配；

第一确定器，其指示所述用户执行预定动作，并确定包括在所述运动图像中的所述用户的动作是否对应于所指示的预定动作；以及

验证器，当所述第一特征和第二特征相互匹配并且包括在所述运动图像中的所述用户的动作对应于所指示的预定动作时，验证所述用户是他或她本人。

本发明的另一示例方面提供了一种信息处理方法，包括：

从包括在运动图像中的用户的面部图像提取第一特征；

从包括在所述运动图像中的用于认证所述用户的身份验证文件的面部图像提取第二特征；

校对所述第一特征和所述第二特征是否相互匹配；

指示所述用户执行预定动作，并确定包括在所述运动图像中的所述用户的动作是否对应于所指示的预定动作；以及

当所述第一特征和第二特征相互匹配并且包括在所述运动图像中的所述用户的动作对应于所指示的预定动作时，验证所述用户是他或她本人。

本发明的又一个示例方面提供了一种信息处理程序，用于使计算机执行一种方法，包括：

从包括在运动图像中的用户的面部图像提取第一特征；

从包括在所述运动图像中的用于认证所述用户的身份验证文件的面部图像提取第二特征；

校对所述第一特征和所述第二特征是否相互匹配；

指示所述用户执行预定动作，并确定包括在所述运动图像中的所述用户的动作是否对应于所指示的预定动作；以及

当所述第一特征和第二特征相互匹配并且包括在所述运动图像中的所述用户的动作对应于所指示的预定动作时，验证所述用户是他或她本人。

发明的有益效果

根据本发明，当从终端开设账户时，可以容易地、可靠地执行身份验证并输入用户信息。

附图说明

图1是示出根据本发明的第一示例实施例的信息处理装置的布置的框图；

图2A是示出根据本发明的第二示例实施例的信息处理装置所进行的账户开设操作的概况的图；

图2B是示出根据本发明的第二示例实施例的信息处理装置所进行的身份验证处理的操作的概况的图；

图3是示出包括根据本发明的第二示例实施例的信息处理装置的账户开设系统的配置的框图；

图4A是示出包括根据本发明的第二示例实施例的信息处理装置的账户开设系统的操作过程的序列图；

图4B是示出包括根据本发明的第二示例实施例的信息处理装置的账户开设系统的操作过程的序列图；

图5是示出根据本发明的第二示例实施例的作为信息处理装置的通信终端的功能布置的框图；

图6A是表示本发明的第二示例实施例的用户信息保持器的结构的图。

图6B是表示本发明的第二示例实施例的身份验证信息保持器的结构的图。

图7A是示出根据本发明的第二示例实施例的面部图像校对表的结构的表；

图7B是示出本发明的第二示例实施例的活体确定表的结构的表。

图7C是示出根据本发明的第二示例实施例的真实执照确定表的结构的表；

图8是示出根据本发明的第二示例实施例的作为信息处理装置的通信终端的硬件布置的框图；

图9A是示出根据本发明的第二示例实施例的作为信息处理装置的通信终端的处理过程的流程图；

图9B是示出根据本发明的第二示例实施例的身份验证处理的过程的流程图。

图9C是示出根据本发明的第二示例实施例的面部图像校对处理的过程的流程图。

图9D是示出根据本发明的第二示例实施例的活体确定处理的步骤的流程图。

图9E是示出根据本发明的第二示例实施例的执照确定处理的过程的流程图。

图10是示出根据本发明的第二示例实施例的资格审查服务器的处理过程的流程图。

图11是表示本发明的第二示例实施例的银行账户管理服务器的处理过程的流程图。

图12是示出根据本发明的第三示例示例实施例的信息处理装置所进行的身份验证处理的操作的概况的示图；

图13是示出作为根据本发明的第三示例实施例的信息处理装置的通信终端的功能布置的框图；

图14是表示根据本发明的第三示例实施例的用户信息保持器和身份验证信息保持器的结构的图。

图15是表示根据本发明的第三示例实施例的活体确定表的结构的表。

图16是表示根据本发明的第三示例实施例的活体确定处理的过程的流程图。

图17是表示根据本发明的第四示例实施例的信息处理装置的用户信息采集处理的操作的概况的图。

图18是示出根据本发明的第四示例实施例的作为信息处理装置的通信终端的功能布置的框图；

图19是表示根据本发明的第四示例实施例的用户信息采集处理的过程的流程图。

图20是表示根据本发明的第五示例实施例的信息处理装置的身份验证处理的操作的概况的图。

图21是示出根据本发明的第六示例实施例的作为信息处理装置的通信终端的功能布置的框图；

图22是示出根据本发明的第六示例实施例的作为信息处理装置的通信终端的处理过程的流程图。

图23是示出根据本发明的第七示例实施例的信息处理装置的账户使用操作的概况的图；

图24是示出根据本发明的第七示例实施例的包括信息处理装置的帐户使用系统的操作过程的序列图；和

图25是示出根据本发明的第七示例实施例的作为信息处理装置的通信终端的功能布置的框图。

具体实施方式

现在将参照附图详细描述本发明的示例实施例。应当注意，除非另外特别说明，否则在这些示例实施例中阐述的各组件的相对布置、各数值表达式和各数值不限制本发明的范围。

[第一示例实施例]

将参考图1描述根据本发明的第一示例实施例的信息处理装置100。信息处理装置100是用于执行用于账户开设或账户使用的身份验证的装置。

如图1所示，信息处理装置100包括第一特征提取器101、第二特征提取器102、第一校对器103、第一确定器104和验证器105。第一特征提取器101从包括在运动图像110中的用户120的面部图像121提取第一特征。第二特征提取器102从包括在运动图像110中的用于认证用户120的身份验证文件130的面部图像131中提取第二特征。第一校对器103校对第一和第二特征是否相互匹配。第一确定器104指示用户120执行预定动作，并确定在运动图像110中所包括的用户120的动作140(141→142)是否对应于所指示的预定动作。当第一和第二特征相互匹配并且包括在运动图像110中的用户120的动作140(141→142)对应于所指示的预定动作时，验证器105验证用户120是他或她本人。

根据这个示例实施例，由于通过在包括在运动图像中的用户的面部图像和身份验证文件的面部图像之间的校对以及在指示的动作和用户的动作之间的校对来执行身份验证，所以当从终端开设账户时，可以容易地、可靠地执行身份验证和输入用户信息。

[第二示例实施例]

接下来将描述根据本发明的第二示例实施例的信息处理装置。根据这个示例实施例的作为信息处理装置的通信终端在开设银行账户时有效地执行用户的身份验证处理和用户信息采集处理，并且将结果发送到资格审查服务器。资格审查服务器对用户的资格进行筛选。如果用户是符合资格的，则银行账户开设服务器开设新账户。注意，这个示例实施例可以应用于更新在账户中的用户信息。还要注意，这个示例实施例将例示了将执照作为用于身份验证的身份验证文件，所述执照是身份卡的一种，但所述文件不限于所述执照，而可以是含有所述用户的面部图像和用户信息的任意证件。

<<帐户开设操作的概述>>

图2A是示出根据这个示例实施例的信息处理装置200的账户开设操作的概况的视图。

在步骤S210中，作为信息处理装置200的通信终端启动帐户开设应用程序。然后，在步骤S210中，执行向所述帐户开设应用程序的登录处理等，但是将省略对细节过程的描述。

在步骤S220中，作为信息处理装置200的通信终端执行对正在进行开设账户操作的用户的身份验证，并且确定是否已经正确地采集了用户信息，所述用户信息将被发送到用于审查用户作为账户开设方的资格的审查服务器。

执行用户的身份验证以避免以下情况：其中另一个人欺骗所述用户他或她本人以执行帐户开设操作的情况、其中另一个人使用已记录的图像来使得看起来好像是所述用户他或她本人正在操作的情况，等等。在这个示例实施例中，通过使用前置照相机的同时进行处理来防止欺诈，如下：(1)使用活体确定通过照片/视频来防止欺骗；(2)通过在确定活体时采集身份验证文件(即，用户的面部图像和身份验证图像被采集为同一帧中的图像)来防止身份验证文件的欺诈；以及(3)通过在照相机图像和身份验证文件之间的面部校对进行身份验证。

在这个示例实施例中，由于用户信息是从执照采集的，所以确定执照是真实的还是假的。

如果正在执行开设账户操作的用户是他或她本人，并且已验证当前正在执行所述操作(活体确定)，则在步骤S230中，作为信息处理装置200的通信终端将在步骤S220中收集的用户信息(包括运动图像和静止图像)发送到资格审查服务器，所述资格审查服务器审查所述用户作为开设账户者的资格。

在步骤S240中，用作资格审查器的资格审查服务器通过对执照的前后图像执行OCR(光学字符识别)处理，将接收到的用户信息(包括运动图像和静止图像)转换为字符代码，由此生成用户信息。注意，如果在所述OCR处理的字符识别中发生错误，则可以将所生成的用户信息发送到所述通信终端，并且进行验证或修改。然后，在步骤S250中，所述资格审查服务器通过将验证或修改的用户信息与预先注册的不合资格信息进行校对来执行所述用户的资格的筛选。

如果确定请求开设账户的用户是符合资格的，则将用户信息和资格审查通过信息通知银行账户管理服务器，该银行账户管理服务器被用作用于管理每个银行的银行帐户的账户开设单元，以执行新的帐户开设处理，然后经由通信终端通知用户帐户开设完成。

(身份验证处理)

图2B是示出根据这个示例实施例的信息处理装置200进行的身份验证处理(S220)的操作的概况的图。

参照图2B，作为信息处理装置200的通信终端的处理沿箭头方向前进。注意，图2B所示的处理过程仅是示例，并且可以变化活体确定的位置以及可以颠倒所述处理的次序。

首先，在激活账户开设应用程序并执行登录处理之后，包括用户他或她本人的面部201的运动图像被通信终端的图像捕获器(照相机)采集。

响应于来自通信终端的消息“采集你的面部和执照”，用户在运动图像中设置他/她的面部和执照的正面。通信终端从运动图像中提取用户的面部图像202和执照212。接着，通信终端从执照212中提取用户的面部图像(面部照片)222。然后，通信终端提取所述用户的面部图像202的特征和所述执照的面部图像222的特征，并将它们相互进行校对。如果作为校对的结果，所述特征相互匹配，则显示“匹配”232；否则，显示“不匹配”242。如果显示“不匹配”242，则所述用户按下返回按钮252以再次相互校对所述面部图像。

如果显示“匹配”232，则所述通信终端转移到活体确定。在活体确定中，响应于来自所述通信终端的消息“闭上你的右眼”，所述用户像面部图像203一样闭上他/她的右眼。在活体确定中，如果所述消息的指示与用户动作匹配，则显示“匹配”233；否则，显示“不匹配”243。注意，在活体确定期间，也可以同时采集执照213和面部图像223并保持。注意，这种活体确定是通过对应于随机选择的指示的用户动作来执行的。然而，为了确保活体确定，期望通过对应于多个随机选择的指示的用户动作来执行确定。如果显示了“不匹配”243，则所述用户按下返回按钮253以再次进行活体确定。然而，如果“不匹配”被显示了预定次数，则可以确定不是活体，由此结束所述处理。在这种情况下，丢弃直到现在所保持的信息以从面部图像的认证重新开始所述处理。

如果“匹配”233被连续显示了预定次数，则所述通信终端转移到采集所述执照的背面。在采集所述执照的背面时，响应于来自所述通信终端的消息“翻转执照”，所述用户旋转所述执照。此外，如果执行了真实的执照确定，则读取不需要PIN(个人标识号)的范围，例如执照的IC(集成电路)芯片224的公共区域，确认数据是否以适当的格式输入，并且如果所述数据是适当的格式，则确定所述执照是真实的。如果确定所述执照是真实的，则显示“真实”234；否则，显示“假”244。如果显示了“假”244，则所述用户按下返回按钮254以从面部图像的认证重新开始所述处理。注意，在这个示例实施例中，可以在发送所述用户信息之前的任意时刻确定所述执照是真实的还是假的。

如果执照被翻转，则采集背面图像。如果采集了背部图像，则显示“采集”235。如果用户按下下一步按钮265，则处理转到步骤S230，其中，将在身份验证处理的步骤S220中收集的运动图像、图像和特征发送到资格审查服务器，以便进行用户的资格审查。如果按下返回按钮255，则帐户开设过程被中断，以返回到所述身份验证处理的步骤S220的开始处。

注意，图2B示出了在面部图像的特征校对之后的一个活体确定操作。然而，期望在每次将所述面部图像的特征相互校对时重复活体确定，并且在真实执照确定或采集所述执照背面以验证活体的连续性期间同时执行活体确定。此外，在图2B中，按照面部图像的特征的校对→活体确定→真实执照确定→采集执照的背面的顺序来执行所述处理。然而，也可以首先执行活体确定或真实执照确定。选择适当的过程以便更快、更容易和更可靠地执行所述用户的身份验证。

<<帐户开设系统>>

图3是示出包括根据这个示例实施例的信息处理装置200的账户开设系统300的配置的框图。

所述账户开设系统300包括这个示例实施例的信息处理装置200、资格审查服务器360和银行账户管理服务器370，所有这些都通过网络380连接。注意，所述资格审查服务器360和银行账户管理服务器370可以集成在一起。

如果通过运动图像采集执照351和用户341，将所述用户的面部图像311和包括在执照图像312中的面部图像313相互校对并相互匹配，并且确定了活体，则作为信息处理装置200的一个通信终端将用于开设账户的用户信息发送到资格审查服务器360和银行账户管理服务器370。如果通过运动图像采集了执照352和用户342，将所述用户的面部图像321和包括在执照图像322中的面部图像323相互校对并相互匹配，并且确定了活体，则另一通信终端将用于账户开设的用户信息发送到资格审查服务器360和银行账户管理服务器370。此外，如果通过运动图像采集了执照353和用户343，将所述用户的面部图像331和包括在执照图像332中的面部图像333相互校对并相互匹配，并且确定了活体，则还有其它通信终端将用于开设账户的用户信息发送到资格审查服务器360和银行账户管理服务器370。

所述资格审查服务器360接收包括在已经通过所述信息处理装置200进行了所述用户的身份验证的执照图像中的用户信息，通过OCR处理将所述用户信息转换为字符代码，并通过与不合格信息进行校对来审查所述用户的用于开设账户的资格。所述银行账户管理服务器370为由所述资格审查服务器360确定为有资格开设账户的用户开设新账户，并将其通知给每个信息处理装置200。

(操作序列)

图4A和4B是示出了根据这个示例实施例的包括信息处理装置200的账户开设系统300的操作过程的序列图。图4A示出了在作为信息处理装置200的通信终端中的用户的身份验证处理和用户信息采集处理，并且图4B示出了在身份验证之后的银行账户开设处理。

参照图4A，在步骤S401中，作为信息处理装置200的通信终端采集帐户开设应用程序并激活它。在步骤S403中，作为信息处理装置200的通信终端采集登录信息和用户输入的其它信息，并保存它们。

在步骤S405中，作为信息处理装置200的通信终端在发送用于资格审查或账户开设的用户信息之前，仅在作为信息处理装置200的通信终端中执行所述用户的身份验证处理。

如果在步骤S405中用户的身份验证处理成功，则在图4B中，作为信息处理装置200的通信终端在步骤S407中，将在步骤S405中的身份验证处理期间由作为信息处理装置200的通信终端采集并保持的所述用户的面部图像和运动图像，以及所述执照的正面图像和背面图像发送到所述资格审查服务器360。在步骤S409中，所述资格审查服务器360通过OCR处理将所述执照的正面图像和背面图像转换为字符代码，以采集用户信息。然后，所述资格审查服务器360向作为信息处理装置200的通信终端询问所述用户信息的验证或所述用户信息的修改。在步骤S411中，作为信息处理装置200的通信终端向所述用户询问所述用户信息的验证或所述用户信息的修改，并将结果返回到资格审查服务器360。注意，所述OCR处理可以由作为信息处理装置的通信终端执行，如将在第六示例实施例(图25)中描述的，并且通过将所述执照的正面图像/背面图像转换为字符代码而获得的用户信息可以被发送到所述资格审查服务器360和银行账户管理服务器370。

在步骤S413中，所述资格审查服务器360基于已验证的或已修改的用户信息与不合格信息之间的校对来执行资格审查。然后，如果确定所述用户是符合资格的，则所述资格审查服务器360将其通知银行账户管理服务器370。当接收到用户符合资格的通知时，所述银行账户管理服务器370在步骤S415中执行新账户开设处理。在步骤S417中，所述银行账户管理服务器370向作为信息处理装置200的通信终端通知账户开设处理的完成。在步骤S419中，作为信息处理装置200的通信终端将账户开设完成通知所述用户，并且所述用户对其进行确认。

接下来将详细描述在步骤S405中的所述用户的身份验证处理。

在步骤S451中，作为信息处理装置200的通信终端从由图像捕获器捕获的运动图像中采集所述用户的面部图像。注意，可以不需要执行步骤S451中的处理。在步骤S453中，作为信息处理装置200的通信终端从通过捕获所述用户面部和由所述用户呈现的执照的正面而获得的运动图像中，采集所述用户的面部图像和包括在所述执照的正面图像中的面部图像。在步骤S455中，作为信息处理装置200的通信终端提取所述用户的面部图像和所述执照表面的面部图像的特征，并将所提取的特征相互进行校对。

作为在所述特征之间的校对的结果，如果确定所述面部图像相互匹配，则在步骤S457中，作为信息处理装置200的通信终端指示用于活体确定的用户动作。如果所述用户响应于来自作为信息处理装置200的通信终端的动作指示而动作，则作为信息处理装置200的通信终端识别所述用户动作，并且如果所述用户动作对应于动作指示，则在步骤S459中确定活体。

如果所述面部图像相互匹配并且活体被确定，则在步骤S461，作为信息处理装置200的通信终端指示所述用户通过翻转所述执照来捕获所述执照的背面。为了捕获所述执照的背面，所述用户旋转所述执照。另一方面，在步骤S463中，作为信息处理装置200的通信终端确定所述执照是否真实。

最后，在步骤S465中，作为信息处理装置200的通信终端捕获所翻转的执照的背面的运动图像。注意，所述用户的面部图像和所述执照总是被包括在一系列运动图像中。

注意，如果需要活体验证，则在步骤S457和S459中的活体确定处理可以在其它步骤中的校对处理或确定处理期间重复执行。

<<通信终端的功能布置>>

图5是示出根据这个示例实施例的作为信息处理装置200的通信终端的功能布置的框图。

信息处理装置200包括通信控制器501、输入/输出接口502和应用程序执行器503。信息处理装置200包括显示单元504、操作单元505、图像捕获器506、语音输入/输出单元507和可选的IC卡读取器508，所有这些都连接到输入/输出接口502。显示单元504和操作单元505可以由触摸面板实现。注意，图5示出了作为信息处理装置200的组件的图像捕获器506。然而，例如，具有足够高的分辨率以进行OCR处理的图像捕获器可以从外部连接到所述信息处理装置200。通信控制器501控制经由网络380与资格审查服务器360以及银行账户管理服务器370的通信。输入/输出接口502控制去往/来自输入/输出装置的输入/输出。

应用程序执行器503包括捕获的运动图像采集器531、用户面部图像提取器532、用户面部图像特征提取器533、执照提取器534、执照面部图像提取器535、执照面部图像特征提取器536和面部特征校对器537。用户面部图像提取器532和用户面部图像特征提取器533对应于图1所示的第一特征提取器102。执照提取器534、执照面部图像提取器535和执照面部图像特征提取器536对应于图1所示的第二特征提取器101。

捕获的运动图像采集器531采集由图像捕获器506捕获的运动图像。用户面部图像提取器532从由捕获的运动图像采集器531采集的运动图像中提取用户的面部图像。用户面部图像特征提取器533通过预定算法从由用户面部图像提取器532提取的用户面部图像中提取面部特征。执照提取器534从由捕获的运动图像采集器531采集的运动图像中提取执照。执照面部图像提取器535提取包括在由执照提取器534提取的执照的正面上的面部图像。执照面部图像特征提取器536通过相同的预定算法从包括在由执照面部图像提取器535提取的执照的正面上的面部图像中提取面部特征。面部特征校对器537将由用户面部图像特征提取器533提取的用户面部特征与由执照面部图像特征提取器536提取的执照的面部特征进行校对，并输出表示所述面部图像是否相互匹配的校对结果。

应用程序执行器503还包括用户动作指示器538、活体确定器539、用户身份验证器540、翻转执照指示器541、真实执照确定器542、用户信息发送器543、以及数据库550。用户动作指示器538和活体确定器539对应于图1中所示的第一确定器104。翻转执照指示器541和真实执照确定器542将被称为第二确定器。此外，当基于所述面部特征校对器537的校对结果和所述活体确定器539的确定结果来执行所述用户的身份验证时，所述用户身份验证器540被称为第一验证器，并且当另外考虑所述真实执照确定器542的确定结果时，所述用户身份验证器540被称为第二验证器。

用户动作指示器538通过来自显示单元504或语音输入/输出单元507的输出来指示为用户随机选择的动作以进行活体确定。在这个示例中，所述活体确定器539将在来自所述用户面部图像提取器532的用户面部图像中看到的动作与从所述用户动作指示器538输出的动作指示进行校对，并且确定所述动作是否对应于动作指示。注意，如果发出了针对除用户的面部以外的部分的动作指示，则从所捕获的运动图像中提取对应的部分。

基于所述面部特征校对器537的校对结果和活体确定器539的确定结果或者所述面部特征校对器537的校对结果、活体确定器539的确定结果、和真实执照确定器542的确定结果，所述用户身份验证器540验证所述用户是他或她本人。

为了捕获所述执照的背面，翻转执照指示器541通过来自显示单元504或语音输入/输出单元507的输出，指示所述用户将执照的背面呈现在图像捕获器前。通过可选地连接的IC卡读取器508，真实执照确定器542读取不需要PIN(个人标识号)的范围，例如所述执照的IC芯片224的公共区域，确认数据是否以适当的格式输入，并且如果所述数据是适当的格式，则确定所述执照是真实的。

当从用户身份验证器540接收到身份验证结果时，用户信息发送器543将在以上处理期间获得的并且保持在数据库550中以用于资格审查或账户开设的所述运动图像、面部图像、面部特征以及所述执照的正面图像/背面图像，发送到资格审查服务器360和银行账户管理服务器370。

所述数据库550包括身份验证信息保持器551和用户信息保持器552。所述身份验证信息保持器551保存用于身份验证的各种算法和参数。所述用户信息保持器552保持在身份验证处理期间获得的运动图像、面部图像、面部特征以及所述执照的正面图像/背面图像。为了避免复杂性，图5未示出将数据库550连接至各个功能组件的线。然而，身份验证信息从身份验证信息保持器551发送到需要该信息的每个功能组件，并且由每个功能组件采集的用户信息被保持在用户信息保持器552中。

(用户信息保持器)

图6A是示出根据这个示例实施例的用户信息保持器552的结构的视图。所述用户信息保持器552包括与登录相关联地保持的登录相关数据保持器610、与在面部图像之间的校对相关联地保持的面部图像相关数据保持器620、与活体确定相关联地保持的活体相关数据保持器630、以及与执照确定相关联地保持的执照相关数据保持器640。

所述登录相关数据保持器610保持与终端ID 611相关联的用户ID612、密码613、用户属性614和其它信息615。登录相关数据保持器610可以临时保持所述数据。

所述面部图像相关数据保持器620保持用户图像相关数据621和执照图像相关数据622。所述用户图像相关数据621包括用户图像、用户面部图像和面部图像特征。所述执照图像相关数据622包括执照正面图像、执照面部图像和面部图像特征。注意，所述图像被期望地保持为运动图像。

所述活体相关数据保持器630保持活体确定相关数据631、用户图像相关数据632和执照图像相关数据632。所述活体确定相关数据631包括活体指示信息和活体响应面部图像。注意，所述用户图像相关数据632和所述执照图像相关数据633包括在活体确定时与用户图像相关数据621和执照图像相关数据622的信息条相同类型的信息条。

所述执照相关数据保持器640保持执照确定相关数据641、用户图像相关数据642和执照图像相关数据643。所述执照确定相关数据641包括执照IC芯片格式。注意，所述用户图像相关数据642在执照确定时包括与所述用户图像相关数据621的信息条相同类型的信息条。所述执照图像相关数据643包括执照背面图像。

(身份验证信息保持器)

图6B是示出根据这个示例实施例的身份验证信息保持器551的结构的视图。所述身份验证信息保持器551包括用于保持要在面部图像校对处理中使用的算法的算法保持器650、用于保持要在活体确定处理中使用的活体指示信息的活体指示信息保持器660、以及要在执照确定处理中使用的执照确定信息保持器670。

所述算法保持器650保持由执照提取器534使用的用于从捕获的运动图像提取执照的执照提取算法651，以及由用户面部图像提取器532或执照面部图像提取器535使用的用于提取面部图像的面部图像提取算法652。所述算法保持器650保持由用户面部图像特征提取器533或执照面部图像特征提取器536使用的用于提取特征的面部图像特征提取算法653，以及由面部特征校对器537使用的用于相互校对所述特征的面部图像特征校对算法654。

活体指示信息保持器660与活体指示ID 661相关联地保持指示内容662、用于表示指示正在进行的指示标志663、以及与每个活体指示相对应的活体确定算法664。所述指示内容662的示例包括眨右眼、眨左眼、闭上双眼、将面部向上转动、将头部向左和向右倾斜，但不限于此。

所述执照确定信息保持器670与执照类型671相关联地保持IC芯片格式672和用于确定所述执照是真实的还是假的算法673。

(面部图像校对表)

图7A是示出根据这个示例实施例的面部图像校对表710的结构的表。注意，所述面部特征校对器537使用面部图像校对表710来相互校对所述用户的面部图像和所述执照的面部图像。

所述面部图像校对表710存储用户面部图像特征711、对应的执照面部图像特征712、特征校对结果713、用于确定所述特征是否相互匹配的确定阈值714、以及确定结果的匹配或不匹配标志715。

(活体确定表)

图7B是示出根据这个示例实施例的活体确定表720的结构的表。注意，活体确定表720由活体确定器539用于将用户的面部图像中的面部变化指示和变化进行相互校对。

所述活体确定表720存储所述用户的活体响应722和与多个活体指示721中的每一个相关联的匹配或不匹配标志723。然后，所述活体确定表720存储基于所述多个匹配/不匹配标志723确定的活体确定结果724。注意，可以基于阈值来确定所述活体指示721和活体响应722是否相互匹配。

(真实执照确定表)

图7C是示出根据这个示例实施例的真实执照确定表730的结构的表。注意，真实执照确定表730由真实执照确定器542使用以基于所述执照的IC芯片格式来确定所述用户执照是真实的还是假的。

所述真实执照确定表730存储从所述执照获得的用户执照的IC芯片格式731、预设标准执照的IC芯片格式732、以及执照真实的或假的确定结果733。

<<通信终端的硬件布置>>

图8是示出作为根据这个示例实施例的信息处理装置200的通信终端的硬件布置的框图。

在图8中，CPU(中央处理单元)810是算术控制处理器，并且通过执行程序来实现图5所示的功能组件。可以包括一个CPU 810或多个CPU 810。ROM(只读存储器)820存储诸如初始数据和程序之类的永久数据、以及程序。网络接口830经由网络来控制与资格审查服务器360和银行账户管理服务器370中的每一个的通信。

RAM(随机存取存储器)840是由CPU 810用作临时存储工作区的随机存取存储器。存储用于实施这个示例实施例所需的数据的区域被分配给RAM 840。登录相关数据保持器610包括图6A中所示的信息。面部图像校对表710包括图7A中所示的信息，并且用于相互校对面部特征。活体确定表720包括图7B所示的信息，并且用于活体确定。真实执照确定表730包括图7C所示的信息，并且用于确定执照是否真实。输入/输出数据841是向与输入/输出接口502连接的输入/输出装置输入的数据或从该输入/输出装置输出的数据。发送/接收数据842是经由网络接口830向外部装置发送的数据或从外部装置接收的数据。

存储850存储数据库、各种参数、或者用于实施这个示例实施例所必需的以下数据或程序，以供CPU 810使用。如图6B所示，身份验证信息保持器551保持要用于所述用户的身份验证处理的信息。用户信息保持器552保持在所述用户的身份验证处理期间所收集的用于资格审查的信息，如图6A所示。

存储850存储以下程序。通信终端控制程序851是用于控制作为信息处理装置200的整个通信终端的程序。由应用程序执行器503执行的应用程序是根据这个示例实施例的用于执行所述用户的身份验证处理的程序。所述应用程序包括以下模块。用户面部图像提取模块852是从捕获的运动图像中提取所述用户的面部图像的模块。执照面部图像提取模块853是从捕获的运动图像提取执照、并从所述执照的正面图像提取面部图像的模块。面部图像特征提取模块854是提取用于指示所述面部图像的特征的模块。特征校对模块855是通过将所述面部特征相互校对来确定所述用户的面部图像和所述执照的面部图像是否相互匹配的模块。活体确定模块856是用于向所述用户发出随机动作指示、并且基于用户动作是否与所述动作指示相对应来确定运动图像是否是实时运动图像的模块。执照确定模块857是用于读取所述用户执照的IC芯片格式、并基于所述IC芯片格式确定所述执照是真实的还是假的模块。用户身份验证模块858是通过组合所述特征校对模块855、活体确定模块856、以及执照确定模块857的确定结果来验证所述用户是否是他或她本人的模块。资格审查信息发送模块859是在用户身份验证模块858验证所述用户是他或她本人的情况下将要在所述用户的资格审查中使用的用户信息发送到资格审查服务器360的模块。

注意，在图8的RAM 840或存储850中未示出与作为信息处理装置200的通信终端的通用功能和其它可行功能相关联的程序和数据。

<<通信终端的处理过程>>

图9A是示出根据这个示例实施例的作为信息处理装置200的通信终端的处理过程的流程图。这个流程图由在图8所示的CPU 810通过使用RAM 840来执行，由此实现图5所示的信息处理装置200的功能组件。

在步骤S901中，信息处理装置200采集帐户开设应用程序并将其激活。在步骤S903中，信息处理装置200执行登录处理。注意，登录处理可以通过实际连接到网页浏览器来进行，或者可以被配置为以伪方式登录到在信息处理装置200中的应用程序，以便在信息处理装置200中完成随后的所述用户的身份验证和用户信息收集。

在步骤S905中，信息处理装置200执行根据这个示例实施例的身份验证处理。在步骤S907中，信息处理装置200确定所述用户是否已被验证为是他或她本人。

如果确定所述用户已被验证为是他或她本人，则在步骤S909中，信息处理装置200将资格审查信息发送到资格审查服务器360，所述资格审查信息包括在身份验证处理期间采集的所述运动图像、图像、特征、所述执照的正面和背面图像。在步骤S911中，信息处理装置200等待接收由所述资格审查服务器360进行的OCR处理的结果。在接收到所述执照等的正面图像和背面图像的OCR处理的结果时，所述信息处理装置200验证或修改所述OCR结果的内容，并且将已验证的或已修改的内容发送到资格审查服务器360。

在步骤S915中，信息处理装置200等待接收数据，该数据用于指示是否通过资格审查服务器360的资格审查和银行账户管理服务器370的账户开设处理而已经开设了账户。在接收到账户开设完成通知时，所述信息处理装置200在步骤S917中将其通知给用户。另一方面，如果身份验证失败或所述用户未通过资格审查，所述信息处理装置200在步骤S919中发送包括原因通知的错误通知。

(身份验证处理)

图9B是示出根据这个示例实施例的身份验证处理(S905)的过程的流程图。

在步骤S921中，信息处理装置200执行面部图像校对处理。在步骤S923中，信息处理装置200确定面部图像校对处理的校对结果是否指示匹配。如果校对结果指示匹配，则在步骤S924中，信息处理装置200保存在校对处理中的所述面部图像和所述执照的正面图像。另一方面，如果校对结果指示不匹配，则信息处理装置200进入步骤S935，并且开启身份验证失败标志，由此结束身份验证处理。

在步骤S925中，信息处理装置200执行活体确定处理。在步骤S927中，信息处理装置200确定活体确定处理的确定结果是否指示活体。如果确定结果指示活体，则在步骤S928中，信息处理装置200保存在活体处理期间的面部图像和/或在活体确定处理中同时获取的所述执照的正面图像。另一方面，如果确定结果不指示活体，则信息处理装置200前进到步骤S935，并且开启开身份验证失败标志，由此结束所述身份验证处理。

在步骤S929中，信息处理装置200执行执照确定处理。在步骤S931中，信息处理装置200确定所述执照确定处理的确定结果是否指示所述执照是真实的或假的。如果确定所述执照是真实的，则在步骤S932，信息处理装置200保存在执照确定期间的面部图像和在执照确定处理中所述执照的背面图像。然后，在步骤S933中，信息处理装置200开启身份验证成功标志。另一方面，如果确定所述执照是假的，则信息处理装置200前进到步骤S935，并且开启身份验证失败标志，由此结束身份验证处理。

注意，当开启身份验证成功标志时所述确定处理的次序或组合不限于图9B所示的次序或组合。例如，可以在所述面部图像校对处理之前执行所述活体确定处理。可以针对每个面部图像校对操作、或者在执行执照确定处理时、或者在捕获所述执照的背面时，进行所述活体判断处理，以确保活体验证。

(面部图像校对处理)

图9C是示出根据这个示例实施例的在身份验证处理(S905)中所包括的面部图像校对处理(S921)的过程的流程图。

在步骤S941中，信息处理装置200通过图像捕获器捕获所述用户的运动图像。该图像捕获操作是可选的，并且可以不需要执行。在步骤S943中，信息处理装置200捕获包括所述用户和执照的运动图像。在步骤S945中，信息处理装置200从所述用户图像和所述执照的正面图像提取面部特征。更具体地，从所述运动图像提取所述用户的面部图像和执照图像，并且从所述执照图像提取面部图像。然后，从所述用户的面部图像和所述执照的面部图像中的每一个提取特征。

在步骤S947中，信息处理装置200将提取的特征相互校对。也就是说，确定在运动图像中的所述用户的面部图像和所述执照的照片的面部图像是否在预定误差范围内相互匹配。在步骤S949中，信息处理装置200基于校对结果确定所述面部图像是否相互匹配。如果所述面部图像相互匹配，则在步骤S951中，信息处理装置200开启面部图像匹配标志，由此结束面部图像校对处理。

另一方面，如果面部图像相互不匹配，则信息处理装置200在步骤S953中确定是否发生超时或达到校对次数的上限。如果没有发生超时并且还没有达到校对次数的上限，则从步骤S943重复特征校对处理；否则，信息处理装置200在步骤S955中开启面部图像不匹配标志，由此结束所述面部图像校对处理。

(活体确定处理)

图9D是示出根据这个示例实施例的身份验证处理(S905)中所包括的活体确定处理(S925)的过程的流程图。

在步骤S961中，信息处理装置200随机选择要指示给所述用户的动作，并指示所述用户执行该动作。在步骤S963中，信息处理装置200从由图像捕获器捕获的运动图像中采集所述用户的图像或面部图像。然后，在步骤S965中，信息处理装置200确定所述用户执行的动作是否与向所述用户指示的动作相对应。例如，可以包括所述用户的身体的一部分的动作、面部的一部分的变化等等。

如果所述用户按照指示进行动作，则在步骤S967中，信息处理装置200确定活体验证的次数是否达到预定次数。如果活体验证的次数没有达到预定次数，则信息处理装置200返回到步骤S961以继续下一次活体确定；否则，信息处理装置200在步骤S969中开启活体成功标志，由此结束所述活体确定处理。

另一方面，如果在步骤S965中确定所述用户没有按照指示进行动作，则在步骤S971中，所述信息处理装置200确定是否已经发生超时或者是否已经达到活体确定的次数的上限。如果未发生超时并且尚未达到所述次数的上限，则所述活体确定处理从步骤S961开始重复进行；否则，所述信息处理装置200在步骤S973中开启活体失败标志，由此结束活体确定处理。

(执照确定处理)

图9E是示出根据这个示例实施例的包括在身份验证处理(S905)中的执照确定处理(S929)的过程的流程图。

在步骤S981中，信息处理装置200指示所述用户翻转执照，并呈现所述执照的背面。另一方面，在步骤S983中，信息处理装置200读取所述用户执照的IC芯片，并确定所述用户执照的IC芯片格式是否与标准执照的IC芯片格式匹配。

如果在步骤S985中确定所述用户执照的IC芯片格式与标准执照的IC芯片格式匹配、并且因此所述用户执照是真实的，则信息处理装置200在步骤S987中开启真实执照标志，由此结束所述执照确定处理。另一方面，如果确定所述用户执照的IC芯片格式与标准执照的IC芯片格式不匹配、并且因此所述用户执照是假的，则信息处理装置200在步骤S989中开启假执照标志，由此结束所述执照确定处理。

注意，上述面部图像校对处理、活体确定处理和执照确定处理中的每一个都是独立的例程。因此，通过将每个处理插入宏流的期望位置，可以实施适当过程的身份验证处理或上述处理的组合，而不限制所述次序或次数。

<<资格审查服务器的处理过程>>

图10是示出根据这个示例实施例的资格审查服务器360的处理过程的流程图。

在步骤S1201中，资格审查服务器360采集从作为信息处理装置200的通信终端在身份验证处理中收集的图像信息。在步骤S1203中，资格审查服务器360从采集的图像信息中提取所述执照的正面和背面图像，并进行OCR处理，由此采集用户信息。然后，资格审查服务器360将在OCR处理中获得的识别结果的用户信息发送到所述通信终端以执行验证或修改。如果从所述通信终端接收到用户修改指示，则资格审查服务器360从步骤S1207前进到步骤S1209，以接收修改信息并将其反映在所述用户信息上。

在步骤S1211中，资格审查服务器360采集用于资格审查的信息。然后，资格审查服务器360将所生成的用户信息和用于资格审查的信息相互校对，并在步骤S1213中确定所述用户是否是符合资格的。如果确定所述用户是符合资格的，则在步骤S1215中，资格审查服务器360向银行账户管理服务器370通知所述用户有资格开设账户；否则，在步骤S1217中，资格审查服务器360从通信终端通知所述用户该用户没有资格开设账户。

<银行账户管理服务器的处理过程>

图11是示出根据这个示例实施例的银行账户管理服务器370的处理过程的流程图。

在步骤S1501中，银行账户管理服务器370等待接收来自所述资格审查服务器360的资格审查结果。如果接收到资格审查的成功，则在步骤S1503中，银行账户管理服务器370采集在用户验证处理期间在所述通信终端中收集的用户信息。在步骤S1505中，银行账户管理服务器370基于所采集的用户信息来开设新账户。在步骤S1507中，银行账户管理服务器370向请求了账户开设的所述用户的通信终端通知已开设的账户信息。

根据这个示例实施例，由于通过包括在运动图像中的所述用户的面部图像与所述身份验证文件的面部图像之间的校对、在所指示的面部变化和所述用户的面部变化之间的校对、以及对身份验证文件是真实的还是假的验证来执行身份验证，因此可以容易地和更可靠地执行身份验证，并在从所述终端开设账户时输入用户信息。

[第三示例实施例]

接下来将描述根据本发明的第三示例实施例的信息处理装置。根据这个示例实施例的信息处理装置与根据上述第二示例实施例的信息处理装置的不同之处在于，活体确定不是通过用户的面部而是通过身份验证文件来执行的。其余的组件和操作与第二示例实施例中的那些类似。因此，相同的附图标志表示相似的组件和操作，并且将省略对它们的详细描述。注意，当根据这个示例实施例的活体确定与根据第二示例实施例的通过所述用户的面部进行活体确定相结合、或者两种活体确定处理被同时执行时，可以进一步提高用户验证的准确性。

<活体确定处理的操作概况>

图12是示出根据这个示例实施例的信息处理装置1600的身份验证处理(S1620)的操作的概况的图。注意，图12示出了代替图2A所示的身份验证处理(S220)的处理。还应注意，在图12中，与图2B中相同的附图标志表示相似的组件，并且将省略对它们的重复描述。

在身份验证处理的活体确定(S1620)中，响应于通信终端的消息“在竖直位置设置执照”，所述用户进行动作以在不移动面部图像1603的情况下在竖直方向上设置包括面部图像1623的执照1613。在活体确定中，如果所述消息的指示和所述用户动作相互匹配，则显示“匹配”1633；否则，显示“不匹配”1643。注意，在活体确定期间，所述面部图像1603和执照1613也可以被同时采集和保持。还要注意，这个活体确定处理是通过与随机选择的指示相对应的用户动作来执行的。然而，为了确保活体确定，期望通过与多个随机选择的指示相对应的用户动作来执行活体确定。如果显示“不匹配”1643，则用户按下返回按钮1653以再次执行活体确定。如果“不匹配”被显示了预定次数，则可以确定非活体，由此结束处理。在这种情况下，直到现在为止所保持的信息被丢弃，以从面部图像的认证重新开始所述处理。

<<通信终端的功能布置>>

图13是示出根据这个示例实施例的作为信息处理装置1600的通信终端的功能布置的框图。注意，在图13中，与图5中相同的附图标志表示相似的功能组件，并且将省略对它们的重复描述。

作为信息处理装置1600的通信终端包括应用程序执行器1703，用于代替应用程序执行器503。应用程序执行器1703包括执照呈现变化指示器1738、活体确定器1739和数据库1750。执照呈现变化指示器1738和活体确定器1739对应于图1所示的第一确定器104。此外，用户身份验证器540可以基于面部特征校对器537的校对结果和活体确定器1739的确定结果来执行所述用户的身份验证，或者进一步考虑真实执照确定器542的确定结果。

对于活体确定，所述执照呈现变化指示器1738通过来自显示单元504或语音输入/输出单元507的输出，指示所述用户执行变化所述执照的动作，这是随机选择的。活体确定器1739将由执照呈现变化指示器1738输出的变化所述执照的动作指示与从执照提取器534获得的执照图像的变化进行校对，并确定所述变化是否对应于所述动作指示。

所述数据库1750包括身份验证信息保持器1751和用户信息保持器1752。身份验证信息保持器1751保存用于身份验证的各种算法和参数。用户信息保持器1752保持在所述身份验证处理期间所获得的运动图像、面部图像、面部特征、以及所述执照的正面图像/背面图像。为了避免复杂，图17没有示出用于连接所述数据库1750和相关功能组件的线。但是，从身份验证信息保持器1751向需要该信息的各功能组件发送身份验证信息，并且在用户信息保持器1752中保持各功能组件采集的用户信息。

(用户信息保持器和身份验证信息保持器)

图14是示出根据这个示例实施例的用户信息保持器1752和身份验证信息保持器1751的结构的视图。注意，在图14中，与图6A和6B中相同的附图标志表示相似的组件，并且将省略对它们的重复描述。

在图14所示的用户信息保持器1752中，活体相关数据保持器1830代替图6A所示的活体相关数据保持器630，并且其它保持器610、620和640维持不变。所述活体相关数据保存器1830保持例如活体指示信息和活体响应执照图像作为活体确定相关数据1831。

在图14所示的身份验证信息保持器1751中，活体指示信息保持器1860代替图6B所示的活体指示信息保持器660，并且其它保持器660、670维持不变。活体指示信息保持器1860与活体指示ID 1861相关联地存储指示内容1862、指示标志663和活体确定算法1863。所述指示内容1862包括例如右旋转90°、左旋转90°、旋转180°、将拇指放置在执照的上侧、以及随着执照呈现的变化而在左手和右手之间切换。此外，也包括是保持所述执照的上侧和下侧还是左侧和右侧、手指的数量和手指的类型。

(活体确定表)

图15是示出根据这个示例实施例的活体确定表1920的结构的表。注意，所述活体确定表1920由所述活体确定器1739用于将执照变化指示和所述用户的执照的变化进行相互校对。

所述活体确定表1920存储例如每个用户的活体响应执照图像1922以及与多个活体指示1921中的每一个相关联的匹配或不匹配标志1923。然后，所述活体确定表1920存储基于多个匹配/不匹配标志1923所确定的活体确定结果1924。注意，可以基于阈值来确定所述活体指示1921和所述活体响应执照图像1922是否相互匹配。

(活体确定处理)

图16是示出根据这个示例实施例的活体确定处理(S925)的另一过程的流程图。注意，在图16中，与图9D中相同的步骤编号表示相同的步骤，并且将省略对它们的重复描述。仅参考图16描述所述执照的图像的变化。然而，本发明不限于此，并且还包括在执照呈现中的其它变化。

在步骤S2071中，信息处理装置1600随机选择执照呈现的变化，并指示所述用户执行所述变化。在步骤S2073中，信息处理装置1600从由图像捕获器捕获的运动图像中提取执照图像。在步骤S2075中，所述信息处理装置1600确定在步骤S2073中提取的执照图像是否对应于在步骤S2071中变化执照呈现的指示。

注意，这个示例实施例已经具体描述了将所述执照的方向作为在执照侧上的活体确定。然而，本发明不限于所述执照的方向，并且可以进行便于活体确定且几乎不对用户施加负担的动作，诸如所述用户保持执照的方式(包括手指的位置和手指的数量)以及呈现所述执照的用户动作。

根据这个示例实施例，活体确定可以由身份验证文件而不是用户的面部来实施。如果这种活体确定处理与通过所述用户的面部进行的活体确定相结合，则有可能提高用户验证的准确度。

[第四示例实施例]

接下来将描述根据本发明的第四示例实施例的信息处理装置。根据本示例实施例的信息处理装置与根据上述第二示例实施例和第三示例实施例的信息处理装置的不同之处在于，其确定是否可以从作为身份验证文件的执照中采集用户信息，以及如果不能采集所述用户信息，在再次采集(捕获)所述用户信息。其余组件和操作与第二和第三示例实施例中的那些相似。因此，相同的附图标志表示相似的组件和操作，并且将省略对它们的详细描述。

<<用户信息采集处理的操作的概况>>

图17是示出根据这个示例实施例的信息处理装置2100进行的身份验证处理(S2120)的操作的概况的图。注意，图17示出了代替图2A所示的身份验证处理(S220)的处理。还要注意，在图17中，与图2B中相同的附图标志表示相似的组件，并且将省略对它们的重复描述。

参照图17，由于障碍物2162，在所述用户的面部图像和所述执照的面部图像被相互校对时，所捕获的运动图像中的执照的一部分没有被捕获到。在这种情况下，即使所述面部图像被相互校对并且相互匹配，也不可能从所述执照的正面图像可靠地采集用户信息。在这个示例实施例中，如果存在覆盖执照的障碍物2162，则向用户通知“执照被隐藏”2172的消息，并且向其指示在没有障碍物2162的情况下再次捕获所述执照的正面图像。此外，由于障碍物2163，在活体确定期间没有捕获到所述执照的一部分。在这种情况下，即使活体确定是OK(通过)，也不可能从所述执照的正面图像可靠地采集用户信息。在这个示例实施例中，如果存在障碍物2163，则向用户通知“执照被隐藏”2173的消息，并且指示用户在没有障碍物2163的情况下再次捕获所述执照的正面图像。另外，由于障碍物(例如，用户的手指等)2165，在捕获执照的背面时没有捕获到所述执照的一部分。在这种情况下，不可能从所述执照的背面图像可靠地采集用户信息。在这个示例实施例中，如果存在障碍物2165，则向用户通知“执照被隐藏”2175的消息，并且向其指示在没有障碍物2165的情况下再次捕获所述执照的背面图像。

<<通信终端的功能布置>>

图18是示出作为根据这个示例实施例的信息处理装置2100的通信终端的功能布置的框图。注意，在图18中，与图5中相同的附图标志表示相似的功能组件，并且将省略对它们的重复描述。

所述信息处理装置2100包括应用程序执行器2103。所述应用程序执行器2103还包括用户信息采集使能或禁用检测器2234。用户信息采集使能或禁用检测器2234确定是否可以采集用户信息，特别是，是否在没有任何障碍的情况下采集了所述执照的正面或背面图像，并检测是否可以采集用于账户开设的资格审查所必需的用户信息。如果检测到存在障碍物因而无法正常采集所述执照的正面图像或背面图像，则从显示单元504或声音输入/输出单元507做出再次捕获所述执照的正面图像或背面图像的请求。

(身份验证处理)

图19是示出根据这个示例实施例的身份验证处理(S905)的又一过程的流程图。注意，在图19中，与图9B中相同的步骤编号表示相同的步骤，并且将省略对它们的重复描述。

在步骤S2323中，所述信息处理装置2100检测在面部图像校对处理期间从所述运动图像采集的所述执照的正面图像中是否没有障碍物，以便能够采集用户信息。如果可以采集用户信息，则所述信息处理装置2100进行到步骤S924，并且保存所述执照的正面图像以采集要用于资格审查的所述用户信息；否则，所述信息处理装置2100返回到步骤S921，并且通过面部图像校对处理再次捕获所述执照的正面图像。

在步骤S2327中，所述信息处理装置2100检测在活体确定期间从所述运动图像采集的所述执照的正面图像中是否没有障碍物，以便能够采集用户信息。如果可以采集用户信息，则所述信息处理装置2100进行到步骤S928，并且保存所述执照的正面图像以采集要用于资格审查的所述用户信息；否则，所述信息处理装置2100返回到步骤S925，并且通过活体确定处理再次捕获所述执照的正面图像。注意，如果在活体确定期间从所述运动图像采集执照的正面图像对于随后的处理不是必需的，则可以去除步骤S2327。

在步骤S2331中，所述信息处理装置2100检测在执照确定处理之后从所述运动图像采集的所述执照的背面图像中是否没有障碍物，以能够采集用户信息。如果可以采集用户信息，则所述信息处理装置2100进行到步骤S932，并且保存所述执照的背面图像以采集用于资格审查的用户信息；否则，信息处理装置2100返回到步骤S929，并且通过执照确定处理再次捕获执照的背面图像。

根据这个示例实施例，可以预先防止由于在采集身份验证文件的图像信息时的错误而导致的用户信息的缺乏。

[第五示例实施例]

接下来将描述根据本发明第五示例实施例的信息处理装置。根据这个示例实施例的信息处理装置与根据上述第二至第四示例实施例的信息处理装置的不同之处在于，使用了包括其它面部图像的护照或个人号码卡而不是执照作为身份验证文件。其余的组件和操作与第二至第四示例实施例中的那些类似。因此，相同的附图标志表示相似的组件和操作，并且将省略对它们的详细描述。

<<身份验证处理的操作的概况>>

图20是示出根据这个示例实施例的信息处理装置2401或2402的身份验证处理(S2401或S2402)的操作的概况的视图。注意，图20示出了代替图2A所示的身份验证处理(S220)的处理。S2401示出了将护照作为身份验证文件出示的情况，且S2402示出了将个人号码卡出示的情况。在图20中，与图2B中相同的附图标志表示相似的组件，并且将省略对它们的重复描述。

在步骤S2401中，当将所述用户的面部图像与所述护照的面部图像校对时，捕获包括面部图像2422的护照2412，并且在活体确定时捕获包括面部图像2423的护照2413。注意，由于所述护照不包括背面，因此不需要执行翻转护照的动作，而是可以呈现包括其它用户信息的护照页面。

在步骤S2402中，当将所述用户的面部图像与个人号码卡的面部图像进行校对时，捕获包括面部图像2442的个人号码卡2432，并且在活体确定时，捕获包括面部图像2443的个人号码卡2433。注意，由于所述个人号码卡的背面包括个人信息，因此不需要执行翻转所述个人号码卡的动作。

注意，这个示例实施例已经例示了将护照和个人号码卡作为各自用于身份验证的身份验证文件。然而，本发明不限于此，可以使用包括所述用户的面部图像和用户信息的任何身份验证文件。

根据这个示例实施例，即使使用包括其它面部图像的身份验证文件，也可以获得与所述执照相同的效果。

[第六示例实施例]

接下来将描述根据本发明第六示例实施例的信息处理装置。根据这个示例实施例的信息处理装置与根据上述第二至第五示例实施例的信息处理装置的不同之处在于，作为信息处理装置的通信终端通过OCR处理从诸如执照的身份验证文件的图像中识别用户信息。其余的组件和操作与第二至第五示例实施例中的那些类似。因此，相同的附图标志表示相似的组件和操作，并且将省略对它们的详细描述。注意，由OCR处理所识别的字符代码可以进一步被分析、以身份验证文件的格式布置、且然后被发送到资格审查服务器。如果提高所述信息处理装置的性能以解决负荷问题，则可以由作为信息处理装置的通信终端来实施与账户开设相关的其它处理。

<<通信终端的功能布置>>

图21是示出根据这个示例实施例的作为信息处理装置2500的通信终端的功能布置的框图。注意，在图21中，与图5中相同的附图标志表示相似的功能组件，并且将省略对它们的重复描述。

作为信息处理装置2500的通信终端包括OCR处理器2544、用户信息发送器2543和数据库2550。所述OCR处理器2544基于在数据库2550的身份验证信息保持器2551中保持的OCR算法，对由执照提取器534从图像捕获器捕获的运动图像中所提取的执照的正面或背面图像执行OCR处理，从而通过字符代码将所述图像转换为用户信息。然后，将由转换结果的字符代码表示的用户信息保持在所述数据库2550的用户信息保持器2552中。所述用户信息发送器2543将在用户信息保持器2552中保持的所捕获的运动图像、所述用户的面部图像、以及从所述执照采集的字符代码表示的用户信息，发送到所述资格审查服务器360。

所述数据库2550包括所述身份验证信息保持器2551和所述用户信息保持器2552，且所述身份验证信息保持器2551除了保持图6B所示的身份验证信息保持器551之外，还保持OCR算法(未图示)。此外，将经过OCR处理的字符代码所表示的用户信息(未示出)保持在用户信息保持器2552中，而不是图6A所示的用户信息保持器552中的执照的正面或背面图像。

<<通信终端的处理过程>>

图22是示出根据这个示例实施例的作为信息处理装置2500的通信终端的处理过程的流程图。注意，在图22中，与图9A中相同的步骤编号表示相同的步骤，并且将省略对它们的重复描述。

在步骤S2609中，信息处理装置2500对从图像捕获器捕获的运动图像中提取的执照的正面和背面图像执行OCR处理，从而通过字符代码生成和再现用户信息。在步骤S2611中，所述信息处理装置2500在显示单元504上显示经过OCR处理的用户信息，并且所述用户验证或修改所述用户信息。在步骤S2613中，所述信息处理装置2500将由所述用户验证或修改的用户信息与所述面部图像一起作为资格审查信息发送到资格审查服务器。

根据这个示例实施例，与图像数据的发送相比，可以减少通信容量以防止通信业务阻塞，并且可以减少资格审查服务器或银行账户管理服务器上的负荷。

[第七示例实施例]

接下来将描述根据本发明第七示例实施例的信息处理装置。根据这个示例实施例的信息处理装置与根据上述第二至第六示例实施例的信息处理装置的不同之处在于使用账户来代替开设账户。其余的组件和操作与第二至第六示例实施例中的那些类似。因此，相同的附图标志表示相似的组件和操作，并且将省略对它们的详细描述。注意，在这个示例性的实施例中，帐户使用应用程序被解释为与账户开设应用程序不同的应用程序，但可以作为集成帐户处理应用程序提供。

<<帐户使用操作的概况>>

图23是示出根据这个示例实施例的信息处理装置2700进行的账户使用操作的概况的图。注意，在图23中，与图2A中相同的步骤编号表示相同的步骤，并且将省略对它们的重复描述。

在图23中，步骤S210和S220与图2A中的相同。然而，步骤S220中的身份验证在账户开设时已经执行一次，因此与图2A相比，使用简化的过程，同时保持可靠性。例如，由于他或她本人的面部图像已经与账户一起注册过了，因此，可以跳过用于验证身份验证文件是否真实的处理和用于采集身份验证文件的背面图像的处理。注意，如果以由防止犯罪收益法案(“Anti-Criminal Proceeds Act”)所定义的“特定交易”为目标，例如超过预定金额(例如，2百万日元)的大额现金交易，则可以使用步骤S220中的身份验证。

在步骤S2730中，作为信息处理装置2700的通信终端将所述用户指示的来自所述用户他或她本人的账户的转账请求连同身份验证处理结果的信息一起发送到银行账户管理服务器370。然后，如果所述银行账户管理服务器370筛选所述转账请求并发送转账完成通知，则在步骤S2740中，作为信息处理装置2700的通信终端通知用户转账完成。注意，如果转账处理未被批准或者转账处理失败，则通知用户转账错误。

<<帐户使用系统的操作序列>>

图24是示出根据这个示例实施例的包括信息处理装置2700的帐户使用系统的操作过程的序列图。注意，在图24中，与图4A中相同的步骤编号表示相同的步骤，并且将省略对它们的重复描述。

在步骤S2801中，作为信息处理装置2700的通信终端获取帐户使用应用程序并将其激活。在步骤S2803中，作为信息处理装置2700的通信终端采集登录信息和用户输入的其它信息并将其保存。

在步骤S2805中，作为信息处理装置2700的通信终端在发送用于帐户使用的用户信息之前，仅在作为信息处理装置2700的通信终端中执行所述用户的身份验证处理。在步骤S2805的处理中，在正常帐户使用中不执行图4A所示的步骤S461到S465。然而，如上所述，如果以由防止犯罪收益法案定义的“特定交易”为目标，例如超过预定金额(例如2百万日元)的大额现金交易，则可以执行图4A中所示的步骤S461到S465。

在步骤S2805中，在用户的身份验证处理成功的情况下，作为信息处理装置2700的通信终端在步骤S2807中采集所述用户输入的账户使用信息。然后，在步骤S2809中，作为信息处理装置2700的通信终端将所述账户使用信息与在步骤S2805中的身份验证处理期间由信息处理装置2700采集并保持的所述用户的面部图像/运动图像以及所述执照的正面图像一起，发送到银行账户管理服务器370。注意，如果以所述“特定交易”为目标，则可以执行如图4B的S407至S413所示的由资格审查服务器360进行的资格审查。

在步骤S2811中，银行账户管理服务器370基于从信息处理装置2700接收的所述用户信息和账户使用信息执行账户使用处理。在完成账户使用处理时，在步骤S2813中，所述银行账户管理服务器370将账户使用完成通知发送到所述信息处理装置2700。

在步骤S2815中，作为信息处理装置2700的通信终端向用户通知从所述银行账户管理服务器370接收到的账户使用完成通知，从而确认账户使用。

<<通信终端的功能布置>>

图25是示出作为根据这个示例实施例的信息处理装置2700的通信终端的功能布置的框图。注意，在图25中，与图5中相同的附图标志表示相似的功能组件，并且将省略对它们的重复描述。

作为信息处理装置2700的通信终端包括用于执行账户使用应用程序的应用程序执行器2903。所述应用程序执行器2903包括账户使用信息采集器2941、用户信息/账户使用信息发送器2943、账户使用完成接收器2944、账户使用完成通知器2945、和数据库2950。

所述账户使用信息采集器2941从操作单元505采集由用户输入和指示的账户使用信息。所述用户信息/账户使用信息发送器2943将账户使用信息采集器2941采集的账户使用信息和在所述用户的身份验证期间采集的用户信息一起发送到所述银行账户管理服务器370。所述账户使用完成接收器2944接收所述银行账户管理服务器370中的账户使用处理结果。所述账户使用完成通知器2945通过显示单元504或声音输入/输出单元507向所述用户通知所述账户使用完成接收器2944从银行账户管理服务器370接收到的账户使用处理结果。

所述数据库2950包括账户使用历史保持器2953。所述账户使用历史保持器2953保持所述用户的账户使用历史。尽管未示出，所述帐户使用历史保持器2953理想地、保密地保持用户ID、时间戳记、帐户号码、帐户使用信息等等。

注意，在这个示例实施例中，在账户开设时执行身份验证。因此，为了简化用户操作，不执行用于确定所述执照是否是真实的处理和用于捕获所述执照的背面图像的处理。此外，在帐户使用时，可以将在账户开设时在所述终端中保持的面部图像和特征与由所述图像捕获器捕获的所述用户的面部图像和在不呈现所述执照的情况下的特征进行校对，并且可以进行活体确定。可替代地，可以采集在银行账户管理服务器370中注册或更新的面部图像和特征，并将其与通过图像捕获所捕获的用户的面部图像和特征进行校对，并且可以进行活体确定。如上所述，与开设账户时相比，在使用账户时，期望通过简化身份验证过程来省去用户的劳动。

根据这个示例实施例，同样在帐户使用时，可以容易地、可靠地在所述终端中执行身份验证和帐户使用处理。

[其它示例实施例]

注意，示例实施例已经示例了执照、护照和个人号码卡作为身份验证文件。然而，本发明可应用于包括所述用户的面部图像和用于用户资格审查的用户信息的其它文件，并且可以获得相同的效果。

此外，如果所述用户注册了因特网银行，则可以通过在面部图像之间进行校对并从身份验证文件收集用户信息(对于执照，采集正面和背面图像)，来简化真实执照确定和活体确定，并前进到资格检查。

此外，通过使用区块链来共享所述用户的身份验证结果和所述用户用于账户开设的资格审查的结果，在另一个银行中开设账户时，可以使用在一个银行中开设账户时所使用的信息。因此，可以更容易且更可靠地由所述用户实现账户开设操作。

尽管已经参照本发明的示例实施例具体示出和描述了本发明，但是本发明并不限于这些示例实施例。本领域的普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以在形式和细节上进行各种变化。包含在各示例实施例中所包括的各个特征的任意组合的系统或装置可以被并入本发明的范围内。

本发明可应用于包括多个装置或单个装置的系统。即使当用于实现示例实施例的功能的信息处理程序被直接或从远程站点提供给所述系统或装置时，本发明也是适用的。因此，本发明还包括安装在计算机中以通过所述计算机实现本发明的功能的程序、存储所述程序的介质、以及使用户下载所述程序的WWW(万维网)服务器。特别地，本发明至少包括用于存储程序的非暂时性计算机可读介质，所述程序使计算机执行包括在上述示例实施例中的处理步骤。

[示例实施例的其它表达]

上述示例实施例中的一些或全部还可以如在以下附记中那样描述，但不限于以下内容。

(附记1)

提供了一种信息处理装置，包括：

第一特征提取器，其从包括在运动图像中的用户的面部图像提取第一特征；

第二特征提取器，其从包括在运动图像中的用于认证所述用户的身份验证文件的面部图像提取第二特征；

第一校对器，其校对所述第一特征和所述第二特征是否相互匹配；

第一确定器，其指示所述用户执行预定动作，并确定包括在运动图像中的所述用户的动作是否对应于所指示的预定动作；以及

验证器，当所述第一特征和第二特征相互匹配并且包括在运动图像中的所述用户的动作对应于所指示的预定动作时，验证所述用户是他或她本人。

(附记2)

提供了根据附记1所述的信息处理装置，其中所述用户的面部图像和用于认证所述用户的身份验证文件的面部图像是所述运动图像的同一帧中的图像，以及

所述第一校对器的校对和所述第一确定器的确定被相互并行地处理。

(附记3)

提供了根据附记1所述的一种信息处理装置，其中当第一校对器确定所述第一特征和第二特征相互匹配时，执行所述第一确定器的确定。

(附记4)

提供了根据附记1所述的信息处理装置，其中，当所述第一确定器确定包括在运动图像中的所述用户的动作对应于所指示的预定动作时，执行所述第一校对器的校对。

(附记5)

提供了根据附记1至4中任一项所述的信息处理装置，其中，向所述用户指示的动作包括，包含所述用户面部的所述用户的身体动作和在呈现所述身份验证文件的方法中的变化中的至少一个。

(附记6)

提供了根据附记1至5中任一项所述的信息处理装置，还包括确定身份验证文件是否真实的第二确定器，

其中，当所述身份验证文件是真实的时候，所述验证器验证所述用户是他或她本人。

(附记7)

提供了根据附记6所述的信息处理装置，还包括：

第三特征提取器，其用于在确定所述身份验证文件的同时从包括在所述运动图像中的所述用户的面部图像提取第三特征；以及

第二校对器，其校对所述第一特征和第三特征是否相互匹配，

其中，当所述第一特征和所述第三特征相互匹配时，所述第二确定器确定所述身份验证文件是真实的。

(附记8)

提供了根据附记6或7所述的信息处理装置，还包括：

第四特征提取器，其用于从包括在运动图像中的所述用户的面部图像中提取第四特征，并获得不包含所述身份验证文件的面部图像的表面的图像；

第三校对器，其校对所述第一特征和第四特征是否相互匹配；以及

第三确定器，当所述第一特征和第四特征相互匹配时，其确定不包含所述身份验证证件的面部图像的表面的图像是真实的。

(附记9)

提供了根据附记8所述的一种信息处理装置，还包括：

保持器，其保持所述运动图像、包括在所述运动图像中的所述用户的面部图像、和包括在所述运动图像中的所述身份验证文件的图像；以及

发送器，在所述用户是他或她本人、所述身份验证文件是真实的、且不包含所述身份验证文件的面部图像的表面的图像是真实的时候，其将在所述保持器中保持的所述运动图像、包括在运动图像中的所述用户的面部图像、以及包括在所述运动图像中的身份验证文件作为用户信息发送到对所述用户执行资格审查的装置。

(附记10)

提供了根据附记1至9中任一项所述的信息处理装置，还包括转换器，所述转换器从包括在所述运动图像中的所述身份验证文件的图像中识别字符并将所述字符转换成字符代码。

(附记11)

提供了根据附记1至10中任一项所述的信息处理装置，其中所述信息处理装置包括通信终端。

(附记12)

提供了根据附记1至11中任一项所述的信息处理装置，其中所述身份验证文件是执照、护照和个人号码卡中的一种。

(附记13)

提供了一种信息处理方法，包括：

从包括在运动图像中的用户的面部图像提取第一特征；

从包括在运动图像中的用于认证所述用户的身份验证文件的面部图像提取第二特征；

校对所述第一特征和所述第二特征是否相互匹配；

指示所述用户执行预定动作，并确定包括在所述运动图像中的所述用户的动作是否对应于所指示的预定动作；以及

当所述第一特征与所述第二特征相互匹配、并且包括在所述运动图像中的所述用户的动作对应于所指示的预定动作时，验证所述用户是他或她本人。

(附记14)

提供了一种用于使计算机执行方法的信息处理程序，包括：

从包括在运动图像中的用户的面部图像提取第一特征；

从包括在所述运动图像中的用于认证所述用户的身份验证文件的面部图像提取第二特征；

校对所述第一特征和所述第二特征是否相互匹配；

指示所述用户执行预定动作，并确定包括在所述运动图像中的所述用户的动作是否对应于所指示的预定动作；以及

当所述第一特征和第二特征相互匹配、并且包括在所述运动图像中的所述用户的动作对应于所指示的预定动作时，验证所述用户是他或她本人。

(附记15)

提供了一种账户开设系统，包括：

校对器，所述校对器将从包括在运动图像中的用户的面部图像提取的第一特征与从包括在所述运动图像中的用于认证所述用户的身份验证文件的面部图像提取的第二特征进行校对；

第一确定器，所述第一确定器指示所述用户执行预定动作，并确定包括在所述运动图像中的所述用户的动作是否对应于所指示的预定动作；

第二确定器，所述第二确定器确定所述身份验证文件是否是真实的；

验证器，当所述第一特征和第二特征相互匹配、包括在所述运动图像中的所述用户的动作对应于所指示的预定动作、并且已确定所述身份验证文件是真实的时候，所述验证器验证所述用户是他或她本人；

第三确定器，当从包括在所述运动图像中的所述用户的面部图像提取的第四特征与所述第一特征匹配时，同时获得了不包含所述身份验证文件的面部图像的表面的图像时，所述第三确定器确定不包含所述身份验证文件的面部图像的表面的图像是真实的；

资格审查器，当所述用户是他或她本人、所述身份验证文件是真实的、且不包含所述身份验证文件的面部图像的表面的图像是真实的时候，所述资格审查器基于在预先登记的具有包含在所述运动图像中的所述用户的所述面部图像的信息和所述身份验证文件的内容之间的比较来审查所述用户的资格，其中所述身份验证文件的内容是通过从包含在所述运动图像中的所述身份验证文件的图像中识别字符并将所述字符转换为字符代码而获得的；以及

账户开设单元，用于为被确定为有资格的用户开设账户。

(附记16)

提供了一种账户开设方法，包括：

将从包括在运动图像中的用户的面部图像提取的第一特征与从包括在运动图像中的用于认证所述用户的身份验证文件的面部图像提取的第二特征进行校对；

指示所述用户执行预定动作，并确定包括在所述运动图像中的所述用户的动作是否对应于所指示的预定动作；

确定所述身份验证文件是否是真实的；

当所述第一特征和第二特征相互匹配、包括在所述运动图像中的用户的动作对应于所指示的预定动作、并且已确定所述身份验证文件是真实的时候，验证所述用户是他或她本人；

当从包括在所述运动图像中的所述用户的面部图像提取的第四特征与所述第一特征匹配时，同时获得了不包含所述身份验证文件的面部图像的表面的图像，确定不包含所述身份验证文件的面部图像的表面的图像是真实的；

当所述用户是他或她本人、所述身份验证文件是真实的、且不包含所述身份验证文件的面部图像的表面的图像是真实的时候，基于在预先登记的具有包含在所述运动图像中的所述用户的所述面部图像的信息和所述身份验证文件的内容之间的比较来审查所述用户的资格，其中所述身份验证文件的内容是通过从包含在所述运动图像中的所述身份验证文件的图像中识别字符并将所述字符转换为字符代码而获得的；以及

为被确定为有资格的用户开设账户。