图像形成装置及其控制方法和存储计算机程序的存储介质

技术领域

本公开涉及图像形成装置、用于控制图像形成装置的方法以及存储计算机程序的存储介质。

背景技术

已知在具有复印功能、打印功能等的图像形成装置中，用户输入用户ID和密码，并且使用输入的用户ID和密码来执行认证处理。在图像形成装置中，当用户在执行用户认证之后登录到图像形成装置时，显示用于打印已登录用户的作业的画面或为已登录用户定制的画面。各种认证方法被用于用户认证，诸如使用IC卡或人脸认证的认证以及使用用户ID和密码的认证。

日本专利申请公开No.2019-57036描述了一种用于图像形成装置的认证处理，该认证处理基于使用由相机捕获的图像的人脸认证。基于人脸认证的用户认证花费一些时间。因此，如果当用户接近图像形成装置前方时开始图像捕获和认证处理，那么用户直到在图像形成装置前方完成认证处理之前都不能操作图像形成装置。因而，在日本专利申请公开No.2019-57036中描述的图像形成装置中，使用当用户进入预定区域时捕获的图像来执行人脸认证。因此，当用户到达图像形成装置前方时，用户能够完成用户认证而无需输入用户ID和密码。

在日本专利申请公开No.2019-57036中，当用户距图像形成装置一定距离时开始用户认证，使得当用户接近图像形成装置前方时完成用户认证。因此，从开始用户认证时到用户实际到达图像形成装置前方时存在时间滞差。假设此时图像形成装置在完成用户认证之后立即使用与被认证的用户对应的信息来显示画面。在这种情况下，如果另一个用户在该被认证的用户之前接近图像形成装置前方，那么可能将基于与被认证的用户对应的信息的画面示给该另一个用户。

发明内容

根据本公开的实施例的图像形成装置包括：图像捕获单元，被配置为捕获在图像形成装置前方的图像；显示器，被配置为显示画面；以及包括一个或多个处理器的控制器，该控制器被配置为用作：获取单元，被配置为从由图像捕获单元捕获的图像中获取用户的人脸图像；认证单元，被配置为使用由获取单元获取的用户的人脸图像来认证距图像形成装置第一距离内的用户；追踪单元，被配置为追踪由认证单元认证的用户；以及控制单元，被配置为当用户已经到达距图像形成装置第二距离处的位置时使显示器显示基于与由追踪单元追踪的用户对应的信息的画面，第二距离比第一距离短。

通过以下参考附图对示例性实施例的描述，本公开的其它特征将变得清楚。

附图说明

图1是例示根据本实施例的图像形成装置的外观的示例的图。

图2是例示根据本实施例的其中可以从由图像形成装置的相机单元捕获的相机图像中获取人脸数据的区域以及其中可以执行人脸认证的区域的示意图。

图3是根据本实施例的图像形成装置的侧视图。

图4是例示根据本实施例的图像形成装置的配置的硬件框图。

图5是例示根据本实施例的由相机单元捕获的相机图像以及由相机图像分析单元进行的分析的示意图。

图6A是例示根据本实施例的由相机图像分析单元基于人脸数据来估计其中存在用户的区域的方法的示意图。

图6B是例示根据本实施例的从由相机单元捕获的图像中提取的用户的人脸数据的示意图。

图6C是例示根据本实施例的从由相机单元捕获的图像中提取的用户的人脸数据的另一个示意图。

图7A是例示在显示单元上显示的画面的示例的图。

图7B是例示在显示单元上显示的画面的另一个示例的图。

图7C是例示在显示单元上显示的画面的另一个示例的图。

图8A和图8B例示了用于描述根据本实施例的人脸认证处理的流程图。

图9是用于描述当用户接近本实施例中的图像形成装置时该图像形成装置的操作的示意图。

图10是用于描述当用户在本实施例中的图像形成装置前方径直穿过时该图像形成装置的操作的示意图。

图11是用于描述当多个用户接近本实施例中的图像形成装置时该图像形成装置的操作的示意图。

具体实施方式

在下文中，将参考附图通过示例详细地描述用于执行本公开的实施例。注意的是，在本实施例中描述的部件仅仅是示例，并且本公开的范围不限于这些部件。

<图像形成装置的外观>

图1例示了根据本实施例的图像形成装置10的外观。图像形成装置10具有多种功能，诸如打印功能、扫描功能、复印功能和FAX功能。图像形成装置10包括相机单元11。相机单元11朝着图像形成装置10的前方定向。

相机单元11用作捕获在图像形成装置10前方的图像的图像捕获单元。相机单元11在由图像形成装置10的主控制器进行的控制下捕获图像。

图像形成装置10使用相机单元11捕获接近图像形成装置10的用户的图像，并执行人脸认证。在人脸认证结果满足预定条件的情况下，图像形成装置10允许用户自动登录到图像形成装置10。在下面的描述中，由相机单元11捕获的图像将被称为相机图像。

<图像捕获范围和人为操作范围>

首先，将参考图2和图3给出其中可以通过使用相机单元11来执行人脸图像的提取或利用人脸图像的人脸认证的区域的描述。

图2是例示其中可以从由图像形成装置10的相机单元11捕获的图像中提取人脸图像的区域以及其中可以执行基于提取出的人脸图像的人脸认证的区域的图。图2例示了在图像形成装置10的高度方向上从上方观察的图像形成装置10及其周围。

图3是用于描述图像形成装置10的相机单元11可以进行图像捕获的范围以及与认证相关的范围的侧视图。图3例示了从图像形成装置10的侧面观察的图像形成装置10及其周围。图3中的人H是要由图像形成装置10认证的用户。

在图2中，区域R1是其中可以从由相机单元11捕获的图像中提取人脸图像的区域。当在高度方向上从上方观察图像形成装置10时，区域R1具有扇形形状，其中心角被设定为大约180度。图像形成装置10能够提取在区域R1内的用户的人脸图像。

区域R2是其中可以执行使用由相机单元11捕获的图像中包括的人脸图像的人脸认证的区域。当在高度方向上从上方观察图像形成装置10时，区域R2具有扇形形状，其中心角被设定为大约180度，并且具有小于区域R1的扇形。

区域R3是其中检测对图像形成装置10进行操作的用户的区域。区域R3形成在图像形成装置10的前方，并且当在高度方向上从上方观察时具有矩形形状。在这个示例中，矩形范围的宽度方向上的长度等于图像形成装置10的宽度方向上的长度。整个区域R3位于区域R1和区域R2的内部。区域R3是其中用户能够检查和操作显示单元202的范围。

在本实施例中，基于从由相机单元11捕获的图像中提取的人脸图像，确定用户存在于区域R1、R2和R3中的哪个区域中。下面将参考图6A至图6C描述用于确定人H存在的区域的详细检测方法。

区域R1和R2中的每一个的中心角可以是大约180度以外的角度。

如图3中所示，相机单元11以能够捕获用户的人脸图像的定向部署在例如图像形成装置10的显示单元202旁边。

根据本实施例的图像形成装置10通过使用相机图像来执行用于允许图像形成装置10的使用的认证，相机图像是通过经由使用相机单元11捕获接近图像形成装置10的人H的人脸的图像而获取的，如下所述。

<图像形成装置的框图>

图4是例示根据本公开的实施例的图像形成装置10的配置的框图。

图像形成装置10包括控制图像形成装置10的操作的控制器100、操作单元200、扫描仪单元400和打印机单元500。

控制器100能够与操作单元200、扫描仪单元400和打印机单元500通信。控制器100包括连接到系统总线116的中央处理单元(CPU)110、随机存取存储器(RAM)111、只读存储器(ROM)112、输入/输出接口(I/F)114和局域网(LAN)控制器115。此外，控制器100包括连接到系统总线116的硬盘驱动器(HDD)117、设备I/F 118和图像处理单元119。此外，控制器100包括连接到系统总线116的相机图像分析单元410、认证单元411和认证结果管理单元412。

CPU 110基于存储在ROM 112中的控制程序等来中央控制对所连接的各种设备的访问，并且还中央控制由控制器100执行的各种处理。CPU 110经由输入/输出I/F 114与操作单元200和相机单元11通信。此外，CPU 110经由设备I/F 118与扫描仪单元400和打印机单元500通信。RAM 111是供CPU 110操作的系统工作存储器并且是用于临时存储图像数据的存储器。在本实施例中，CPU 110与相机单元11通信并控制由相机单元11进行的图像捕获。

ROM 112存储各种程序，诸如用于装置的引导程序。

LAN控制器115向连接到LAN且未示出的个人计算机(PC)或诸如外部认证服务器之类的外部装置传输信息或从其接收信息。

HDD 117是硬盘驱动器并且存储系统软件和图像数据。

图像处理单元119用于执行与文档的读取或打印相关的图像处理。图像处理单元119读出存储在RAM 111中的图像数据，并执行诸如根据联合图像专家组(JPEG)、联合二值图像专家组(JBIG)等的压缩或解压缩之类的图像处理，以及颜色调整。

用户使用操作单元200来控制图像形成装置10，并且执行在图像形成装置10和用户之间的信息的输入和输出。此外，操作单元200包括操作单元CPU 201、由液晶显示器(LCD)、发光二极管(LED)等构成的显示单元202以及由触摸屏、硬件键(hardware key)等构成的输入单元203。此外，操作单元200可以包括用于向由用户携带的移动终端传输数据或从其接收数据的接口，诸如近场通信(NFC)读取器/写入器或蓝牙(注册商标)模块。

扫描仪单元400是从文档光学地读取图像以生成图像数据的图像输入设备。

打印机单元500是根据电子照相方法在记录介质(片材)上形成图像的图像输出设备。

相机单元11具有如上所述的捕获在图像形成装置10前方的图像的功能。使用相机单元11来捕获接近图像形成装置10的用户的图像。

相机图像分析单元410是用于分析由相机单元11捕获的相机图像的模块。相机图像分析单元410具有检测相机图像中包括的人的人脸并追踪检测到的人的人脸的功能。此外，相机图像分析单元410具有将从相机图像中提取出的人的人脸区域的图像传输到认证单元411的功能。通过提取相机图像中包括的人的人脸区域而获取的图像在下文中将被称为“人脸数据”。在下文中，将参考图5通过示例描述由相机图像分析单元410执行的人脸检测、人脸追踪和人脸区域的切出。

图5是用于描述根据本实施例的相机图像分析单元410的检测相机图像中包括的人的人脸、追踪人的人脸以及切出人的人脸区域的功能的解释图。

在图5中，A1表示由相机单元11获取的相机图像。相机图像A1包括两个人，人H1和人H2。

相机图像分析单元410从相机单元11接收相机图像A1，并且从相机图像A1中提取人H1和人H2的人脸数据F1和人脸数据F2。相机图像分析单元410使用以下描述的方法来确定是否可以使用提取出的人脸图像执行人脸认证。在相机图像分析单元410确定可以使用人脸图像执行人脸认证的情况下，相机图像分析单元410将人脸数据F1和人脸数据F2传输到认证单元411。

此外，相机图像分析单元410向检测到的两个人H1和H2指派用于标识个人的ID510和ID 520(下文中称为追踪ID)，并追踪检测到的人H1和H2。在本实施例中，追踪人意指在从相机单元11获取的多个相机图像中提取同一用户的处理。

关于人脸检测和追踪功能，开源OpenCV一般被称为具有图像处理/分析和机器学习功能的库。通过使用这些库，实现了相机图像分析单元410的功能。

描述返回到图4中例示图像形成装置10的配置的框图。

认证单元411接收由相机图像分析单元410提取的人脸数据并执行人脸认证。在完成人脸认证之后，认证单元411将认证结果传输到相机图像分析单元410。认证单元411包括用于管理多个用户的多条人脸数据的人脸数据管理单元(未示出)。人脸数据管理单元存储用于管理多个用户的多条人脸数据的人脸数据管理表，例如，如表1中所示。在表1中，“用户编号”是由认证单元411管理的用户的序列号。“用户ID”是用于标识用户的标识信息。“密码”是用户用于登录到图像形成装置10的密码。“认证人脸数据”指示由认证单元411用于人脸认证的人脸数据的文件名。

表1

认证单元411从相机图像分析单元410接收人脸认证请求以及人脸数据。认证单元411分析人脸数据、将接收到的人脸数据与存储在人脸数据管理单元中的认证人脸数据进行比较，并确定接收到的人脸数据是否与任何一个用户的存储的人脸数据匹配。在认证单元411确定在人脸数据管理单元中注册了对应人的人脸数据的情况下，认证单元411将对应人的用户ID和指示认证已完成的通知传输给认证结果管理单元412作为人脸认证结果。在与接收到的人脸数据对应的认证人脸数据没有被注册在人脸数据管理单元中的情况下，认证单元411将指示认证失败的通知传输给认证结果管理单元412。

认证结果管理单元412存储由认证单元411通过认证而获取的认证结果。认证结果管理单元412将从认证单元411接收的认证结果存储在表2中所示的认证结果表中。

表2

在认证结果表中，“追踪ID”是指派给由相机图像分析单元410提取出的人脸数据的标识信息。“用户ID”是由认证单元411基于由相机图像分析单元410提取出的人脸数据进行认证的用户的用户ID。在尚未执行认证单元411的认证的情况下，认证结果管理单元412将由相机图像分析单元410指派的追踪ID和指示认证未完成的信息彼此相关联地注册在认证结果表中。例如，在表2中，未认证的用户被注册为“未知”。当具有追踪ID 3的人脸数据的用户接近图像形成装置10并且被认证时，用户ID从“未知”更新为经认证的用户的用户ID。尚未执行认证单元411的认证的情况是例如用户在图2中的区域R2的外部且在区域R1的内部的情况、与由相机图像分析单元410提取出的人脸数据对应的用户未在人脸数据管理单元中注册的情况等。

在本实施例中，在图像形成装置10包括认证单元411在其中的假设下给出描述。可替代地，认证单元411可以是在装置外部的、经由LAN或互联网连接的认证服务器。

登录处理单元413是执行用于允许由认证单元411认证的用户登录到图像形成装置10的处理的处理单元。登录处理单元413读出存储在HDD 117中的登录信息表，并在显示单元202上显示与经认证的用户对应的显示画面。

下面给出的表3是登录信息表的示例。

表3

作为“用户编号”，指派与由认证单元411管理的人脸认证数据表中的用户编号共用的编号。作为“用户ID”，存储与人脸认证数据表中的用户ID共用的用户ID。“语言”是当具有对应用户编号和用户ID的用户已登录时用于在显示单元202上显示画面的语言。例如，当具有用户ID“tanaka”的用户已登录时，显示单元202显示用日语书写的画面。另一方面，当具有用户ID“yamada”的用户已登录时，显示单元202显示用英语书写的画面。“顶部画面”指示在用户已登录之后首先显示的画面的信息。菜单画面是如图7B中所示的功能选择画面，并且是在登录之后或当用户选择未示出的首页按钮时显示的画面。复印画面是如图7C中所示的用于复印功能的设定画面。在复印画面上，可以设定与复印功能相关的多个设定项目。扫描画面是用于扫描功能的设定画面，用户利用扫描功能来扫描文档。在扫描画面上，可以设定与扫描功能相关的多个设定项目。

“复制默认设定”指示当用户在登录之后首次打开图7C中所示的复制画面时在复制画面上的设定值。登录信息表在与复印相关的设定项目当中存储设定针对其已经从图像形成装置10的默认设定改变为不同值的设定项目的设定值。“扫描默认设定”指示在用户登录到图像形成装置10之后首次显示扫描画面时显示的设定值。在此，假设仅从图像形成装置10的默认值改变的设定值被存储在登录信息表中。“画面的颜色反转”指示关于在显示单元202上显示的画面的颜色的设定值。颜色反转功能是以黑色显示画面的白色区域并以白色显示画面的黑色区域的功能。“0”指示不应用颜色反转，而“1”指示应用颜色反转。在本实施例中，登录信息表被存储在图像形成装置10的HDD 117中。可替代地，登录信息表可以存储在图像形成装置10的另一个存储器或经由网络连接到图像形成装置10的服务器中。

在本实施例中，在从相机图像检测人的人脸并追踪人脸的所有功能均由图像形成装置10中的相机图像分析单元410实现的假设下给出描述。可替代地，可以由相机单元11实现功能中的一个或一些。

<关于图像形成装置与人之间的距离的描述>

接下来，将给出用于使用由相机单元11获取的相机图像来确定用户存在于区域R1、R2和R3中的哪一个的方法的描述。

图6A是在人H1在相距图像形成装置10距离D1处且人H2在相距图像形成装置10距离D2处的情况下图像形成装置10的俯视图。如图6A中所示，人H2比人H1更靠近图像形成装置10。此时，由相机单元11捕获图5中所示的图像。

图6B例示了从由相机单元11捕获的图像中提取的人H1的人脸数据。相机图像分析单元410提取包括人H1的人脸的区域的矩形作为人脸数据。图6C例示了从由相机单元11捕获的图像中提取的人H2的人脸数据。相机图像分析单元410提取包括人H2的人脸的区域的矩形作为人脸数据。为了获取人脸数据，可以提取包括相机图像中的人脸的整个区域的多边形。如能够从图6B和图6C看出的，人脸数据的尺寸随着到用户的距离减小而增加。图像形成装置10的CPU 110根据由相机图像分析单元410提取出的人脸数据的高度和宽度来计算人脸数据的面积。CPU 110将计算出的面积与预设阈值进行比较，从而确定用户存在于区域R1、R2和R3中的哪一个中。

当然，关于用于确定从图像形成装置10到人的距离的方法，以上参考图6A至图6C描述的方法是示例，并且根据相关技术的另一种方法可以被用于检测距离。例如，在本实施例中，可以利用使用能够检测到物体的距离的传感器(诸如超声传感器)的距离检测方法或者使用红外阵列传感器等的距离检测方法。

<显示单元上显示的画面的描述>

图7A至图7C例示了在图像形成装置10的显示单元202上显示的画面的示例。在本实施例中，当通过认证单元411确定用于认证的用户的人脸数据尚未注册在人脸认证处理中时，图像形成装置10提示用户执行密码认证。

图7A例示了当用户接近图像形成装置10并通过认证单元411确定用户的人脸图像数据尚未注册在人脸认证处理中时用于提示用户执行密码认证的画面的示例。区域701是其中用户输入用户ID的区域。用户在区域701中输入表1中所示的用户ID。区域702是其中用户输入密码的区域。用户输入表1中所示的密码。在输入用户ID和密码之后，用户选择“登录”703。因而，由认证单元411执行认证处理。这个画面在无法使用接近图像形成装置10的用户的人脸数据执行认证的情况下、在用户ID和密码被注册在表1中但认证人脸数据未注册等的情况下是有效的。

图7B和图7C例示了在用户当接近图像形成装置10时已经使用人脸数据完成了认证的情况下或者在图7A中所示的画面上已经选择了“登录”703并且登录处理已完成的情况下在显示单元202上显示的画面。图7B例示了在用户编号为0的用户已登录的情况下所显示的画面。图7C例示了在用户编号为1的用户已登录的情况下所显示的画面。

在用户已经被认证之后在显示单元202上显示的画面是与该用户对应的特定于用户的功能选择画面。在区域704中显示已登录用户的用户ID，并且在区域705中显示已登录用户的用户编号。在图像形成装置10中，每个用户能够定制用于显示画面的语言、登录之后立即显示的画面的类型以及在功能选择画面上显示的按钮的数量和类型。例如，在用户编号为1的用户已登录的情况下，当用户在区域R3内或当用户选择在图7A所示的画面上的“登录”703时，显示如图7C中所示的用英语书写的复印设定画面。以这种方式，图像形成装置10能够显示适合于每个用户的画面。

<人脸认证的流程>

接下来，将给出在根据本实施例的图像形成装置10中在登录时的人脸认证处理和画面显示的控制的描述。图8A和图8B例示了流程图，该流程图例示了在没有任何用户已登录的情况下由图像形成装置10执行的处理。该处理通过将与这个处理对应并存储在ROM112中的程序加载到RAM 111并由CPU 110执行该程序来实现。在图像形成装置10的电源已接通之后，开始图8A和图8B所示的处理。在用户已从图像形成装置10注销之后以及在图像形成装置10的电源已接通之后，执行图8A和图8B所示的处理。

CPU 110将相机图像获取请求传输到相机单元11，并获取由相机单元11捕获的相机图像(S801)。CPU 110将相机图像获取请求传输到相机单元11。相机单元11基于相机图像获取请求来获取图像，并将获取的图像传输至CPU 110。

CPU 110确定在S801中获取的相机图像中是否存在人脸数据(S802)。CPU 110将从相机单元11获取的图像传输到相机图像分析单元410，并提供指令以从相机图像中提取人脸数据。相机图像分析单元410从相机图像中提取人脸数据。相机图像分析单元410将指示是否已经从相机图像中提取了人脸数据的信息发送到CPU 110。基于来自相机图像分析单元410的信息，CPU 110确定相机图像中是否存在人脸数据。在相机图像中没有人脸数据的情况下，CPU 110清除由认证单元411管理的认证结果表(S803)，并返回到S801。

CPU 110从相机图像中选择一条人脸数据(S804)。随后，CPU 110确定所选择的该条人脸数据的面积是否大于阈值TH1(S805)。阈值TH1是用于确定用户是否在区域R2中的阈值。在该条人脸数据的面积大于阈值TH1的情况下，CPU 110确定具有所选择的该条人脸数据的用户在区域R2中，并且处理前进到S809。在该条人脸数据的面积小于或等于阈值TH1的情况下，相机图像中包括的人脸数据的尺寸太小以至于无法执行人脸认证。因此，CPU 110执行S806和后续步骤。

CPU 110参考由认证结果管理单元412管理的认证结果表，并确定是否将追踪ID指派给具有所选择的该条人脸数据的用户(S806)。在指派了追踪ID的情况下，CPU 110前进到S808。在未指派追踪ID的情况下，CPU 110控制相机图像分析单元410、将追踪ID指派给该条人脸数据、将指派的追踪ID通知给认证结果管理单元412并在认证结果表中注册该追踪ID(S807)。此时，使用该条人脸数据的认证尚未完成，因此CPU 110将用户ID“未知”的记录添加到认证结果表。

CPU 110确定相机图像中是否包括尚未在S804中被选择的一条人脸数据(S808)。在已经选择了相机图像中包括的所有条人脸数据的情况下，CPU 110返回到S801。在相机图像中包括尚未被选择的一条人脸数据的情况下，CPU 110前进到S804。在针对单个相机图像的第二个或更后的S804中，CPU 110选择尚未被选择的一条人脸数据。

CPU 110确定所选择的该条人脸数据是否是经认证的人脸数据(S809)。CPU 110控制认证结果管理单元412并参考认证结果表。在认证结果表中与指派给所选择的该条人脸数据的追踪ID对应的用户ID不是“未知”的情况下，CPU 110确定该条人脸数据是经认证的人脸数据。在所选择的该条人脸数据是经认证的人脸数据的情况下，CPU 110前进到S814。作为在S809中确定所选择的该条人脸数据是否是经认证的人脸数据的结果，可以防止发生使用经认证的用户的人脸数据的认证被执行多次的情形。因而，能够减少图像形成装置10的处理负荷，并且能够缩短认证在相机图像中包括的多个人的多条人脸数据所需的时间。

在所选择的该条人脸数据不是经认证的人脸数据的情况下，CPU 110通过使用该条人脸数据来执行用户认证(S810)。在S810中，CPU 110控制相机图像分析单元410将该条人脸数据传输到认证单元411。认证单元411通过使用从相机图像分析单元410接收的该条人脸数据和人脸数据管理表中的信息来执行人脸认证。在人脸认证已经成功的情况下，CPU110从认证单元411接收作为人脸认证的结果的经认证的用户的用户ID。在人脸认证已经失败的情况下，CPU 110从认证单元411接收指示人脸认证已经失败的通知。

基于从认证单元411接收的信息，CPU 110确定人脸认证是否已经成功(S811)。在认证已经成功的情况下，CPU 110控制认证结果管理单元412将认证结果表中与该条人脸数据的追踪ID对应的用户ID更新为经认证的用户的用户ID(S812)。另一方面，在认证已经失败的情况下，CPU 110控制认证结果管理单元412将认证结果表中与该条人脸数据的追踪ID对应的用户ID更新为指示认证已经失败的信息(S813)。例如，在认证已经失败的情况下，CPU 110将与用于人脸认证的该条人脸数据的追踪ID对应的用户ID设定为“失败”。因此，CPU 110能够参考认证结果表来识别已经对其执行了认证处理但是失败了的用户。

CPU 110确定在相机图像中是否存在尚未被选择的一条人脸数据(S814)。在存在尚未被选择的一条人脸数据的情况下，CPU 110返回到S804。

在已经选择了相机图像中包括的所有条人脸数据的情况下，CPU 110前进到S815。

CPU 110确定相机图像中包括的多条人脸数据中是否存在面积大于阈值TH2的一条人脸数据(S815)。阈值TH2是用于确定区域R3中是否存在用户的阈值。在相机图像中包括的多条人脸数据中存在面积大于阈值TH2的一条人脸数据的情况下，CPU 110确定区域R3中存在用户，并且前进到S818。

在相机图像中包括的所有条人脸数据的面积都小于或等于阈值TH2的情况下，CPU110确定是否存在已经被追踪并且不再从相机图像中提取的一条人脸数据(S816)。CPU 110控制相机图像分析单元410，以确定是否存在已经被指派了追踪ID并且不包括在从相机图像中提取的人脸数据中的一条人脸数据。在S816中，CPU 110确定是否存在曾经进入区域R1并离开区域R1而没有操作图像形成装置10的用户，例如，经过图像形成装置10附近的用户。

在不存在已经被指派了追踪ID并且不再从相机图像中提取的一条人脸数据的情况下，CPU 110返回到S801。在存在已经被指派了追踪ID并且不再从相机图像中提取的一条人脸数据的情况下，CPU 110从认证结果表中删除与不再被提取的该条人脸数据对应的追踪ID的记录(S817)，并返回到S801。

在S815中，在相机图像中存在具有最大面积的一条人脸数据的情况下，CPU 110确定是否已经认证了具有最大面积的该条人脸数据(S818)。CPU 110控制认证结果管理单元412以获取与被指派给已被确定为具有最大面积的该条人脸数据的追踪ID对应的用户ID。在获取的用户ID既不是“未知”也不是“失败”的情况下，CPU 110确定认证已经完成。另一方面，在所获取的用户ID是“未知”或“失败”的情况下，CPU 110确定认证尚未完成。

在认证已经完成的情况下，CPU 110通过使用与被指派给具有最大面积的该条人脸数据的追踪ID对应的用户ID来执行登录处理(S819)。现在，将描述图像形成装置10的登录处理。图像形成装置10的HDD 117存储在表3中所示的登录信息表。登录信息表彼此相关联地存储用户ID和关于在通过使用用户ID执行登录到图像形成装置10后要显示的画面的信息。关于画面的信息包括例如用于显示画面的语言、登录后首先显示的画面的类型、图像形成装置10执行的各个功能的默认设定的设定值等。CPU 110从登录信息表中存储的记录中指定与被指派给具有最大面积的该条人脸数据的追踪ID对应的用户ID的记录。随后，CPU110基于关于指定的记录的设定信息来生成画面，并使显示单元202显示该画面。

在认证尚未完成的情况下，CPU 110使显示单元202显示图7A中所示的登录画面(S820)。在已经显示了登录画面之后，CPU 110经由输入单元203接收用户ID和密码的输入。响应于用户ID和密码的输入以及用户对“登录”703的选择，CPU 110将已经输入到登录画面的用户ID和密码传输到认证单元411。认证单元411将已经从CPU 110接收到的用户ID和密码与人脸数据表进行比较以执行用户认证处理。在认证已经成功的情况下，认证单元411将用户ID和指示用户认证已经成功的通知传输到CPU 110。在认证已经失败的情况下，认证单元411将指示认证已经失败的通知传输到CPU 110。作为显示登录画面的结果，即使在用户在基于人脸认证的用户认证完成之前到达图像形成装置10前方的情况下或者在使用人脸数据的认证已经失败的情况下，也允许用户登录图像形成装置10。在本实施例中，与用于使用人脸数据进行认证的信息相同的信息被用于使用在登录画面上输入的用户ID和密码来执行认证。可替代地，可以通过使用与用于人脸认证的认证数据不同的认证数据来执行认证，或者可以通过将输入的用户ID和密码传输到外部服务器来由外部服务器执行认证。此外，在S820中，经由图7A中所示的登录画面输入用户ID和密码，以执行认证。S820中的认证不限于基于经由画面输入的数据的认证，并且可以是使用IC卡的认证或者使用诸如指纹之类的生物信息的认证。

CPU 110确定使用输入的用户ID和密码的用户认证是否已经成功(S821)。CPU 110基于从认证单元411接收的信息来确定认证是否已经成功。

在认证尚未成功的情况下，CPU 110返回到S801。在认证已经成功的情况下，CPU110基于表3中所示的登录信息表来执行登录处理(S822)。CPU 110在登录信息表中指定与经认证的用户的用户ID对应的记录。随后，CPU 110基于在指定的记录中的设定信息来生成画面并显示该画面。因而，图像形成装置10能够显示适合于已登录的用户的画面。

<人脸认证的流程的具体示例>

最后，将参考图9至图11中的示意图，给出在已经执行图8A和图8B中所示的人脸认证处理的情况下图像形成装置10如何操作的描述。

图9是例示用户接近图像形成装置10以使用图像形成装置10的情况的图。

首先，当用户接近位置901并进入区域R1时，相机图像分析单元410变得能够从由相机单元11捕获的相机图像中获取用户的人脸数据。但是，在这个阶段，从相机图像中提取的人脸数据的尺寸不够大，因此不执行人脸认证处理。

随后，当用户接近位置902并进入区域R2时，相机图像分析单元410从由相机单元11捕获的相机图像中获取人脸数据，并使认证单元411执行认证。当用户到达区域R3时，从相机图像获取的人脸数据的尺寸足够大以用于执行人脸认证。在通过认证单元411进行的认证已经完成之后，相机图像分析单元410将追踪ID指派给人脸数据，然后在每次相机单元11捕获图像时追踪该人脸数据。此外，在认证已经完成之后，认证单元411在认证结果管理单元412中注册认证结果。

随后，当用户接近位置903并到达区域R3时，CPU 110通过使用与已经到达位置903的用户的追踪ID对应的用户ID获取设定信息，并在显示单元202上显示登录画面之后的画面。作为在用户从位置902移动到位置903时完成认证处理的结果，可以显示登录画面之后的画面，而不会导致用户在到达位置903之后等待。

图10是例示用户在图像形成装置10前方横切的情况的示意图。

当用户接近位置1001并到达区域R1时，相机图像分析单元410开始从相机图像获取用户的人脸数据。如图9中所示，在这个阶段未开始使用人脸数据进行认证。

之后，当用户移动到位置1002并到达区域R2时，相机图像分析单元410将从捕获的相机图像中获取的人脸数据传输到认证单元411。认证单元411基于从相机图像分析单元410获取的人脸数据执行认证。认证单元411将认证结果存储在认证结果管理单元412中。

假设用户移动到位置1003而没有去区域R3。此时，用户移动到区域R1的外部。当变得不可能从由相机单元11获取的相机图像中获取被追踪的用户的人脸数据时，相机图像分析单元410删除存储在认证结果管理单元412中的认证结果。

图11例示了两个用户接近区域R3并且两个用户之一进入区域R3并使用图像形成装置10的情况。

首先，当一个用户接近位置1101时，相机图像分析单元410从由相机单元11获取的相机图像中获取在位置1101处的用户的人脸数据。此时，不可能执行任何用户的人脸认证。相机图像分析单元410向两个用户中的每个用户指派追踪ID。认证结果管理单元412将被指派给各条人脸数据的追踪ID注册在认证结果表中。

当该用户从位置1101移动到位置1102并进入区域R2时，变得有可能基于从由相机单元11捕获的相机图像中获取的人脸数据来执行认证。

相机图像分析单元410将人脸数据传输到认证单元411。认证单元411通过使用从相机图像分析单元410获取的人脸数据来执行人脸认证处理。认证结果管理单元412将作为认证单元411的认证结果而获取的该用户的用户ID以及追踪ID彼此关联地注册在认证结果表中。因而，已经获取了针对两个用户之一的人脸认证结果。

随后，在位置1102处的用户到达区域R3之前，另一个用户接近位置1104。此时，相机图像分析单元410变得能够从相机图像获取在位置1104处的用户的人脸数据。相机图像分析单元410将追踪ID指派给所获取的在位置1104处的用户的人脸数据，并将该追踪ID注册在认证结果管理单元412中。因而，开始追踪在位置1104处的用户。此外，当在位置1104处的用户移动到位置1105并进入区域R2时，相机图像分析单元410将从相机图像获取的人脸数据传输到认证单元411。认证单元411通过使用所获取的在位置1105处的用户的人脸数据来执行人脸认证。认证结果管理单元412将认证单元411的认证结果注册在认证结果表中。因而，在位置1102和位置1105处的两个用户的认证完成。

在这个阶段，无法确定在位置1102处的用户和在位置1105处的用户中的哪一个将使用图像形成装置10。图像形成装置10使用相机图像分析单元410的人脸数据追踪功能来确定已经进入区域R3的用户，并且确定已经进入区域R3的用户是使用图像形成装置10的用户。

当在位置1102处的用户移动到位置1103时，相机图像分析单元410基于从由相机单元11捕捉的相机图像获取的人脸数据，确定已经进入区域R3的用户是已经从位置1102进行追踪的用户。认证结果管理单元412从相机图像分析单元410获取被指派给已经到达区域R3的用户的人脸数据的追踪ID。认证结果管理单元412参考认证结果表以指定与从相机图像分析单元410获取的追踪ID对应的用户ID，并使用该用户ID执行登录处理。

作为图像形成装置10的上述操作的结果，针对用户的认证处理在用户到达区域R2时能够完成，并且当用户到达区域R3时，仅登录处理是必需的。在本实施例中，通过使用与已经到达区域R3的用户的追踪ID对应的用户ID来执行登录处理。即使在从由相机单元11捕获的相机图像中获取多个用户的多条人脸数据的情况下，也可以在显示单元202上显示与来到图像形成装置10前方的用户对应的画面。因而，可以防止出现以下情况：在显示单元202上显示从相机图像获取了其人脸数据的另一个用户的画面。

如上所述，根据本实施例，在通过使用从由相机单元11捕获的相机图像获取的人脸数据来执行人脸认证的装置中，与当用户来到图像形成装置10前方时执行人脸认证的情况相比，可以更快地执行认证处理。此外，即使在从由相机单元11捕获的相机图像中获取多个用户的多条人脸数据的情况下，也可以显示与操作图像形成装置10的用户对应的画面。

<其它实施例>

本发明的(一个或多个)实施例还可以通过读出并执行记录在存储介质(也可以被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或包括用于执行上述(一个或多个)实施例中的一个或多个实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质读出并执行计算机可执行指令以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或控制一个或多个电路执行上述(一个或多个)实施例中的一个或多个实施例的功能而执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如紧凑盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

根据本公开的实施例，可以在用户接近图像形成装置前方之前完成对用户的认证，并防止出现在用户接近图像形成装置前方之前显示基于与经认证的用户相关联的信息的画面的情形。

虽然已经参考示例性实施例描述了本发明，但是应该理解的是，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释，以便涵盖所有这种修改以及等同的结构和功能。