安全图像处理

本申请是申请日为2015年11月25日、国家申请号为201510831473.0、发明名称为“安全图像处理”的发明专利申请的分案申请。

技术领域

本发明涉及安全图像处理。

背景技术

在当今社会，摄像头应用非常普遍。特别是在商场等公共场所，甚至在结帐台的现代产品扫描器内，敏感的顾客文件可能位于一部或多部摄像头的视野范围之内。由于许多摄像头都通过计算机网络传输数据，或者它们的数据输出可通过计算机网络和其它计算机系统访问，因此，这些摄像头的图像可能成为获取敏感的顾客资料(如信用卡、支票、驾照数据等)的不法活动的目标。

发明内容

在本发明的各种实施例中，每个实施例都包括用于安全图像处理的至少一个系统、方法、设备和软件。特别是，可以针对图像(例如来自摄像头的视频流中的图像帧)来执行安全图像处理，以使图像变模糊(通过对图像进行修改、加密及舍弃图像帧等方式来进行)，从而防止、限制对这些图像中可能包含的敏感信息的查看，或安全地查看这些信息。

这种实施例之一包括接收来自扫描器(如产品扫描器)的图像流中的图像，并确定该图像中是否存在敏感项目。当确定图像中存在敏感项目时，这些实施例在传输来自扫描器的图像流中的该图像之前，针对该图像执行安全行动。

另一个方法实施例包括确定来自成像设备的图像流中的图像中是否存在敏感项目，当确定图像中存在敏感项目时，执行针对该图像的安全行动。然后，该图像可在来自成像设备的图像流中进行传输。

其它实施例包括各种设备。在一个这种实施例中，装置(如产品扫描器)包括至少一个处理器、至少一个存储设备、成像设备和通信接口设备。该实施例中的装置进一步包括储存在至少一个存储设备内、且至少可以由一个处理器进行执行的指令，用以执行数据处理活动。数据处理活动包括确定来自成像设备的图像流中的图像是否存在敏感项目，当确定图像中存在敏感项目时，针对该图像执行安全行动。在一些这样的实施例中，安全行动包括使图像中存在的敏感信息变模糊、对图像进行加密、将图像储存在至少一个存储设备的安全位置或其它安全数据存储器内，及从图像流中删除该图像等措施中的一种或多种措施。在图像不从图像流中删除的实施例中，数据处理活动进一步包括通过至少一个通信接口设备将图像传输到至少另一台计算设备。

根据本发明的第一个方面，提供一种方法，包括：接收来自扫描器的图像流中的图像；确定图像中是否存在敏感项目；当确定图像中存在敏感项目时，针对该图像采取安全行动；传输来自扫描器的图像流中的图像。

来自扫描器的图像流中的图像任选包括来自扫描器的视频图像流中的视频帧。

确定图像中是否存在敏感项目的步骤包括将敏感项目属性的各个参数与图像进行对比，鉴定图像中是否存在这些参数。

当确定图像中是否存在敏感项目时，敏感项目属性(sensitive item profile)任选为多个敏感项目属性中的一个。

在确定图像中存在敏感项目后应执行的安全行动，任选在敏感项目属性的数据中定义。在敏感项目属性的数据中定义的安全行动任选包括这一项指令：使含有敏感项目中的敏感信息的图像的至少一部分变模糊。

在敏感项目属性的数据中定义的安全行动任选包括以下指令：在安全存储器内储存图像副本；使含有敏感项目中的敏感信息的图像的至少一部分变模糊；其中传输来自扫描器的图像流中的图像包括传输至少一部分变模糊的图像，但储存在安全的存储器内的图像副本并未变模糊。

在敏感项目属性的数据中定义的安全行动任选包括从图像流中删除图像的指令。

扫描器任选是基于摄像头的扫描器(camera-based scanner)，能够与销售点终端进行通信连接，图像流中的图像是由基于摄像头的扫描器中的一个或多个摄像头所捕捉的图像。

根据本发明的第二个方面，提供一种扫描器，包括：至少一个处理器；至少一个存储设备；成像设备；通信接口设备；保存在至少一个存储设备内、可由至少一个处理器执行的指令，该指令用于执行数据处理活动，包括：确定来自成像设备的图像流中的图像是否存在敏感项目；当图像中存在敏感项目时，针对该图像执行安全行动；经由至少一个通信接口设备将该图像传输到至少一个其它计算设备。

通信接口设备任选是计算机网络数据通信设备。

任选地，至少一种敏感项目属性被储存在至少一个存储器设备内，每种敏感项目属性包括：用于定义敏感项目的一个或多个参数的数据；用于定义至少一个安全行动的数据(该安全行动将针对一份经鉴定包含由一个或多个参数所定义的敏感项目的图像而执行)；确定来自成像设备的图像流中的图像是否存在敏感项目，包括将至少一种敏感项目属性的各参数与图像进行对比，以确定一种或多种敏感项目属性的各参数是否存在于图像中。

定义至少一个安全行动的数据任选包括以下指令：以安全的方式在至少一个存储设备内储存图像副本；将含有敏感项目中的敏感信息的图像的至少一部分变模糊；其中通过至少一个通信接口设备传输图像流中的图像包括传输至少一部分变模糊的图像，但储存在安全的存储器内的图像副本并不模糊。

根据本发明的第三方面，提供一种方法，包括：确定成像设备图像流中的图像是否存在敏感项目；当确定图像中存在敏感项目时，针对该图像执行安全行动；及传输来自成像设备的图像流中的图像。

确定来自成像设备的图像流中的图像是否存在敏感项目的步骤任选包括：将敏感项目属性的各参数与图像进行对比，鉴定图像中是否存在一种或多种敏感项目属性的各参数。

任选地，敏感项目属性包括：定义敏感项目的一个或多个参数的数据；及定义至少一项安全行动的数据，该安全行动针对被确定为含有由一个或多个参数所定义的敏感项目的图像而执行。

所述至少一项安全行动任选包括一项行动，该行动防止包含敏感项目的图像的至少一部分被包括在在成像设备图像流中传输的图像中。

防止包含敏感项目的图像的至少一部分被包括在被传输的成像设备图像流中的图像中的行动，任选包括使包含敏感项目中的敏感信息的图像的一部分变模糊。

定义至少一项安全行动的数据任选包括以下指令：在安全存储器内储存图像副本；使含有敏感项目中的敏感信息的图像的至少一部分变模糊；其中传输来自扫描器的图像流中的图像包括传输至少一部分变模糊的图像，但储存在安全的存储器内的图像副本并未变模糊。

成像设备任选是嵌入在可与销售点终端连接的扫描器内的摄像头。

附图说明

以下通过举例并参照附图，对本发明的上述内容和其他方面加以具体说明：

根据一个示例实施例，图1是一张方框图，表示产品扫描器的组件；

根据一个示例实施例，图2是联网系统组件的方框图，它包括多个产品扫描器；

根据一个示例实施例，图3是敏感项目，包括变模糊了的敏感信息。

根据一个示例实施例，图4是方法的流程方框图。

具体实施方式

在本发明的各种实施例中，每个实施例都包括用于安全图像处理的至少一个系统、方法、设备和软件。特别是，可以针对图像(例如来自摄像头的视频流中的图像帧)来执行安全图像处理，以使图像变模糊(通过对图像进行修改、加密及舍弃图像帧等方式来进行)，从而防止、限制对这些图像中可能包含的敏感信息的查看，或安全地查看这些信息。

例如，在与销售点(POS)终端配合的产品扫描器内可包括一个或多个摄像头。这种产品扫描器的一个实例是美国佐治亚州Duluth市NCR公司供应的REALSCAN 79BI-OPTICIMAGER。在POS终端结帐期间，顾客经常展示包含敏感信息的物品，如银行卡、驾照、包括帐号和地址的支票以及其它此类物品。通常，产品扫描器的一个或多个摄像头和其它部署在POS终端旁边或周围的摄像头将从客户展示的物品上捕捉到显示敏感信息的图像。此外，产品扫描器和摄像头的图像和视频输出可通过一个数据网络进行访问，在该数据网络上，产品扫描器和摄像头提供图像或者进行传输。此外，图像和视频输出可以采用多种方法储存。因此，通过为了增加安全性而在商场、POS终端所部署的摄像头的图像和视频输出(也包括在POS终端正常操作期间的图像和视频输出)，顾客的敏感信息可能会被泄露，从而被别人在诈骗行动中利用。本发明不同的实施例经操作用于鉴定包含敏感信息的项目，确保其上面的被鉴定到的敏感信息的安全，防止这些敏感信息被泄露。

在下文的详细描述中，引用了构成本文组成部分的附图，并在所述附图中以图示方式显示了其中可以实施发明主旨事项的特定实施例。该等实施例乃以足够的细节予以描述，以确保本领域的技术人员能够实施它们，并且需要了解的是，可以利用其他实施例，且可以在不偏离发明主旨事项范围的情况下做出结构、逻辑及电气改变。该等发明主旨事项的实施例在本文中可以单独及/或共同地被称为“发明”，其仅仅是为了方便而无意将本申请的范围主动限制为任何单个发明或发明概念(如果实际披露的多于一个的话)。

因此，下文的描述不应被视为具有限制意义，并且发明主旨事项的范围由所附权利要求予以界定。

在一个实施例中，本文描述的功能或算法可以以硬件、软件或软件和硬件的组合来实现。软件包括存储在诸如存储器或其他类型的存储设备等电脑可读媒体上的电脑可执行指令。此外，所描述的功能可对应于模块，其可以是软件、硬件、固件或其任何组合。多个功能以所期望的一个或多个模块来执行，并且所描述的实施例仅仅是示例。软件在数字信号处理器、ASIC、微处理器或在系统(例如个人电脑、服务器、路由器或能够处理数据的其他设备，包括网络互连设备)上操作的其他类型的处理器上执行。

某些实施例实现其中相关控制及数据信号在模块之间及通过模块传送的两个或多个具体互连的硬件模块或设备中的功能，或作为应用程序专用集成电路的一部分。因此，示范流程可适用于软件、固件及硬件实现。

根据一个示范实施例，图1表明了可在结帐台(例如POS终端、自助服务终端(SST)和其它包括扫描器108的摊亭(kiosk)系统)部署的产品扫描器108的组件。但要指出的是，扫描器108是以大大简化的形式示意性示出的，只显示与理解其中的不同实施例相关的示例组件。需要注意的是，在某些实施例中，扫描器108可能包括更多或更少的组件。

此外，仅出于说明目的，描绘包括在图1中的各个组件，以及组件的布置。但要指出的是，在不脱离本文内容的情况下(尤其针对安全图像处理)，可能存在具有更多或更少组件的其他布置。

并且，这里和下文呈现的方法和扫描器108可能包括在各种上下文中所描述和显示的组件的所有组合或部分组合。此外，虽然扫描器108可与POS终端配合使用，但是，扫描器108可以是独立的元件或其它系统、设备及其它实施例中的终端的元件。可能包括扫描器108的其他终端型设备的示例是自助终端(SST)、职员操作和自助图书馆借阅台、计时终端，等等。此外，虽然根据一些实施例，扫描器如图1所示，但是，此处描述的安全图像处理还可以针对其它设备(如独立摄像头)产生的图像和视频流来进行实施。

某些实施例中的方法在存储器和/或永久性电脑可读存储媒体中被编程为可执行指令，并在与组件和设备相关的一个或多个处理器中执行。例如，一些实施例可作为扫描器108中存在的固件部署，如固件126，或作为另一台设备(如摄像头或其它成像设备中的固件)来部署。在其它实施例中，安全图像处理可部署为扫描器的软件、POS终端或其它终端的计算机，配备从扫描器108或设备驱动器内的其它成像设备接收视频的网络服务，等等。

扫描器108可被称为产品扫描器或条形码扫描器，因为它执行的任务最常与该等设备关联在一起。在操作过程中，物品被置于扫描器108的扫描场内。然后，扫描器108的一个或多个成像设备118(例如一个或多个摄像头)扫描条形码，并将读取的信息传送到POS系统。然后，POS系统使用该数据识别置于扫描器108的扫描场内的物品，并执行其他功能。其他功能可能包括价格查询以及将物品添加到要购买物品的清单中，并在一个或多个POS显示器上呈现清单。

扫描器108可能包括一个或多个扫描场，例如在杂货店和折扣零售商店经常看到的双镜片扫描器的两个扫描场。除了成像设备118，扫描器108可能包括各种其他组件。其他不同组件可能包括整合式衡器110，例如用于杂货经销店为产品称重的衡器，以及一个或两个扬声器112和显示器照明设备116，用于输出音频视觉信号，例如扫描成功(失败)的信号。扫描器108也可能包括扫描场照明设备120，基于对被扫描物品的探测，将打开、关闭和调整设备。

典型操作期间，根据在处理器122上执行的指令操作扫描器108。处理器122可以是应用集成电路(ASIC)、数字信号处理器、微处理器，或其他类型的处理器。指令可以是储存在一个或多个存储器124中的固件126或软件130。一个或多个存储器124可能是或可能包括易失性和非易失性存储器、写入保护存储器、一次写入存储器、随机存取存储器(RAM)、只读存储器(ROM)、安全存储器以及其他存储器和数据储存类型及设备。

指令可以储存在固件126中，或和软件130一样储存在存储器124中，并根据储存在存储器124的配置设置执行。配置设置128配置扫描器108和其中的不同组件的操作。例如，配置设置108可以配置扬声器112音量、显示器照明设备116输出、扫描场照明设备120亮度、成像设备118和指令的解码算法、用于经由有线或无线连接从扫描器108到POS系统或其它系统交换数据的一个或多个通信协议、衡器110操作参数(例如使用磅或公斤作为计量单位)，以及一个实施例的特定扫描器108可能包括的其他配置设置。在某些实施例中，配置设置128可能包括固件版本、软件版本，等等。因此，设置或更新配置时，配置设置128的设置或更新可能包括特定实施例的任何配置设置128的对象总体和更新，包括扫描器上呈现的固件和软件的更新。

扫描器108可以包括一个或多个通信接口114、132，使扫描器108经由有线或无线连接通过网络进行通信，以及与其它计算设备进行通信。在一些实施例中，通信接口132可在扫描器108上提供虚拟通信连接，利用终端或与扫描器配合的其它计算设备(如POS终端)的网络连接性，使扫描器通过网络进行通信。

在操作期间，扫描器108的一个或多个成像设备118捕捉图像，如视频帧。这种视频可被储存在扫描器108、终端或与其配合的其它设备的存储器124或其它数据存储设备内，或经由通信接口114、132中的其中一个通信接口通过网络进行传输。在其它实施例中，视频只是在扫描器108上被捕捉和处理，以及舍弃。但是，不法分子仍然可能通过通信接口114、132中的一个接口或两个接口远程访问扫描器108的一个或多个成像设备118捕捉的视频。由于扫描器108通常位于展示敏感项目(如驾照、银行卡、支票和其它此类物品)的地方，因此，一个或多个成像设备118捕捉的视频可能捕捉到这些项目上展示的敏感信息。正如可以想像的是，这些被捕捉的视频可能被泄露，各种实施例经操作，用于鉴定是否存在敏感信息，通过诸如使敏感信息变模糊、舍弃包含敏感信息的图像或图像帧，或对这种图像或图像帧进行加密等方法来防止这些数据被泄露。

为了对可能包含敏感信息的图像进行鉴定，对敏感项目属性进行了定义。敏感项目属性包括用于对安全图像处理功能或模块在为了识别某个敏感项目而对图像进行处理过程中所使用的图像特点进行定义的数据。敏感项目属性可进一步包括用于对即将由安全图像处理功能或模块针对经鉴定存在敏感项目的图像执行的安全行动进行定义的数据。

用于定义敏感项目的数据通常包括用于为图像处理功能定义敏感项目的各种参数。参数可定义形状、文本、符号、字母数字型式、两个或多个特征的相对比例、颜色等。例如，银行卡(如信用卡和借记卡)具有标准的形状，通常包括卡的网络标志和以某种样式呈现的数字，如银行卡号的十五或十六个数字。此外，驾照和政府发放的其它身份证件包括信息呈现的某些模式。同样，支票也包括一些标准化的特征。

敏感项目属性的安全行动数据通常包括一个或多个指令，指示安全图像处理功能或模块执行一项或多项针对经鉴定包含敏感项目的图像的行动。这种行动包括使图像中包含某些敏感信息(如地址、银行卡号、帐号和支票签名等)的部分变模糊。令其变模糊的方式包括删除图像上的包含敏感信息的部分，让图像的一部分的颜色全部变为同一颜色(如黑色或灰色)，对图像进行加密，及甚至从视频图像流中删除该图像。

在一些实施例中，敏感项目属性储存在存储器124的敏感项目属性存储器131中。在一些实施例中，在敏感项目属性存储器131中可以存储多种敏感项目属性。当存储多种敏感项目属性时，由于单个图像可能包括多个敏感项目(例如，若顾客钱包暴露于扫描器108的话)，每个图像可以根据多个敏感项目属性进行评估。

安全图像处理功能或模块可在扫描器108内以固件126、软件130的形式存在，作为与扫描器108配合的另一台设备的一项服务，可经由一个或两个通信接口114、132访问的网络服务，等等。

根据一个示例实施例，图2是联网系统200组件的方框图。联网系统200是包括连接到网络段202的扫描器206、208、210、212的联网系统的视图。网络段202可以是独立网络，例如零售商店内的网络。网络段202也可以是包括额外网络段220、230的大型网络的一部分。例如，网络段202可以是基于商店的网络，该网络也可以偶联企业网络段220。企业网络段220可进一步偶联到互联网232的网络段230。

网络段202包括连接到网络段的多个扫描器206、208、210、212。虽然一些实施例中未说明和未要求，但扫描器206、208、210、212也可能各自偶联到终端，例如POS终端、自助服务机，以及本文别处所述的其他类型的终端。系统200还包括仍未连接网络段202的扫描器204。一旦扫描器204与网络段202连接，扫描器204也可通过网络段202通信。

在一些实施例中，扫描器204、206、208、210、212响应服务器222或计算机234的请求，将它们所捕捉的图像和视频数据通过网络传输。在其它实施例中，根据扫描器配置设置，图像和视频数据可在捕捉到视频时或按照规定的间隔传输给服务器222或网络上的其它位置。

根据一个示例实施例，图3说明了敏感项目，包括对敏感信息进行模糊处理。特别是，图3说明了支票图像的两种视图。第一个视图302是被成像设备捕捉的支票图像，它包括敏感信息304。第二个视图312是支票的敏感信息实例，敏感信息已在被鉴定后进行模糊处理314。

第二视图312中显示的模糊方式是涂黑包含银行代码、支票帐号和支票持有人签名的区域的支票的图像。在其它实施例中，模糊方式可包括完全删除图像的涂黑部分，或干脆从图像流(如视频流)中删除该图像。在一些实施例中，在使第一视图302的图像模糊之前，图像可以储存在安全的存储器内或以加密形式储存在存储器内。类似地，模糊化的方式可包括对第一视图302的整个图像进行加密，而不是涂黑敏感信息。

根据一个示例实施例，图4是方法400的流程方框图。方法400是一个可以在从扫描器(如图1扫描器108)或从另一个成像设备(如视频或静态图像摄像头)接收到的图像流上执行的方法的实例。方法400可以在固件内执行，或通过扫描器或摄像头的软件执行，或通过从扫描器或摄像头接收图像或视频的的另一台计算设备的程序执行。

方法400包括接收来自扫描器的图像流中的图像402和确定图像中是否存在敏感项目404。当确定图像中不存在敏感项目时405，图像在来自此扫描器的图像流中传输410。当确定图像中存在敏感项目时405，方法400包括针对该图像执行安全行动408，及传输来自扫描器的图像流中的该图像410。然后，方法400继续接收来自扫描器的图像流中的下一个图像402。

在一些实施例中，扫描器是基于摄像头的扫描器，能够与销售终端通信连接，图像流中的图像被基于摄像头的扫描器的一个或多个摄像头捕捉。

在一些实施例中，确定图像中是否存在敏感项目404包括将敏感项目属性的各参数与图像进行对比，鉴定图像中是否存在这些参数。当确定图像中是否存在敏感项目时404，敏感项目属性是应用的多个敏感项目属性中的一个。

在一些实施例中，需在确定图像中存在敏感项目404后执行的安全行动408在敏感项目属性的数据中定义。这种在敏感项目属性的数据中定义的安全行动包括使包含敏感项目中的敏感信息的图像的至少一部分变模糊的指令，如图3中所示和所述。在另一个实施例中，在敏感项目属性的数据中定义的安全行动包括从图像流中删除该图像的指令。

在另一个实施例中，在敏感项目属性的数据中定义的安全行动包括将图像副本储存在安全的存储器内及将包含敏感项目中的敏感信息的图像的至少一部分变模糊的指令。在这些实施例中，对来自扫描器的图像流中的图像进行传输410包括对含有至少有一部分变模糊的图像进行传输410，而储存在安全存储器内的图像副本并不变模糊。

另一个方法实施例包括确定来自成像设备(如摄像头)的图像流中的图像是否存在敏感项目。若确定该图像中存在敏感项目，该实施例的方法可执行针对该图像的安全行动。然后，该图像可在来自成像设备的图像流中进行传输。在这些实施例中，确定来自成像设备的图像流中的图像是否存在敏感项目的方法包括将敏感项目属性的各参数与图像进行对比，鉴定一种或多种敏感项目属性的参数是否存在于该图像中。

在此种方法的一些实施例中，敏感项目属性包括用于定义敏感项目的一个或多个参数的数据；及用于定义至少一个安全行动的数据(该安全行动将针对一份经鉴定包含由一个或多个参数所定义的敏感项目的图像而执行)。该至少一项安全行动通常包括一项防止包含敏感项目的图像的至少一部分被包括在通过来自成像设备的图像流所传输的图像中的行动。

另一个实施例以扫描器方式呈现。该等实施例的扫描器包括至少一个处理器、至少一个存储设备、摄像头等成像设备，以及有线或无线网络设备等通信接口设备。这些实施例还包括以固件或至少一个处理器可执行的软件的形式储存在至少一个存储设备中的指令，用以执行数据处理活动。数据处理活动通常包括确定来自成像设备的图像流中的图像中是否存在敏感项目，以及针对经鉴定存在敏感项目的图像执行安全行动。数据处理活动通常还包括经至少一个通信接口设备将该图像传输到至少另一台计算设备。

本领域的技术人员将容易理解，可以在不偏离如所附权利要求中表达的本发明主旨事项的原理和范围的情况下，在已经描述或图示的细节、材料及部件的布置和方法阶段方面作出各种其他改变，以便解释发明主旨事项的本质。