用于确定解释图的方法和设备

技术领域

本发明涉及用于确定解释图的方法、计算机程序、一种或多种机器可读存储介质以及一种或多种计算机、机器分类系统以及显示系统。

背景技术

未预先公开的DE 10 2018 205 561公开了一种用于对视网膜进行分类的设备，该设备包括具有至少一个卷积层的人工神经网络，

其中所述卷积层包含多个可训练的卷积核，并且为每个卷积核提供激活图，该激活图向所述至少一个卷积层的输入中的离散位置分别分配输出值，该输出值是所述输入与各自卷积核本地一致性的度量，

其中在所述至少一个卷积层之后连接至少一个分类器层，所述分类器层将其输入借助于可训练的权重映射为该输入属于多个预给定类别之一（特别是组织是健康的还是发生了病理改变）的概率集，

其中设置评估单元，该评估单元被构造为通过由至少一个卷积层获得的激活图与存储在聚合层中的权重的加权求和来确定所述至少一个卷积层的输出的相关性图，其中所述相关性图展示出所述组织的对于所述评估是决定性的部位。

本发明的优点

相比较而言，具有独立权利要求1的特征的方法所具有的优点是，使得可以改进地确定解释图，所述解释图特别是使得能够进行像素精确的表示。由此所述解释图中包含的信息才可供人类感知。

有利的扩展是从属权利要求的主题。

发明内容

特别是在用于辅助医疗诊断的系统中—在所述系统中借助于深度神经网络基于图像的某些特征来识别可能的诊断，重要的是向主治医生清楚地显示所述图像的哪些部分导致了所述诊断。

因此在第一方面，本发明涉及一种用于确定图像的解释图、即对于分类结果起决定性作用的图像区域的方法，借助于深度神经网络对所述图像进行分类（即，将所述图像分配给来自可预给定的多个类别中的一个类别），在所述解释图中所述图像的像素根据它们对所述图像的分类起多大作用而改变，其中将所述解释图选择为，使得所述图像的尽可能小的像素子集被改变，这是通过以下方式进行的，即当所述解释图被输送到所述深度神经网络以用于分类时，所述解释图尽可能不导致与所述图像相同的分类结果，其中将所述解释图选择为，使得在所述深度神经网络的特征图（英语：feature map）中，通过所述解释图引起的激活然后（即，在相应地输送到所述深度神经网络时）基本上不超过通过所述图像引起的激活。

所述解释图尽可能不导致与所述图像相同的分类结果可能例如意味着：向可能的分类结果分别分配一个概率，并且将相同分类结果的概率最小化。

像素的改变可以例如以以下方式进行：改变所述图像的所有那些对于所述图像的分类起决定性作用的像素。这些像素例如可以被突出显示或删除。

这意味着规定，不仅将所述图像而且同样将所述解释图输送给所述深度神经网络，其中作为所述深度神经网络的输出变量分别获得的分类应当尽可能不同。

在此，深度神经网络通常是包括多个层的神经网络。

由于所述解释图是以输入图像的大小而不是以（特别是最后一个）卷积层的激活图的大小或输出变量的大小创建的，因此会得到特别精确的表示，因为所述解释图在所描述的替代方案中必须放大到所述输入图像的大小。保留相关的边缘信息和颜色信息。

在一种扩展中可以规定，将所述解释图选择为，使得成本函数L（英语：lossfunction，损失函数）得到优化。换句话说，所提出的方法构建在具有辅助条件的优化问题上，即例如

等式（1）可以有利地借助于掩模b来求解，该掩模例如可以是可乘的，即

在所述优化问题中，从图像x出发寻找满足特定属性的解释图或表示

于是图像x和表示

所述成本函数有利地具有多个（加性）分量，即L＝L

替代地或附加地，所述成本函数可以具有第二分量，该第二分量表征针对所述解释图所得到的分类结果与针对所述图像所得到的分类结果相对应的概率有多大。这可以通过分量

替代地，所述第二分量可以逐区域地、特别是逐像素地通过表征各自像素对针对所述图像得到的分类结果有多大贡献的函数来完成。例如，可以通过类别i的logit函数

辅助条件—即通过所述解释图的激活基本上不超过通过所述图像的激活—的实现可以通过优化方案特别简单地通过所述成本函数中的第三分量L

替代地，该辅助条件的满足可以通过以下方式实现：在确定所述解释图时将所述特征图中的激活

替代地，可以通过以下方式实现对所述辅助条件的满足：在使用基于梯度的优化方法时，如果在所述深度神经网络的具有激活函数的层（特别是ReLU层）中通过所述解释图

现在可以有利地确定并显示这样确定的解释图，特别是在所述图像旁边显示。因此通过位置逼真的分辨率和仅选择不相关像素，可以生成使得可以由人类专家、特别是医生进行检查的表示。

附图说明

下面参照附图更详细地解释本发明的实施方式。在附图中：

图1示意性地示出了本发明实施方式的结构；

图2以流程图示出了根据本发明一个方面的方法的流程。

具体实施方式

在本发明的优选实施方式中，图1示出了机器分类系统40，其被设置为执行本发明。机器分类系统40包括计算机45和机器可读存储介质46。该机器分类系统还包括机器学习系统60，该机器学习系统60从输送给它的图像x中确定输出信号y。可以例如经由可选的输入接口50从由成像传感器30确定的传感器信号S中确定图像x。

所述机器学习系统借助于深度神经网络f确定图像x的分类

图2示出了用于确定解释图

随后（1200）设定所述解释图的初始值

然后（1400），将解释图

在另一实施方式中，将成像传感器30实现在制造设施中。于是可以将所述方法用于经由所述显示单元为人类操作员可检测地显示废品部分，从而使得该操作员能够经由显示单元10上的显示识别是否实际上存在废品部分。

在另一实施方式中，代替成像传感器30而设置任意图像检测单元，其可以是成像传感器30或者例如从数据库加载并提供图像。于是，可以将所述方法用于检查深度神经网络f的可工作性，以便使人类开发人员能够经由显示单元10上的显示来分析哪些图像区域导致了可能的错误分类。

在又一个实施方式中，成像传感器30是监视系统的一部分。通过在显示单元10上的显示，使得人类专家能够识别实际上是否存在由机器学习系统60推测识别出的异常场景（例如，废弃的手提箱）。

对于本领域技术人员可以理解，计算机46也可以由多个计算机给出，并且机器可读存储介质45也可以由多个机器可读存储介质给出。