面向开放环境模式识别的结构发育型神经网络优化方法

技术领域

本发明涉及开放环境下模式识别技术领域，尤其涉及一种面向开放环境模式识别的结构发育型神经网络优化方法。

背景技术

人工智能在现实世界中运行时往往暴露在开放环境的非稳态信息流中，需要拥有持续学习的能力，即整合新知识，同时保留以前学习到的经验，通常被认为是未来通用人工智能所必需的属性之一。然而，目前主流的先进深度学习模型通常依赖于一次性可用的完整训练集，当要学习新知识时，由于新信息会覆盖之前学习过的知识，往往会导致灾难性遗忘，难以在非稳态环境中持续学习。因此，近年来持续学习问题重新吸引了大量的关注，但是当前持续学习方法大多仍然集中在监督学习的问题上，而开放环境往往缺少先验信息和外部监督信息，大量的数据通常没有类别标签，每个数据被赋予了类别标签，因而目前持续学习方法通常与开放环境的特性是相违背的。

无监督持续学习旨在从非稳态的无标记数据流中学习，其中数据的分布或者类别的数量随着时间变化。然而，神经网络模型在无监督持续学习中往往会面临稳定性-可塑性困境，即一个学习网络试图实时地适应不断变化的环境时，很难兼顾适应快速变化环境的可塑性和保持先前学习到知识的稳定性。

目前大多数结构发育型神经网络是基于经典的竞争型神经网络自适应映射网(self-organizing map,简称SOM)和神经气网络(Neural Gas,简称NG)设计的。具有代表性的结构发育型神经网络如生长神经气网(Growing Neural Gas,简称GNG)，GNG在NG的基础上提高了网络动态性，但依然不具备追踪快速变化的非稳态数据的能力。目前有多种应用在不同持续学习场景下基于结构发育型网络的方法，例如，基于GWR视频动作识别类增量学习的新旧类特征流形分离(knowledge consolidation,KC)算法；将预训练的CNN与SOINN相结合应用在连续目标识别场景；基于SOINN的通用联想记忆系统(general associativememory,简称GAM)。上述拓展算法将结构发育型神经网络的增量学习性质引入了分类算法中，使分类器适用于持续学习场景中。

上述结构发育型神经网络通过使用网络拓扑结构自适应发育的机制有效提高了神经网络的可塑性和稳定性，但是当应用于对如图像数据流等在开放环境下实现模式识别时，会存在以下问题：

1、开放环境对神经网络模型的实时性提出了更高的要求，由于不区分训练和测试阶段，因而需要网络模型的学习阶段和使用阶段的无缝衔接。传统基于连接年龄阈值以及提前设置的周期参数进行神经元的增添和删除操作，会导致网络在发育过程中神经元数量的震荡以及分类结果的不稳定，不利于模型的实时性；

2、在开放环境中的学习，需要神经网络能够像人类的学习过程那样对事物的认知越来越精细，即随着输入信息的不断增多，对学习成果进行细分，现有技术中结构发育型神经网络无法实现随着输入信息增多细分学习成果。

3、传统结构发育型神经网络中仅关注网络的增量学习问题，而未考虑网络规模控制问题，在网络发育过程中，若神经元无限制增长会导致无法有效控制网络规模，且当同一类样本频繁出现时相应神经元还容易发生无节制分裂情况，因而传统结构发育型神经网络利用传统发育方式的发育稳定性不高。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、可塑性与稳定性好且能够抑制网络规模，使得网络发育稳定性高的面向开放环境模式识别的结构发育型神经网络优化方法。

为解决上述技术问题，本发明提出的技术方案为：

一种面向开放环境模式识别的结构发育型神经网络优化方法，步骤包括：

获取待识别图像或文本数据流输入至结构发育型神经网络中进行学习以及分类；

所述结构发育型神经网络在结构发育与参数调整时，根据获胜神经元的信息饱和度调控神经元参数以及分裂时机，并不断调整竞争获胜神经元的信息饱和度，所述信息饱和度根据神经元获胜频次以及信息承载量计算得到，当神经元的信息饱和度达到预设饱和阈值时分裂出新的神经元；

所述结构发育型神经网络在结构发育过程中，设置神经元分裂的抑制机制，在神经元信息饱和度达到饱和后，判别是否生成新的神经元，如果神经元生成不成功，则将造成抑制神经元生成的目标神经元作为获胜神经元，并调整目标神经元的属性。

进一步的，在所述结构发育型神经网络的发育过程中，根据所处发育阶段以及输入信号调整获胜神经元的属性和横向连接，其中根据所述信息饱和度确定神经元的发育阶段，所述神经元的发育阶段根据信息饱和度分为未成熟阶段、成熟阶段和父元阶段。

进一步的，当神经元刚生成时，将初始饱和度设置为父元的信息饱和度变化量，如果没有父元，则设置为未成熟神经元信息饱和度变化量的最大值S

进一步的，获胜神经元n

其中，d()为计算输入信号x

进一步的，信息饱和度s

s

其中,s

进一步的，所述结构发育型神经网络中，新的神经元均是以当前输入信号为中心矢量，当获胜神经元的所述信息饱和度达到饱和阈值、获胜神经元分裂出新的神经元时，新神经元的覆盖域参数初始化为子元与父元中心矢量之间的距离的三分之一，信息饱和度初始化为父元的信息饱和度变化量；输入信号没有落入任何一个神经元的覆盖域内时由该输入信号生成新的根神经元时，生成的新神经元的覆盖域参数初始化为中心矢量到最近邻神经元中心矢量的距离的三分之一，信息饱和度初始化为S

进一步的，所述结构发育型神经网络在结构发育过程中，还包括通过当神经元的信息饱和度达到饱和阈值后直接衰减到重置阈值S

s

其中，τ为信息饱和度衰减率，s

进一步的，所述结构发育型神经网络在结构发育过程中，判别是否生成新的神经元的规则为：当存在兄弟神经元的中心矢量与将要生成的神经元的中心矢量的距离小于其中一个神经元的覆盖域半径时，即预生成神经元的中心矢量或存在一个兄弟神经元的中心矢量落在了对方的覆盖域中，则不生成当前神经元。

进一步的，所述结构发育型神经网络中的中心矢量和覆盖域参数按下式进行更新：

其中，μ

进一步的，所述结构发育型神经网络中，采用父子神经元连接的更新机制进行更新，当神经元n

与现有技术相比，本发明的优点在于：

1、本发明通过采用基于覆盖域和基于信息饱和度的新神经元生成规则实现结构发育型神经网络优化，使用神经元信息饱和度以及基于信息饱和度的神经元成熟阶段，模拟人脑的长短期记忆，使得网络模型兼具可塑性和稳定性，基于神经元的分裂产生的父子关系，使得网络可以随着学习样本数量的增加对原有类别进行细分，模拟人类对事物认识逐渐精细的认知过程；同时利用兄弟神经元之间的抑制机制限制神经元的过度增长，可以控制网络的规模，使得网络可以增量发育，从而可适应实例增量型、类增量型和任务增量型的持续学习场景。

2、本发明进一步通过在网络发育过程中设置信息饱和度衰减遗忘机制，通过当神经元的信息饱和度达到饱和阈值后直接衰减到重置阈值，除了获胜神经元及其所在分支的父辈神经元之外的成熟神经元的信息饱和度都将朝着重置阈值衰减，可以防止父元的频繁分裂，进一步提高模型的稳定性。

3、本发明进一步引入聚类层数，可以让用户自主选择需要的类别细分程度，且网络可以随着学习样本数量的增加实现细分，使得能够满足不同类别细分程度的识别需求。

4、本发明进一步通过设置中心向量的更新方式，使得与神经元中心向量距离不同的输入信号对确定该神经元内部属性的贡献不同，在神经元未成熟阶段，紧挨或者远离神经元中心向量的信号贡献小，反之贡献大，在成熟阶段，越远离神经元中心向量的信号贡献大，促使神经元的分裂，同时随着信息饱和度的增长，神经元内部属性调整幅度逐渐减小，使得神经元趋于稳定，有效模拟了人类大脑中短期记忆向长期记忆的转变。

5、本发明进一步通过设置覆盖域参数更新方式，覆盖域参数保持初始状态不变，当神经元从未成熟阶段进入成熟阶段时，覆盖域参数更新为中心矢量到父元中心矢量距离的三分之一，并在之后网络运行的过程中保持不变，可以避免由于覆盖域半径剧烈震荡带来的不稳定性，能够增强神经元的稳定性以及使得父元和子元合理地划分局部信息。

附图说明

图1是本实施例面向开放环境模式识别的结构发育型神经网络优化方法的实现流程示意图。

图2是本实施例中得到的输入信号与神经元中心矢量相似度以及信息饱和度增量曲线示意图。

图3是本实施例输出层神经元类别标记原理示意图。

图4是在具体应用实施例中得到的输入样本示意图。

图5是在具体应用实施例中不同样本输入顺序导致错误的父子关系的原理示意图。

图6在具体应用实施例中在实例增量(对应(a))和类增量(对应(b))学习场景下采用本发明ESDNNIS生成的神经元数量结果示意图。

图7是在具体应用实施例中采用的原始人工数据集示意图。

图8是在具体应用实施例中采用本发明ESDNNIS对类别细分结果示意图。

图9是在具体应用实施例中得到的聚类层数决定聚类结果的细分程度结果示意图。

图10是在具体应用实施例中网络在实例增量和类增量学习场景下发育过程中神经元数量以及识别聚类数量变化情况结果示意图。

图11是在具体应用实施例中采用的数据集示意图。

图12是在具体应用实施例中得到的聚类准确度的结果示意图。

图13是在具体应用实施例中本发明ESDNNIS在ATT_FACE数据集上的某次聚类结果示意图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图1所示，本实施例面向开放环境模式识别的结构发育型神经网络优化方法的步骤包括：

S01.获取待识别图像或文本数据流输入至结构发育型神经网络中进行学习以及分类，其中结构发育型神经网络中各神经元设置有信息饱和度的属性；

S02.结构发育型神经网络在结构发育与参数调整时，根据获胜神经元的信息饱和度调控神经元参数以及分裂时机，并不断调整竞争获胜神经元的信息饱和度，信息饱和度根据神经元获胜频次以及信息承载量计算得到，当神经元的信息饱和度达到预设饱和阈值时分裂出新的神经元；

S03.结构发育型神经网络在结构发育过程中，设置神经元分裂的抑制机制，在神经元信息饱和度达到饱和后，判别是否生成新的神经元，如果神经元生成不成功，则将造成抑制神经元生成的目标神经元作为获胜神经元，并调整目标神经元的属性。

本实施例通过为开放环境模式识别配置增强型具有信息饱和度的结构发育型神经网络(Enhanced Structural Developmental Neural Network with InformationSaturation，ESDNNIS)，该网络基于竞争学习和神经元分裂机制能够自适应地调整网络拓扑结构来适应非稳态数据流的无监督持续学习，通过信息饱和度的分裂机制使得结构发育型神经网络在需要的时候分裂出新的神经元，而无需依赖于先验知识的周期参数添加或修剪神经元，可以提高模型的稳定性和实时性，同时基于神经元分裂产生的父子关系，还能够模拟人类认知过程在持续学习过程中对类别进行细分，使得网络随着输入信息增多能够不断细分学习成果，能够自适应地调整网络拓扑结构来适应非稳态数据流的无监督持续学习；在上述结构发育型神经网络的基础上，结合使用神经元分裂抑制机制，当神经元的信息饱和度达到饱和但是新神经元生成不成功时将造成抑制神经元生成的神经元作为获胜神经元，能够限制神经元的过度增长，同时避免当同一类样本频繁出现时相应神经发生无节制分裂，从而确保网络发育的稳定性。

本实施例通过给ESDNNIS中的神经元添加信息饱和度属性，以体现神经元承载的信息量，并决定单个神经元的发育阶段以及是否分裂。具体地，获胜神经元的信息饱和度随着输入数据带入的信息量不断增加，神经元逐渐成熟，调整幅度越来越小，趋于稳定。该过程模拟了人类大脑的长短期记忆机制，能够提升神经网络模型的稳定性。当信息饱和度达到分裂阈值，表示该神经元承载的信息已经足够丰富，神经元分裂产生新的神经元，能够模拟人类认知中的细分过程，增加了模型的可塑性。

ESDNNIS是由输入层和输出层组成的增长型竞争神经网络。输入层接受识别目标的特征向量，输出层从零开始发育，每一个神经元拥有中心矢量、覆盖域参数、信息饱和度三个内部属性。神经元采用高斯型函数作为其响应函数，高斯函数的均值和标准差分别为该神经元的中心矢量和覆盖域参数，随着神经元的调整一起变化。ESDNNIS以增量式的竞争学习方式对输入数据流进行学习以及分类。当输入层传入一个输入信号，输出层中的神经元只对落在其覆盖域内的输入信号发生响应，发生响应的神经元根据各自响应函数的输出值相互竞争产生获胜神经元，网络输出为获胜神经元所属的类别。如果输入信号没有落入任何一个神经元的覆盖域中，则直接生成一个新的神经元，实现异常检测或获取到新的认知。

对信号进行分类之后，ESDNNIS进入神经元属性和横向连接的更新阶段。获胜神经元的属性和横向连接将会根据所处发育阶段以及输入信号进行调整。其中神经元的发育阶段由信息饱和度决定，信息饱和度越大的神经元则越成熟，更新幅度越小越趋于稳定，有效模拟了人类学习过程中长短期记忆机制。当神经元的信息饱和度达到饱和阈值，意味着该神经元承载了足够丰富的信息量，或者说该神经元覆盖域内样本特征出现的频率较大，导致神经元分裂出新的神经元，新的神经元有对原有的类进行细分的趋势，有效模拟了人类认知随着知识的增加越来越精细的过程。本实施例进一步通过设置神经元的遗忘机制，还可以避免神经元的频繁分裂，保证网络模型的稳定性。

为了方便描述，本实施例首先给定以下符号和定义：输入信号x

当输入层传入一个输入信号，输出层中的神经元只对落在其覆盖域内的输入信号发生响应。如果输入信号没有落入任何一个神经元的覆盖域中，即当前输出层没有能够表示该输入的神经元，直接以该输入信号为中心矢量生成一个新的神经元，最终局部响应最大的神经元获胜，网络输出该神经元的下标作为当前输入信号的类别，继而进入更新阶段。每当神经元对一个输入信号响应并且成为获胜神经元，该输入携带的“信息量”会引起获胜神经元信息饱和度的增长。获胜神经元n

在不同的发育阶段信息饱和度变化量Δs

s

其中，s

上述a与S

本实施例中，神经元的发育阶段根据信息饱和度具体分为未成熟阶段、成熟阶段和父元阶段。当神经元刚生成时，有一定的初始饱和度，被认为是引起新神经元生成的输入信号的信息量，初始饱和度设置为父元的信息饱和度变化量(如式(2))，如果没有父元，则设置为未成熟神经元信息饱和度变化量的最大值S

为了更好地理解信息饱和度在不同阶段的调整机制，以一维输入举例，如图2所示，在未成熟阶段，当输入信号x距离神经元中心矢量越近时，相似度越接近于1，表示该神经元可以很好地代表当前输入，而Δs趋于0，即信息饱和度增长较小；若输入信号距离中心权重较远时，相似度接近于0，表示该神经元并不能很好地代表该输入，Δs趋于0。进而，只有当输入信号位于图中相似曲线双峰之下时才认为输入信号对未成熟的神经元能够较好体现局部信息更大的影响，提供更大的信息饱和度变化量，促进神经元的成熟。在成熟阶段，靠近中心向量的输入信号引入的信息饱和度变化量趋向于0，而远离中心向量的输入信号引入更多的信息饱和度变化量，使得促进神经元的分裂。

本实施例还包括在网络发育过程中设置信息饱和度衰减遗忘机制，通过当神经元的信息饱和度达到饱和阈值后直接衰减到重置阈值S

s

其中，τ为信息饱和度衰减率，s

为了适应动态变化的输入信号，ESDNNIS会根据输入信号以及获胜神经元的信息饱和度动态新增或者调整神经元。本实施例中，新神经元的生成有两种情况，一种是当获胜神经元信息饱和度达到饱和阈值(数值为1)，获胜神经元分裂出新的神经元。另一种是输入信号没有落入任何一个神经元的覆盖域内时由该输入信号生成新的神经元，这种方式生成的神经元称为根神经元，未成熟的根神经元称为噪声元。两种情况下新的神经元都是以当前输入信号为中心矢量，而覆盖域参数、信息饱和度的初始化则有所不同。由获胜元分裂而来的新元的覆盖域参数初始化为子元与父元中心矢量之间的距离的三分之一，信息饱和度初始化为父元的信息饱和度变化量。而后一种情况下生成的新神经元的覆盖域参数初始化为中心矢量到最近邻神经元中心矢量的距离的三分之一，信息饱和度初始化为S

n

同时，本实施例对父元的属性更新采用以下方式：中心矢量和覆盖域参数保持不变，信息饱和度直接衰减到重置阈值。

本实施例ESDNNIS通过采用神经元分裂机制可以具有以下优势：一是使得模型具有发现潜在的新类别，以及将出现频率较高的类别进行细分的能力；二是相比于在累计局部误差最大的神经元附近添加神经元涉及到全局计算，基于信息饱和度的分裂机制是单个神经元的行为，提高了ESDNNIS运行的并行性，从而提高了运算效率；三是使得ESDNNIS在需要的时候分裂出新的神经元，而不依赖于需要一定先验知识的周期参数在累积误差大的地方添加新神经元，提高了模型的实时性。

本实施例进一步在网络的发育过程中设置神经元分裂的抑制机制，以防止神经元过度增长。在神经元信息饱和度达到饱和后，将判别是否生成新的神经元。判别规则是：当存在兄弟神经元的中心矢量与将要生成的神经元的中心矢量的距离小于其中一个神经元的覆盖域半径时，即预生成神经元的中心矢量或存在一个兄弟神经元的中心矢量落在了对方的覆盖域中，则不生成该神经元。如果神经元生成不成功，则将造成抑制神经元生成的神经元作为获胜神经元，进而调整该神经元的相关属性。

本实施例中，当输入信号为x

其中，μ

上述μ

每个神经元的中心矢量都可以作为聚类中的原型，原型的数量不需要预先指定而根据输入信号动态调整。神经元的分裂所形成的父子关系建立了树型层次结构，子神经元对父神经元所代表的类进行了细分，用户可以根据需要的聚类精度设置聚类层数。如图3所示，每一棵树的根节点为根神经元，为层次聚类的第1层，根神经元的子神经元为第2层，依此类推。假设用户设置的聚类层数为C，则所在层数小于C的每个成熟的神经元都代表一个类，类别标记为神经元下标，中心矢量作为类的原型，未成熟的神经元以及所在层数大于l的神经元的类别标记直接继承父元标记。没有落在任何神经元覆盖域内的输入信号生成的神经元，即噪声元的类别标记为异常标记-1，意味着当前输出层没有神经元能够较好地表示该输入，该输入被ESDNNIS认为是异常值(新知识)，使得ESDNNIS具有异常检测(发现新知识)的功能。

本实施例进一步采用父子神经元连接的更新机制，以缓解由于持续学习中样本输入顺序的随机性可能导致错误的父子关系的问题。以二维的两类样本为例，示例样本集如图4所示，两类样本有轻微重叠，输入顺序为先A类后B类。B类样本不同的输入顺序会导致不同的父子神经元关系，继而导致不同的聚类结果。如图5所示，其中(a)对应MT

为了缓解上述由输入顺序的随机性引起的混乱，本实施例进一步采用父子神经元连接的更新机制。当神经元n

为验证本发明的有效性，分别在人工图像数据集和现实世界数据集上对本发明ESDNNIS的有效性进行验证，并与典型的结构发育型神经网络GNG，GWR和SOINN进行比较。本发明ESDNNIS中3个全局参数，分别是重置阈值S

本实施例将测试数据集按照样本数量分为5组，每组都由五个服从不同正态分布的簇组成，各组内各簇的样本数量相等，分别为100，200，400，800，1600。根据重置阈值的定义，信息饱和度大于重置阈值的神经元趋于稳定，并且不能超过饱和阈值1，因此测试S

本实施例在接下来的试验中S

聚类层数C的影响如图9所示，图中展示的是C分别取1，2，3时的聚类结果，测试数据集分布与图6相同，不同的是各簇样本数量为400个。如图3所示，当C＝1时，聚类结果为1个类，当C＝2时，聚类结果为3个类，当C＝3，聚类结果有7个类(父类计算在内)。可以直观地看出使用越大的聚类层数可以得到更精细的聚类结果，具体的聚类层数根据实际需要设置。此外，从图9中能够看出ESDNNIS能够在不同的细分程度上很好地反映学习样本包含的类别，符合人脑的直观感受。

本实施例进一步在人工数据集上测试ESDNNIS的性能。由于二维数据有可视性与可察性上的优势，以及正态分布是自然界最常见的分布，构造一个由5个服从二维正态分布的簇组成的人工数据集。各簇有不同的规模与密度以及簇间距离(A和B簇有轻微重叠)，能够较好地代表开放环境中样本分布的复杂性。簇A,B,C,D,E的方差比为3:5:4:4:6，样本数量比为2:2:2:1:2，可以看出，C与D相比方差相同，样本数量不同，D簇规模小，C与E相比样本数量相同，方差不同，E簇样本分布更加稀疏。每簇样本按照4:1的比例分为训练集和测试集。人工数据集实验按照3种学习样本数量(以A簇样本数量为代表，分别为50,200,800)以及两种实例增量方式(实例增量和类增量)分成6组，由于结构发育型神经网络对样本输入顺序敏感，因此每组以不同的样本输入顺序进行10次实验，最终结果取测试集结果上评价指标的平均值。本实施例采用外部评价指标ACC以及内部评价指标DBI来评估聚类效果。ACC(Accuracy)表示聚类的正确数所占比例，计算公式为:

其中，r

其中，avg(C)对应于簇C内样本间的平均距离，d

表1：结构发育神经网络在不同增量学习场景和不同输入数下的性能对比

如表1所示，在样本分布不均并且有部分簇类存在重叠的人工数据集上本实施例提出的ESDNNIS在不同样本输入量和学习场景下都取得了最高的准确率，在类增量学习场景下的DBI值最小，聚类效果最优，而其他三种结构发育型神经网络在该数据集上表现欠佳，特别是在样本数量较小时出现只能识别出一个类的情况，无法计算DBI值。主要原因有两个方面，一是其他三种网络涉及到神经元之间的连接根据“年龄”进行修剪，当年龄达到指定阈值时连接被移除，在学习样本数量较少时或者真实类间距离较小时类间的神经元连接可能不能及时被修剪，导致不同的类无法被有效地区分开，二是依赖新节点插入周期的GNG在数据量少的情况下不能及时发现新的类。ESDNNIS不依赖输入样本将最近邻神经元和次最近邻神经元连接起来表示同一个类，而是每一个神经元代表一个类，当神经元信息饱和度达到饱和或者输入样本在所有神经元覆盖域之外时生成新的神经元以代表潜在的新类，并根据父子关系连接神经元表示对类的细分，这样避免了不能及时修剪类间连接的问题，使ESDNNIS具有实时性，得到符合实际情况的结果，并且不需要设置需要一定先验知识的最大年龄参数，使ESDNNIS更加适应未知开放环境的应用场景。

图10反映了四种结构发育型神经网络在两种学习场景下神经元数量和识别聚类数量随输入样本数量的变化情况。在实例增量的学习场景下，如图10中(a)所示，GNG在不加最大神经元数量限制的情况下神经元数量大致呈线性增长，GWR和SOINN的神经元数量增长到一定程度趋于平稳，存在间接的小幅波动。本发明ESDNNIS的神经元数量能够在输入样本量较小时快速收敛到与实际类别数相符合的数量，并在随后的样本输入过程中保持稳定。快速达到与实际类别相符合的数量得益于信息饱和度增长机制和两种神经元的生成机制，保持稳定得益于神经元的遗忘机制。在类增量的学习场景下(one class by one class,A,B,C,E类包含640个样本，D类包含320个样本)，如图10中(b)所示，GNG神经元数量依然呈线性增长，GWR，SOINN和ESDNNIS神经元数量增长曲线均接近阶梯状，当新类输入时，神经元数量上升，后趋于平稳。神经元数量以及神经元之间的连接影响着聚类结果，如图10中(c)和(d)所示，神经元数量的波动导致聚类簇数的震荡，GNG，GWR，SOINN在网络的发育过程中聚类簇数存在着明显的波动，导致聚类结果不稳定，无法较好地满足一些开放应用场景中的实时性。本发明ESDNNIS在发育过程中能够在样本数量较少时得到符合实际的聚类结果，并且在后续发育过程中保持稳定。在类增量学习场景中神经元分裂相对更加频繁，神经元数量不稳定，但是基于父子关系和聚类层数的聚类机制使得ESDNNIS在类增量学习场景下依然得到了稳定的聚类结果。

在ATT_FACE数据集进一步测试本发明ESDNNIS的增量聚类效果，并使用典型的结构发育型神经网络GNG，GWR和SOINN进行比较。ATT_FACE数据集包含40个不同的人脸对象，每个对象有10张不同的图片。这些照片是在不同的时间拍摄的，不同的灯光、面部表情(睁开/闭上眼睛，微笑/不微笑)和面部细节(戴眼镜/不戴眼镜)。对象处于直立的正面位置(允许一些侧面运动)。每个图像的大小是92x112像素，每个像素有256个灰度级。数据集中选择了15个人脸对象，并将它们分成A，B两组，A组包含10个对象，B组包含5个，如图11中(a)，10(b)所示。人脸对象的10张不同图片如图11中(c)所示(以第六个对象为例)。分成两组的目的是模拟开放环境中的两个不同环境，测试结构发育型神经网络在环境变化条件下的增量聚类效果。图像特征向量提取方法如下：运用双线性插值法调整图像尺寸为23x28，然后运用PCA方法对调整尺寸后的图像降维处理得到10维的特征向量。测试分为两个任务，各任务分为学习和评价阶段。第一个任务的学习阶段训练集为A组训练集(10个类，每类10个样本)，学习方式为类增量，在A组人脸对象的图片上加入高斯噪声(σ＝0.005)作为评价阶段的测试集，输入顺序为随机输入。第二个任务学习阶段训练集为B组训练集(5个类，每类10个样本)，学习方式为实例增量。第二个任务在评价阶段不仅要测试ESDNNIS对B组的聚类结果，也要测试学习B组数据之后，第一个任务的学习成果是否遭到破坏。因此，第二个任务评价阶段的测试集为加入高斯噪声(σ＝0.005)的A，B两组人脸对象的图片，输入顺序为随机输入。由于结构发育型神经网络对样本输入顺序敏感，测试按照不同的输入顺序重复十次。以聚类准确率的平均值作为性能指标。

本实施例中网络的超参数设置与在人工数据集实验中的相同。本发明ESDNNIS和SOINN均取得了不错的准确率(如图12所示)，本发明ESDNNIS的某次人脸聚类结果如图13所示。从图13中可以看出，在第二个任务测试结果中，本发明ESDNNIS在A组对象上的聚类准确率与第一个任务中的测试结果相差无几，即本发明ESDNNIS在第一个任务上的学习成果没有被第二个学习任务破坏。此外，传统GNG和GWR在无法将各对象有效分开，因此GNG和GWR不适用于该任务。实验结果表明，本发明ESDNNIS能够胜任现实数据集上的持续无监督学习。

本发明通过采用基于覆盖域和基于信息饱和度的新神经元生成规则实现结构发育型神经网络优化，首先通过使用神经元信息饱和度以及基于信息饱和度的神经元成熟阶段，模拟人脑的长短期记忆，使得网络模型兼具可塑性和稳定性；同时基于神经元的分裂产生的父子关系，使得网络可以随着学习样本数量的增加对原有类别进行细分，模拟人类对事物认识逐渐精细的认知过程，同时引入了聚类层数，可以让用户自主选择需要的类别细分程度；然后利用兄弟神经元之间的抑制机制和信息饱和度遗忘机制限制神经元的过度增长，控制网络的规模，使得网络可以增量发育并且可适应实例增量型、类增量型和任务增量型的持续学习场景。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。