一种黑名单系统工作方法

技术领域

本发明属于涉及网络安全领域，具体涉及一种黑名单系统工作方法。

背景技术

构造黑名单系统（Blacklist）是网络安全领域一个重要的技术问题。给定黑名单集合

第一类全量验证的方法，直观的做法是在全体黑名单集合上构建一个哈希表，为每个需要验证的请求计算其哈希的位置，然后将哈希的位置加载进来再挨个对比。全量计算的方式可以得到100%的准确率，但是响应速度慢，尤其是需要从外存加载整个黑名单数据集，在网络访问中会引起较大延迟。

第二类基于过滤的方法则会通过各种过滤器过滤掉合法访问请求，过滤不掉的记录就是潜在的非法访问请求记录，再进行进一步的全量验证。相比于全量验证，过滤机制的引入可以极大的降低单个请求判定的时间。

目前的黑名单系统虽然可以较好的确认给定的请求是否是非法访问请求，但是对于一些重要用户的访问请求仍然存在极大的延迟。

发明内容

发明目的：本发明的目的在于提供满足重要用户的访问请求低延迟访问的黑名单系统工作方法。

技术方案：本发明为实现上述发明目的，公开一种黑名单系统工作方法，该方法包括步骤如下：

（1）输入重要合法访问请求集合、非法访问请求集合，构建黑名单系统包括复合型过滤器和全量黑名单；

（2）构建复合型过滤器；使用k个哈希函数将每个重要合法访问请求映射到计数器数组中k个计数器内，修改计数器的正部字段完成重要合法访问请求录入；

（3）使用k个哈希函数将每个非法访问请求映射到计数器数组中k个计数器内，修改计数器的负部字段完成非法访问请求录入；当非法访问请求的映射和重要合法访问请求的映射发生冲突时，调整非法访问请求映射使用的哈希函数并记录；

（4）构建全量黑名单；将每个非法访问请求完整的记录在全量黑名单中；

（5）接收用户输入的需要判别合法性的访问请求，如果该访问请求不在复合型过滤器内，那么就是合法访问请求；否则，继续检索全量黑名单验证该请求是否是非法访问请求。

进一步的，复合型过滤器包括哈希调制器和计数器数组，哈希调制器包括一组调制元组，每个调制元组由调制计数器与调制索引构成；调制计数器记录了其所属的调制元组被使用的次数；调制索引记录了该调制元组内存储的哈希函数的索引。计数器数组由一组计数器组成，每个计数器包含正部和负部两个字段。

进一步的，步骤2中重要合法访问请求所映射计数器的正部字段的值设置为1。

进一步的，步骤3中非法访问请求录入复合型过滤器具体步骤如下：

（S1）如果非法访问请求映射到k个计数器正部字段的值均为0，则将k个计数器负部字段的值均增加1；

（S2）如果非法访问请求映射到k个计数器正部字段的值不均为0，则用

（S3）根据

进一步的，步骤5中用户输入的待判别合法性的访问请求x是否在复合型过滤器内判断方法如下：

访问请求x使用k个哈希函数映射对应的计数器中有超过1个计数器负部字段的值为0，则判断访问请求x不在复合型过滤器内；如果只有1个计数器负部字段的值为0并且哈希调制器中访问请求x被映射到的调制元组的调制计数器值为0，则判断访问请求x不在复合型过滤器内。

进一步的，当非法访问请求集合内新增加非法访问请求时，将新增加的非法访问请求重复执行步骤3和步骤4，完成黑名单系统更新。

进一步的，由于哈希调制器包括一组调制元组，每个访问请求能够在哈希函数

步骤S3中检查待录入的非法访问请求在哈希调制器中映射的位置是否为空，也即检查该访问请求在哈希函数

进一步的，步骤5中，当获取需要判别合法性的访问请求x后，检查k个初始哈希函数映射的计数器的负部字段的值。如果超过1个计数器的负部字段的值为0，则x不在复合型过滤器内；如果只有1个计数器的负部字段为0并且哈希调制器中x被哈希调制器内置的哈希函数

本申请公开的黑名单系统工作方法中，复合型过滤器能够快速对重要合法访问请求进行筛选，同时可以筛选出大部分普通合法请求，对疑似非法请求和非法请求利用包含非法访问请求集合的全量黑名单进行进一步筛选，确保在非法访问请求集合内的非法访问请求能够被稳定筛出。复合型过滤器的存在能够极大减少重要合法访问请求的鉴别延迟。全量黑名单通过全量验证的方法对每个疑似非法请求或非法请求进行验证，能够保证非法访问请求被稳定筛选出来。

有益效果：与现有技术相比，本发明的具有如下显著优点：

本发明所述技术方法能够快速准确判定给定的访问请求是不是非法访问请求，同时对于重要合法访问请求可以快速判定，极大的减少这些重要访问请求的判定时间。

附图说明

图1是本发明黑名单系统的整体架构与工作流程示意图；

图2是本发明黑名单系统中复合型过滤器的结构示意图；

图3是本发明黑名单系统中哈希调制器的结构示意图；

图4是本发明黑名单系统中重要合法访问请求和非法访问请求插入过程示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案做进一步详细说明。

如图1所示，一种黑名单系统工作方法，该方法包括步骤如下：

（1）输入非法访问请求集合为N={a,c}，重要合法访问请求集合P={b}，用户输入哈希函数数量k为3，同时给出3个哈希函数

（2）构建复合型过滤器；复合型过滤器包括哈希调制器和计数器数组，哈希调制器包括一组调制元组，每个调制元组由调制计数器与调制索引构成；调制计数器记录了其所属的调制元组被使用的次数；调制索引记录了该调制元组内存储的哈希函数的索引。计数器数组由一组计数器组成，每个计数器包含正部和负部两个字段。

（3）首先遍历重要合法访问请求集合P中的每一条访问请求，对于访问请求b，使用3个哈希函数将其映射到计数器数组中3个不同的计数器，本实施例中，访问请求b，被映射到第1、3、5个计数器，将这三个计数器的正部字段设置为1，如果一个计数器的正部字段的值已经为1，那么就直接略过。

（4）遍历非法访问请求集合N中的每一条访问请求，对于访问请求a，使用用户给定的3个哈希函数将访问请求a映射到3个计数器；对于访问请求c，同样使用用户给定的3个哈希函数将访问请求c映射到3个计数器；本实施例中，访问请求a映射到第2、4、6个计数器，访问请求c映射到第1、4、6个计数器。

（5）如果非法访问请求映射到的计数器正部字段的值均为0，则将计数器负部字段的值均增加1；本实施例中，访问请求a映射到3个计数器的正部字段都为0，将访问请求a映射到第2、4、6个计数器的负部字段增加1。

（6）如果非法访问请求映射到的计数器正部字段的值不均为0，则用

（7）步骤2至步骤6完成了复合型过滤器的搭建，本实施例中，全量黑名单内包括非法访问请求集合N为内的全部访问请求：访问请求a和访问请求c。

（8）当搭建完成的黑名单系统接收到需要判别合法性的访问请求时，如果该访问请求不在复合型过滤器内，判定为合法访问请求；否则，继续检索全量黑名单验证该请求是否是非法访问请求。本实施例中，当接收到访问请求为b时，该请求被用户给定的3个哈希函数映射到第第1、3、5个计数器，因为第3、5个计数器的负部字段的值都是0，因此访问请求b不在复合型过滤器中，判定请求b为合法请求，向用户输出判别结果。

当接收到访问请求为a时，使用用户给的三个哈希函数将a映射到第2，4，6个计数器，发现所有映射的计数器负部都是非零，则判定a为潜在非法请求需要继续查询全量黑名单验证是否为非法访问请求。而对于访问请求c而言查询其在查询过程中映射的第1，4，6计数器中，第一个计数器的负部为0，也就是被调整过，那么就需要去哈希调制器内取出存储的哈希函数

本实施例中，当发现新的非法访问请求d时，将非法访问请求d纳入非法访问请求集合N内，形成新的非法访问请求集合N={a,c,d}，同时执行步骤4至步骤6，将新的非法访问请求d录入复合型过滤器中；执行步骤7，将新的非法访问请求d录入全量黑名单内。最终完成黑名单系统的更新。

本申请中构建的黑名单系统，相比于传统的黑名单系统的工作方法，不仅可以百分百准确地识别出非法访问请求，同时对于重要的合法访问请求能够快速判定，降低这些重要访问请求的的处理延迟。本发明提出的黑名单系统的工作方法能够正确识别出非法访问请求，同时不会误判非法的访问请求。