掌桥专利:专业的专利平台
掌桥专利
首页

一种基于大数据处理的医学影像缓存处理方法

文献发布时间:2024-06-11 18:36:55


一种基于大数据处理的医学影像缓存处理方法

技术领域

本发明涉及大数据处理技术领域,且更具体地涉及一种基于大数据处理的医学影像缓存处理方法。

背景技术

随着医学影像技术的不断发展和普及,医学影像数据量呈现爆炸式增长。医学影像数据是医学诊疗中重要的基础数据之一,医疗机构产生的医学影像数据量日益增大,又由于医学影像文件通常非常大,需要大量的存储空间,直接对这些数据进行存取和处理往往效率低下,处理这些数据需要大量时间和带宽,而且医学影像数据文件需要高效的存储和管理。因此,如何快速、准确地访问、共享和管理这些数据成为一个很大的问题。传统的医学影像数据管理方法,如将影像数据存储在本地存储设备中,无法满足医生诊疗的需要。

然而,传统医学影像缓存处理方法缺乏数据处理能力,只能采用简单的缓存方式存储和访问医学影像数据,无法对医学影像数据进行深层次的特征提取和管理,传统医学影像缓存处理方法无法快速准确地对医学影像数据进行分类识别和特征提取,缺乏针对性的管理策略,数据的精度有一定的局限性,传统医学影像缓存处理方法采用单一的缓存机制,无法快速准确地缓存医学影像数据,导致缓存效率较低,传统医学影像缓存处理方法缺乏优化的缓存数据管理模型,无法对缓存数据进行高效稳定的管理,数据管理效率不高。

因此,本发明公开了一种基于大数据处理的医学影像缓存处理方法,通过采用自监督图像表征模型对医学影像进行分类标记处理、改进式深度学习算法模型对医学影像进行压缩处理、云端缓存服务器进行分布式缓存处理以及缓存管理模型进行数据管理等方式来优化传统的医学影像缓存处理方法,更高效率、更准确和更安全。

发明内容

针对现有技术的不足,本发明公开了一种基于大数据处理的医学影像缓存处理方法,通过采用自监督图像表征模型对医学影像进行分类标记处理、改进式深度学习算法模型对医学影像进行压缩处理、云端缓存服务器进行分布式缓存处理以及缓存管理模型进行数据管理等方式来优化传统的医学影像缓存处理方法,更高效率、更准确和更安全;采用自监督图像表征模型对医学影像数据进行分类标记处理,采用改进式深度学习算法模型对医学影像数据进行压缩处理,数据处理能力强,能够快速、准确地提取医学影像数据的特征;采用自监督图像表征模型和改进式深度学习算法模型对医学影像数据进行处理,能够有效提高数据处理的精度和准确性,有利于医生对患者的诊断和治疗;采用安全加密算法和权限控制机制对医学影像数据传输和存储过程中的安全进行保护,避免了数据泄露和篡改等安全隐患;通过云端缓存服务器进行分布式缓存处理,能够快速准确地缓存医学影像数据,提高缓存效率;通过缓存管理模型进行缓存数据管理,包括索引建立、缓存更新和清理等,能够对缓存数据进行高效稳定的管理,提高数据管理效率。同时,通过影像分类优化模型对分类识别结果进行迭代优化,有利于提高分类识别结果的准确性和稳定性;自动化、智能化程度高。

本发明采用以下技术方案:

一种基于大数据处理的医学影像缓存处理方法,包括以下步骤:

步骤一、影像数据采集和预处理,通过医学影像设备读取并采集医学影像数据,并通过图像处理服务器GPU对输入的医学影像数据进行格式转换、图像增强、噪声去除和标准化操作,所述医学影像数据包括X光片、CT扫描影像、MRI磁共振成像和超声波成像;

步骤二、影像分类标记和分割处理,通过自监督图像表征模型对所述医学影像数据进行影像类型、病例类型、部位和病情严重程度的分类标记,并通过多注意力机制进行图像分类分割,所述自监督图像表征模型包括特征提取器、解码器、损失函数单元、对比学习单元和分类器,所述对比学习单元通过影像分类优化模型对分类识别结果进行迭代优化,所述多注意力机制通过局部搜索和全局计算方式捕获对图像中不同区域的注意力加权;

步骤三、影像压缩处理,通过改进式深度学习算法模型对经过分类标记和分割处理的小块所述医学影像数据进行无失真压缩处理,所述改进式深度学习算法模型包括自适应量化单元、稀疏熵编码器、估值器、小波变换单元和压缩解码器,所述自适应量化单元根据小块所述医学影像数据的特征和像素点取值范围对小块所述医学影像数据的像素点进行动态量化调整,所述稀疏熵编码器通过熵编码对小块所述医学影像数据的像素点进行预测编码和差分编码,并通过稀疏表示对小块所述医学影像数据进行表征,所述估值器通过计算量化前后信号的均方误差估计输入数据和量化后数据之间的误差,所述小波变换单元通过高效率小波变换优化医学影像数据的压缩效率,所述压缩解码器通过将压缩后的数据编码成比特流并解压缩恢复原始数据,所述自适应量化单元的输出端与所述稀疏熵编码器的输入端连接,所述稀疏熵编码器的输出端与所述估值器的输入端连接,所述估值器的输出端与所述小波变换单元的输入端连接,所述小波变换单元的输出端与所述压缩解码器的输入端连接;

步骤四、数据处理实时加速,通过全连接多源加速网络实现医学影像上传、处理和调阅加速,所述全连接多源加速网络采用四层TCP/UDP传输协议和八层HTTP/HTTPS缓存协议监听路由类型定义的转发方式,并基于所述转发方式将影像流量分配到后端服务器集群中进行处理和调阅;

步骤五、影像分布式缓存处理,通过云端缓存服务器进行影像分布式缓存处理,所述云端缓存服务器采用自适应动态均衡模型自动调整所述医学影像数据的缓存分布,并通过数据同步和备份机制保证分布式计算机节点的数据一致,所述云端缓存服务器通过安全加密算法和权限控制机制进行所述医学影像数据传输和存储过程中的安全加密;

步骤六、缓存数据管理,通过缓存管理模型进行缓存数据管理,所述缓存管理模型包括索引建立单元、缓存更新单元和缓存清理单元,所述索引建立单元、缓存更新单元和缓存清理单元进行并行工作。

作为本发明进一步的技术方案,所述特征提取器通过卷积神经网络提取所述医学影像数据的特征,所述解码器通过反卷积神经网络进行特征映射还原为原始图像,并通过反向传播更新所述卷积神经网络的参数,所述损失函数单元采用对比损失或三元组损失最小化同类型所述医学影像数据之间的距离和最大化异类型所述医学影像数据之间的距离,所述对比学习单元通过将同类型所述医学影像数据编码为相似的特征向量和将异类型所述医学影像数据的特征向量编码为不相似的特征向量实现数据分类和识别,并通过影像分类优化模型对分类识别结果进行迭代优化,所述分类器采用激活函数获得所述医学影像数据的类别概率分布,并通过最小化交叉熵损失优化所述卷积神经网络的参数,所述分类器通过多分类网络结构实现对所述医学影像数据的分类识别,所述特征提取器的输出端与所述解码器的输入端连接,所述解码器的输出端与所述损失函数单元的输入端连接,所述损失函数单元的输出端与所述对比学习单元的输入端连接,所述对比学习单元的输出端与所述分类器的输入端连接。

作为本发明进一步的技术方案,所述影像分类优化模型通过计算所述医学影像数据的二阶信息矩阵和特征值分解得到特征向量,所述二阶信息矩阵的计算公式为:

在公式(1)中,G表示二阶信息矩阵,N为所述医学影像数据的的数量,x

V∧V

在公式(2)中,diag表示对角矩阵,p为特征向量的维度,λ

在公式(3)中,y

在公式(4)中,X

在公式(5)中,F

作为本发明进一步的技术方案,所述自适应动态均衡模型基于动态负载均衡策略和动态路由机制自动分配和数据节点的自动扩展,所述自适应动态均衡模型的工作包括以下步骤:

S1、监测数据节点的负载状态,通过任务管理器和性能监视器监测数据节点的运行状态,并将监测数据输入至所述自适应动态均衡模型,所述运行状态包括内存占用率、磁盘占用率、CPU利用率、节点负载和网络带宽;

S2、动态调整数据节点,所述自适应动态均衡模型采用动态负载均衡策略动态调整数据节点,所述动态负载均衡策略通过轮询算法均衡数据节点之间的数据缓存负载,并通过增加正常节点的任务量进行节点故障的自适应调整;

S3、动态扩展数据节点,根据实际负载情况和自动扩展机制实现数据节点的自动扩展,所述自动扩展机制通过增加数据节点实现高并发或大规模数据处理;

S4、动态路由机制,所述自适应动态均衡模型基于动态路由机制实现数据缓存的自动分配,所述动态路由机制通过智能路由算法选择最短路径或者最优路径进行网络拓扑结构复杂场景的数据传输。

作为本发明进一步的技术方案,所述安全加密算法采用对称加密算法保证数据的安全性和保密性,并通过SSL/TLS协议加密数据传输通道,所述权限控制机制通过访问控制矩阵记录用户和资源之间的访问关系,并通过将用户划分为医生、护士、患者和管理员角色实现权限控制。

作为本发明进一步的技术方案,所述索引建立单元通过哈希表和多路搜索数据结构建立快速检索索引,并基于数据的访问频率和访问评价动态调整索引结构,所述缓存更新单元通过增量更新方式和并发控制策略管理缓存数据的更新过程,并通过多副本一致性协议实现分布式缓存节点之间的数据更新同步,所述缓存清理单元通过访问计数器记录缓存数据项被调用的次数,并采用时钟电路触发清除操作。

积极有益效果:

本发明公开了一种基于大数据处理的医学影像缓存处理方法,通过采用自监督图像表征模型对医学影像进行分类标记处理、改进式深度学习算法模型对医学影像进行压缩处理、云端缓存服务器进行分布式缓存处理以及缓存管理模型进行数据管理等方式来优化传统的医学影像缓存处理方法,更高效率、更准确和更安全;采用自监督图像表征模型对医学影像数据进行分类标记处理,采用改进式深度学习算法模型对医学影像数据进行压缩处理,数据处理能力强,能够快速、准确地提取医学影像数据的特征;采用自监督图像表征模型和改进式深度学习算法模型对医学影像数据进行处理,能够有效提高数据处理的精度和准确性,有利于医生对患者的诊断和治疗;采用安全加密算法和权限控制机制对医学影像数据传输和存储过程中的安全进行保护,避免了数据泄露和篡改等安全隐患;通过云端缓存服务器进行分布式缓存处理,能够快速准确地缓存医学影像数据,提高缓存效率;通过缓存管理模型进行缓存数据管理,包括索引建立、缓存更新和清理等,能够对缓存数据进行高效稳定的管理,提高数据管理效率。同时,通过影像分类优化模型对分类识别结果进行迭代优化,有利于提高分类识别结果的准确性和稳定性;自动化、智能化程度高。

附图说明

图1为本发明一种基于大数据处理的医学影像缓存处理方法的流程示意图;

图2为本发明一种基于大数据处理的医学影像缓存处理方法中自监督图像表征模型的模块架构图;

图3为本发明一种基于大数据处理的医学影像缓存处理方法中改进式深度学习算法模型的模型架构图

图4为本发明一种基于大数据处理的医学影像缓存处理方法中缓存管理模型的模型架构图;

图5为本发明一种基于大数据处理的医学影像缓存处理方法中自适应动态均衡模型的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

图1-4所示,一种基于大数据处理的医学影像缓存处理方法,包括以下步骤:

步骤一、影像数据采集和预处理,通过医学影像设备读取并采集医学影像数据,并通过图像处理服务器GPU对输入的医学影像数据进行格式转换、图像增强、噪声去除和标准化操作,所述医学影像数据包括X光片、CT扫描影像、MRI磁共振成像和超声波成像;

步骤二、影像分类标记和分割处理,通过自监督图像表征模型对所述医学影像数据进行影像类型、病例类型、部位和病情严重程度的分类标记,并通过多注意力机制进行图像分类分割,所述自监督图像表征模型包括特征提取器、解码器、损失函数单元、对比学习单元和分类器,所述对比学习单元通过影像分类优化模型对分类识别结果进行迭代优化,所述多注意力机制通过局部搜索和全局计算方式捕获对图像中不同区域的注意力加权;

步骤三、影像压缩处理,通过改进式深度学习算法模型对经过分类标记和分割处理的小块所述医学影像数据进行无失真压缩处理,所述改进式深度学习算法模型包括自适应量化单元、稀疏熵编码器、估值器、小波变换单元和压缩解码器,所述自适应量化单元根据小块所述医学影像数据的特征和像素点取值范围对小块所述医学影像数据的像素点进行动态量化调整,所述稀疏熵编码器通过熵编码对小块所述医学影像数据的像素点进行预测编码和差分编码,并通过稀疏表示对小块所述医学影像数据进行表征,所述估值器通过计算量化前后信号的均方误差估计输入数据和量化后数据之间的误差,所述小波变换单元通过高效率小波变换优化医学影像数据的压缩效率,所述压缩解码器通过将压缩后的数据编码成比特流并解压缩恢复原始数据,所述自适应量化单元的输出端与所述稀疏熵编码器的输入端连接,所述稀疏熵编码器的输出端与所述估值器的输入端连接,所述估值器的输出端与所述小波变换单元的输入端连接,所述小波变换单元的输出端与所述压缩解码器的输入端连接;

步骤四、数据处理实时加速,通过全连接多源加速网络实现医学影像上传、处理和调阅加速,所述全连接多源加速网络采用四层TCP/UDP传输协议和八层HTTP/HTTPS缓存协议监听路由类型定义的转发方式,并基于所述转发方式将影像流量分配到后端服务器集群中进行处理和调阅;

步骤五、影像分布式缓存处理,通过云端缓存服务器进行影像分布式缓存处理,所述云端缓存服务器采用自适应动态均衡模型自动调整所述医学影像数据的缓存分布,并通过数据同步和备份机制保证分布式计算机节点的数据一致,所述云端缓存服务器通过安全加密算法和权限控制机制进行所述医学影像数据传输和存储过程中的安全加密;

步骤六、缓存数据管理,通过缓存管理模型进行缓存数据管理,所述缓存管理模型包括索引建立单元、缓存更新单元和缓存清理单元,所述索引建立单元、缓存更新单元和缓存清理单元进行并行工作。

在上述实施例中,所述特征提取器通过卷积神经网络提取所述医学影像数据的特征,所述解码器通过反卷积神经网络进行特征映射还原为原始图像,并通过反向传播更新所述卷积神经网络的参数,所述损失函数单元采用对比损失或三元组损失最小化同类型所述医学影像数据之间的距离和最大化异类型所述医学影像数据之间的距离,所述对比学习单元通过将同类型所述医学影像数据编码为相似的特征向量和将异类型所述医学影像数据的特征向量编码为不相似的特征向量实现数据分类和识别,并通过影像分类优化模型对分类识别结果进行迭代优化,所述分类器采用激活函数获得所述医学影像数据的类别概率分布,并通过最小化交叉熵损失优化所述卷积神经网络的参数,所述分类器通过多分类网络结构实现对所述医学影像数据的分类识别,所述特征提取器的输出端与所述解码器的输入端连接,所述解码器的输出端与所述损失函数单元的输入端连接,所述损失函数单元的输出端与所述对比学习单元的输入端连接,所述对比学习单元的输出端与所述分类器的输入端连接。

在具体实施例中,所述特征提取器通过卷积神经网络进行特征提取,一般采用卷积层、池化层、激活函数等组件的组合。卷积层可以学习到图像中不同位置的特征、纹理等信息,池化层可以降低特征图的维度、加强对局部特征的感知,激活函数可以给输出添加非线性,提升模型的拟合能力。通过卷积神经网络,可以将医学影像数据转换为具有抽象特征的高维向量,方便进行后续处理。所述解码器通过反卷积神经网络对特征映射进行还原,从而重构原始图像。反卷积神经网络与卷积神经网络相似,但是其层数和结构与卷积神经网络相反,因此可以将特征向量还原为原始的医学影像数据。通过反卷积神经网络,可以实现图像的去噪、压缩和特征提取等功能。所述损失函数单元采用对比损失或三元组损失,目的是使同类别的医学影像数据之间的距离尽量小,异类别的医学影像数据之间的距离尽量大,从而实现数据分类和识别。对比损失是将同类别的数据与不同类别的数据进行比较,通过最小化同类别数据之间的距离和最大化异类别数据之间的距离来训练模型。三元组损失是将同类别的数据与随机选取的其他两个数据进行比较,通过最小化同类别数据向其他同类别数据的距离和最大化同类别数据向不同类别数据的距离来训练模型。所述对比学习单元通过将同类别的医学影像数据编码为相似的特征向量,将不同类别的数据编码为不相似的特征向量,实现数据分类和识别。相似的特征向量可以聚集在一起,不相似的特征向量可以分散在一起,从而实现数据的聚类和分类。对比学习单元可以在卷积神经网络中增加一些特殊的层或者模块来实现。通过影像分类优化模型对医学影像数据进行迭代优化,通过训练数据、验证数据和测试数据。

在上述实施例中,所述影像分类优化模型通过计算所述医学影像数据的二阶信息矩阵和特征值分解得到特征向量,所述二阶信息矩阵的计算公式为:

在公式(1)中,G表示二阶信息矩阵,N为所述医学影像数据的的数量,x

V∧V

在公式(2)中,aiag表示对角矩阵,p为特征向量的维度,λ

在公式(3)中,y

在公式(4)中,X

在公式(5)中,F

在具体实施例中,影像分类优化模型是一种将医学影像数据映射到新的低维空间中,通过计算时频特征进行分类的技术方案。二阶信息矩阵计算:根据医学影像数据的特征,计算二阶信息矩阵。特征值分解:对所得到的二阶信息矩阵进行特征值分解,得到特征向量和对应的特征值。映射到新的低维空间:将得到的特征向量作为正交变换矩阵,并将医学影像数据映射到新的低维空间中。获取时频特征:基于维度空间重构与特征映射获取时频特征。分类结果计算:利用所得到的时频特征进行分类结果计算。模型优化:通过比对实际分类结果与仿真分类结果之间差异程度,根据误差阈值进行自适应优化,提高分类效果。总之,影像分类优化模型是一种通过将医学影像数据映射到新的低维空间中,并计算时频特征进行分类的技术方案。该模型不仅可以提高分类准确性和稳定性,还可以自适应优化,从而进一步提高模型的分类效果。所述影像分类优化模型的硬件工作环境包括以下几种:

1.高性能计算机:用于处理大量复杂的计算任务,包括数据预处理、特征提取、特征映射等。

2.图形处理器:用于加速图形运算和复杂的并行计算,提高模型的计算效率。

3.数据存储设备:用于存储大规模的医学影像数据和模型训练所需要的大量数据。

4.监视器和显示设备:用于显示医学影像和模型计算结果。

5.网络设备:用于数据的传输和模型的联网。

6.其他辅助设备:如键盘、鼠标、打印机等。

收集一定量的医学影像数据,包括CT图像和MRI图像,将所收集的医学影像数据随机分成两组,一组用于训练模型,一组用于测试模型。将训练数据输入到影像分类优化模型(A组)和传统的神经网络分类方法(B组)中,计算出特征向量并进行特征映射,得到分类结果,并与实际分类结果进行比对分析。分别,根据实验结果进行分析,比较各种方法的分类准确率和稳定性,评估所述影像分类优化模型的有效性和优越性,重复五组实验,记录于表1。

表1结果统计表

根据实验结果分析,所述影像分类优化模型相对于传统的神经网络分类方法具有更高的分类准确率和更高的分类稳定性。五组实验的平均分类准确率为90%,平均分类稳定性为高水平,证明了所述影像分类优化模型的有效性和优越性,可以在医学影像数据的分类、诊断、治疗等领域有广泛的应用前景。

在上述实施例中,图5所示,所述自适应动态均衡模型基于动态负载均衡策略和动态路由机制自动分配和数据节点的自动扩展,所述自适应动态均衡模型的工作包括以下步骤:

S1、监测数据节点的负载状态,通过任务管理器和性能监视器监测数据节点的运行状态,并将监测数据输入至所述自适应动态均衡模型,所述运行状态包括内存占用率、磁盘占用率、CPU利用率、节点负载和网络带宽;

S2、动态调整数据节点,所述自适应动态均衡模型采用动态负载均衡策略动态调整数据节点,所述动态负载均衡策略通过轮询算法均衡数据节点之间的数据缓存负载,并通过增加正常节点的任务量进行节点故障的自适应调整;

S3、动态扩展数据节点,根据实际负载情况和自动扩展机制实现数据节点的自动扩展,所述自动扩展机制通过增加数据节点实现高并发或大规模数据处理;

S4、动态路由机制,所述自适应动态均衡模型基于动态路由机制实现数据缓存的自动分配,所述动态路由机制通过智能路由算法选择最短路径或者最优路径进行网络拓扑结构复杂场景的数据传输。

在具体实施例中,自适应动态均衡模型:在云端缓存服务器的架构中,需要采用自适应动态均衡模型来实现医学影像数据的缓存分布和动态调整。其中,可以使用负载均衡算法和哈希算法来实现数据的分布式存储和访问,从而提高系统的性能和可扩展性。

在上述实施例中,所述安全加密算法采用对称加密算法保证数据的安全性和保密性,并通过SSL/TLS协议加密数据传输通道,所述权限控制机制通过访问控制矩阵记录用户和资源之间的访问关系,并通过将用户划分为医生、护士、患者和管理员角色实现权限控制。

在具体实施例中,所述安全加密算法采用对称加密算法保证数据的安全性和保密性,具体步骤如下:对称加密算法是一种将明文转换为密文的技术,在加密和解密时使用相同的秘钥。因此,在数据传输时,发送方和接收方需要共享同一个秘钥。常用的对称加密算法有AES、DES、3DES等。这些算法具有计算速度快、加解密效率高等特点,并且能够有效保护数据的机密性。在实际应用中,为了进一步增强数据安全性,可以采用SSL/TLS协议对数据传输通道进行加密。该协议能够在网络上建立一个安全通道,并通过公钥加密技术来保证通信双方之间的身份认证和信息完整性。所述权限控制机制通过访问控制矩阵记录用户和资源之间的访问关系,并通过将用户划分为医生、护士、患者和管理员角色实现权限控制,具体步骤如下:访问控制矩阵是一种记录用户与资源之间访问关系的数据结构。该矩阵包含两个维度:用户ID和资源ID,并标记用户是否有权访问该资源。根据用户的角色(如医生、护士、患者和管理员),将其分配相应的权限。例如,医生可以查看和修改患者病历信息,而护士只能查看病历信息。在用户访问资源时,系统会根据访问控制矩阵判断用户是否有权访问该资源。如果有,则允许用户进行操作;否则,则拒绝访问请求。为了进一步增强系统安全性,可以采用其他辅助措施,如身份认证、会话管理、日志审计等。

在上述实施例中,所述索引建立单元通过哈希表和多路搜索数据结构建立快速检索索引,并基于数据的访问频率和访问评价动态调整索引结构,所述缓存更新单元通过增量更新方式和并发控制策略管理缓存数据的更新过程,并通过多副本一致性协议实现分布式缓存节点之间的数据更新同步,所述缓存清理单元通过访问计数器记录缓存数据项被调用的次数,并采用时钟电路触发清除操作。

在具体实施例中,所述索引建立单元通过哈希表和多路搜索数据结构建立快速检索索引,具体步骤如下:根据数据特征和需求选择合适的哈希函数,并将数据映射到哈希表中。为了提高检索效率,可以采用多路搜索树(如B+树、B*树等)对哈希表进行优化。这样可以减少哈希冲突的发生,并且能够在不同的节点之间进行快速查找。基于数据的访问频率和访问评价动态调整索引结构。例如,当某个数据项被频繁访问时,可以将其移到更高层次的搜索树中以提高检索效率;当某个数据项较长时间未被访问时,则可以将其移到低层次搜索树中以减少内存占用。所述缓存更新单元通过增量更新方式和并发控制策略管理缓存数据的更新过程,并通过多副本一致性协议实现分布式缓存节点之间的数据更新同步,具体步骤如下:利用增量更新方式,只更新需要修改的部分而不是整个缓存块。这样可以减少网络传输开销及CPU资源消耗。为了避免多个客户端同时修改同一个缓存块的数据而引起的数据不一致问题,采用并发控制策略(如读写锁、互斥锁等)对缓存块进行保护。通过多副本一致性协议(如Paxos算法、Raft算法等)实现分布式缓存节点之间的数据更新同步。这样即使某个节点宕机,也可以通过其他节点重新恢复数据。所述缓存清理单元通过访问计数器记录缓存数据项被调用的次数,并采用时钟电路触发清除操作,具体步骤如下:对每个缓存块设置一个访问计数器,并在每次访问时将计数器加1。当内存空间不足时,根据访问计数器和最近使用时间等因素判断哪些缓存块是“热点”,哪些是“冷门”,并将“冷门”缓存块从内存中移出以释放空间。采用时钟电路触发清除操作。具体来说,将所有缓存块按照最近使用时间排序,并将一个指针指向最老的缓存块。当需要移出某个“冷门”缓存块时,就从指针位置开始扫描缓存块,找到第一个未被使用的缓存块并将其移出。同时,将指针指向下一个缓存块以备下次清理操作。

虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些具体实施方式仅是举例说明,本领域的技术人员在不脱离本发明的原理和实质的情况下,可以对上述方法和系统的细节进行各种省略、替换和改变。例如,合并上述方法步骤,从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此,本发明的范围仅由所附权利要求书限定。

相关技术
  • 一种基于缓存中间件的规范化处理方法及装置
  • 一种大数据处理方法及装置、通信设备
  • 一种预编译函数缓存引擎的大数据处理方法
  • 一种基于缓存的大数据处理维表存算系统及其方法
技术分类

06120116634546