一种基于大数据的产品风险实时监测平台
文献发布时间:2024-04-18 19:58:26
技术领域
本发明涉及数据聚类技术领域,具体涉及一种基于大数据的产品风险实时监测平台。
背景技术
在产品运输过程中,往往需要对产品的温度进行实时检测,以确保产品安全,降低产品存在风险的可能性,产品可以为冷链食品。在对冷链食品进行温度监测时,结合超像素分割思想,将当前采集的温度数据序列分割成数据变化趋势紧密相连的数据段,以此实现冷链食品的异常温度检测。但是,传统的超像素分割实现过程中种子点的搜索范围通常是以种子点为中心的一段距离,该产品风险监测方式在进行分割数据段的过程中涉及的冗余计算量较多,而且当由车辆震动或颠簸产生的数据噪点或者存在数据趋势变化明显的数据点点处于种子点位置时,增加了后续数据段迭代的次数,导致产品风险实时监测的效率低下。
发明内容
为了解决上述产品风险实时监测的效率低下的技术问题,本发明的目的在于提供一种基于大数据的产品风险实时监测平台,所采用的技术方案具体如下:
本发明一个实施例提供了一种基于大数据的产品风险实时监测平台,包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现如下步骤:
获取冷链食品运输时当前预设时段对应的温度数据序列和车辆震动数据序列;确定温度数据序列中各个目标种子点的搜索范围;
将任一目标种子点作为待分析种子点,对待分析种子点的搜索范围内的数据变化趋势进行分析,确定待分析种子点的左侧数据段和右侧数据段;
根据右侧数据段,确定待分析种子点对应的初始右侧延伸成本指标和初始右侧截断成本指标;
根据初始右侧延伸成本指标对应的数据段和车辆震动数据序列,确定待分析种子点的延伸置信度;根据初始右侧截断成本指标对应的数据段和车辆震动数据序列,确定待分析种子点的截断置信度;
根据待分析种子点对应的初始右侧延伸成本指标、延伸置信度、初始右侧截断成本指标以及截断置信度,确定待分析种子点的右侧数据段对应的偏离方向和偏离距离;
确定待分析种子点的左侧数据段对应的偏离方向和偏离距离;利用右侧数据段和左侧数据段对应的偏离方向和偏离距离,对待分析种子点的搜索范围进行更新,获得待分析种子点对应的新的搜索范围;
根据每个目标种子点对应的新的搜索范围和当前时刻的温度数据,判断当前时刻的温度数据是否异常。
进一步地,确定温度数据序列中各个目标种子点的搜索范围,包括:
对温度数据序列进行超像素分割,获得预设数目个种子点对应的超像素;其中,所述超像素由温度数据序列上相邻的多个温度数据组成;对于任意一个超像素,计算超像素对应的温度平均值,将超像素内最接近温度平均值的温度数据作为目标种子点;确定各个目标种子点的搜索范围,所述搜索范围为目标种子点周围预设数目倍的超像素大小范围。
进一步地,对待分析种子点的搜索范围内的数据变化趋势进行分析,确定待分析种子点的左侧数据段和右侧数据段,包括:
对待分析种子点的搜索范围内的温度数据进行极值曲线拟合,获得极值拟合曲线;所述极值拟合曲线包括极大值的拟合曲线和极小值的拟合曲线;计算两个拟合曲线上搜索范围内的每个温度数据的斜率,将斜率大于预设斜率阈值的温度数据确定为趋势变化明显的温度数据,获得两个拟合曲线对应的第一个和最后一个趋势变化明显的温度数据;
将第一个趋势变化明显的温度数据到搜索范围内第一个温度数据之间的数据段,确定为待分析种子点的左侧数据段;将最后一个趋势变化明显的温度数据到搜索范围内最后一个温度数据之间的数据段确定为待分析种子点的右侧数据段。
进一步地,根据右侧数据段,确定待分析种子点对应的初始右侧延伸成本指标和初始右侧截断成本指标,包括:
将在待分析种子点的右侧数据段的右侧选取的一个最邻近右侧数据段的噪点作为右相邻噪点,并将右侧数据段延伸扩展至右相邻噪点,将扩展后的右侧数据段确定为右侧延伸数据段;
对右侧延伸数据段进行极值曲线拟合,获得极大值的拟合曲线和极小值的拟合曲线;确定两个拟合曲线对应的第一个趋势变化明显的温度数据,将右侧延伸数据段中右侧数据段的最后一个温度数据的后一个温度数据到第一个趋势变化明显的温度数据之间对应的数据段,确定为子延伸数据段;
根据子延伸数据段内第一个温度数据和最后一个温度数据的数据采集时间、预设温度数据采集频率以及子延伸数据段对应的极值拟合曲线中每个温度数据的斜率,确定初始右侧延伸成本指标;
将右侧数据段确定为截断数据段,根据截断数据段内第一个温度数据和最后一个温度数据的数据采集时间、预设温度数据采集频率以及截断数据段对应的极值拟合曲线中每个温度数据的斜率,确定初始右侧截断成本指标。
进一步地,所述初始右侧延伸成本指标的计算公式为:
;式中,/>
进一步地,所述初始右侧截断成本指标的计算公式为:
;式中,/>
进一步地,根据初始右侧延伸成本指标对应的数据段和车辆震动数据序列,确定待分析种子点的延伸置信度,包括:
初始右侧延伸成本指标对应的数据段为子延伸数据段,确定子延伸数据段内相邻温度数据之间差值绝对值,获得子延伸数据段内各个差值绝对值的拟合曲线;在车辆震动数据序列中选取与子延伸数据段相对应的第一车辆震动数据段,确定第一车辆震动数据段的拟合曲线;计算子延伸数据段的拟合曲线与第一车辆震动数据段的拟合曲线之间的结构相似度、子延伸数据段的拟合误差和第一车辆震动数据段的拟合误差,进而确定待分析种子点的延伸置信度,所述待分析种子点的延伸置信度的计算公式为:
;式中,/>
进一步地,根据初始右侧截断成本指标对应的数据段和车辆震动数据序列,确定待分析种子点的截断置信度,包括:
初始右侧截断成本指标对应的数据段为截断数据段,确定截断数据段内相邻温度数据之间差值绝对值,获得截断数据段内各个差值绝对值的拟合曲线;在车辆震动数据序列中选取与截断数据段相对应的第二车辆震动数据段,确定第二车辆震动数据段的拟合曲线;计算截断数据段的拟合曲线与第二车辆震动数据段的拟合曲线之间的结构相似度、截断数据段的拟合误差和第二车辆震动数据段的拟合误差,进而确定待分析种子点的截断置信度,待分析种子点的截断置信度的计算公式为:
;式中,/>
进一步地,根据待分析种子点对应的初始右侧延伸成本指标、延伸置信度、初始右侧截断成本指标以及截断置信度,确定待分析种子点的右侧数据段对应的偏离方向和偏离距离,包括:
将待分析种子点对应的初始右侧延伸成本指标与延伸置信度的乘积确定为第一右侧延伸成本指标,将待分析种子点对应的初始右侧截断成本指标与截断置信度的乘积确定为第一右侧截断成本指标;
若第一右侧延伸成本指标小于第一右侧截断成本指标,则判定待分析种子点的右侧数据段向右偏离延伸,偏离距离为
若第一右侧延伸成本指标大于第一右侧截断成本指标,则判定待分析种子点的右侧数据段向左偏离截断,偏离距离为
若第一右侧延伸成本指标等于第一右侧截断成本指标,则判定待分析种子点的右侧数据段向右偏离延伸,偏离距离为
进一步地,根据每个目标种子点对应的新的搜索范围和当前时刻的温度数据,判断当前时刻的温度数据是否异常,包括:
对各个新的搜索范围进行相似性分析,将温度数据序列分割为各个相似数据变化趋势的目标数据段;选取包含当前时刻的温度数据的目标数据段,确定包含当前时刻的温度数据的目标数据段的总体趋势斜率值,计算总体趋势斜率值与当前时刻的温度数据的乘积,对乘积进行归一化处理,将归一化处理后的乘积确定为当前时刻的温度数据的异常程度;若当前时刻的温度数据的异常程度大于预设异常阈值,则判定当前时刻的温度数据异常,否则,判定当前时刻的温度数据不异常;其中,所述总体趋势斜率值为目标数据段对应的拟合曲线上所有数据点的斜率均值。
本发明具有如下有益效果:
现有异常监测方法为当实时检测到的温度数据超出阈值时就判断异常,该方法没有考虑温度传感器在检测温度时由于车辆的震动或颠簸导致的数据噪点,从而导致错误的异常警报。本发明提供了一种基于大数据的产品风险实时监测平台,该产品风险实时监测平台利用超像素分割的思想,将温度数据序列上的时序数据分割开,其在维持空间邻近性的同时,对具有相似数据变化趋势的数据段进行温度异常分析,即确定温度数据序列中各个目标种子点的搜索范围,其提高了温度数据异常检测的便利性,排除噪点引起的假异常现象,也就是有利于提高产品风险实时监测平台的监测准确性。传统超像素分割中种子点的搜索范围往往是以种子点为中心的一段距离,那么以这种方式进行分割数据段的过程中涉及的冗余计算量较多,导致监测速度慢。本发明利用噪点位置和数据变化趋势调整超像素分割过程中种子点的搜索范围,即获得每个目标种子点对应的新的搜索范围,其尽可能将噪点位置边缘化的同时,保证了搜索范围内数据总体变化区域的一致性,能够有效减少后续迭代过程中的迭代次数,减小超像素分割的计算量,提高监测平台的效率。本发明主要适用于产品风险实时监测领域。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明实施例中的噪点对两端温度数据造成影响的示意图;
图2为本发明基于大数据的产品风险实时监测平台的执行流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外,一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
超像素分割往往是需要在种子点附近确定搜索范围,而传统的搜索范围是以种子点为中心的两倍超像素大小范围,后续在搜索范围内进行聚类,将时序上相邻的且特征相似的点归为一类,不断迭代对聚类结果进行聚类,直至聚类结果不再发生变化。但是,存在噪点位于搜索范围内靠近中心位置的可能,对该情况的搜索范围进行聚类后的结果是将噪点两端数据分割开,在后续迭代过程中增加了迭代计算量,也就是需要迭代的数据段个数增多。为了克服上述存在缺陷导致产品风险实时监测的效率低下的问题,本发明通过将搜索范围适当向左或向右移动,将噪点的位置尽量边缘化或使搜索范围内的数据变化趋势尽量一致,该搜索范围内聚类结果中每个数据段包含更多相同特征的数据点,后续需要进行迭代处理的数据段减少了,也就是减少了后续迭代的计算量。噪点对两端温度数据造成影响的示意图如图1所示,在图1中横坐标为温度数据的采集时间t,纵坐标为温度数据的数值大小T,
基于上述问题,本发明将通过温度数据的变化趋势和搜索范围内噪点的位置,适当调整种子点的搜索范围,以减少超像素分割的计算量和提高风险监测效率。具体,本实施例提供了一种基于大数据的产品风险实时监测平台,包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现如下步骤:
获取冷链食品运输时当前预设时段对应的温度数据序列和车辆震动数据序列;确定温度数据序列中各个目标种子点的搜索范围;
将任一目标种子点作为待分析种子点,对待分析种子点的搜索范围内的数据变化趋势进行分析,确定待分析种子点的左侧数据段和右侧数据段;
根据右侧数据段,确定待分析种子点对应的初始右侧延伸成本指标和初始右侧截断成本指标;
根据初始右侧延伸成本指标对应的数据段和车辆震动数据序列,确定待分析种子点的延伸置信度;根据初始右侧截断成本指标对应的数据段和车辆震动数据序列,确定待分析种子点的截断置信度;
根据待分析种子点对应的初始右侧延伸成本指标、延伸置信度、初始右侧截断成本指标以及截断置信度,确定待分析种子点的右侧数据段对应的偏离方向和偏离距离;
确定待分析种子点的左侧数据段对应的偏离方向和偏离距离;利用右侧数据段和左侧数据段对应的偏离方向和偏离距离,对待分析种子点的搜索范围进行更新,获得待分析种子点对应的新的搜索范围;
根据每个目标种子点对应的新的搜索范围和当前时刻的温度数据,判断当前时刻的温度数据是否异常。
下面对上述各个步骤进行详细展开:
参考图2,示出了本发明一种基于大数据的产品风险实时监测平台的执行流程图,包括以下步骤:
S1,获取冷链食品运输时当前预设时段对应的温度数据序列和车辆震动数据序列;确定温度数据序列中各个目标种子点的搜索范围。
第一步,获取冷链食品运输时当前预设时段对应的温度数据序列和车辆震动数据序列。
在本实施例中,按照预设的数据采集频率,利用温度传感器,实时采集冷链食品在运输过程中车内的温度变化情况,数据的采集频率可以设置为每10秒采集一次。运输过程中的温度数据会受车辆震动和颠簸的影响,也就是车辆的震动信息可以在一定程度上反映温度数据振幅的变化情况,因此需要以同样的数据采集频率,利用震动传感器采集车辆的震动数据。为了便于对当前时刻的温度数据异常情况进行分析,可以获取当前预设时段对应的温度数据序列和车辆震动数据序列,进行后续的搜索范围更新。其中,当前预设时段可以设置为10分钟,该10分钟包含了当前时刻的温度数据;采集频率和当前预设时段的设置可以由实施者根据具体实际情况设置,这里不做具体限定。
需要说明的是,车辆的颠簸和温度均涉及到物理原理,颠簸是车辆在道路上行驶时由于道路不平整引起的震动;车辆温度是物体分子热运动引起的热量变化。在运输车辆中,颠簸和温度均与能量变化相关。因此,车辆的颠簸和温度在某种程度上具有相似的物理结构或动力学特性。
第二步,确定温度数据序列中各个目标种子点的搜索范围。
对温度数据序列进行超像素分割,获得预设数目个种子点对应的超像素;其中,超像素由温度数据序列上相邻的多个温度数据组成;对于任意一个超像素,计算超像素对应的温度平均值,将超像素内最接近温度平均值的温度数据作为目标种子点;确定各个目标种子点的搜索范围,搜索范围为目标种子点周围预设数目倍的超像素大小范围。
在本实施例中,种子点的预设数目可以为6,在对温度数据序列进行超像素分割时,将6个种子点均匀分布在温度数据序列中,那么通过温度数据个数除以种子点个数,可以确定每个超像素的大小为10,超像素是指时序上相邻的10个数据点。为了避免种子点落在噪声点上影响聚类效果,在确定各个种子点位置后,在种子点前后20s的邻域内重新选择种子点,即确定目标种子点,目标种子点为搜索范围内数值最接近平均温度的温度数据,目标种子点的搜索范围为目标种子点周围2倍的超像素大小范围。目标种子点的搜索范围一般为以目标种子点为中心,左侧和右侧各分布10个温度数据;相邻目标种子点的搜索范围存在重合区域。搜索范围的预设数目倍和种子点的预设数目可以由实施者根据具体实际情况设置,这里不做具体限定。
至此,本实施例获得了温度数据序列中各个目标种子点的搜索范围。
S2,将任一目标种子点作为待分析种子点,对待分析种子点的搜索范围内的数据变化趋势进行分析,确定待分析种子点的左侧数据段和右侧数据段。
首先,需要说明的是,理想分割结果是对种子点搜索范围进行分割时分割后的数据段越完整越好,也就是将在搜索范围内具有相似数据变化趋势的数据点聚类为一类,避免出现一组时序上相邻且温度变化趋势阈值的数据点,由于种子点搜索范围的限制而被迫分割开,其可以有效减少后续迭代的计算量。
第一步,对待分析种子点的搜索范围内的数据变化趋势进行分析。
对待分析种子点的搜索范围内的温度数据进行极值曲线拟合,获得极值拟合曲线;极值拟合曲线包括极大值的拟合曲线和极小值的拟合曲线;计算两个拟合曲线上搜索范围内的每个温度数据的斜率,将斜率大于预设斜率阈值的温度数据确定为趋势变化明显的温度数据,获得两个拟合曲线对应的第一个和最后一个趋势变化明显的温度数据。
在本实施例中,为了保证待分析种子点的搜索范围内位于边缘的数据段具有相同的变化趋势,需要对待分析种子点的搜索范围内数据进行趋势变化分析。温度数据受噪声影响,将呈现不规则振幅的特征,因此需要确定极大值的拟合曲线和极小值的拟合曲线,利用差分法确定待分析种子点的极大值和极小值的拟合曲线。差分法的实现过程为现有技术,不在本发明保护范围内,此处不再进行详细阐述。
为了根据实际数据趋势变化情况,对待分析种子的搜索范围进行左右偏移调整,需要确定两个拟合曲线中第一个和最后一个趋势变化明显的温度数据,趋势变化明显的温度数据也就是拟合曲线的导函数值明显增大的温度数据,以便于后续确定位于搜索范围边缘位置的数据段,即左侧数据段和右侧数据段。第一个和最后一个趋势变化明显的温度数据是指按照时序排列时获得的,第一个和最后一个趋势变化明显的温度数据是通过两个拟合曲线确定的,也就是将两个拟合曲线对应的多个存在趋势变化明显的温度数据合并在一起,选取合并后的第一个和最后一个,其对于后续分析的参考价值更高。预设斜率阈值可以设置为0.3,当斜率大于预设斜率阈值时,说明对应的温度数据的变化趋势存在较为明显。预设斜率阈值可以由实施者根据具体实际情况设置,不做具体限定。
第二步,根据分析结果,确定待分析种子点的左侧数据段和右侧数据段。
将第一个趋势变化明显的温度数据到搜索范围内第一个温度数据之间的数据段,确定为待分析种子点的左侧数据段;将最后一个趋势变化明显的温度数据到搜索范围内最后一个温度数据之间的数据段确定为待分析种子点的右侧数据段。
需要说明的是,存在特殊情况,待分析种子点的搜索范围内不存在趋势变化明显的温度数据时,在搜索范围内直接将位于待分析种子点左侧的温度数据组成左侧数据段,将位于待分析种子点右侧的温度数据组成右侧数据段。
至此,本实施例获得了待分析种子点的左侧数据段和右侧数据段。
S3,根据右侧数据段,确定待分析种子点对应的初始右侧延伸成本指标和初始右侧截断成本指标。
需要说明的是,靠近搜索范围边缘的数据段可能由于搜索范围的限制促使具有相同数据变化趋势的数据段被分割,进而导致后续需要迭代的数据段增多,严重影响实时监测的效率。因此,需要将具有相似变化趋势的温度数据分割到同一数据段中,为了实现上述具有相似变化趋势的温度数据可以被分割到同一个数据段中,将搜索范围进行延伸或者截断。在对位于搜索范围边缘的数据段进行延伸或截断时,延伸或截断可能会导致过大或过小的搜索范围出现欠分割或过分割的问题,需要分析延伸或截断的付出成本,即代价,量化延伸付出成本和截断付出成本。
在本实施例中,左侧数据段和右侧数据段对应的偏离方向和偏离距离的计算过程一致,以确定右侧数据对应的偏离方向和偏离距离为例进行后续分析。首先,确定待分析种子点对应的初始右侧延伸成本指标和初始右侧截断成本指标,具体实现步骤可以包括:
第一步,确定右侧延伸数据段。
将在待分析种子点的右侧数据段的右侧选取的一个最邻近右侧数据段的噪点作为右相邻噪点,并将右侧数据段延伸扩展至右相邻噪点,将扩展后的右侧数据段确定为右侧延伸数据段。
在本实施例中,将右侧数据段延伸扩展至右相邻噪点的原因为:本发明的主要目的是促使目标种子点的搜索范围内数据趋势变化具有一致性,噪点会使相邻的温度数据发生截断,为了确保噪点位于趋势变化相似数据段的边缘位置,需要将右侧数据段延伸到下一个噪点的位置,其可以确保延伸数据范围内不存在噪点,用于左右偏移调整搜索范围的大小。
需要说明的是,对于待分析种子点对应的搜索范围中的各个噪点,利用LOF(LocalOutlier Factor,局部离群因子)算法,找出搜索范围内的离群点,将离群点确定为噪点,可以获得各个噪点的位置。LOF算法的实现过程为现有技术,不在本发明保护范围内,此处不再进行详细阐述。
第二步,确定子延伸数据段,根据子延伸数据段,确定初始右侧延伸成本指标。
第一子步骤,对右侧延伸数据段进行极值曲线拟合,获得极大值的拟合曲线和极小值的拟合曲线;确定两个拟合曲线对应的第一个趋势变化明显的温度数据,将右侧延伸数据段中右侧数据段的最后一个温度数据的后一个温度数据到第一个趋势变化明显的温度数据之间对应的数据段,确定为子延伸数据段。
在本实施例中,获得右侧延伸数据段,是为了在右侧延伸数据段中选取出数据趋势变化相似的数据段,依然使用极值拟合曲线的方式确定,具体为:利用差分法对右侧延伸数据段进行极值曲线拟合,参考步骤S2的第一步,可以确定两个拟合曲线中的各个趋势变化明显的温度数据,在获得两个拟合曲线中选取位于一个时序位于首位的趋势变化明显的温度数据。将右侧数据段的最后一个温度数据的后一个温度数据到上述第一个趋势变化明显的温度数据之间对应的数据段,确定为子延伸数据段,子延伸数据段的范围可以记为
第二子步骤,根据子延伸数据段内第一个温度数据和最后一个温度数据的数据采集时间、预设温度数据采集频率以及子延伸数据段对应的极值拟合曲线中每个温度数据的斜率,确定初始右侧延伸成本指标。
作为示例,初始右侧延伸成本指标的计算公式可以为:
;式中,/>
在初始右侧延伸成本指标的计算公式中,
第三步,根据右侧数据段,确定初始右侧截断成本指标。
将右侧数据段确定为截断数据段,根据截断数据段内第一个温度数据和最后一个温度数据的数据采集时间、预设温度数据采集频率以及截断数据段对应的极值拟合曲线中每个温度数据的斜率,确定初始右侧截断成本指标。其中,将截断数据段的范围可以记为
作为示例,初始右侧截断成本指标的计算公式可以为:
;式中,/>
在初始右侧截断成本指标的计算公式中,
至此,本实施例获得了待分析种子点对应的初始右侧延伸成本指标和初始右侧截断成本指标。
S4,根据初始右侧延伸成本指标对应的数据段和车辆震动数据序列,确定待分析种子点的延伸置信度;根据初始右侧截断成本指标对应的数据段和车辆震动数据序列,确定待分析种子点的截断置信度。
需要说明的是,冷链食品运输时车辆的震动信息可以在一定程度上反映温度振幅情况,即温度数据的可靠程度,可以通过车辆震动数据序列,衡量子延伸数据段和截断数据段的置信度。若震动数据是稳定的,那么其对应的温度数据振幅也是较为稳定的,可以利用震动数据的拟合曲线和对应温度数据段内相邻温度数据的差值绝对值的拟合曲线之间的结构相似性,表征车辆震动变化导致温度变化的情况,结构相似度越高表示该温度数据段的置信度越高,也就是该温度数据段内所有温度数据越真实。
第一步,根据初始右侧延伸成本指标对应的数据段和车辆震动数据序列,确定待分析种子点的延伸置信度。
初始右侧延伸成本指标对应的数据段为子延伸数据段,确定子延伸数据段内相邻温度数据之间差值绝对值,获得子延伸数据段内各个差值绝对值的拟合曲线;在车辆震动数据序列中选取与子延伸数据段相对应的第一车辆震动数据段,确定第一车辆震动数据段的拟合曲线;计算子延伸数据段的拟合曲线与第一车辆震动数据段的拟合曲线之间的结构相似度、子延伸数据段的拟合误差和第一车辆震动数据段的拟合误差,进而确定待分析种子点的延伸置信度。
其中,在车辆震动数据序列中选取与子延伸数据段相对应的第一车辆震动数据段,是指选取与子延伸数据段对应的数据采集时刻相同的车辆震动数据;基于拟合曲线的真实值和拟合值可以获得拟合误差,两个拟合曲线的拟合误差的计算过程为现有技术,不在本发明保护范围内,此处不再进行详细阐述。
作为示例,待分析种子点的延伸置信度的计算公式可以为:
;式中,/>
在延伸置信度的计算公式中,由于
第二步,根据初始右侧截断成本指标对应的数据段和车辆震动数据序列,确定待分析种子点的截断置信度。
初始右侧截断成本指标对应的数据段为截断数据段,确定截断数据段内相邻温度数据之间差值绝对值,获得截断数据段内各个差值绝对值的拟合曲线;在车辆震动数据序列中选取与截断数据段相对应的第二车辆震动数据段,确定第二车辆震动数据段的拟合曲线;计算截断数据段的拟合曲线与第二车辆震动数据段的拟合曲线之间的结构相似度、截断数据段的拟合误差和第二车辆震动数据段的拟合误差,进而确定待分析种子点的截断置信度。
作为示例,待分析种子点的截断置信度的计算公式可以为:
;式中,/>
在截断置信度的计算公式中,当截断数据段和第二车辆震动数据段的拟合曲线的拟合误差越小,结构相似度越高时,说明截断数据段对应的各个温度数据的置信度越高,受噪点的影响越小,待分析种子点的截断置信度就会越高。
至此,本实施例获得了待分析种子点的延伸置信度和截断置信度。
S5,根据待分析种子点对应的初始右侧延伸成本指标、延伸置信度、初始右侧截断成本指标以及截断置信度,确定待分析种子点的右侧数据段对应的偏离方向和偏离距离。
第一步,确定第一右侧延伸成本指标和第一右侧截断成本指标。
在本实施例中,延伸代价或截断代价的计算是通过原始温度数据获得的,而原始温度数据会受到噪声的影响,可以利用温度数据的置信度对其进行修正,获得新的右侧延伸成本指标和右侧截断成本指标,即第一右侧延伸成本指标和第一右侧截断成本指标。
将待分析种子点对应的初始右侧延伸成本指标与延伸置信度的乘积确定为第一右侧延伸成本指标,将待分析种子点对应的初始右侧截断成本指标与截断置信度的乘积确定为第一右侧截断成本指标。
第一右侧延伸成本指标的计算公式可以为:
第一右侧截断成本指标的计算公式可以为:
第二步,根据第一右侧延伸成本指标和第一右侧截断成本指标,确定待分析种子点的右侧数据段对应的偏离方向和偏离距离。
情况一:若第一右侧延伸成本指标小于第一右侧截断成本指标,则判定待分析种子点的右侧数据段向右偏离延伸,说明延伸成本小于截断成本,为了减少温度数据迭代计算量的同时,降低搜索范围的调整代价,右侧数据段需要向右偏离延伸;
偏离距离也就是搜索范围需要调整的温度数据的个数,偏离距离为
情况二:若第一右侧延伸成本指标大于第一右侧截断成本指标,则判定待分析种子点的右侧数据段向左偏离截断,说明延伸成本大于截断成本,为了减少温度数据迭代计算量的同时,降低搜索范围的调整代价,右侧数据段需要向左偏离截断;
偏离距离为
情况三,若第一右侧延伸成本指标等于第一右侧截断成本指标,则判定待分析种子点的右侧数据段向右偏离延伸。此时的延伸成本和截断成本相等,右侧数据段可以向左偏离截断也可以向右偏离延伸,但是为了保证数据多次被处理提高精确性,此时的右侧数据段需要向右偏离延伸。
至此,本实施例获得了待分析种子点的右侧数据段对应的偏离方向和偏离距离。
S6,确定待分析种子点的左侧数据段对应的偏离方向和偏离距离;利用右侧数据段和左侧数据段对应的偏离方向和偏离距离,对待分析种子点的搜索范围进行更新,获得待分析种子点对应的新的搜索范围。
第一步,确定待分析种子点的左侧数据段对应的偏离方向和偏离距离。
基于待分析种子点的左侧数据段,参考步骤S3-S5确定右侧数据段对应的偏离方向和偏离距离的实现步骤,可以确定待分析种子点的左侧数据段对应的偏离方向和偏离距离。
第二步,利用右侧数据段和左侧数据段对应的偏离方向和偏离距离,对待分析种子点的搜索范围进行更新,获得待分析种子点对应的新的搜索范围。
在本实施例中,假设待分析种子点的右侧数据段为向左偏离截断,左侧数据段为向左偏离延伸,则先将待分析种子点的搜索范围的右端向左截断偏移距离对应的多个温度数据,然后,将待分析种子点的搜索范围的左端向左延伸偏移距离对应的多个温度数据,将完成调整的搜索范围作为待分析种子点对应的新的搜索范围。
S7,根据每个目标种子点对应的新的搜索范围和当前时刻的温度数据,判断当前时刻的温度数据是否异常。
第一步,确定每个目标种子点对应的新的搜索范围。
在获得待分析种子点对应的新的搜索范围后,基于待分析种子点以外的其他目标种子点的搜索范围,参考步骤S2-S6,可以获得其他目标种子点对应的新的搜索范围,即每个目标种子点对应的新的搜索范围。
第二步,根据每个目标种子点对应的新的搜索范围和当前时刻的温度数据,判断当前时刻的温度数据是否异常。
对各个新的搜索范围进行相似性分析,将温度数据序列分割为各个相似数据变化趋势的目标数据段;选取包含当前时刻的温度数据的目标数据段,确定包含当前时刻的温度数据的目标数据段的总体趋势斜率值,计算总体趋势斜率值与当前时刻的温度数据的乘积,对乘积进行归一化处理,将归一化处理后的乘积确定为当前时刻的温度数据的异常程度;若当前时刻的温度数据的异常程度大于预设异常阈值,则判定当前时刻的温度数据异常,否则,判定当前时刻的温度数据不异常;其中,总体趋势斜率值为目标数据段对应的拟合曲线上所有数据点的斜率均值。
在本实施例中,首先,对于任意一个新的搜索范围,依然利用差分法获得新的搜索范围对应的极大值的拟合曲线和极小值的拟合曲线,确定两个极值拟合曲线上各个温度数据的斜率,通过斜率和所述预设斜率阈值,可以获得各个趋势变化明显的温度数据,将相邻两个趋势变化明显的温度数据对应的数据段确定为数据变化趋势相似的数据段,从而获得各个数据变化趋势相似的数据段,也就是各个目标数据段。
其次,对于包含当前时刻的温度数据的目标数据段,计算拟合曲线上所有数据点的斜率均值,将所有数据点的斜率均值确定为总体趋势斜率值,基于总体趋势斜率值和当前时刻的温度数据,确定当前时刻的温度数据的异常程度,异常程度的计算公式可以为:
最后,基于当前时刻的温度数据的异常程度,判断当前时刻的温度数据是否异常,预设异常阈值可以设置为0.6,若当前时刻的温度数据的异常程度
至此,本实施例完成了对当前时刻的温度数据是否异常的判断。
本发明提供了一种基于大数据的产品风险实时监测平台,该平台在实现过程中结合温度数据中由于车辆震动或颠簸造成的噪点在数据段中的位置,以及数据段的变化趋势调整超像素分割中种子点搜索范围的位置,从而减小超像素分割对数据段分割的过程中的计算量,并且通过分割结果进行异常检测,其有效提高了产品风险实时监测的效率。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,均应包含在本发明的保护范围之内。
- 一种基于大数据平台的实时风险控制方法及系统
- 一种基于大数据分析的地下工程施工安全实时在线监测云平台及在线监测方法