一种解决IoT设备海量数据压力的方法、装置及存储介质

技术领域

本发明涉及数据处理技术领域，具体涉及一种解决IoT设备海量数据压力的方法、装置及存储介质。

背景技术

IoT设备指的是数据源头的边缘侧设备，IoT设备通常包括传感器设备、智能设备以及工业设备等，在IoT设备的运行过程中，会产生海量的数据并传输给处理器，这些数据中即包含有价值的数据，也包含各种垃圾数据，海量数据的传输给通信技术带来了无限的压力，同时也导致处理器对数据的处理能力下降。

发明内容

有鉴于此，本发明的目的在于提供一种解决IoT设备海量数据压力的方法、装置及存储介质，以解决现有技术中，在IoT设备的运行过程中，会产生海量的数据并传输给处理器，海量数据的传输给通信技术带来了无限的压力，同时也导致处理器对数据的处理能力下降的问题。

根据本发明实施例的第一方面，提供一种解决IoT设备海量数据压力的方法，所述方法包括：

获取IoT设备的原始数据并发送给边缘服务器，通过所述边缘服务器对原始数据进行预处理；

通过预设的筛选方法对原始数据进行筛选，获取到有价值的数据；

对有价值的数据进行压缩和存储，并上传至云端；

所述云端基于预训练好的神经网络模型对所述有价值的数据进行识别分类处理；

所述云端基于预训练好的神经网络模型对所述有价值的数据进行识别分类处理包括：

使用预训练好的神经网络模型对有价值的数据进行图像识别分类得到图像数据；

使用预训练好的神经网络模型对有价值的数据进行文本识别分类得到文本数据；

使用预训练好的神经网络模型对有价值的数据进行语音识别分类得到语音数据；

基于识别分类好的数据，采用预设的深度学习算法对相应类别的数据进行处理得到目标数据。

优选地，还包括：

对于获取到的不同数据源的有价值的数据，采用流式处理算法来对多个不同数据源的数据进行分组操作。

优选地，还包括：

对于经过分组操作后的不同数据源的有价值的数据，采用预设的数据集成算法将不同数据源的异构数据统一到规范的数据模型中。

优选地，

所述基于识别分类好的数据，采用相应的深度学习算法对相应类别的数据进行处理得到目标数据包括：

通过预设的卷积神经网络对所述图像数据进行特征提取、目标检测或图像分割操作，得到图像目标数据；

通过预设的循环神经网络对所述文本数据中的时序数据进行序列建模、异常检测或文本生成操作，得到文本目标数据；

通过预设的语音识别神经网络模型对所述语音数据进行关键词提取或目标语音提取操作，得到语音目标数据。

优选地，

所述边缘服务器设置有边缘接口，外部模块通过所述边缘接口访问或使用所述边缘服务器。

根据本发明实施例的第二方面，提供一种解决IoT设备海量数据压力的装置，所述装置包括：

数据采集模块：用于获取IoT设备的原始数据并发送给边缘服务器，通过边缘服务器对原始数据进行预处理；

筛选模块：用于通过预设的筛选方法对原始数据进行筛选，获取到有价值的数据；

数据存储模块：用于对有价值的数据进行压缩和存储，并上传至云端；

分类模块：用于通过所述云端基于预训练好的神经网络模型对所述有价值的数据进行识别分类处理；

分析处理模块：用于基于识别分类好的数据，采用相应的深度学习算法对相应类别的数据进行处理得到目标数据。

根据本发明实施例的第三方面，提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现所述的上述方法中的各个步骤。

本发明的实施例提供的技术方案可以包括以下有益效果：

本申请中，通过在边缘侧设置边缘服务器，将数据处理和应用程序集中在网络边缘的设备中，同时对数据按照预设的标准进行预筛选，可以有效的过滤掉垃圾数据，同时解决联网设备分析处理的问题，它对数据传输量的要求更小，有效的解决海量数据对通信技术的压力，有利于提高本地存储与计算能力，消除数据及数据传输的瓶颈，通过预设的算法与模型的运算，且边缘节点更接近于用户终端装置，可以加快数据的处理与传送速度，减少延迟，提高数据处理的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种解决IoT设备海量数据压力的方法的流程示意图；

图2是根据一示例性实施例示出的一种解决IoT设备海量数据压力的装置的系统示意图；

附图中：1-数据采集模块，2-筛选模块，3-数据存储模块，4-分类模块，5-分析处理模块。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与本发明的一些方面相一致的装置和方法的例子。

实施例一

图1是根据一示例性实施例示出的一种解决IoT设备海量数据压力的方法的流程示意图，如图1所示，该方法包括：

S1，获取IoT设备的原始数据并发送给边缘服务器，通过所述边缘服务器对原始数据进行预处理；

S2，通过预设的筛选方法对原始数据进行筛选，获取到有价值的数据；

S3，对有价值的数据进行压缩和存储，并上传至云端；

S4，所述云端基于预训练好的神经网络模型对所述有价值的数据进行识别分类处理；

所述云端基于预训练好的神经网络模型对所述有价值的数据进行识别分类处理包括：

使用预训练好的神经网络模型对有价值的数据进行图像识别分类得到图像数据；

使用预训练好的神经网络模型对有价值的数据进行文本识别分类得到文本数据；

使用预训练好的神经网络模型对有价值的数据进行语音识别分类得到语音数据；

S5，基于识别分类好的数据，采用预设的深度学习算法对相应类别的数据进行处理得到目标数据；

可以理解的是，数以亿计的IoT设备产生的海量数据将给通信技术带来无限压力，这就要求靠近数据源头的网络边缘侧或者设备，就近提供边缘智能服务，实时处理设备收集的有价值的数据，可进行模型预置、深度算法分析、实现多网、多维度数据实时集成和异构数据同构化；具体为：数据源头的边缘侧或设备指的是IoT中的设备，这些设备包括但不限于以下几个：传感器设备：温度传感器、湿度传感器、光照传感器等，用于采集环境数据；智能设备：智能家电、智能安防设备、智能交通设备等，可以通过网络传输数据；工业设备：工业生产中使用的各类设备，如生产机器、传送带等，用于监控和控制生产过程；边缘设备将采集到的原始数据发送到设置好的边缘服务器中，对原始数据进行预处理，包括去噪、滤波、校准等，以确保数据的准确性；然后通过采用人工智能的相关技术（如机器学习、深度学习等），对数据进行筛选，从海量的数据中提取出有价值的数据；对筛选后的有价值数据进行压缩和存储，以减少数据存储成本和传输带宽，可以使用开源数据库（如MySQL、MongoDB等）或分布式存储系统（如Hadoop、Kafka等）进行数据存储，以此实现边缘计算的目的，所述边缘计算即在边缘设备上进行数据处理和分析，减少对云端的依赖，边缘计算通过使用开源边缘计算框架（如EdgeX Foundry、KubeEdge等）来实现；将经过筛选和压缩的数据传输到云端或其他上层系统进行进一步的处理和分析，所述云端通过预设的模型对所述有价值的数据进行识别分类处理，基于识别分类好的数据，采用预设的深度学习算法对相应类别的数据进行处理得到目标数据，实现数据集成和异构数据同构化的目的；本申请通过将数据处理和应用程序集中在网络边緣的设备中，可以解决联网设备分析处理的问题，它对数据传输量的要求更，有利于提高本地存储与计算能力，消除数据及数据传输的瓶颈。

优选地，还包括：

对于获取到的不同数据源的有价值的数据，采用流式处理算法来对多个不同数据源的数据进行分组操作；

可以理解的是，对于边缘服务器来说，其面对的数据源并不只是单一的IoT设备的数据源，而是同时面向多个IoT设备，所以其获取到的数据源格式并不统一，这样并不方便实现对数据的统一处理与管理，所以对于不同数据源的数据，需要使用流式处理算法（如Apache Kafka、Storm等）来实时处理、分组和整合从多个数据源采集到的有价值数据，流式处理算法可以在数据流中进行实时处理和聚合，以便更高效地进行数据集成和分析。

优选地，还包括：

对于经过分组操作后的不同数据源的有价值的数据，采用预设的数据集成算法将不同数据源的异构数据统一到规范的数据模型中；

可以理解的是，如上述所述，对于不同数据源的数据，由于数据源之间属于异构数据（如不同格式、不同结构的数据），所以还需要使用数据集成算法和技术，例如数据清洗、数据转换和数据标准化等，将采集到的异构数据（如不同格式、不同结构的数据）统一到规范的数据模型中，这样可以使得不同源的数据能够进行有效的整合和分析，提高数据的一致性和可用性。

优选地，

所述云端基于预训练好的神经网络模型对所述有价值的数据进行识别分类处理包括：

使用预训练好的神经网络模型对有价值的数据进行图像识别分类得到图像数据；

使用预训练好的神经网络模型对有价值的数据进行文本识别分类得到文本数据；

使用预训练好的神经网络模型对有价值的数据进行语音识别分类得到语音数据；

可以理解的是，对于获取到的数据源中的有价值的数据，其本身形式可以是图像、语音或者文字文本，所以需要使用不同的模型对数据进行识别分类，值得强调的是，上述的使用预训练好的神经网络模型对有价值的数据进行图像识别分类得到图像数据，使用预训练好的神经网络模型对有价值的数据进行文本识别分类得到文本数据，使用预训练好的神经网络模型对有价值的数据进行语音识别分类得到语音数据，均是现有技术中常用的神经网络模型（如VGG16、ResNet等），均可以实现上述的功能，这些预置模型在大规模数据集上进行了训练，可以直接使用以节省时间和资源，具体选择何种模型或算法取决于实际应用场景和用户的需求。

优选地，

所述基于识别分类好的数据，采用相应的深度学习算法对相应类别的数据进行处理得到目标数据包括：

通过预设的卷积神经网络对所述图像数据进行特征提取、目标检测或图像分割操作，得到图像目标数据；

通过预设的循环神经网络对所述文本数据中的时序数据进行序列建模、异常检测或文本生成操作，得到文本目标数据；

通过预设的语音识别神经网络模型对所述语音数据进行关键词提取或目标语音提取操作，得到语音目标数据；

可以理解的是，在对有价值的数据进行识别分类后，就可以根据分类识别的结果采取对应的算法或者模型进行相应的处理，比如可以使用深度学习算法（如卷积神经网络、循环神经网络等）来对有价值数据进行深度分析，例如，使用卷积神经网络对图像数据进行特征提取、目标检测或图像分割等处理获取到图像目标数据；比如还可以使用循环神经网络对文本数据中的时序数据（如传感器数据、日志数据等）进行序列建模、异常检测或文本生成等处理获取到文本目标数据，同理，还可以通过语音识别神经网络模型对所述语音数据进行关键词提取或目标语音提取操作，得到语音目标数据。

优选地，

所述边缘服务器设置有边缘接口，外部模块通过所述边缘接口访问或使用所述边缘服务器；

可以理解的是，本申请还提供边缘智能服务的接口和功能，使其他系统、应用或模块能够访问和使用边缘计算和智能分析功能，例如，通过RESTful API或消息队列等方式，向外部系统提供数据查询、分析委托、结果返回等功能，从而实现边缘服务器的拓展使用。

实施例二

图2是根据一示例性实施例示出的一种解决IoT设备海量数据压力的装置的系统示意图，如图2所示，该装置包括：

数据采集模块1：用于获取IoT设备的原始数据并发送给边缘服务器，通过边缘服务器对原始数据进行预处理；

筛选模块2：用于通过预设的筛选方法对原始数据进行筛选，获取到有价值的数据；

数据存储模块3：用于对有价值的数据进行压缩和存储，并上传至云端；

分类模块4：用于通过所述云端基于预训练好的神经网络模型对所述有价值的数据进行识别分类处理；

分析处理模块5：用于基于识别分类好的数据，采用相应的深度学习算法对相应类别的数据进行处理得到目标数据；

可以理解的是，本申请通过数据采集模块1用于获取IoT设备的原始数据并发送给边缘服务器，通过边缘服务器对原始数据进行预处理；通过筛选模块2用于通过预设的筛选方法对原始数据进行筛选，获取到有价值的数据；数据存储模块3用于对有价值的数据进行压缩和存储，并上传至云端；分类模块4用于通过所述云端基于预训练好的神经网络模型对所述有价值的数据进行识别分类处理；分析处理模块5用于基于识别分类好的数据，采用相应的深度学习算法对相应类别的数据进行处理得到目标数据；本申请中，通过在边缘侧设置边缘服务器，将数据处理和应用程序集中在网络边緣的设备中，同时对数据按照预设的标准进行预筛选，可以有效的过滤掉垃圾数据，同时解决联网设备分析处理的问题，它对数据传输量的要求更小，有效的解决海量数据对通信技术的压力，有利于提高本地存储与计算能力，消除数据及数据传输的瓶颈，通过预设的算法与模型的运算，且边缘节点更接近于用户終端装置，可以加快数据的处理与传送速度，减少延迟，提高数据处理的效率。

实施例三：

本实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现上述方法中的各个步骤；

可以理解的是，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。