一种物联网数据处理系统及数据处理方法
文献发布时间:2023-06-19 10:14:56
技术领域
本申请涉及物联网领域,具体涉及一种物联网数据处理系统。本申请同时涉及一种物联网数据处理方法。
背景技术
物联网时代是信息化发展的重要时代,其特点是物体和物体相联并实现信息共享。随着物联网领域的发展越来越快,海量的数据需要处理,对管理服务器和计算设备的要求越来越高。
为了处理物联网领域的海量数据,现有技术大多采用管理服务器处理物联网数据。由物联网设备采集数据并发送至管理服务器,管理服务器接收物联网设备采集的数据并处理。物联网设备采集物联网数据并发送至管理服务器,管理服务根据数据处理任务分配相应的目标计算设备。
现有技术虽然由管理服务器处理物联网设备采集的数据,但是管理服务器处理负载过多,压力过大。在管理服务器处理数据,不仅对管理服务器要求高,而且计算结果的迟延性比较大。
发明内容
本申请提供一种物联网数据处理系统及数据处理方法,以解决现有技术中存在的上述问题。
本申请提供的物联网数据处理系统,包括:
物联网设备、管理服务器和多个计算设备;
所述物联网设备,用于采集物联网数据,并将采集到的物联网数据发送给所述管理服务器;
所述管理服务器,用于根据所述物联网数据生成针对所述物联网数据的数据处理任务,获取所述数据处理任务的任务特征和物联网属性特征,根据所述任务特征、所述物联网属性特征和每个计算设备的计算能力数据,为所述数据处理任务选择目标计算设备,并将所述数据处理任务分配给所述目标计算设备;
所述多个计算设备中的每个计算设备,用于获得所述管理服务器分配的数据处理任务,并针对所述分配的数据处理任务进行任务处理,获得任务处理结果。
可选的,按照下述方式根据所述物联网数据生成针对所述物联网数据的数据处理任务:
获取针对所述物联网数据的数据处理需求信息;
生成包括所述物联网数据和所述数据处理需求信息的数据处理任务。
可选的,按照下述方式获取所述数据处理任务的任务特征:
获取在指定的计算能力条件下处理所述数据处理任务所需的处理时长;
获取在所述数据处理任务时所需的处理步骤的数量和每个处理步骤的处理复杂度系数,根据所述处理步骤的数量和每个处理步骤的处理复杂度系数,计算所述数据处理任务的复杂度系数;
将所述处理时长和所述复杂度系数确定为所述任务特征。
可选的,按照下述方式获取所述数据处理任务的物联网属性特征:
获取所述物联网数据所属的物联网数据类型;
获取所述数据处理任务的任务类型;
将所述物联网数据类型和任务类型确定为所述物联网属性特征。
可选的,其特征在于,按照下述方式根据所述任务特征、所述物联网属性特征和每个计算设备的计算能力数据,为所述数据处理任务选择目标计算设备:
根据所述物联网属性特征获取所述数据处理任务的优先级信息;
按照所述优先级信息将所述数据处理任务送入数据处理队列中;
当所述数据处理任务已到达所述数据处理队列的队尾时,选择计算能力数据与所述任务特征匹配的计算设备作为所述目标计算设备。
可选的,按照下述方式根据所述物联网属性特征获取所述数据处理任务的优先级信息:
根据物联网属性特征与优先级信息之间的对应关系以及所述物联网属性特征,获取所述数据处理任务的优先级信息。
可选的,所述物联网属性特征包括所述物联网数据所属的物联网数据类型和所述数据处理任务的任务类型;
按照下述方式根据所述物联网属性特征获取所述数据处理任务的优先级信息:
获取当前应用场景信息;
获取与所述当前应用场景信息对应的物联网应用需求信息;
计算所述物联网数据类型与所述物联网应用需求信息之间的第一匹配度,根据匹配度范围与优先级信息之间的对应关系以及所述第一匹配度,获取与所述第一匹配度对应的第一优先级信息;
计算所述任务类型与所述物联网应用需求信息之间的第二匹配度,根据匹配度范围与优先级信息之间的对应关系以及所述第二匹配度,获取与所述第二匹配度对应的第二优先级信息;
根据所述第一优先级信息和所述第二优先级信息生成所述数据处理任务的优先级信息。
可选的,所述任务特征包括在指定的计算能力条件下处理所述数据处理任务所需的第一处理时长和所述数据处理任务的第一复杂度系数,所述计算能力数据包括当前处理所述数据处理任务所需的等待时长、当前处理所述数据处理任务所需的第二处理时长和当前能够处理的数据处理任务的第二复杂度系数;
按照下述方式选择计算能力数据与所述任务特征匹配的计算设备作为所述目标计算设备:
选择所述等待时长不超过等待时长阈值、所述第二处理时长不高于所述第一处理时长、所述第二复杂度系数不低于所述第一复杂度系数的计算设备作为所述目标计算设备。
本申请还提供一种物联网数据处理方法,包括:
获取物联网数据;
根据所述物联网数据生成针对所述物联网数据的数据处理任务;
获取所述数据处理任务的任务特征和物联网属性特征;
根据所述任务特征、所述物联网属性特征和每个计算设备的计算能力数据,为所述数据处理任务选择目标计算设备;
将所述数据处理任务分配给所述目标计算设备。
可选的,所述根据所述物联网数据生成针对所述物联网数据的数据处理任务,包括:获取针对所述物联网数据的数据处理需求信息;
生成包括所述物联网数据和所述数据处理需求信息的数据处理任务。
可选的,所述获取数据处理任务的任务特征,包括:获取在指定的计算能力条件下处理所述数据处理任务所需的处理时长;获取在所述数据处理任务时所需的处理步骤的数量和每个处理步骤的处理复杂度系数,根据所述处理步骤的数量和每个处理步骤的处理复杂度系数,计算所述数据处理任务的复杂度系数;将所述处理时长和所述复杂度系数确定为所述任务特征。
可选的,所述获取所述数据处理任务的物联网属性特征,包括:获取所述物联网数据所属的物联网数据类型;
获取所述数据处理任务的任务类型;将所述物联网数据类型和任务类型确定为所述物联网属性特征。
可选的,按照下述方式根据所述任务特征、所述物联网属性特征和每个计算设备的计算能力数据,为所述数据处理任务选择目标计算设备:根据所述物联网属性特征获取所述数据处理任务的优先级信息;按照所述优先级信息将所述数据处理任务送入数据处理队列中;当所述数据处理任务已到达所述数据处理队列的队尾时,选择计算能力数据与所述任务特征匹配的计算设备作为所述目标计算设备。
可选的,所述根据所述物联网属性特征获取所述数据处理任务的优先级信息,包括:根据物联网属性特征与优先级信息之间的对应关系以及所述物联网属性特征,获取所述数据处理任务的优先级信息。
可选的,所述物联网属性特征包括所述物联网数据所属的物联网数据类型和所述数据处理任务的任务类型;按照下述方式根据所述物联网属性特征获取所述数据处理任务的优先级信息:获取当前应用场景信息;获取与所述当前应用场景信息对应的物联网应用需求信息;计算所述物联网数据类型与所述物联网应用需求信息之间的第一匹配度,根据匹配度范围与优先级信息之间的对应关系以及所述第一匹配度,获取与所述第一匹配度对应的第一优先级信息;计算所述任务类型与所述物联网应用需求信息之间的第二匹配度,根据匹配度范围与优先级信息之间的对应关系以及所述第二匹配度,获取与所述第二匹配度对应的第二优先级信息;根据所述第一优先级信息和所述第二优先级信息生成所述数据处理任务的优先级信息。
可选的,所述任务特征包括在指定的计算能力条件下处理所述数据处理任务所需的第一处理时长和所述数据处理任务的第一复杂度系数,所述计算能力数据包括当前处理所述数据处理任务所需的等待时长、当前处理所述数据处理任务所需的第二处理时长和当前能够处理的数据处理任务的第二复杂度系数;按照下述方式选择计算能力数据与所述任务特征匹配的计算设备作为所述目标计算设备:选择所述等待时长不超过等待时长阈值、所述第二处理时长不高于所述第一处理时长、所述第二复杂度系数不低于所述第一复杂度系数的计算设备作为所述目标计算设备。
与现有技术相比,本申请具有以下优点:
本申请提供的一种物联网数据处理系统,通过物联网设备采集物联网数据,并将采集到的物联网数据发送给所述管理服务器;通过所述管理服务器,根据所述物联网数据生成针对所述物联网数据的数据处理任务,获取所述数据处理任务的任务特征和物联网属性特征,根据所述任务特征、所述物联网属性特征和每个计算设备的计算能力数据,为所述数据处理任务选择目标计算设备,并将所述数据处理任务分配给所述目标计算设备;所述多个计算设备中的每个计算设备,用于获得所述管理服务器分配的数据处理任务,并针对所述分配的数据处理任务进行任务处理,获得任务处理结果。本申请充分利用多个计算设备处理管理服务器分配的数据处理任务,避免管理服务器处理海量的物联网数据,减轻了管理服务器的工作压力,降低了针对物联网数据的处理时延,提高了针对物联网数据的处理效率,进而优化了物联网系统整体性能。
附图说明
图1为本申请实施例提供的一种物联网数据处理系统结构图;
图2为本申请实施例提供的一种物联网数据处理方法的流程图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本申请中,分别提供了一种物联网数据处理系统和一种物联网数据处理方法。在下面的实施例中逐一进行详细说明。
请参见图1,首先介绍一种物联网数据处理系统,该系统具体包括:物联网设备101、管理服务器102和计算设备103,其中,计算设备103的数量可以是多个。
物联网设备101可以采集物联网数据,并将采集到的物联网数据发送给管理服务器102,管理服务器102根据采集到的物联网数据生成针对物联网数据的数据处理任务,管理服务器102根据数据处理任务确定目标计算设备,其中,目标计算设备可以是多个计算设备103中的至少一个计算设备。
具体的,物联网设备101可以通过物联网设备101中的传感器采集物联网数据。物联网设备101中的传感器可以通过但不限于RS232(串行数据通信)或者RS485(串行总线标准)通讯协议将采集到的物联网数据发送给物联网设备101中的处理单元,物联网设备101中的处理单元经过A/D转换(模数转换)将物联网设备101中的传感器采集到的模拟信号转换为数字信号,同时调取预先存储在物联网设备的EEPROM(电可擦只读存储器)中的设备信息,设备信息包括但不限于设备标识和设备地址,物联网设备的处理单元将物联网数据和设备信息发送至管理服务器。其中,物联网设备将采集的物联网数据和设备信息发送至管理服务器102可以采用有线传输、无线传输等方式。物联网设备101还具有分析、执行功能,当物联网设备101通过物联网设备101中的传感器采集的物联网数据发送给物联网设备101的中央处理单元,物联网设备101的中央处理单元会对物联网数据进行分析。例如,智能摄像头会对采集的图像数据进行分析,并把分析后的结构化数据发送至管理服务器102。物联网设备101也具有执行功能,当物联网设备101接收到控制命令,物联网设备101会根据控制命令进行下一步动作。例如,当发现有移动侦测时,要求智能摄像头开启录像功能,并启用高清模式,智能摄像头会根据指令进行相应操作。
管理服务器102具有数据分析、策略制定优化、执行指令下发、系统升级和系统维护等功能。管理服务器102接收到物联网设备101提供的物联网数据后,根据物联网数据生成数据处理任务,获取数据处理任务的任务特征和物联网属性特征。根据任务特征、物联网属性特征和每个计算设备的计算能力数据,为数据处理任务选择目标计算设备,并将数据处理任务分配给目标计算设备,其中,目标计算设备可以是多个计算设备103中的至少一个计算设备。
具体的,当管理服务器102成功接收到物联网设备发送的物联网数据后,管理服务器102给物联网设备101发送接收成功的消息;当物联网设备101从发出物联网数据开始,在预设的时间内没有收到管理服务器102发送的接收成功的消息,会重新发送物联网数据,直至管理服务器102接收成功。
另外,管理服务器102可以获取针对所述物联网数据的数据处理需求信息,生成包括物联网数据和数据处理需求的数据处理任务。数据处理需求信息可以是针对数据处理的需求描述信息,具体可以包括针对数据处理过程的需求描述信息,也可以包括针对数据处理结果的需求描述信息,当然还可以包括针对数据处理的其他需求描述信息。例如,假设物联网数据是物联网电表设备上报的电表数据,数据处理需求信息可以是针对电表数据计算用户待缴费数据的需求描述信息。再例如,假设物联网数据是物联网空调设备上报的温度数据,数据处理需求信息可以是基于该温度数据生成温度调节指令的需求描述信息。再例如,针对普通摄像头采集的图像信息,判断是否为移动侦测等具体行为的需求信息。再例如,针对智能摄像头对采集的图像分析后上传的结构化数据进一步分析的需求。管理服务器102可以预先存储针对多种类型的物联网数据的数据处理需求信息,当获得物联网设备上报的物联网数据后,根据获得的物联网数据的类型,获得与该类型对应的数据处理需求信息。
管理服务器102还可以从其他设备获得数据处理需求信息。例如,管理服务器102获得物联网数据后,可以将物联网数据或者物联网数据的类型信息发送给用户终端设备,之后可以获得用户终端设备返回的针对物联网数据或者物联网数据的类型信息的数据处理需求信息。
管理服务器102获得物联网数据的数据处理需求信息后,生成包括物联网数据和数据处理需求的数据处理任务,数据处理任务包括在指定的计算能力条件下处理数据处理任务所需的处理时长,还包括数据处理任务时所需的处理步骤的数量和每个处理步骤的处理复杂度系数,管理服务器102根据处理步骤的数量和每个处理步骤的处理复杂度系数,计算数据处理任务的复杂度系数,将处理时长和复杂度系数确定为任务特征。
具体的,获取指定的计算能力条件下处理数据处理任务所需的处理时长可以从物联网设备的数据处理需求信息中获得,即物联网设备的数据处理需求信息中包含了在指定的计算能力条件下处理数据处理任务所需要的时长,也可以从管理服务器102预先存储的列表中获得,即管理服务器102预先存储了指定计算能力和处理任务时长对应表,也可以从用户终端设备获得,即用户终端设备预先存储了指定计算能力和处理任务时长对应表。
具体的,获取数据处理任务所需的处理步骤的数量和每个处理步骤的处理复杂度系数也可以从数据处理需求信息中获得,即数据处理需求中包含了数据处理任务时所需的处理步骤的数量和每个处理步骤的处理复杂度系数,也可以从管理服务器102预先存储的列表中获得。数据处理任务按照指定的计算能力将自身的任务处理步骤的数量可以确定为0-9,处理步骤的复杂度系数可以定义为0-9,也可以定义为其它数字,0为最低的复杂度系数,9为最高的复杂度系数。
数据处理任务的复杂度系数也可以为0-9,0为最低的复杂度系数,9为最高的复杂度系数。复杂度系数越高,对应的优先级越高。
另外,管理服务器102获取物联网数据所属的物联网数据类型,物联网数据类型可以从物联网设备的数据处理需求信息中获得,也可以从管理服务器102预先存储的列表中获得,也可以从用户终端设备中获得,即用户终端设备预存了物联网数据类型。
具体的,物联网数据类型可以为数值、图像、实时数据、非实时数据等,请参见表1。
表1
另外,管理服务器102还获取数据处理任务的任务类型,任务类型可以从物联网设备的数据处理需求信息中获得,也可以从管理服务器102预存的列表中获得,也可以从用户终端设备中获得,即用户终端设备中预存了任务类型列表。
具体的,任务类型可以为计算、统计、记录、数据转换、查询等,请参见表2。
表2
将物联网数据类型和任务类型确定为物联网属性特征,确定物联网的属性特征为了更好的确认物联网的任务,为物联网任务更合理、更快速的分配目标计算设备,以任务类型为计算为例,物联网属性特征请参见表3。
表3
另外,管理服务器102还按照下述方式根据物联网属性特征获取所述数据处理任务的优先级信息。获取当前应用场景信息;获取与当前应用场景信息对应的物联网应用需求信息;计算所述物联网数据类型与所述物联网应用需求信息之间的第一匹配度,根据匹配度范围与优先级信息之间的对应关系以及所述第一匹配度,获取与所述第一匹配度对应的第一优先级信息;计算所述任务类型与所述物联网应用需求信息之间的第二匹配度,根据匹配度范围与优先级信息之间的对应关系以及所述第二匹配度,获取与所述第二匹配度对应的第二优先级信息;根据所述第一优先级信息和所述第二优先级信息生成所述数据处理任务的优先级信息。
具体的,获取当前的应用场景信息可以从物联网设备的数据处理需求信息中获得,也可以从管理服务器102中预先存储的列表中获得,也可以从用户终端设备中获得。获取与应用场景信息对应的物联网应用需求信息可以从物联网设备的数据处理需求信息中获得,也可以从管理服务器102中预先存储的列表中获得,也可以从用户终端设备中获得。物联网应用需求信息包括,查询物联网智能电表电压或电流、根据物联网智能电表数据确定用户是否需要缴费、基于物联网空调当前的数据确定是否需要调节温度、分析普通摄像头采集的图像信息、对智能摄像头上传的结构化数据进一步分析的需求信息。管理服务器102根据物联网应用场景信息和物联网应用需求信息,计算物联网数据类型和物联网应用需求信息的第一匹配度,获取与第一匹配度对应的第一优先级信息。物联网场景信息和物联网应用需求信息表请参见表4。
表4
管理服务器102还计算根据任务类型与物联网应用需求信息之间的第二匹配度,根据匹配度范围与优先级信息之间的对应关系以及所述第二匹配度,获取与所述第二匹配度对应的第二优先级信息。管理服务器102根据第一优先级信息和第二优先级信息生成数据处理任务的优先级信息。
另外,任务特征包括在指定的计算能力条件下处理数据处理任务所需的第一处理时长和处理数据处理任务的第一复杂度系数,计算能力数据包括当前处理数据处理任务所需的等待时长、当前处理数据处理任务所需的第二处理时长和当前能够处理的数据处理任务的第二复杂度系数。
具体的,获取在指定的计算能力条件下处理数据处理任务所需的第一处理时长和所述数据处理任务的第一复杂度系数可以从物联网设备的数据处理需求信息中获得,也可以从管理服务器102的预先存储的列表中获得,也可以从用户终端设备中获得。处理数据处理任务所需的等待时长、当前处理数据处理任务所需的第二处理时长和当前能够处理的数据处理任务的第二复杂度系数可以从物联网设备的数据处理需求信息中获得,也可以从管理服务器102预先存储的列表中获得,也可以是管理服务器102根据当前的数据处理任务发出查询命令,目标计算设备103收到当前数据处理任务的查询指令后,根据正在处理的数据处理任务的状态确定处理数据处理任务所需的等待时长、处理数据处理任务所需的第二处理时长和当前能够处理的数据处理任务的第二复杂度系数,并将处理数据处理任务所需的等待时长、处理数据处理任务所需的第二处理时长和当前能够处理的数据处理任务的第二复杂度系数发送至管理服务器102。
确定当前任务所需的等待时长可以由管理服务器102发出查询指令,由目标计算设备103上报当前的任务状态和所需等待的时间,也可以由管理服务器102根据目标计算设备103的处理能力和所分配的任务确定目标计算设备103处理当前任务所需要的等待时间和复杂度系数。也可以是目标计算设备103周期性上报处理当前任务所剩余的时间,也可以是管理服务器102轮询获得。
等待时长阈值可以从物联网设备的数据处理需求信息中获得,也可以从管理服务器102的预先存储的列表中获得,也可以从用户终端设备中获得。
管理服务器102按照下述方式选择计算能力数据与所述任务特征匹配的计算设备作为所述目标计算设备:
选择所述等待时长不超过等待时长阈值、所述第二处理时长不高于所述第一处理时长、所述第二复杂度系数不低于所述第一复杂度系数的计算设备作为所述目标计算设备。
管理服务器102根据物联网属性特征获取所述数据处理任务的优先级信息,按照优先级信息将数据处理任务送入数据处理队列中,当数据处理任务已到达所述数据处理队列的队尾时,选择计算能力数据与所述任务特征匹配的计算设备作为所述目标计算设备103。当目标计算设备103处理完当前数据处理任务后,会发送处理成功的消息至管理服务器102。管理服务器102会根据目标计算设备103处理数据任务的状态更新计算设备状态列表和性能评估表。当目标设备103处理数据任务失败,会发送处理数据失败状态至管理服务器102或管理服务器102从发出数据处理开始,在第一时长内没有收到目标计算设备103返回的处理成功的消息,管理服务器102会按照优先级重新分配目标计算设备103。
管理服务器102还有系统升级管理、系统维护等功能。具体的,当管理服务器102发现物联网设备101或目标计算设备103有更新数据时,可以向物联网设备101或目标计算设备103分别发送相应的更新消息,更新消息中包含与物联网设备101或目标计算设备103分别对应的数据标识和设备标识。当接收到物联网设备101或目标计算设备103发送的更新请求后,将更新数据发送至对应的物联网设备101或目标计算设备103。管理服务器102中可以预设数据存储的时间,当数据存储到达指定时间,管理服务器102会发送相应消息至用户终端设备,提示用户终端设备进行数据备份,当发现到达指定时间的数据进行数据备份操作后,管理服务器101会自动删除相应数据。
以温室大棚监测系统为例,物联网设备101中的传感器采集当前空气的温湿度、土壤含水量、光照强度和时长,并将当前的空气温湿度、土壤含水量、光照强度和时长发送给物联网设备101的处理单元,物联网设备的处理单元将采集的物联网数据和设备信息发送给管理服务器102,管理服务器102生成包括物联网数据和数据处理需求信息的数据处理任务。数据处理任务中包括以Intel i3的处理能力,当前处理任务所需要的时长为10秒,复杂度系数为1。当前数据处理任务的应用场景为智能物联网农业大棚,物联网数据类型为数值数据,物联网任务类型为计算,得出的物联网属性为计算数值数据。因当前的物联网属性为计算数值数据,所需的时长为10秒,复杂度系数为1。管理服务器102选择以CPU为处理器的目标计算设备103来处理当前的数据处理任务。
还以物联网智能农业大棚为例,采集的信息为灌溉水流速、流量等实时信息,根据这些数据得到的任务为分析灌溉水流速和流量是否正常,管理服务器根据设备信息在列表内查出在Intel i3处理能力处理时长为10秒,复杂度系数为1,查出当前的应用场景为智能物联网大棚,应用需求信息为分析灌溉水流速是否正常。物联网数据类型为数据信息,物联网任务类型为实时计算,根据物联网数据类型和应用场景信息确认第一匹配度为1,根据任务类型实时计算和物联网应用场景信息得到第二匹配度也为1。第一优先级和第二优先级都为9,结合第一优先级和第二优先级得到的优先级为9。
将数据处理任务发送给目标计算设备,由于当前数据处理任务的优先级别较高,管理服务器102采用中断机制将目标计算设备103中处理能力较高的机器先将当前任务中断,优先处理当前的任务,当目标计算设备103将数据分析完成后发送给管理服务器102,管理服务器102将数据发给物联网大棚内的控制设备,由控制设备根据当前数据结果,来控制水的流速和流量。
再以物联网智能农业大棚为例,采集图像信息,记录瓜果的开花花期,实时性要求不高,但是处理难度大,处理时间长,处理过程包括时域滤波、傅立叶变换、频域滤波、模式识别等。因为采集的为图像信息,所以物联网数据类型为图像数据,物联网属性特征为分析当前的图像数据。管理服务器102根据当前的数据处理任务、物联网的任务特征和物联网属性特征,在本实施中采用具有GPU(Graphic Processing Unit,图形处理器)的目标计算设备103来分析当前的数据处理任务。因为图像数据的处理难度大,可将当前任务分配到不同的目标计算设备103上进行任务处理,任务处理完成后各目标计算设备将数据处理任务的结果发送至管理服务器102,由管理服务器102再进行汇总。
在上述的实施例中,提供了一种物联网数据处理系统,与之相对应的,本申请还提供一种物联网数据处理方法。请参看图2,其为本申请的一种物联网数据处理方法的实施例的流程图。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
步骤S201,获取物联网数据;
首先物联网设备通过物联网设备的传感器采集物联网数据,并将采集的物联网数据发送给管理服务器。其中,物联网设备的传感器采集的物联网数据可以通过但不限于RS232(串口通讯协议)或者RS485(串口通讯协议)通讯协议发送至物联网设备的处理单元。物联网设备的处理单元经过A/D转换(模数转换)将采集的模式信号转换为数字信号并保存,同时调取预先存储在所述物联网设备EEPROM(电可擦只读存储器)中的设备信息,并根据当前的物联网数据生成数据处理需求信息,设备信息包括但不限于设备标识和设备地址。其中,所述物联网设备将采集的物联网数据发送给管理服务器可以采用有线传输、无线传输等方式。物联网设备还具有分析、执行功能,当物联网设备通过物联网设备中的传感器采集的物联网数据发送给物联网设备的中央处理单元,物联网设备的中央处理单元会对物联网数据进行分析。物联网设备也具有执行功能,当物联网设备接收到控制命令,物联网设备会根据控制命令进行相应的操作。
步骤S202,根据物联网数据生成针对物联网数据的数据处理任务;
管理服务器具有数据分析、策略制定优化、执行指令下发、系统升级和系统维护等功能。管理服务器接收物联网设备发送的物联网数据,当管理服务器成功接收物联网设备发送的物联网数据后,管理服务器给物联网设备发送接收成功的消息。当物联网设备从发出物联网数据开始,在预设的时间内没有收到管理服务器发送的接收成功的消息,会重新发送物联网数据,直至管理服务器接收成功。当管理服务器成功接收物联网数据后,获取针对物联网数据的数据处理需求信息,生成包括物联网数据和所述数据处理需求的数据处理任务。
数据处理需求信息可以是针对数据处理的需求描述信息,具体可以包括针对数据处理过程的需求描述信息,也可以包括针对数据处理结果的需求描述信息,当然还可以包括针对数据处理的其他需求描述信息。例如,假设物联网数据是物联网电表设备上报的电表数据,数据处理需求信息可以是针对电表数据计算用户待缴费数据的需求描述信息。再例如,假设物联网数据是物联网空调设备上报的温度数据,数据处理需求信息可以是基于该温度数据生成温度调节指令的需求描述信息。再例如,针对普通摄像头采集的图像的信息,分析是否为移动侦测等具体行为的需求信息。再例如,针对智能摄像头对采集的图像分析后上传的结构化数据进一步分析的需求。
管理服务器可以预先存储针对多种类型的物联网数据的数据处理需求信息,当获得物联网设备上报的物联网数据后,根据获得的物联网数据的类型,获得与该类型对应的数据处理需求信息。
管理服务器还可以从其他设备获得数据处理需求信息。例如,管理服务器获得物联网数据后,可以将物联网数据或者物联网数据的类型信息发送给用户终端设备,之后可以获得用户终端设备返回的针对物联网数据或者物联网数据的类型信息的数据处理需求信息。
步骤S203,获取数据处理任务的任务特征和物联网属性特征;
管理服务器接收数据处理任务后,管理服务器查询在指定的计算能力条件下处理所述数据处理任务所需的处理时长并保存,也即获取在指定的计算能力条件下处理所述数据处理任务所需的处理时长,并且记录所述处理步骤的数量和每个处理步骤的处理复杂度系数,由此来计算数据处理任务的复杂度系数并保存。管理服务器根据数据处理任务的设备信息获取所述物联网数据所属的物联网数据类型和数据处理任务的任务类型。将处理时长和复杂度系数确定为任务特征,将物联网数据类型和任务类型确定为物联网属性特征。
具体的,获取指定的计算能力条件下处理数据处理任务所需的处理时长可以从物联网设备的数据处理需求信息中获得,即物联网设备的数据处理需求信息中包含了在指定的计算能力条件下处理数据处理任务所需要的时长,也可以从管理服务器预先存储的列表中获得,即管理服务器预先存储了指定计算能力和处理任务时长对应表,也可以从用户终端设备中获得。
具体的,获取数据处理任务所需的处理步骤的数量和每个处理步骤的处理复杂度系数也可以从数据处理需求信息中获得,即数据处理需求中包含了数据处理任务时所需的处理步骤的数量和每个处理步骤的处理复杂度系数,也可以从管理服务器预先存储的列表中获得。数据处理任务按照指定的计算能力将自身的任务处理步骤的数量可以确定为0-9,处理步骤的复杂度系数可以定义为0-9,也可以定义为其它数字,0为最低的复杂度系数,9为最高的复杂度系数。
数据处理任务的复杂度系数也可以为0-9,0为最低的复杂度系数,9为最高的复杂度系数。复杂度系数越高,对应的优先级越高。
另外,管理服务器获取物联网数据所属的物联网数据类型,物联网数据类型可以从物联网设备的数据处理需求信息中获得,也可以从管理服务器预先存储的列表中获得,也可以从用户终端设备中获得。
另外,管理服务器还获取数据处理任务的任务类型,任务类型可以从物联网设备的数据处理需求信息中获得,也可以从管理服务器预存的列表中获得,也可以从用户终端设备中获得。
步骤S204,根据任务特征、物联网属性特征和每个计算设备的计算能力数据,为数据处理任务选择目标计算设备;
管理服务器按照下述方式根据物联网属性特征获取数据处理任务的优先级信息。获取当前应用场景信息,获取与当前应用场景信息对应的物联网应用需求信息,计算所述物联网数据类型与所述物联网应用需求信息之间的第一匹配度,根据匹配度范围与优先级信息之间的对应关系以及所述第一匹配度,获取与第一匹配度对应的第一优先级信息,计算任务类型与物联网应用需求信息之间的第二匹配度,根据匹配度范围与优先级信息之间的对应关系以及第二匹配度,获取与第二匹配度对应的第二优先级信息;根据第一优先级信息和第二优先级信息生成数据处理任务的优先级信息。
具体的,获取当前的应用场景信息可以从物联网设备的数据处理需求信息中获得,也可以从管理服务器中预先存储的列表中获得,也可以从用户终端设备获得。获取与应用场景信息对应的物联网应用需求信息可以从物联网设备的数据处理需求信息中获得,也可以从管理服务器中预先存储的列表中获得,也可以从用户终端设备获得。物联网应用需求信息包括,查询物联网智能电表电压或电流、根据物联网智能电表数据确定用户是否需要缴费、基于物联网空调当前的数据确定是否需要调节温度。管理服务器根据物联网应用场景信息和物联网应用需求信息,计算物联网数据类型和物联网应用需求信息的第一匹配度,获取与第一匹配度对应的第一优先级信息。管理服务器还计算根据任务类型与物联网应用需求信息之间的第二匹配度,根据匹配度范围与优先级信息之间的对应关系以及所述第二匹配度,获取与所述第二匹配度对应的第二优先级信息。管理服务器根据第一优先级信息和第二优先级信息生成数据处理任务的优先级信息。管理服务器按照下述方式选择计算能力数据与所述任务特征匹配的计算设备作为所述目标计算设备。
选择等待时长不超过等待时长阈值、所述第二处理时长不高于第一处理时长、第二复杂度系数不低于第一复杂度系数的计算设备作为目标计算设备。
具体的,获取在指定的计算能力条件下处理数据处理任务所需的第一处理时长和数据处理任务的第一复杂度系数可以从物联网设备的数据处理需求信息中获得,也可以从管理服务器的预先存储的列表中获得,也可以从用户终端设备中获得。处理数据处理任务所需的等待时长、当前处理数据处理任务所需的第二处理时长和当前能够处理的数据处理任务的第二复杂度系数可以从物联网设备的数据处理需求信息中获得,也可以从管理服务器预先存储的列表中获得,也可以是管理服务器根据当前的数据处理任务发出查询命令,目标计算设备收到当前数据处理任务的查询指令后,根据正在处理的数据处理任务的状态确定处理数据处理任务所需的等待时长、处理数据处理任务所需的第二处理时长和当前能够处理的数据处理任务的第二复杂度系数,并将处理数据处理任务所需的等待时长、处理数据处理任务所需的第二处理时长和当前能够处理的数据处理任务的第二复杂度系数发送至管理服务器。步骤S205,将数据处理任务分配给所述目标计算设备。
管理服务器根据所述物联网属性特征获取所述数据处理任务的优先级信息;按照优先级信息将数据处理任务送入数据处理队列中,当数据处理任务已到达数据处理队列的队尾时,选择计算能力数据与所述任务特征匹配的计算设备作为目标计算设备。当目标计算设备处理完当前所述数据处理任务后,会发送处理成功的消息至管理服务器。管理服务器会根据更新所述计算设备的状态列表和性能评估表。当目标设备处理所述数据任务失败,会发送处理数据失败状态至管理服务器。管理服务器会根据当前优先级顺序重新选择目标计算设备。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
- 一种事件触发的物联网数据处理系统及数据处理方法
- 一种事件触发的物联网数据处理系统及数据处理方法