物联网设备流量实时监测系统及方法

技术领域

本发明涉及数据监测技术领域，尤其涉及物联网设备流量实时监测系统及方法。

背景技术

物联网的快速发展使得大量的物联网设备连接到网络，其中物联网设备是连接的必要组成部分。为了方便对物联网设备的管理，对设备流量数据进行采集、监测是必要的。

然而，当前的物联网设备流量管理方式存在一些问题，如流量统计来源单一、失真、误差大、分配不均、无法实时准确监测设备流量消耗状况等，限制了物联网的发展，也相对应的无法使后续的数据分析和预测过程得到保障。

发明内容

本发明的目的是为了至少解决现有技术的不足之一，提供物联网设备流量实时监测系统及方法。

为了实现上述目的，本发明采用以下的技术方案：

具体的，提出物联网设备流量实时监测方法，包括以下：

每隔第一时长，获取终端设备处于预设第二时长即单位时长内的流量消耗数据f1、设备管理平台处于所述单位时长内的流量消耗数据f2；

基于所述流量消耗数据f1以及流量消耗数据f2按第一规则计算终端设备距当前时刻第一时长的实时消耗流量；

每隔第三时长，获取终端设备关联的运营商物联卡的流量消耗数据f3；

基于所述流量消耗数据f1、流量消耗数据f2以及流量消耗数据f3按第二规则计算终端设备距当前时刻第三时长的准实时消耗流量；

反馈所述实时消耗流量以及准实时消耗流量，以供后续数据分析以及实时监控使用。

进一步，具体的，流量消耗数据f1的获取过程，包括，

于终端设备中设置流量计算模块；

通过流量计算模块实时监测终端设备与设备管理平台之间的网关流量消耗情况；

每隔第一时长，流量计算模块统计单位时间内通过终端设备的流量得到设备流量消耗数据f1。

进一步，具体的，流量消耗数据f2的获取过程，包括

于设备管理平台中设置流量计算模块；

通过流量计算模块实时监测经互联网通过设备管理平台进出终端设备的流量消耗情况；

每隔第一时长，流量计算模块统计单位时间内通过设备管理平台的流量得到设备流量消耗数据f2。

进一步，具体的，流量消耗数据f3的获取过程，包括，

设备管理平台通过与运营商物联卡的接口进行通信，获取话单流量使用数据。

每隔第三时长，设备管理平台通过运营商每第三时长时间段内话单流量统计接口，获取流量消耗数据f3，并反馈给设备流量统计模块。

进一步，具体的，按第一规则计算终端设备距当前时刻第一时长的实时消耗流量，包括，

当距当前时刻第一时长恰好被已采集的f1以及f2数据的采集时间段所包含，则实时消耗流量y1.flow＝(f1.flow*第一时长/第二时长+f2.flow*第一时长/第二时长/2，其中f1.flow表示包含距当前时刻第一时长时间段的流量消耗数据f1，f2.flow表示包含距当前时刻第一时长时间段的流量消耗数据f2；

当距当前时刻第一时长被已采集的f1以及f2数据的采集时间段部分包含，则y1.flow＝(f1模.flow*第一时长/第二时长+f2.flow*第一时长/第二时长/2或y1.flow＝(f1.flow*第一时长/第二时长+f2模.flow*第一时长/第二时长/2，

其中f1模.flow表示包含距当前时刻第一时长时间段的流量消耗数据f1的模拟计算量，f2模.flow表示包含距当前时刻第一时长时间段的流量消耗数据f2的模拟计算量，

且f1模.flow＝(f1a.flow+f1b.flow)/2，f2模.flow＝(f2a.flow+f2b.flow)/2，其中f1a.flow与f1b.flow以及f2a.flow与f2b.flow分别为f1与f2的a、b两次采样数据，且a、b两次采样数据整体恰好包含距当前时刻第一时长的时间段；

当已采集的f1或f2数据的采集时间段存在任意一方缺失距当前时刻第一时长的，以y1.flow＝未缺失方.flow*第一时长/第二时长，其中未缺失方.flow为未缺失的f1.flow或f2.flow；

当已采集的f1与f2数据的采集时间段均缺失距当前时刻第一时长的，则此时的y1.flow为前一时刻计算得到的y1.flow前与后一时刻计算得到的y1.flow后两者的平均值。

进一步，具体的，按第二规则计算终端设备距当前时刻第三时长的准实时消耗流量，包括，

计算于距当前时刻第三时长内的f1总和ft1，以及于距当前时刻第三时长内的f2总和ft2；

则准实时消耗流量y2.flow＝((ft1.flow+ft2.flow)/2+ft3.flow)/2。

进一步，具体的，所述第一时长为30s，所述第二时长为60s，所述第三时长为300s。

本发明还提出物联网设备流量实时监测系统，包括：

待监测的终端设备；

设备管理平台，与所述终端设备通信连接；

运营商物联卡，与所述设备管理平台通信连接，用于统计终端设备的运营商流量消耗；

设备流量统计模块，包括，

第一数据采集单元，用于每隔第一时长，获取终端设备处于预设第二时长即单位时长内的流量消耗数据f1、设备管理平台处于所述单位时长内的流量消耗数据f2；

实时消耗流量计算单元，用于基于所述流量消耗数据f1以及流量消耗数据f2按第一规则计算终端设备距当前时刻第一时长的实时消耗流量；

第二数据采集单元，用于每隔第三时长，获取终端设备关联的运营商物联卡的流量消耗数据f3；

准实时消耗流量计算单元，用于基于所述流量消耗数据f1、流量消耗数据f2以及流量消耗数据f3按第二规则计算终端设备距当前时刻第三时长的准实时消耗流量；

数据反馈单元，用于反馈所述实时消耗流量以及准实时消耗流量，以供后续数据分析以及实时监控使用。

进一步，具体的，所述第一时长为30s，所述第二时长为60s，所述第三时长为300s。

本发明的有益效果为：

本发明提出物联网设备流量实时监测方法，具备如下有益效果，

1.实时监测流量消耗情况：通过在终端设备和设备管理平台安装流量计算模块，可以实时监测设备与设备管理平台之间的流量消耗情况，包括终端设备内的流量消耗和通过互联网进出终端设备的流量消耗。

2.准确的流量统计：通过不同来源的流量计算模块和运营商接口，可以获取终端设备、设备管理平台和运营商物联卡的流量消耗数据，并进行统计和记录。这样可以实现对单位时间内设备流量消耗的准确统计。

3.数据完整性补偿：对于指定统计时间段内缺失数据的情况，通过数据采样模拟计算和后补模拟计算的方式，可以对流量数据进行补偿，以保证统计数据的完整性和准确性。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为本发明物联网设备流量实时监测方法的流程图；

图2所示为本发明物联网设备流量实时监测系统的运行原理图；

图3所示为本发明物联网设备流量实时监测方法的设备实时、准实时流量消耗统计数据流程示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。

参照图1以及图3，实施例1，基于上述思路本发明提出物联网设备流量实时监测方法，包括以下：

步骤110、每隔第一时长，获取终端设备处于预设第二时长即单位时长内的流量消耗数据f1、设备管理平台处于所述单位时长内的流量消耗数据f2；

步骤120、基于所述流量消耗数据f1以及流量消耗数据f2按第一规则计算终端设备距当前时刻第一时长的实时消耗流量；

步骤130、每隔第三时长，获取终端设备关联的运营商物联卡的流量消耗数据f3；

步骤140、基于所述流量消耗数据f1、流量消耗数据f2以及流量消耗数据f3按第二规则计算终端设备距当前时刻第三时长的准实时消耗流量；

步骤150、反馈所述实时消耗流量以及准实时消耗流量，以供后续数据分析以及实时监控使用。

后续数据分析以及实时监控可以从以下思路入手，

1.提供准确的流量数据基础：通过本发明的方法和算法，可以获取到准确的设备流量消耗数据，为后续的流量处理和分析提供可靠的数据基础。这有助于进行精准的流量分析和优化策略制定。

2.实时监控和故障诊断：通过实时监测设备流量消耗情况，可以及时发现异常情况和故障，进行实时监控和故障诊断。这有助于提高设备的稳定性和可靠性，减少故障的发生和影响。

3.数据分析和优化决策：通过对设备流量数据的分析，可以获取设备的使用情况和趋势，为后续的业务优化和决策提供依据。这有助于提高业务效率和用户体验，优化资源分配和网络配置。

作为本发明的优选实施方式，具体的，流量消耗数据f1的获取过程，包括，

于终端设备中设置流量计算模块；

通过流量计算模块实时监测终端设备与设备管理平台之间的网关流量消耗情况；

每隔第一时长，流量计算模块统计单位时间内通过终端设备的流量得到设备流量消耗数据f1。

在本优选实施方式中，在实际应用时，流量消耗数据f1的获取过程包括以下过程，

1.终端设备内置或安装第三方流量计算模块(例如Softflowd)。

2.流量计算模块实时监测终端设备与设备管理平台之间的网关流量消耗情况。

3.每30秒，流量计算模块将单位时间(60秒)内通过终端设备统计的设备流量消耗数据f1，反馈给设备流量统计模块。

f1转化后JSON样本数据：

{"device":"jkc001","source":"terminal","flow":"1024","unit":"kb","start":"2023-01-0112:00:00","end":"2023-01-01 12:01:00"}

字段说明：

device:设备id

source:数据来源(terminal代表终端设备)

flow:使用流量

unit:流量单位

start:统计开始时间

end:统计结束时间

4.设备流量统计模块接收到f1数据后，进行进一步处理和记录。

需要注意的是，每种类型设备的流量计算模块需要根据具体的业务需求和设备特性进行设计和实现，不在本发明专利范围内。流量计算模块可以通过监听网络数据包、对数据流进行解析和统计等方式，来实时捕捉设备与设备管理平台之间的流量消耗数据。

作为本发明的优选实施方式，具体的，流量消耗数据f2的获取过程，包括

于设备管理平台中设置流量计算模块；

通过流量计算模块实时监测经互联网通过设备管理平台进出终端设备的流量消耗情况；

每隔第一时长，流量计算模块统计单位时间内通过设备管理平台的流量得到设备流量消耗数据f2。

在本优选实施方式中，在实际应用时，流量消耗数据f2的获取过程包括以下过程，

1.设备管理平台安装第三方流量计算模块(例如Softflowd)。

2.流量计算模块实时监测经互联网通过设备管理平台进出终端设备的流量消耗情况。

3.每30秒，流量计算模块将单位时间(60秒)内通过设备管理平台统计的设备流量消耗数据f2，反馈给设备流量统计模块。

f2转化后JSON样本数据：

{"device":"jkc001","source":"dmp","flow":"1024","unit":"kb","start":"2023-01-0112:00:00","end":"2023-01-01 12:01:00"}

字段说明：

device:设备id

source:数据来源(dmp代表设备管理平台)

flow:使用流量

unit:流量单位

start:统计开始时间

end:统计结束时间

4.设备流量统计模块接收到f2数据后，进行进一步处理和记录。

需要注意的是，设备管理平台安装的流量计算模块需要支持对经互联网接收或发送到终端设备的流量进行实时监测和统计，不在本发明专利范围内。流量计算模块可以通过监听网络数据包、对数据流进行解析和统计等方式，来捕捉经互联网进出终端设备的流量消耗数据。

作为本发明的优选实施方式，具体的，流量消耗数据f3的获取过程，包括，

设备管理平台通过与运营商物联卡的接口进行通信，获取话单流量使用数据。

每隔第三时长，设备管理平台通过运营商每第三时长时间段内话单流量统计接口，获取流量消耗数据f3，并反馈给设备流量统计模块。

在本优选实施方式中，在实际应用时，流量消耗数据f3的获取过程包括以下过程，

1.设备管理平台通过与运营商物联卡的接口进行通信，获取话单流量使用数据。

2.每300秒，设备管理平台通过运营商每5分钟时间段话单流量统计接口，获取设备流量消耗数据f3反馈给设备流量统计模块。

f3转化后JSON样本数据：

{"device":"jkc001","source":"cm","flow":"102400","unit":"kb","start":"2023-01-01

12:05:00","end":"2023-01-01 12:00:00"}

字段说明：

device:设备id

source:数据来源(cm代表中国移动)

flow:使用流量

unit:流量单位

start:统计开始时间

end:统计结束时间

3.设备流量统计模块接收到f3数据后，进行进一步处理和记录。

需要注意的是，设备管理平台需要与运营商物联卡的接口进行对接，以获取话单流量使用数据，不在本发明专利范围内。通过运营商接口可以获取到设备的流量消耗情况，该数据是基于物联卡在运营商流量计算进行统计得到的。

作为本发明的优选实施方式，具体的，按第一规则计算终端设备距当前时刻第一时长的实时消耗流量，包括，

当距当前时刻第一时长恰好被已采集的f1以及f2数据的采集时间段所包含，则实时消耗流量y1.flow＝(f1.flow*第一时长/第二时长+f2.flow*第一时长/第二时长/2，其中f1.flow表示包含距当前时刻第一时长时间段的流量消耗数据f1，f2.flow表示包含距当前时刻第一时长时间段的流量消耗数据f2；

当距当前时刻第一时长被已采集的f1以及f2数据的采集时间段部分包含，则y1.flow＝(f1模.flow*第一时长/第二时长+f2.flow*第一时长/第二时长/2或y1.flow＝(f1.flow*第一时长/第二时长+f2模.flow*第一时长/第二时长/2，

其中f1模.flow表示包含距当前时刻第一时长时间段的流量消耗数据f1的模拟计算量，f2模.flow表示包含距当前时刻第一时长时间段的流量消耗数据f2的模拟计算量，

且f1模.flow＝(f1a.flow+f1b.flow)/2，f2模.flow＝(f2a.flow+f2b.flow)/2，其中f1a.flow与f1b.flow以及f2a.flow与f2b.flow分别为f1与f2的a、b两次采样数据，且a、b两次采样数据整体恰好包含距当前时刻第一时长的时间段；

当已采集的f1或f2数据的采集时间段存在任意一方缺失距当前时刻第一时长的，以y1.flow＝未缺失方.flow*第一时长/第二时长，其中未缺失方.flow为未缺失的f1.flow或f2.flow；

当已采集的f1与f2数据的采集时间段均缺失距当前时刻第一时长的，则此时的y1.flow为前一时刻计算得到的y1.flow前与后一时刻计算得到的y1.flow后两者的平均值。

在本优选实施方式中，当所述第一时长为30s，所述第二时长为60s，所述第三时长为300s时，设备流量统计模块计算设备实时(每30秒)消耗流量，并反馈30秒单位时间内设备流量消耗数据到后续数据分析和实时监控模块进一步处理；

以下是各种情况下，单位时间30秒内设备实时流量y1计算公式：

在指定统计30秒时间段，已采集的f1和f2数据刚好都包含该时间段流量统计数据时：y1.flow＝(f1.flow/2+f2.flow/2)/2

举例：指定统计时间段：2023-01-01 12:00:15～2023-01-01 12:00:45，都可在f1和f2找到刚好包含该时间段流量统计数据。

f1.start＝2023-01-01 12:00:00

f1.end＝2023-01-01 12:01:00

f1.flow＝500

f1.unit＝kb

f2.start＝2023-01-01 12:00:00

f2.end＝2023-01-01 12:01:00

f2.flow＝600

f2.unit＝kb

y1.flow＝(500/2+600/2)/2＝275kb

在指定统计30秒时间段，已采集的f1或f2数据不包含该时间段流量统计数据时，需先对f1或f2进行数据采样模拟计算，以f1需要模拟为例：f1模.flow＝含指定30秒时间段的f1总和/f1数量。y1.flow＝(f1模.flow/2+f2.flow/2)/2

举例：指定统计时间段：2023-01-01 12:00:45～2023-01-01 12:01:15

f1a.start＝2023-01-01 12:00:00

f1a.end＝2023-01-01 12:01:00

f1a.flow＝500

f1a.unit＝kb

f1b.start＝2023-01-01 12:01:00

f1b.end＝2023-01-01 12:02:00

f1b.flow＝600

f1b.unit＝kb

f2.start＝2023-01-01 12:00:30

f2.end＝2023-01-01 12:01:30

f2.flow＝700

f2.unit＝kb

f1模.flow＝(f1a.flow+f1b.flow)/2＝(500+600)/2＝550kb

y1.flow＝(f1模.flow/2+f2.flow/2)/2＝(550/2+700/2)/2＝312.5kb

在指定统计30秒时间段，已采集的f1或f2数据缺失该时间段流量统计数据时，需要排除缺失数据，以f1缺失为例：y1.flow＝f2.flow/2

在指定统计30秒时间段，已采集的f1和f2数据都缺失该时间段流量统计数据时，暂时搁置该30秒时间段内流量实时统计，300秒后通过补偿方式对该时间段流量数据进行后补模拟计算：y1.flow＝(y1缺失时间段前有流量记录的数据+y1缺失时间段后有流量记录的数据)/2

举例：指定缺失统计时间段：2023-01-01 12:04:00～2023-01-01 12:06:00

y1a.start～y1a.end＝2023-01-01 12:03:00～2023-01-01 12:04:00

y1a.flow＝250

y1a.unit＝kb

y1b.start～y1b.end(缺失)＝2023-01-01 12:04:00～2023-01-01 12:05:00

y1c.start～y1c.end(缺失)＝2023-01-01 12:05:00～2023-01-01 12:06:00

y1d.start～y1d.end＝2023-01-01 12:06:00～2023-01-01 12:07:00

y1d.flow＝300

y1d.unit＝kb

y1b.flow＝y1c.flow＝(y1a.flow+y1d.flow)/2＝(250+300)/2＝275kb

作为本发明的优选实施方式，具体的，按第二规则计算终端设备距当前时刻第三时长的准实时消耗流量，包括，

计算于距当前时刻第三时长内的f1总和ft1，以及于距当前时刻第三时长内的f2总和ft2；

则准实时消耗流量y2.flow＝((ft1.flow+ft2.flow)/2+ft3.flow)/2。

在本优选实施方式中，

设备流量统计模块计算设备准实时(每300秒)消耗流量，并反馈单位时间300秒内设备流量消耗数据到后续数据分析和实时监控模块进一步处理；

单位时间300秒内设备准实时流量y2计算公式：

ft1(终端设备采集的指定300秒时段内流量数据)＝含指定300秒时间段的f1总和(共6个)/6*5

ft2(设备管理平台采集的指定300秒时段内流量数据)＝含指定300秒时间段的f2总和(共6个)/6*5

ft3(运营商接口采集的指定300秒时间内流量数据)＝含指定300秒时间段的f3，按时间段权重占比的流量总和

y2.flow＝((ft1.flow+ft2.flow)/2+ft3.flow)/2

说明：基于对运营商流量数据的信任，运营商接口数据在准实时流量数据的权重与设备终端和设备管理平台的算数平均数相同。

举例：指定统计时间段：2023-01-01 12:00:45～2023-01-01 12:05:45(300秒)

t.start＝2023-01-01 12:00:45

t.end＝2023-01-01 12:05:45

ft1.flow＝(f1a.flow+f1b.flow+f1c.flow+f1d.flow+f1e.flow+f1f.flow)/6*5＝(500+600+700+800+900+1000)/6*5＝3750kb

ft2.flow＝(f2a.flow+f2b.flow+f2c.flow+f2d.flow+f2e.flow+f2f.flow)/6*5＝(550+650+750+850+950+1050)/6*5＝4000kb

ft3.flow＝(f3a.end-t.start)/300*3500+(t.end-f3b.start)/300*4000＝255/300*3500+45/300*4000＝3575

y2.flow＝((ft1.flow+ft2.flow)/2+ft3.flow)/2＝((3750+4000)/2+3575)/2＝3725kb。

参照图2，本发明还提出物联网设备流量实时监测系统，包括：

待监测的终端设备；

设备管理平台，与所述终端设备通信连接；

运营商物联卡，与所述设备管理平台通信连接，用于统计终端设备的运营商流量消耗；

设备流量统计模块，包括，

第一数据采集单元，用于每隔第一时长，获取终端设备处于预设第二时长即单位时长内的流量消耗数据f1、设备管理平台处于所述单位时长内的流量消耗数据f2；

实时消耗流量计算单元，用于基于所述流量消耗数据f1以及流量消耗数据f2按第一规则计算终端设备距当前时刻第一时长的实时消耗流量；

第二数据采集单元，用于每隔第三时长，获取终端设备关联的运营商物联卡的流量消耗数据f3；

准实时消耗流量计算单元，用于基于所述流量消耗数据f1、流量消耗数据f2以及流量消耗数据f3按第二规则计算终端设备距当前时刻第三时长的准实时消耗流量；

数据反馈单元，用于反馈所述实时消耗流量以及准实时消耗流量，以供后续数据分析以及实时监控使用。

本发明所提出的物联网设备流量实时监测系统具备如下优势，

一、设备流量数据采样来源。本发明结合终端设备每30秒实时流量统计采样、设备管理平台每30秒实时流量统计采样和运营商准实时每5分钟话单流量数据统计采样。避免单来源流量数据失效、失真和误差带来数据准确度不高的问题。

二、设备流量统计的实时性和准实时性算法处理

1.单位时间内设备实时流量的计算：根据指定统计30秒时间段内已采集的终端设备和设备管理平台的流量消耗数据，计算设备实时流量。该算法的关键点是根据已采集的数据，进行数据模拟计算和数据补偿，以保证实时流量的准确性。

2.单位时间内设备准实时流量的计算：根据指定统计300秒时间段内已采集的终端设备、设备管理平台和运营商接口的流量消耗数据，计算设备准实时流量。该算法的关键点是基于对运营商流量数据的信任，使用算数平均数和权重的方式计算准实时流量数据。

发明点是在终端设备端、设备管理平台端和运营商端流量消耗的采集和处理算法。通过实时监测和统计设备流量消耗数据，并计算单位时间内的每60秒实时流量和每300秒准实时流量，使得设备流量的监测和统计更加准确和可靠。此发明点可以在保护范围内，防止他人未经许可使用相同的方法和算法进行设备流量的采集和处理。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储的介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或系统、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。

尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。