信息安全的交通信息处理系统、方法、设备及存储介质

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种信息安全的交通信息处理系统、方法、设备及存储介质。

背景技术

自动驾驶或辅助驾驶汽车(以下简称智能汽车)，需要在不断改进算法，以提高在识别准确度，操纵准确度。需要不断处理从各个传感器传来的信息，加以处理，从摄像头采集到的图像中，从LIDAR采集到云图中，还集合位置信息，天气，温湿度等，驾驶的操控信号，识别出关键信息，例如路况信息，交通信号，交通标志，道路标志，行人，车辆，障碍物等，根据此进行控制汽车动作。

目前配有自动驾驶设施的智能汽车越来越多，对数据的需求越来越强，这里面涉及到隐私安全问题，也越来越严重。

市场上需要一种既能保护隐私，又能充分利用用户数据提高识别模型算法进而提高自动驾驶操控能力的系统装配在智能汽车中。

另外通常各个汽车厂生产的汽车，为了达到改进模型算法目的，在行使过程中收集到不同的数据进行处理，一部分处理用于执行驾驶任务，通常会采集部分信息，上传到中心服务器，然后进行算法优化处理。，根据公开文献，很多厂商会把汽车采集到的数据上传到中心服务器进行后续的模型优化处理。这时有很多涉及到个人隐私的数据或其他敏感数据就会被传到厂家服务器，造成信息泄露的隐患。

有时候用户个人并不能鉴别是否涉及到自身隐私是否涉及敏感数据，单独的用户协议，实际上对用户的权力存在实质上的侵犯。其次当某一厂商掌握了额外的大量一手数据，会对社会整体安全构成一定威胁。

发明内容

本发明目的提供一种信息安全的交通信息处理系统、方法、设备及存储介质，提供一种方法让车辆之间，车辆与中心之间相互协作，采用联邦学习的方式，更好处理传感器采集的交通信息，在丰富数据的数量同时保护用户隐私，提高整体的模型识别水平和车辆操控水平、提高信息安全等级。

为达到上述目的，本发明采用如下技术方案实现：

本发明的第一方面提供了一种信息安全的交通信息处理系统，包括车辆端和中心端；

所述车辆端包括数据采集模块、本地处理模块、本地存储模块、联邦学习模块、判断器、通信模块和人机交互模块；

所述数据采集模块采集各种数据；

所述本地处理模块用于对采集的数据进行分析，得到分析结果，以用于产生控制信号；

所述本地存储模块用于存储需要进行联邦学习的数据；

所述联邦学习模块用于进行联邦学习，得到改进的模型；

所述判断器根据系统预设的条件判断采取相应的操作；

所述人机交互模块用于用户和车辆端进行交互；

所述中心端包括联邦学习中心模块和通信模块；

所述联邦学习中心模块用于协调各个用户进行联邦学习改进模型。

进一步的，所述数据采集模块包括多个传感器，用于采集环境数据和车辆数据。

进一步的，所述本地处理模块对采集的数据进行预处理，进行数据分析和识别计算。

进一步的，所述中心端还包括中心端本地处理模块和中心端本地存储模块；

所述中心端本地处理模块对采集的数据进行预处理；

所述中心端本地存储模块用于存储采集的原始数据、预处理后的数据和/或结果数据。

进一步的，所述中心端还包括模型评估模块，用于评估改进的模型的有效性。

进一步的，所述中心端还包括人机交互模块，用于用户和中心端进行交互。

本发明的第二方面提供了一种信息安全的交通信息处理方法，采用如前所述的系统进行处理，包括如下步骤：

对数据采集模块采集的数据进行预处理；

对经过预处理的数据进行机器学习数据前处理；

进行图形图像分析和识别计算，得到分析计算结果，传输给判断器；

判断器根据预设的条件对分析计算结果进行判断并给出相应的操作指令；

根据预设条件，满足条件后开始进行联邦学习；

和中心端通信以完成联邦学习，得到改进的模型。

进一步的，还包括对改进的模型进行本地验证，读取本地存储模块的数据进行验证。

进一步的，还包括将改进的模型计算得到的结果通过车辆端的人机交互模块，发送给用户进行结果确认。

进一步的，还包括将验证后的模型提交给所述中心端。

进一步的，还包括,判断器根据改进的模型进行计算，得到计算结果，选择需要用户进行判断的数据，在适当的时候通过车辆端的人机交互模块请求用户进行判断和/或标记，用于进一步改进模型。

进一步的，还包括：提示用户是否可以将数据和/或计算结果上传到中心端，和/或提示用户对数据进行标注，和/或给予用户相应的奖励。

进一步的，所述预设条件包括：车辆处于充电状态且具有网络连接。

本发明的第三方面提供了一种信息安全的交通信息处理设备，该设备包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器用于执行如前所述的方法。

本发明的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可操作来执行如前所述的方法。

综上所述，本发明提供了一种信息安全的交通信息处理系统、设备及存储介质，该系统包括车辆端和中心端；车辆端包括数据采集模块、本地处理模块、本地存储模块、联邦学习模块、判断器、通信模块和人机交互模块；中心端包括联邦学习中心模块和通信模块。该系统在交通信息车辆之间，车辆与中心之间相互协作，采用联邦学习的方式，更好处理传感器采集的交通信息，在丰富数据的数量同时保护用户隐私，提高整体的模型识别水平和车辆操控水平、提高信息安全等级。

本发明的有益技术效果有：

1、采用隐私安全的联邦学习，加密运算保护隐私，使得智能汽车采集到的图像不会发送到中心端，保护了用户的隐私，提升了系统的整体安全水平。

2、用户参与确认和标注数据整理和分析结果，对改进后模型进行检测，检测结果请用户确认，增加了模型的识别水平和车辆操控水平。

3、同时让用户参与模型改进环节，提高准确度，避免联邦学习可能存在的计算结果偏差的问题，让用户参与也确保用户的知情权。

附图说明

图1为本发明实施例的信息安全的交通信息处理系统车辆端结构示意图；

图2为本发明实施例的信息安全的交通信息处理系统中心端结构示意图；

图3为本发明另一实施例的信息安全的交通信息处理系统中心端结构示意图；

图4为本发明又一实施例的信息安全的交通信息处理系统中心端结构示意图；

图5为本发明实施例的信息安全的交通信息处理方法的流程示意图；

图6为本发明一具体实施例的信息安全的交通信息处理方法的流程示意图；

图7为本发明又一具体实施例的信息安全的交通信息处理方法的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明的第一方面提供了一种信息安全的交通信息处理系统，如图1所示，包括车辆端和中心端；车辆端包括数据采集模块、本地处理模块、本地存储模块、联邦学习模块、判断器、通信模块和人机交互模块。

其中，数据采集模块采集各种数据，包括多个传感器，用于采集环境数据和车辆数据。例如，摄像头传感器，用于获取图像视频数据；LIDAR激光扫描传感器用于获取云图数据；位置传感器，用于获取当前位置坐标、方向、加速度、海拔等；温湿度传感器，用于获取当前的温湿度；车辆内部的动力系统的传感器，是车内部的控制总线，OBD CBUS，提供的各种传感器资源；以及其他车内配置的传感器：车辆载重量载人数、载货量、风向、风力、时间、天气等。

本地处理模块用于对采集的数据进行分析，得到分析结果，以用于产生控制信号。具体的，本地处理模块用于处理各个传感器的信号进行分析，得到分析结果，以用于智能汽车的控制驾驶。本地处理模块包括采用深度学习模型算法进行分析识别；还包括数据预处理功能，主要是处理各个传感器的数据进行预处理，并进一步加工以便于进行识别计算。

所述判断器，根据系统预设的条件采取动作，判断当前图形标签和识别置信度。判断器主要是车外数据和车内数据，从传感器得到数值，判断是否发生碰撞、是否超车并线、是否下雨、起雾以及驾驶时间长度等。

本地存储模块用于存储需要进行联邦学习的数据。相关数据保存在在本地不上传，并进行预处理，以为后续的联邦学习数据分析做准备。联邦学习模块用于进行联邦学习，得到改进的模型，包括加密方式进行和非加密方式进行。通信模块用于和外界通信，包括和中心端通信、和移动终端通信等。人机交互模块用于用户和车辆端进行交互，提示需要用户选择确认标记的原始图形、视频、图像、标记、以及模型运算结果、可能的隐私提示、处理方式结果，进而保护用户隐私，鼓励用户参与模型训练和改进。

具体的，摄像头采集到前方图像，传感器采集到当前光照强度，当前下雨状态，通过本地计算模块，进行预处理，机器学习数据前处理，使用当前的图形识别算法。得到识别结果，这里面包括识别到的目标信息、置信度、位置、以及各种标签信息，比如标签信息为当前下雨。GPS信息作为一种传感器，以及基础地图信息得到目标100米处有一个交通信号灯。比如，当前位置为杭州，以对应信号灯的基础形状。判断器内置当前规则，比如当前规则是对信号灯的识别，下雨天，亮度低于100流明，置信度低于80％则需要采集该数据更新模型。本地存储模块在判断器的指令下，从本地计算模块中得到该识别结果对应的各项数据，原始数据，预处理过后的数据，标签数据(下雨)，并进行处理，以准备进行联邦学习。当联邦学习条件准备好了，则连接中心系统，开始进行联邦学习。学习完成后，会得到改进的算法模型。改进的算法模型会在本地进行验证。验证时候，会从本地存储模块提取数据进行验证。验证的结果会在人机交互界面显示，由用户进行确认。确认后模型有效果后，会改进本地计算模块中机器学习数据前处理，图像识别算法，判断器。以提高计算准确度。

如图2所示，中心端包括联邦学习中心模块和通信模块；联邦学习中心模块用于协调各个用户进行联邦学习改进模型；通信模块用于和外界通信。

进一步的，如图3所示，在一个具体实施例中，车辆端无变化，中心端增加了中心端本地处理模块、中心端本地存储模块。中心端本地处理模块对中心端采集到的数据进行预处理；中心端本地存储模块用于存储采集的原始数据、预处理后的数据和/或结果数据。中心端增加这些部件的效果是模拟车辆端以便提供更多有效数据，便于模型改进更新。因为联邦学习需要参与学习的车辆端都参与，但是车辆在很多情况下无法参与，这就影响了联邦学习的效果，中心端提供一个车辆端的功能，就可以在很大程度上解决这个问题，因为中心端的这个功能始终在线，可以参以联邦学习。

进一步的，如图3所示，所述中心端还包括人机交互模块，用于用户和中心端进行交互。

进一步的，如图4所示，在一个具体的实施例中，所述中心端还包括模型评估模块，用于评估改进的模型的有效性。中心端为了更好进行模型算法改进，具有中心的本地存储、人机交互模块、联邦学习中心模块、模型评估模块及通信模块。因为车辆的流动性，计算所需的数据量可能会有影响，因此在中心端也部署存储器，存储从其他渠道得到的标签化的，经过处理的数据，配合车辆客户端进行联邦学习，同时得到的模型在中心端也进行评估，由人员通过人机交互模块进行评测，以确认模型的效果，经过验证改进后的模型算法通过OTA方式下传至智能汽车，以进行算法升级。中心人机界面可以审查中心系统接收到用户主动提交的用于改进模型的数据，可以以此给用户奖励。

本发明的第二方面提供了一种信息安全的交通信息处理方法，采用如前所述的系统进行处理，如图5所示，包括如下步骤：

步骤S100，对数据采集模块采集的数据进行预处理。

步骤S200，对经过预处理的数据进行机器学习数据前处理。

步骤S300，进行图形图像分析和识别计算，得到分析计算结果，传输给判断器。

步骤S400，判断器根据预设的条件对分析计算结果进行判断并给出相应的操作指令。

步骤S500，根据预设条件，满足条件后开始进行联邦学习。

步骤S600，和中心端通信以完成联邦学习，得到改进的模型。

以一个具体的实施例对该方法进行进一步的说明。如图6所示，一种信息安全的交通信息处理方法包括如下步骤：

1.第一步：对各个传感器采集到的数据进行预处理，根据传感器的特性去除干扰，信号滤波等操作。

2.第二步：进行机器学习数据前处理，预处理包括对图像数据，云图统一化、标准化、二次降噪、降低维度和数据增强等以便于进行机器学习。

3.第三步：进行图形图像分析，采用基础的识别算法进行识别计算。

4.第四步：得到识别结果，传给判断器，也传给智能汽车的执行机构，根据执行结果执行动作，例如识别到路中间有障碍物，提示报警，根据其他信息采取转向，减速等措施。

前四步是普通智能汽车具有的功能。

5.第五步：判断器根据识别结果，确认本地存储模块是否保留本次判断结果对应的原始数据，也就是机器学习数据前处理得到的数据。如果符合预定义的条件，则进行保存。

6.第6步：判断器判断结果告诉本地存储模块根据保存数据。

7.第7步：本地存储模块根据判断器的指令从相关模块保存数据以及对数据进行预处理，以方便后续的保密情况下的联邦学习。

8.第8步：根据预设条件，满足条件开始进行联邦学习。

9.第9步：和中心系统通信以完成联邦学习。

10.第10步：联邦学习完成，得到改进的算法模型。

11.第11步：算法模型本地开始验证，读取本地存储模块的数据开始验证。

12.第12步可选的。模型效果，通过人机界面，请求用户进行确认。

13.第13步验证后的模型，用于改进机器学习的数据预处理模块，图形图像识别算法，判断器。

14.第14步可选的。验证后的模型提交中心系统。

15.第15步可选的(图中未示)，判断器根据模型计算结果，选择需要用户进行判断的图片，在适当的时候请求用户进行判断和标记。(可以在联邦学习前，也可在联邦学习后)进而根据用户的判断和标记，用于改进模型算法。

16.第16步可选的(图中未示)，提示用户是否可以上传中心系统。如果可以，系统给予用户相应的奖励。

其中，启动联邦学习的条件由预先设置的。例如：车辆处于充电状态有足够的能源供应和网络连接，处于安全的状态。

启动用户判断的状态，车辆处于安全的停止状态。如：充电状态，车辆处于安全的停车场。

以另一个具体的实施例对该方法进行进一步的说明。如图7所示，一种信息安全的交通信息处理方法包括如下步骤：

第一步：汽车传感器检测到开始充电/开始加油/车辆处于安全状态。

第二步：系统判断器判断是否用户参与标注验证，用户数据共享，联邦学习模型改进，工作的条件是否满足。例如，依据充电时间的长短，或用户意愿；依据当前和中心系统的网络连接状态；依据当前本地数据存储种可用于计算的数据量的多少，或其他预设条件。

第三步：人机交互界面提示用户是否开始参与标注验证，用户开始标注，系统根据判断器的规则从本地存储模块提取图片，请用户进行标注，并记录标注结果，系统根据判断器的规则从本地存储模块提取图片，并使用模型算法，进行计算，计算结果，请用户进行确认，并记录确认结果。

系统根据判断器的规则从本地存储模块提取图片，进行适当处理标注，以请用户进行确认，并且可以提供上传用于模型改进。用户确认后进行后续操作。

系统根据判断器的规则启动联邦学习模型改进。

第四步：系统收到用户的贡献的内容，给用户以奖励，例如：用户充电的价格可以有折扣，提供给用户激励电子令牌。

其中，第三步中，可以通过通信模块把人机界面推送到用户手机等终端上进行操作。

进一步的，系统的判断器，在条件合适时候(车辆在充电，加油时，)启动驾驶指令模型分析，分析考察驾驶者的驾驶记录(包括自动驾驶)历史数据(加减油门，并线超车记录，速度平滑度，位置，路况)经过用户同意后，并提示用户输入乘坐感受。进行联邦学习分析，得到更好的车辆控制指令集合模型，给用户更好驾驶。

本发明的第三方面提供了一种信息安全的交通信息处理设备，该设备包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器用于执行如前所述的方法。

本发明的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可操作来执行如前所述的方法。

综上所述，本发明提供了一种信息安全的交通信息处理系统、设备及存储介质，该系统包括车辆端和中心端；车辆端包括数据采集模块、本地处理模块、本地存储模块、联邦学习模块、通信模块和人机交互模块；中心端包括联邦学习中心模块和通信模块。该系统在交通信息车辆之间，车辆与中心之间相互协作，采用联邦学习的方式，更好处理传感器采集的交通信息，在丰富数据的数量同时保护用户隐私，提高整体的模型识别水平和车辆操控水平、提高信息安全等级。本发明采用隐私安全的联邦学习，使用加密运算手段保护隐私，使用聚合数据进行模型训练,可以使得智能汽车采集到的不同类型的原始数据如图像，温度，速度等类型不会发送到中心端，保护了用户的隐私。本发明中用户参与确认和标注数据整理和分析结果，对改进后模型进行检测，检测结果请用户确认，增加了模型的识别水平和车辆操控水平。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。