一种数据预处理方法
文献发布时间:2023-06-19 11:11:32
技术领域
本发明涉及数据处理技术领域,尤其是涉及一种数据预处理方法。
背景技术
现有技术可以实现形式多样的数据预处理流程,但是数据处理的数据范围局限性高,只能适用于某一个特定领域的特定数据,扩展性和灵活性还不够强,对于通用的用于机器学习建模或者分析的数据,仍然还需要采用特征表达的方式提高其数据预处理的兼容性。
传统的数据预处理方法还包含采用ETL技术在大数据平台实现数据从数据源获取数据、转化和存储的过程;或者采用人工手动收集、处理和存储的方式实现,数据预处理的流程针对每种不同形式的数据制定不同的数据预处理规则,特别是使用不同源数据运用于大数据分析、大数据机器学习构建大数据模型都需要经过繁琐的数据预处理过程,方能从数据获取到高质量可运算的数据。
大数据平台的ETL技术针对不同源的数据采用不同的ETL方案,数据的采集转化存储实现率高但是仍然无法直接用于数据分析和建模计算,仍需要进一步预处理过程才可获得高质量可运算的数据。
同时,现有技术中不同源的数据需要采用不同的接口实现数据调用,调用后的不同源数据一般不能在同一个数据预处理方案中共享使用。
发明内容
本发明的目的是提供一种数据预处理方法,以解决相关技术中不同源数据的数据预处理过程繁杂、扩展性和灵活性不够的技术问题。
本发明的目的,可以通过如下技术方案实现:
一种数据预处理方法,包括以下步骤:
在接收到数据预处理指令时,从多个数据源中读取待处理的数据;
将所述待处理的数据中的非结构化数据转换为结构化数据;
根据预处理匹配库对所述结构化数据进行聚类得到聚类数据;
对所述聚类数据进行数据标准化、数据联合和数据清洗后得到预处理后的数据。
进一步地,根据预处理匹配库对所述结构化数据进行聚类得到聚类数据包括:
对所述结构化数据的特征列数据进行轮询,检测空特征数据,通过强制转换得到数值型数据,根据字符串动态匹配得到非数值型数据和混合型数据;其中,所述预处理匹配库包括字符特征匹配库和特征正则匹配库,所述混合型数据包括数值型数据和非数值型数据。
进一步地,通过强制转换得到数值型数据之前还包括:检测所述特征列数据是否为时间格式的数据,若是则所述特征列数据为时间日期型数据。
进一步地,通过强制转换得到数值型数据包括:将所述特征列数据进行浮点型强制转换,若转换成功,则所述特征列数据为单维数值型数据;否则,去掉所述特征列数据中的多余字符得到多维数值型数据。
进一步地,根据字符串动态匹配得到非数值型数据和混合型数据包括:
将所述特征列数据进行字符串动态匹配,若匹配到数字,则所述特征列数据为混合型数据,否则所述特征列数据为非数值型数据。
进一步地,根据字符串动态匹配得到非数值型数据和混合型数据之后还包括:
根据字符特征匹配库将所述非数值型数据分为单维非数值型数据和多维非数值型数据,具体为:判断所述非数值型数据是否全部匹配到单个字符,若是,则为单维非数值型数据,否则为多维非数值型数据。
进一步地,根据字符串动态匹配得到非数值型数据和混合型数据之后还包括:
根据特征正则匹配库将所述混合型数据分为规律型数据和非规律型数据,具体为:判断所述混合型数据是否全部符合特征正则匹配库,若符合,则所述混合型数据为规律型数据,否则所述混合型数据为非规律型数据。
进一步地,所述多个数据源包括数据库数据、文件数据、云端数据和爬虫数据中的至少两者。
进一步地,从多个数据源中读取待处理的数据包括:
根据所述待处理的数据的存储位置,自动识别并调用对应的标准API接口读取所述待处理的数据。
进一步地,对所述聚类数据进行数据标准化、数据联合和数据清洗后得到规格化数据之后还包括:
将所述预处理后的数据存储在数据库中,用于数据集成、数据挖掘、数据决策和/或企业的在线联机分析。
本发明提供的一种数据预处理方法,包括以下步骤:在接收到数据预处理指令时,从多个数据源中读取待处理的数据;将所述待处理的数据中的非结构化数据转换为结构化数据;根据预处理匹配库对所述结构化数据进行聚类得到聚类数据;对所述聚类数据进行数据标准化、数据联合和数据清洗后得到预处理后的数据。
鉴于上述技术方案,本发明带来的有益效果为:
本发明获取面向智能制造服务中存储在不同位置的多源数据信息,将所读取的数据结构化转换为结构化数据,运用统一的数据预处理策略对结构化数据进行预处理,消除了多源数据间的隔阂;数据层次聚类表示对数据预处理扩展性和灵活性更强,数据的处理范围更广,数据层次聚类数据表征方法能够解决几乎所有数据的表达过程,能实现共享统一的预处理操作方案,对多源数据的预处理效率更高,得到的预处理后的数据质量更高。
附图说明
图1为本发明一种数据预处理方法的流程示意图;
图2为本发明一种数据预处理方法的过程示意图;
图3为本发明一种数据预处理方法的结构化转换和层次聚类过程示意图;
图4为本发明一种数据预处理方法的层次聚类的流程示意图;
图5为本发明一种数据预处理方法的层次聚类数据数据处理过程示意图。
具体实施方式
本发明实施例提供的数据预处理方法,以解决相关技术中不同源数据的数据预处理过程繁杂、扩展性和灵活性不够的技术问题。
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
根据现有相关技术的实现流程分析,主要有如下缺点:
(1)现有的发明专利阐述的技术都可以实现形式多样的数据预处理流程,但是数据处理的数据范围局限性高,只能适用于某一个特定领域的特定数据,扩展性和灵活性还不够强,对于通用的用于机器学习建模或者分析的数据,仍然还需要采用特征表达的方式提高其数据预处理的兼容性。
(2)大数据平台的ETL技术针对不同源的数据采用不同的ETL方案,数据的采集转化存储实现率高但是仍然无法直接用于数据分析和建模计算,仍需要进一步预处理过程才可获得高质量可运算的数据。
(3)不同源的数据需要采用不同的接口实现数据调用,调用后的不同源数据一般不能在同一个数据预处理方案中共享使用。
由于存储数据的数据容器不同,数据的数据结构呈现出不同的数据形式,是如今大数据多样化的一种体现,而如今数据处理框架只能针对特定的一种或多种数据源做数据预处理操作,数据处理范围十分有限,且平台依赖性比较高。本发明实施例提供的数据预处理方法,能实现共享多源数据的数据预处理操作。
请参阅图1,本发明一种数据预处理方法的实施例,包括以下步骤:
在接收到数据预处理指令时,从多个数据源中读取待处理的数据;
将所述待处理的数据中的非结构化数据转换为结构化数据;
根据预处理匹配库对所述结构化数据进行聚类得到聚类数据;
对所述聚类数据进行数据标准化、数据联合和数据清洗后得到预处理后的数据。
本实施例中,首先根据接收到的数据预处理命令,从多个数据源中读取待处理的数据,这些多源数据的显要特征为结构化数据、半结构化数据或非结构化数据。按照数据源的不同,可以将数据源分为数据库数据(如Mysql、SQL Server、MongoDB、Oracle、DB2、Sybase数据库等)、文件数据(如文本文件、Excel文件、Word文件等)、云端数据和爬虫数据等。
多源数据读取是获取数据信息的一个重要步骤,具体的,本实施例从多个数据源中读取待处理的数据,依据数据在不同的数据容器中存放的位置开发实现不同的数据源获取接口,需要使用标准API接口实现数据源的数据获取,并且可以依据数据源的不同位置自动识别并切换到所配对的API接口,从而实现多源数据的读取,读取到的待处理的数据可以存储在内存中,以方便下一步的调用和操作。
在本实施例中,根据所读取的数据存储结构不同,选择不同的读取数据的格式和形式,例如,从mysql数据库中读取数据,相同数值列的数据将呈现数值形式;而这部分数据如果在excel的结构表中存储,数值型数据将呈现数值型或者文本字符串形式,在序列化存储的文本中将以行字符无结构呈现。
按照python的使用场景来说明,针对每一种特定数据的不同存储位置(如数据库、文件或云端),在读取数据的过程中都能直接调用与存储位置对应的标准API接口来获取待处理的数据。例如,通过调用pymsql读取存储在mysql中的数据,调用OS读取存储在文件中的数据,调用云端数据服务商提供支持的数据获取API接口读取云端数据。因每种类型的数据可能存储的位置有多个,即可能存储在数据库、文件、云端等多个存储位置,每一种数据可能对应多种不同的API接口来读取,本实施例中能从多个数据源中调用与获取待处理的数据,具体使用何种API接口和何种获取方式可能会依据是用python还是Java还是C++等使用场景而变动,本实施例中只作泛化说明。
本实施例从多个数据源中读取了待处理的数据后,需对待处理的多源数据进行预处理,数据预处理操作是整个预处理流程中最重要的部分,本实施例中的数据预处理过程包括数据结构化转换、数据层次聚类、数据标准化、数据联合和数据清洗等过程。
从多个数据源中读取了待处理的数据后,根据待处理的数据的存储位置,自动识别并调用对应的标准API接口读取待处理的数据。通过不同API接口获取的数据有着不同的数据形式,可能是结构化数据、半结构化数据或者非结构化数据,依据不同的数据形式制定相应的数据结构化转换策略(数据结构化转换策略相关内容可参考文献:万里鹏,非结构化到结构化数据转换的研究与实现[D].西南交通大学,2013),将半结构化数据和非结构化数据进行结构化转换得到结构化数据,以方便后续的数据预处理操作。
所有待处理的数据经过结构化转换以后都为结构化数据,在统一的结构化数据中使用统一的数据预处理策略,可以实现多源数据的格式统一化,即实现共享多源数据的预处理操作方案,便能消除数据源的隔阂。
由于数据预处理后的数据使用受到机器学习计算矩阵的限制,需要对读取的数据进行结构化转换操作,若存储容器中存储的数据具有结构化的数据存储形式,从该存储容器中读取的数据无需再进行结构化转换操作,否则均需对读取的数据进行结构化转换操作。
例如,因mysql数据库本身自带结构化数据结构,通过mysql等读取的数据已经是结构化数据,故无需再进行结构化转换操作;而通过mongdb读取的半结构化数据,所有行数据都以键值形式存储,每行数据相对应具体属性和值需要按顺序区分,则需要进行结构化转换操作;而从文本文件中读取的数据,每行的数据即为一行字符串,但是数据能对应多个属性描述,需要做切分再做结构化表示。
结构化转换操作后得到的结构化数据可以统一使用表格化的形式显示,通过pandas库的读入可以将结构化数据初始化为机器学习等算法识别的标准dataframe数据矩阵形式,但是这一步的数据没有经过层次聚类不能用于算法。结构化数据需要经过以下的两个步骤做层次聚类。层次聚类也是数据特征表达的过程,即聚类表达,聚类标准化处理,相比无聚类表达,特征自定义手段处理,聚类表达处理更具数据兼容性和扩展性。
请参阅图4,对结构化数据进行层次聚类时,首先进行初始划分,将结构化数据大致可以分为3种基本的数据类型:数值型数据、非数值型数据、混合型数据(包含数值型数据和非数值型数据);根据数据直观将结构化数据分为可直接计算(可进行数据加、减、乘、除等运算)的数据即数值型数据、数据描述完全不能参与计算过程的数据即非数值型数据、包含能直接计算的数据即混合型数据,这三种基本类型的数据划分几乎可以涵盖所有的结构化数据,而其它数据表达方式并不能完好的将所有数据都涵盖。
值得说明的是,仍然需要对初始划分后的结构化数据进行进一步划分,即需对层次聚类数据进行数据特征表达。
本实施例中,根据预处理匹配库对所述结构化数据进行聚类得到聚类数据的具体过程为:对所述结构化数据的特征列数据进行轮询,检测空特征数据,通过强制转换得到数值型数据,根据字符串动态匹配得到非数值型数据和混合型数据;其中,所述预处理匹配库包括字符特征匹配库和特征正则匹配库,所述混合型数据包括数值型数据和非数值型数据。
值得说明的是,特征列数据为:结构化数据可简单视为行列数据,列数据即为特征列数据;
字符特征匹配库为:包含所有离散特征的集合,例如描述对象性别(男,女)、城市(北京,上海…)等特征的特征集合;特征正则匹配库:特征描述模式的集合(例如数字+字母,字母+数字均为描述模式)。
具体的,对结构化数据的特征列数据进行轮询,首先检测特征列数据是否为空(null),若为空,则该数据为空特征数据;然后检测所述特征列数据是否为时间格式的数据,若是则所述特征列数据为时间日期型数据。
具体的,通过强制转换得到数值型数据包括:将特征列数据进行浮点型强制转换,若强制转换成功,则特征列数据为单维数值型数据;否则,去掉特征列数据中的所有多余字符(如,、/|;:,空格等)得到多维数值型数据。
值得说明的是,数据是否可计算体现在数据直观上,但是数据可能根据存储形式不同不能直接用于计算(例如数字全部用字符存储,导致计算机加减乘除不能运算,但是要变得可计算需要字符型转数值型),人直观的数值就是可以直接计算,但是为了避免错误需要先进行强制转换。
具体的,根据字符串动态匹配得到非数值型数据和混合型数据包括:将特征列数据进行字符串动态匹配,若匹配到数字,则特征列数据为混合型数据,否则特征列数据为非数值型数据。
当特征列数据为混合型数据时,根据特征正则匹配库将所述混合型数据分为规律型数据和非规律型数据,具体过程为:判断所述混合型数据是否全部符合特征正则匹配库,若符合,则所述混合型数据为规律型数据,否则所述混合型数据为非规律型数据。
当特征列数据为非数值型数据时,根据字符特征匹配库将非数值型数据分为单维非数值型数据和多维非数值型数据,具体过程为:判断非数值型数据是否全部匹配到单个字符,若是,则为单维非数值型数据,否则为多维非数值型数据。
按照数据呈现的数据样式特点划分,然后将这3种基本类型再进一步转换成8种数据类型,层次聚类进一步划分的目的是为了将进一步聚类的数据框架统一化处理,在同样的预处理框架下能共享处理流程。按照数据属性与数据相对应的特点,比如excel表格结构化展示的数据,行数据为特征描述,列属性的数据为所有该该属性的数据集合;本文按照列属性的形式划分,层次聚类转化与标准化也都是按照属性列集合做处理,层次聚类分别为:单维数值型数据、多维数值型数据、时间日期型数据、单维非数值型数据、多维非数值型数据、规律数据、非规律数据和空特征数据。
值得说明的是,3种数据类型依据数据表现形式划分,然后3种数据依据计算的数据特点做层次聚类,比如数值型数据划分为单维、多维和时间这三种,因为数据信息的维度不一样,为了尽可能保留数据信息,需要再做聚类区分,这三种数据都是数值数据任意取其一都能运算,但是维度和形式略有不同。所有数据都是依据数据属性集合(因为结构化,可以理解为属性列集合)的数据形式聚类,这也是划分为8种的缘由。层次聚类也是数据特征表达的过程,即聚类表达,聚类标准化处理,相比无聚类表达,特征自定义手段处理,聚类表达处理更具数据兼容性和扩展性。
针对这8大类型数据的释义如下:
单维数值型数据:即可以作为直接计算或运算的单个数据,在数据格式中以数值型或者字符串形式存储的数字信息等,这些数据形式最简单。
多维数值型数据:这类数据和上一类数据在数据格式上一致,不同的是包含的数据信息不是单个而是多个,常以矩阵的形式表示,这一类数据基本不能作为直接计算或者运算的对象,需要做进一步的数据转化。
时间日期型数据:这类数据基本符合国际上基本的时间类型格式,例如yy-mm-dd或yy/mm/dd等,当时间作为一种数据输入参与计算,需要做进一步转化方能计算,譬如将时间中的年月份单独拆分作为一种数据特征输入使用。
单维非数值型数据:对应单维数值型数据,因为不能单独进行运算,在数据形式上呈现离散的非数值型数据特点,例如描述人物性别,描述地理位置信息等。对这种类型的数据进行数据表达时,需要使用特征转化的方式,将原始的数据特征转换成另外一种表达方式,例如,采用One-hot编码(也称为位编码形式)、留一编码和贝叶斯编码等,其中最常用的方式为One-hot编码。如表1所示的One_hot位编码特征表示,描述性别的特征数据,将原来的男、女描述转换成01,10描述。
表1
多维非数值型数据:对单维非数值型数据相对应,描述信息非单个而是多个,常规的数据标准化方式为将所有特征全部呈现,即升维的方式,也有将全部的特征信息中具有代表的部分最为特征的输入,即降维的形式,两者方式均是做初步特征提取,对于非数值型的特征处理仍然需要按照上面单维非数值型数据的处理方式做最终表达转化与标准化操作。
规律数据:混合型数据(即数值型+非数值型数据)呈现规律的形式,对于提取数据信息比较有利。由于数据特征的形式为规律的数据,其特征中的重要信息都具有共同的特点,可以利用数据特征匹配的方式进行数据提取,常规操作为字段匹配,或者做数据归纳总结的方式转换。
非规律数据:混合型数据(即数值型+非数值型数据)呈现非规律的形式,对于提取数据信息比较不利。常用于数据挖掘领域,需要制定严格的数据信息提取策略挖掘数据信息中的重要部分,例如电影影评生成评价级别,或者嘈杂的数据中提取数值的部分,都需要先做特征的动态提取过程,然后按照上述的特征特点,获取的特征做进一步转化。
空特征数据:无具体的数据描述信息的数据,常以null显示,这类数据没有使用价值可以聚类后舍弃掉。
上述8中数据层次聚类的表达方法,可以很好地解决在面对不同的数据形式制定不同的数据表征策略,其数据处理范围几乎涵盖了现有的所有数据,数据的表达范围较大,数据兼容性更强。
表2
如表2所示的8种数据类型示例中,Feature8为空特征数据,Feature3为时间日期型数据,Feature1为单维数值型数据,Feature2为多维数值型数据,Feature4为单维非数值型数据,Feature5为多维非数值型数据,Feature6为规律型数据,Feature7为非规律型数据。
值得说明的是,数据表征策略的制定难易不同,例如单维数值型数据不需要对数据本身做更改,只需要将其转换成可以计算的数据类型即可,而其它所有的层次聚类数据都是不能作为直接计算的数据对象,需要做数据提取并表征的手段做转化。例如,常规的单维非数值型数据作为一种比较明显的离散数据特征,需要转换成能计算的表征形式,比较常规的做法是对数据做One-Hot编码、Target编码、留一法编码和贝叶斯编码等转换。
本实施例提供的数据预处理方法,采用本实施例中的层次聚类方式将结构化数据进行层次聚类,其最大的好处在于相比于传统数据预处理手段,数据预处理的泛化能力更强,能几乎涵盖所有现有的数据类型和数据形式,所以在面对不同的数据来源或者不同的数据形式都能很好的兼容并做预处理操作,并且针对每一种特定的层次聚类数据能有针对性地制定表征策略,起到一本万利的效果,在大数据预处理框架上都能很好的呈现其效果。
请参阅图5,本实施例中对结构化数据进行层次聚类后得到层次聚类数据,层次聚类的8种数据类型数据需要通过数据标准化、数据联合和数据清洗的过程才能实现数据预处理的操作流程,获取用于数据分析或数据建模的高质量数据。
数据标准化的过程是将原生的数据通过特征提取转化数据表征等操作将数据翻译成可被计算机直接识别和运算的数据,将数据“翻译”成能运算的数据语言,数据的特征以另外一种形式表示,即数据表征的过程。在数据标准化的过程中,需要使用标准化的不同标准化策略组合来实现不同层次聚类数据的标准化。数据标准化的过程决定了数据的质量,数据表征的过程在图5中以各种数据标准化策略(如图5所示的6种数据标准化策略)进行合理组合,将每种不同的层次聚类数据表征成包含数据原始信息的数据,即以另一种数据形式来代替原有数据信息,其目的是便于后续的计算过程。
通过数据表征的过程之后需要将层次聚类分散的数据联合成完整的数据,最后通过现有的数据清洗手段实现数据的去除冗余、缺失填补、噪声去除等,以此获取更高质量的经过预处理后的数据。
可以将经过预处理后的数据存储在数据库中,用于数据集成、数据挖掘、数据决策和/或企业的在线联机分析。数据决策是利用数据预处理之后的高质量数据进行商业决策的过程,是针对数据预处理之后的环节,是在智能制造行业中使用预处理之后的高质量数据做数据驱动业务决策的过程。此过程可以利用预处理好的高质量数据实现数据分析、数据模型构建的过程,决策能带来更大的商业价值,更好地挖掘其中的数据信息,比如数据中隐藏的重要数据特征,该特征对决策价值的影响能占据较大的权重,或者构建的数据模型信息能够在短期内实现预测的功能,实现商业趋势的预测,还能挖掘其中的重要客户信息等,利于企业做针对性的决策过程。
本实施例提供的数据预处理方法,多源数据经过结构化转化通过pandas库的读入可以将数据初始化为机器学习等算法识别的标准dataframe数据矩阵形式,但是这一步的数据没有经过层次聚类不能用于算法。按照数据的流程使用特征列轮询的方式首先检测列空数据特征,然后套时间格式检测时间特征数据,然后按照直观数值型数据是否能强转成计算的数据归为单数值型数据,去掉特征列数据中的所有(,、/|;:,空格等)多余符号强转数值型归类出多维数值型数据,剩下的数据为数值型和非数值型混合的数据,利用特征匹配库较容易识别出单维或多维非数值型特征,剩下的需要使用特征的正则匹配库来将特征归类。
本实施例提供的数据预处理方法,解决的技术问题有:
(1)针对面向智能制造服务的不同的多源数据信息,可以使用此方法解决智能制造企业环节中的智能服务决策环节的数据多源预处理难题,并且在一套方案中消除多源数据类型的隔阂。
(2)可以实现多源数据的预处理框架,使用通用的预处理框架可以实现不同源数据的预处理过程共享。
本实施例提供的数据预处理方法,获取面向智能制造服务中存储在不同位置的多源数据信息,将所读取的数据结构化转换为结构化数据,运用统一的数据预处理策略对结构化数据进行预处理,消除了多源数据间的隔阂;数据层次聚类表示对数据预处理扩展性和灵活性更强,数据的处理范围更广,数据层次聚类数据表征方法能够解决几乎所有数据的表达过程,能实现共享统一的预处理操作方案,对多源数据的预处理效率更高,得到的预处理后的数据质量更高。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
- 一种数据预处理方法、剧情显示方法、装置、介质及设备
- 数据预处理方法、地图构建方法、回环检测方法及系统