一种基于业务处理系统的数据格式优化方法及业务服务器
文献发布时间:2023-06-19 10:02:03
技术领域
本申请涉及数据处理技术领域,尤其涉及一种基于业务处理系统的数据格式优化方法及业务服务器。
背景技术
业务数据的线上化处理和数字化处理已成为现阶段的主流。现如今,业务终端和业务服务器通过多端的通信连接能够实现业务数据的快速、便捷交互。业务服务器作为连接多个业务终端的枢纽,通常会将不同业务终端的业务数据进行存储,并在一些业务场景下实现业务数据的转发。然而,在实际应用中,业务终端在接收到业务服务器转发的业务数据时,往往需要一定时间将业务数据的数据格式进行转换,这样会降低业务服务器与业务终端形成的业务处理系统对业务数据进行处理的效率。
发明内容
本申请提供基于业务处理系统的数据格式优化方法及业务服务器,以改善现有技术存在的上述问题。
第一方面,提供一种基于业务处理系统的数据格式优化方法,应用于业务处理系统中与多个业务终端通信的业务服务器,所述方法包括:
获取预设数据库中具有最低活跃度的第一目标业务数据;
确定每个业务终端的第一数据格式以及所述预设数据库的第二数据格式;
根据所述第二数据格式以及每个第一数据格式,将所述第一目标业务数据进行数据格式转换得到第二目标业务数据,并下发给每个业务终端;
获取将所述第一目标业务数据进行数据格式转换得到第二目标业务数据的第一耗时以及每个业务终端对所述第二目标业务数据进行数据转换的第二耗时;在所述第一耗时与所有第二耗时之和超过设定耗时的情况下返回将所述第一目标业务数据进行数据格式转换得到第二目标业务数据的步骤直至所述第一耗时与所有第二耗时之和不超过设定耗时,并将所述第二目标业务数据对应的目标数据格式作为所述业务处理系统的统一数据格式。
优选地,所述获取预设数据库中具有最低活跃度的第一目标业务数据,包括:
获取每个业务终端的用户行为数据,确定每组用户行为数据的时段信息;其中,所述时段信息用于表征用户行为数据的生成时段;
确定具有最少用户行为数据组数的生成时段为设定时段;
确定出所述预设数据库中每组业务数据在所述设定时段内被转发的次数,将具有最小转发次数的业务数据确定为所述第一目标业务数据并获取。
优选地,所述确定每个业务终端的第一数据格式,包括:
向每个业务终端发送用于获取所述业务终端的设备参数的请求指令;
获取每个业务终端基于所述请求指令反馈的设备参数;
对所述设备参数进行解析得到所述设备参数所对应的业务终端的第一数据格式。
优选地,所述对所述设备参数进行解析得到所述设备参数所对应的业务终端的第一数据格式,包括:
获取所述设备参数对应的参数集合,将所述获取的参数集合按照所述参数集合中的分段标识依次拆分成多个第一参数段;其中,参数集合是所述设备参数中除结构化数据之外的数值数据,所述分段标识用于对不同类型的数值数据进行区分;
确定预设设备参数,在将所述获取的参数集合按照所述参数集合中的第一分段标识依次拆分成多个第一参数段的同时,并行地按照所述预设设备参数中包括的第二分段标识将所述预设设备参数拆分成与所述第一参数段一一对应的第二参数段;其中,所述预设设备参数是根据多个样本业务终端的设备参数泛化得到得;所述第一参数段与所述第二参数段在各自的参数集合中的相对位置上一一对应;
确定每个第一数据段与其对应的第二参数段之间的相似度值,统计所述相似度值小于设定阈值的目标第一数据段及其对应的目标第二参数段;
在所述目标第一数据段的数量为一个的前提下,解析所述目标第一数据段得到数据字符串,将所述数据字符串映射到所述目标第一数据段对应的目标第二参数段中得到映射字符串,按照预设的查询关系查询出所述映射字符串对应的第一数据格式;
在所述目标第一数据段的数量为多个的前提下,确定存在数据格式标识的目标第二参数段,获取存在数据格式标识的目标第二参数段对应的目标第一数据段的数据字符串,将所述数据字符串映射到所述目标第一数据段对应的目标第二参数段中得到映射字符串,按照预设的查询关系查询出所述映射字符串对应的第一数据格式。
优选地,确定所述预设数据库的第二数据格式,包括:
获取所述预设数据库的存储逻辑信息;
从所述存储逻辑信息中确定出用于对待存储数据进行格式转换的决策流;
根据所述决策流的头节点信息以及尾节点信息确定所述第二数据格式。
优选地,所述根据所述第二数据格式以及每个第一数据格式,将所述第一目标业务数据进行数据格式转换得到第二目标业务数据,包括:
确定所述第二数据格式对应的第二描述值以及每个第一数据格式对应的第一描述值;其中,所述描述值用于表征数据格式在字符编码层面的表现形式,所述描述值为二进制字符串,不同数据格式对应的描述值不同;
提取所述第一描述值的第一字符特征以及所述第二描述值的第二字符特征;其中,字符特征包括多个特征维度;
将所述第一字符特征和所述第二字符特征映射至预设的坐标平面,得到所述第一字符特征对应的第一映射点以及所述第二字符特征对应的第二映射点;其中,所述坐标平面根据设定聚类算法的聚类逻辑得到;
对所述第一映射点和所述第二映射点进行聚类得到多个聚类集,确定每个聚类集的中心点,根据所述中心点确定所述多个聚类集的聚类中心;确定所述聚类中心对应的第三字符特征并按照所述第三字符特征确定第三描述值;将所述第一目标业务数据按照所述第三描述值对应的目标数据格式进行数据格式转换,得到所述第二目标业务数据。
优选地,若所述第一耗时与所有第二耗时之和超过设定耗时,则将所述第一目标业务数据进行数据格式转换得到第二目标业务数据,具体包括:
确定存在最多聚类元素的聚类集的局部中心;其中,聚类元素为第一映射点和/或第二映射点;
以所述聚类中心为起点并以所述局部中心为终点,按照设定步长确定中间点的第四字符特征并按照所述第四字符特征确定第四描述值;将所述第一目标业务数据按照所述第四描述值对应的目标数据格式进行数据格式转换,得到所述第二目标业务数据。
第二方面,提供一种业务服务器,包括:处理器,以及与处理器连接的内存和网络接口;所述网络接口与业务服务器中的非易失性存储器连接;所述处理器在运行时通过所述网络接口从所述非易失性存储器中调取计算机程序,并通过所述内存运行所述计算机程序,以执行上述的方法。
第三方面,提供一种应用于计算机的可读存储介质,所述可读存储介质烧录有计算机程序,所述计算机程序在业务服务器的内存中运行时实现上述的方法。
应用本申请实施例基于业务处理系统的数据格式优化方法及业务服务器时,能够以最小活跃度的第一目标业务数据为测试数据,基于业务终端的第一数据格式以及业务服务器的第二数据格式对第一目标业务数据进行数据格式转换以得到第二目标业务数据,将第二目标业务数据下发给业务终端。进而获取将第一目标业务数据进行数据格式转换得到第二目标业务数据的第一耗时以及每个业务终端对第二目标业务数据进行数据转换的第二耗时,并将第一耗时和第二耗时之和不超过设定耗时对应的第二目标业务数据的目标数据格式作为统一数据格式。这样,不仅能够提高服业务服务器的存储效率,还能够减少业业务处理系统的运行耗时,提高业务数据处理效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例性实施例示出的一种基于业务处理系统的数据格式优化方法的流程图。
图2是本申请根据一示例性实施例示出的一种业务处理系统的通信架构示意图。
图3是本申请根据一示例性实施例示出的一种数据格式优化装置的一个实施例框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在一些业务场景下,业务服务器通常对接多个业务终端。例如,业务服务器可以将业务终端A上传的业务数据D进行存储,然后在业务终端B请求获取业务数据D时将业务数据D转发给业务终端B。
然而,在一些情况下,业务终端A与业务终端B可能是不同类型的终端设备。如果业务服务器直接将业务数据D转发给业务终端B,则会使得业务终端B耗费较长的时间将业务数据D进行数据格式转换。如果业务服务器将业务数据D的数据格式进行转换为与业务终端B匹配,若业务终端C也请求获取业务数据D,仍然会存在业务终端C耗费较长的时间将业务数据D进行数据格式转换的问题。如果业务服务器将业务数据D按照与业务服务器连接的业务终端得数量进行多份存储,则会影响业务服务器的存储效率。
为改善上述问题,本发明实施例提供了一种基于业务处理系统的数据格式优化方法及业务服务器,能够根据与业务服务器通信的每个业务终端的数据格式对存储于业务服务器中的业务数据的数据格式进行多次迭代修改,进而确定出能够供与业务服务器通信的每个业务终端进行使用的目标数据格式,然后将业务数据的数据格式转换为目标数据格式。
这样,不仅能够提高服业务服务器的存储效率,还能够确保与业务服务器通信的每个业务终端对目标数据格式下的业务数据进行数据格式转换的耗时之和最小。如此,能够提高业务服务器与业务终端形成的业务处理系统对业务数据进行处理的效率。
请参阅图1,为本发明实施例所提供的一种基于业务处理系统的数据格式优化方法的流程图,所述方法可以应用于图2所示的业务处理系统100中与多个业务终端300通信的业务服务器200。进一步地,所述方法可以包括以下步骤所描述的内容。
步骤210,获取预设数据库中具有最低活跃度的第一目标业务数据。
在本实施例中,活跃度用于表征业务数据在设定时段内被转发的次数。活跃度越高,表明业务数据在设定时段内被转发的次数越多。设定时段可以通过对每个业务终端的用户行为数据进行分析得到。通过获取具有最低活跃度的第一目标业务数据,能够避免在对第一目标业务数据进行处理时因业务终端的频繁调用而多次转发第一目标业务数据,以确保后续步骤能够顺利地进行。
步骤220,确定每个业务终端的第一数据格式以及所述预设数据库的第二数据格式。
在本实施例中,不同业务终端的第一数据格式不同,业务终端的第一数据格式与预设数据库的第二数据格式亦不相同。
步骤230,根据所述第二数据格式以及每个第一数据格式,将所述第一目标业务数据进行数据格式转换得到第二目标业务数据,并下发给每个业务终端。
在本实施例中,第二目标业务数据对应的目标数据格式不同于第一数据格式和第二数据格式。可以将目标数据格式理解为第一数据格式和第二数据格式的中转数据格式,这样,可以有效减少不同第一数据格式之间以及第一数据格式与第二数据格式之间的转换耗时。
步骤240,获取将所述第一目标业务数据进行数据格式转换得到第二目标业务数据的第一耗时以及每个业务终端对所述第二目标业务数据进行数据转换的第二耗时;在所述第一耗时与所有第二耗时之和超过设定耗时的情况下返回将所述第一目标业务数据进行数据格式转换得到第二目标业务数据的步骤直至所述第一耗时与所有第二耗时之和不超过设定耗时,并将所述第二目标业务数据对应的目标数据格式作为所述业务处理系统的统一数据格式。
在本实施例中,设定耗时可以理解为业务处理系统的延时阈值,在延时阈值内业务处理系统能够正常运行,超过延时阈值业务处理系统的运行可能出现异常。
在应用上述步骤210-步骤240所描述的内容时,能够以最小活跃度的第一目标业务数据为测试数据,基于业务终端的第一数据格式以及业务服务器的第二数据格式对第一目标业务数据进行数据格式转换以得到第二目标业务数据,将第二目标业务数据下发给业务终端。进而获取将第一目标业务数据进行数据格式转换得到第二目标业务数据的第一耗时以及每个业务终端对第二目标业务数据进行数据转换的第二耗时,并将第一耗时和第二耗时之和不超过设定耗时对应的第二目标业务数据的目标数据格式作为统一数据格式。这样,不仅能够提高服业务服务器的存储效率,还能够减少业业务处理系统的运行耗时,提高业务数据处理效率。
在一个可能的示例中,步骤210所描述的获取预设数据库中具有最低活跃度的第一目标业务数据,具体可以包括以下步骤所描述的内容。
步骤211,获取每个业务终端的用户行为数据,确定每组用户行为数据的时段信息;其中,所述时段信息用于表征用户行为数据的生成时段。
步骤212,确定具有最少用户行为数据组数的生成时段为设定时段。
步骤213,确定出所述预设数据库中每组业务数据在所述设定时段内被转发的次数,将具有最小转发次数的业务数据确定为所述第一目标业务数据并获取。
通过步骤211-步骤213,能够基于用户行为数据确定出设定时段,进而确保设定时段内与业务服务器进行交互的业务终端的数量最小化,而第一目标业务数据则是设定时段内活跃度最低的业务数据,这样能够避免在对第一目标业务数据进行处理时因业务终端的频繁调用而多次转发第一目标业务数据。确保后续步骤能够顺利地进行。
在另一个可能的示例中,在步骤220中,确定每个业务终端的第一数据格式,进一步地包括:向每个业务终端发送用于获取所述业务终端的设备参数的请求指令,获取每个业务终端基于所述请求指令反馈的设备参数;对所述设备参数进行解析得到所述设备参数所对应的业务终端的第一数据格式。
可以理解,通过上述步骤,能够基于不同业务终端的设备参数准确确定出不同业务终端的第一数据格式。
更进一步地,在上述步骤220所描述的子步骤中,对所述设备参数进行解析得到所述设备参数所对应的业务终端的第一数据格式,具体可以包括以下子步骤所描述的内容。
(1)获取所述设备参数对应的参数集合,将所述获取的参数集合按照所述参数集合中的分段标识依次拆分成多个第一参数段;其中,参数集合是所述设备参数中除结构化数据之外的数值数据,所述分段标识用于对不同类型的数值数据进行区分。
(2)确定预设设备参数,在将所述获取的参数集合按照所述参数集合中的第一分段标识依次拆分成多个第一参数段的同时,并行地按照所述预设设备参数中包括的第二分段标识将所述预设设备参数拆分成与所述第一参数段一一对应的第二参数段;其中,所述预设设备参数是根据多个样本业务终端的设备参数泛化得到得;所述第一参数段与所述第二参数段在各自的参数集合中的相对位置上一一对应。
(3)确定每个第一数据段与其对应的第二参数段之间的相似度值,统计所述相似度值小于设定阈值的目标第一数据段及其对应的目标第二参数段。
(4)在所述目标第一数据段的数量为一个的前提下,解析所述目标第一数据段得到数据字符串,将所述数据字符串映射到所述目标第一数据段对应的目标第二参数段中得到映射字符串,按照预设的查询关系查询出所述映射字符串对应的第一数据格式。
(5)在所述目标第一数据段的数量为多个的前提下,确定存在数据格式标识的目标第二参数段,获取存在数据格式标识的目标第二参数段对应的目标第一数据段的数据字符串,将所述数据字符串映射到所述目标第一数据段对应的目标第二参数段中得到映射字符串,按照预设的查询关系查询出所述映射字符串对应的第一数据格式。
在应用上述步骤所描述的内容时,能够对每个设备参数进行数据段拆分以及相似度比较,进而基于预设设备参数准确确定每个业务终端的第一数据格式。
进一步地,步骤220中确定所述预设数据库的第二数据格式,具体包括:获取所述预设数据库的存储逻辑信息,从所述存储逻辑信息中确定出用于对待存储数据进行格式转换的决策流,根据所述决策流的头节点信息以及尾节点信息确定所述第二数据格式。
可以理解,通过对预设数据库的存储逻辑进行分析,能够将预设数据库在进行数据存储时泛化能力考虑在内,避免直接对已存储数据进行格式解析带来的误差。这样,可以准确确定出预设数据库的第二数据格式。
在一个具体的示例中,步骤230中所描述的,根据所述第二数据格式以及每个第一数据格式,将所述第一目标业务数据进行数据格式转换得到第二目标业务数据的步骤,进一步包括以下子步骤所描述的内容。
步骤231,确定所述第二数据格式对应的第二描述值以及每个第一数据格式对应的第一描述值;其中,所述描述值用于表征数据格式在字符编码层面的表现形式,所述描述值为二进制字符串,不同数据格式对应的描述值不同。
步骤232,提取所述第一描述值的第一字符特征以及所述第二描述值的第二字符特征;其中,字符特征包括多个特征维度。
在步骤232中,特征维度包括用于表征描述值对应的二进制字符串的长度、连续性、偏移程度以及离散程度的特征。
步骤233,将所述第一字符特征和所述第二字符特征映射至预设的坐标平面,得到所述第一字符特征对应的第一映射点以及所述第二字符特征对应的第二映射点;其中,所述坐标平面根据设定聚类算法的聚类逻辑得到。
在本实施例中,设定聚类算法可以是K均值聚类算法,该算法可以基于特征维度将特征向量映射为坐标点,然后对这些坐标点进行聚类。
步骤234,对所述第一映射点和所述第二映射点进行聚类得到多个聚类集,确定每个聚类集的中心点,根据所述中心点确定所述多个聚类集的聚类中心;确定所述聚类中心对应的第三字符特征并按照所述第三字符特征确定第三描述值;将所述第一目标业务数据按照所述第三描述值对应的目标数据格式进行数据格式转换,得到所述第二目标业务数据。
在应用上述步骤231-步骤234所描述的内容时,能够基于第一数据格式对应的第一描述值以及第二数据格式对应的第二描述值实现不同数据格式下的字符特征聚类,从而基于聚类集的聚类中心对应的第三字符特征确定第三描述值。然后将第一目标业务数据按照第三描述值对应的目标数据格式进行数据格式转换,得到第二目标业务数据。这样,能够对第一数据格式和第二数据格式进行泛化处理,进而确定出同时与第一数据格式和第二数据格式相接近的目标数据格式。
在上述基础上,若所述第一耗时与所有第二耗时之和超过设定耗时,则将所述第一目标业务数据进行数据格式转换得到第二目标业务数据的步骤,具体可以通过以下步骤所描述的内容得到。
(1)确定存在最多聚类元素的聚类集的局部中心;其中,聚类元素为第一映射点和/或第二映射点。
(2)以所述聚类中心为起点并以所述局部中心为终点,按照设定步长确定中间点的第四字符特征并按照所述第四字符特征确定第四描述值;将所述第一目标业务数据按照所述第四描述值对应的目标数据格式进行数据格式转换,得到所述第二目标业务数据。
可以理解,通过上述内容,能够基于聚类结果实现目标数据格式的迭代循环,以确定出同时与第一数据格式和第二数据格式相接近的目标数据格式。
在一种可替换的实施方式中,在步骤240所描述的将所述第二目标业务数据对应的目标数据格式作为所述业务处理系统的统一数据格式之后,所述方法可以包括以下内容。
步骤250,将所述预设数据库中的每组业务数据以所述统一数据格式为基准进行数据格式转换。
步骤260,将接收到的待存储业务数据以所述统一数据格式为基准进行数据格式转换并存储。
可以理解,基于步骤250-步骤260,能够基于统一数据格式将已存储的业务数据以及待存储业务数据进行数据格式转换。这样,在后期进行业务数据转发时,能够及时将业务数据进行转发,提高整个业务处理系统的数据转发效率。
在一种可替换的实施方式中,在步骤240中,所述获取将所述第一目标业务数据进行数据格式转换得到第二目标业务数据的第一耗时,进一步可以包括以下步骤所描述的内容。
(1)获取所述业务服务器的格式转换线程的运行日志,从所述运行日志中确定出当前日志参数。
(2)判断所述运行日志中的当前时刻的日志参数列表相对于所述运行日志的上一时刻的日志参数列表是否存在更新;如果是,将从所述运行日志中确定出的当前日志参数确定为所述运行日志的当前线程时间参数;否则,将从所述运行日志中确定出的当前日志参数与所述上一时刻对应位置的历史线程时间参数进行加权求和,得到所述运行日志的当前线程时间参数。
(3)获取所述当前线程时间参数中用于表征所述格式转换线程启动的第一时刻以及用于表征所述格式转换线程关闭的第二时刻,将所述第一时刻和所述第二时刻的差值确定为所述第一耗时。
可以理解,基于上述步骤所描述的内容,能够对业务服务器的格式转换线程对应的运行日志进行分析,从而在不同情况下确定出运行日志的当前线程时间参数,进而通过当前线程时间参数准确地确定出第一耗时。
在另一种可替换的实施方式中,在步骤240中,获取每个业务终端对所述第二目标业务数据进行数据转换的第二耗时的步骤,具体可以包括以下步骤所描述的内容。
步骤241,获取每个业务终端发送的用于表征该业务终端对应的第二耗时的射频信号。
步骤242,解析所述射频信号得到所述射频信号对应的编码序列以及多个信号编码值;在基于所述编码序列确定出所述射频信号存在对应的信号失真集合的情况下,根据所述射频信号在所述信号失真集合下的信号编码值及其编码顺序确定所述射频信号在信号保真集合下的各信号编码值与所述射频信号在所述信号失真集合下的各信号编码值之间的重复度,并将所述射频信号在所述信号保真集合下的与在所述信号失真集合下的信号编码值重复的信号编码值删除。
步骤243,根据所述信号保证集合下的多个信号编码值确定所述射频信号的误差信号,根据所述误差信号对所述射频信号进行修正得到目标信号;根据预设的映射列表确定所述目标信号对应的耗时值为所述第二耗时。
可以理解,在应用上述步骤241-步骤243所描述的内容时,能够将业务终端发送的射频信号的失真情况考虑在内,从而基于射频信号的失真情况对射频信号进行修正得到目标信号,以通过预设的用于表征射频信号与数据转换耗时之间的对应关系的映射列表准确确定每个业务终端对应的第二耗时。
以上实施方式中的各种技术特征可以任意进行组合,只要特征之间的组合不存在冲突或矛盾,但是限于篇幅,未进行一一描述,因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。
请结合参阅图3,为本发明实施例提供的一种基于业务处理系统的数据格式优化装置400的功能模块框图,关于所述数据格式优化装置400的具体描述如下。
A1.一种基于业务处理系统的数据格式优化装置,应用于业务处理系统中与多个业务终端通信的业务服务器,所述装置包括:
数据获取模块401,用于获取预设数据库中具有最低活跃度的第一目标业务数据;
格式确定模块402,用于确定每个业务终端的第一数据格式以及所述预设数据库的第二数据格式;
数据转换模块403,用于根据所述第二数据格式以及每个第一数据格式,将所述第一目标业务数据进行数据格式转换得到第二目标业务数据,并下发给每个业务终端;
格式统一模块404,用于获取将所述第一目标业务数据进行数据格式转换得到第二目标业务数据的第一耗时以及每个业务终端对所述第二目标业务数据进行数据转换的第二耗时;在所述第一耗时与所有第二耗时之和超过设定耗时的情况下返回将所述第一目标业务数据进行数据格式转换得到第二目标业务数据的步骤直至所述第一耗时与所有第二耗时之和不超过设定耗时,并将所述第二目标业务数据对应的目标数据格式作为所述业务处理系统的统一数据格式。
A2.如A1所述的数据格式优化装置,数据获取模块401,用于:
获取每个业务终端的用户行为数据,确定每组用户行为数据的时段信息;其中,所述时段信息用于表征用户行为数据的生成时段;
确定具有最少用户行为数据组数的生成时段为设定时段;
确定出所述预设数据库中每组业务数据在所述设定时段内被转发的次数,将具有最小转发次数的业务数据确定为所述第一目标业务数据并获取。
A3.如A1所述的数据格式优化装置,格式确定模块402,用于:
向每个业务终端发送用于获取所述业务终端的设备参数的请求指令;
获取每个业务终端基于所述请求指令反馈的设备参数;
对所述设备参数进行解析得到所述设备参数所对应的业务终端的第一数据格式。
A4.如A3所述的数据格式优化装置,格式确定模块402,用于:
获取所述设备参数对应的参数集合,将所述获取的参数集合按照所述参数集合中的分段标识依次拆分成多个第一参数段;其中,参数集合是所述设备参数中除结构化数据之外的数值数据,所述分段标识用于对不同类型的数值数据进行区分;
确定预设设备参数,在将所述获取的参数集合按照所述参数集合中的第一分段标识依次拆分成多个第一参数段的同时,并行地按照所述预设设备参数中包括的第二分段标识将所述预设设备参数拆分成与所述第一参数段一一对应的第二参数段;其中,所述预设设备参数是根据多个样本业务终端的设备参数泛化得到得;所述第一参数段与所述第二参数段在各自的参数集合中的相对位置上一一对应;
确定每个第一数据段与其对应的第二参数段之间的相似度值,统计所述相似度值小于设定阈值的目标第一数据段及其对应的目标第二参数段;
在所述目标第一数据段的数量为一个的前提下,解析所述目标第一数据段得到数据字符串,将所述数据字符串映射到所述目标第一数据段对应的目标第二参数段中得到映射字符串,按照预设的查询关系查询出所述映射字符串对应的第一数据格式;
在所述目标第一数据段的数量为多个的前提下,确定存在数据格式标识的目标第二参数段,获取存在数据格式标识的目标第二参数段对应的目标第一数据段的数据字符串,将所述数据字符串映射到所述目标第一数据段对应的目标第二参数段中得到映射字符串,按照预设的查询关系查询出所述映射字符串对应的第一数据格式。
A5.如A4所述的数据格式优化装置,格式确定模块402,用于:
获取所述预设数据库的存储逻辑信息;
从所述存储逻辑信息中确定出用于对待存储数据进行格式转换的决策流;
根据所述决策流的头节点信息以及尾节点信息确定所述第二数据格式。
A6.如A1-A5任一项所述的数据格式优化方法,数据转换模块403,用于:
确定所述第二数据格式对应的第二描述值以及每个第一数据格式对应的第一描述值;其中,所述描述值用于表征数据格式在字符编码层面的表现形式,所述描述值为二进制字符串,不同数据格式对应的描述值不同;
提取所述第一描述值的第一字符特征以及所述第二描述值的第二字符特征;其中,字符特征包括多个特征维度;
将所述第一字符特征和所述第二字符特征映射至预设的坐标平面,得到所述第一字符特征对应的第一映射点以及所述第二字符特征对应的第二映射点;其中,所述坐标平面根据设定聚类算法的聚类逻辑得到;
对所述第一映射点和所述第二映射点进行聚类得到多个聚类集,确定每个聚类集的中心点,根据所述中心点确定所述多个聚类集的聚类中心;确定所述聚类中心对应的第三字符特征并按照所述第三字符特征确定第三描述值;将所述第一目标业务数据按照所述第三描述值对应的目标数据格式进行数据格式转换,得到所述第二目标业务数据。
A7.如A6所述的数据格式优化装置,若所述第一耗时与所有第二耗时之和超过设定耗时,则数据转换模块403,还用于:
确定存在最多聚类元素的聚类集的局部中心;其中,聚类元素为第一映射点和/或第二映射点;
以所述聚类中心为起点并以所述局部中心为终点,按照设定步长确定中间点的第四字符特征并按照所述第四字符特征确定第四描述值;将所述第一目标业务数据按照所述第四描述值对应的目标数据格式进行数据格式转换,得到所述第二目标业务数据。
A8.如A1所述的数据格式优化装置,格式统一模块404,还用于:
将所述预设数据库中的每组业务数据以所述统一数据格式为基准进行数据格式转换;
将接收到的待存储业务数据以所述统一数据格式为基准进行数据格式转换并存储。
A9.如A1所述的数据格式优化装置,格式统一模块404,用于:
获取所述业务服务器的格式转换线程的运行日志,从所述运行日志中确定出当前日志参数;
判断所述运行日志中的当前时刻的日志参数列表相对于所述运行日志的上一时刻的日志参数列表是否存在更新;如果是,将从所述运行日志中确定出的当前日志参数确定为所述运行日志的当前线程时间参数;否则,将从所述运行日志中确定出的当前日志参数与所述上一时刻对应位置的历史线程时间参数进行加权求和,得到所述运行日志的当前线程时间参数;
获取所述当前线程时间参数中用于表征所述格式转换线程启动的第一时刻以及用于表征所述格式转换线程关闭的第二时刻,将所述第一时刻和所述第二时刻的差值确定为所述第一耗时。
A10.如A1所述的数据格式优化装置,格式统一模块404,用于:
获取每个业务终端发送的用于表征该业务终端对应的第二耗时的射频信号;
解析所述射频信号得到所述射频信号对应的编码序列以及多个信号编码值;在基于所述编码序列确定出所述射频信号存在对应的信号失真集合的情况下,根据所述射频信号在所述信号失真集合下的信号编码值及其编码顺序确定所述射频信号在信号保真集合下的各信号编码值与所述射频信号在所述信号失真集合下的各信号编码值之间的重复度,并将所述射频信号在所述信号保真集合下的与在所述信号失真集合下的信号编码值重复的信号编码值删除;
根据所述信号保证集合下的多个信号编码值确定所述射频信号的误差信号,根据所述误差信号对所述射频信号进行修正得到目标信号;根据预设的映射列表确定所述目标信号对应的耗时值为所述第二耗时。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
进一步地,本发明实施例还提供了一种业务处理系统,关于所述业务处理系统的描述如下。
B1.一种基于业务处理系统的数据格式优化系统,包括业务服务器200以及与所述业务服务器通信的多个业务终端300;
所述业务服务器200,用于获取预设数据库中具有最低活跃度的第一目标业务数据;确定每个业务终端的第一数据格式以及所述预设数据库的第二数据格式;根据所述第二数据格式以及每个第一数据格式,将所述第一目标业务数据进行数据格式转换得到第二目标业务数据,并下发给每个业务终端;
所述业务终端300用于将对所述第二目标业务数据进行数据转换的第二耗时发送给所述业务服务器200;
所述业务服务器300,用于获取将所述第一目标业务数据进行数据格式转换得到第二目标业务数据的第一耗时以及每个业务终端300发送的第二耗时;在所述第一耗时与所有第二耗时之和超过设定耗时的情况下返回将所述第一目标业务数据进行数据格式转换得到第二目标业务数据的步骤直至所述第一耗时与所有第二耗时之和不超过设定耗时,并将所述第二目标业务数据对应的目标数据格式作为所述业务处理系统的统一数据格式。
B2.如B1所述的数据格式优化系统,所述业务服务器300,具体用于:
获取每个业务终端的用户行为数据,确定每组用户行为数据的时段信息;其中,所述时段信息用于表征用户行为数据的生成时段;
确定具有最少用户行为数据组数的生成时段为设定时段;
确定出所述预设数据库中每组业务数据在所述设定时段内被转发的次数,将具有最小转发次数的业务数据确定为所述第一目标业务数据并获取。
B3.如B1所述的数据格式优化系统,所述业务服务器300,具体用于:
向每个业务终端发送用于获取所述业务终端的设备参数的请求指令;
获取每个业务终端基于所述请求指令反馈的设备参数;
对所述设备参数进行解析得到所述设备参数所对应的业务终端的第一数据格式。
B4.如B3所述的数据格式优化系统,所述业务服务器300,具体用于:
获取所述设备参数对应的参数集合,将所述获取的参数集合按照所述参数集合中的分段标识依次拆分成多个第一参数段;其中,参数集合是所述设备参数中除结构化数据之外的数值数据,所述分段标识用于对不同类型的数值数据进行区分;
确定预设设备参数,在将所述获取的参数集合按照所述参数集合中的第一分段标识依次拆分成多个第一参数段的同时,并行地按照所述预设设备参数中包括的第二分段标识将所述预设设备参数拆分成与所述第一参数段一一对应的第二参数段;其中,所述预设设备参数是根据多个样本业务终端的设备参数泛化得到得;所述第一参数段与所述第二参数段在各自的参数集合中的相对位置上一一对应;
确定每个第一数据段与其对应的第二参数段之间的相似度值,统计所述相似度值小于设定阈值的目标第一数据段及其对应的目标第二参数段;
在所述目标第一数据段的数量为一个的前提下,解析所述目标第一数据段得到数据字符串,将所述数据字符串映射到所述目标第一数据段对应的目标第二参数段中得到映射字符串,按照预设的查询关系查询出所述映射字符串对应的第一数据格式;
在所述目标第一数据段的数量为多个的前提下,确定存在数据格式标识的目标第二参数段,获取存在数据格式标识的目标第二参数段对应的目标第一数据段的数据字符串,将所述数据字符串映射到所述目标第一数据段对应的目标第二参数段中得到映射字符串,按照预设的查询关系查询出所述映射字符串对应的第一数据格式。
B5.如B4所述的数据格式优化系统,所述业务服务器300,具体用于:
获取所述预设数据库的存储逻辑信息;
从所述存储逻辑信息中确定出用于对待存储数据进行格式转换的决策流;
根据所述决策流的头节点信息以及尾节点信息确定所述第二数据格式。
B6.如B1-B5任一项所述的数据格式优化系统,所述业务服务器300,具体用于:
确定所述第二数据格式对应的第二描述值以及每个第一数据格式对应的第一描述值;其中,所述描述值用于表征数据格式在字符编码层面的表现形式,所述描述值为二进制字符串,不同数据格式对应的描述值不同;
提取所述第一描述值的第一字符特征以及所述第二描述值的第二字符特征;其中,字符特征包括多个特征维度;
将所述第一字符特征和所述第二字符特征映射至预设的坐标平面,得到所述第一字符特征对应的第一映射点以及所述第二字符特征对应的第二映射点;其中,所述坐标平面根据设定聚类算法的聚类逻辑得到;
对所述第一映射点和所述第二映射点进行聚类得到多个聚类集,确定每个聚类集的中心点,根据所述中心点确定所述多个聚类集的聚类中心;确定所述聚类中心对应的第三字符特征并按照所述第三字符特征确定第三描述值;将所述第一目标业务数据按照所述第三描述值对应的目标数据格式进行数据格式转换,得到所述第二目标业务数据。
B7.如B6所述的数据格式优化系统,所述业务服务器300,具体用于:
确定存在最多聚类元素的聚类集的局部中心;其中,聚类元素为第一映射点和/或第二映射点;
以所述聚类中心为起点并以所述局部中心为终点,按照设定步长确定中间点的第四字符特征并按照所述第四字符特征确定第四描述值;将所述第一目标业务数据按照所述第四描述值对应的目标数据格式进行数据格式转换,得到所述第二目标业务数据。
B8.如B1所述的数据格式优化系统,所述业务服务器300,具体用于:
将所述预设数据库中的每组业务数据以所述统一数据格式为基准进行数据格式转换;
将接收到的待存储业务数据以所述统一数据格式为基准进行数据格式转换并存储。
B9.如B1所述的数据格式优化系统,所述业务服务器300,具体用于:
获取所述业务服务器的格式转换线程的运行日志,从所述运行日志中确定出当前日志参数;
判断所述运行日志中的当前时刻的日志参数列表相对于所述运行日志的上一时刻的日志参数列表是否存在更新;如果是,将从所述运行日志中确定出的当前日志参数确定为所述运行日志的当前线程时间参数;否则,将从所述运行日志中确定出的当前日志参数与所述上一时刻对应位置的历史线程时间参数进行加权求和,得到所述运行日志的当前线程时间参数;
获取所述当前线程时间参数中用于表征所述格式转换线程启动的第一时刻以及用于表征所述格式转换线程关闭的第二时刻,将所述第一时刻和所述第二时刻的差值确定为所述第一耗时。
B10.如B1所述的数据格式优化系统,所述业务服务器300,具体用于:
获取每个业务终端发送的用于表征该业务终端对应的第二耗时的射频信号;
解析所述射频信号得到所述射频信号对应的编码序列以及多个信号编码值;在基于所述编码序列确定出所述射频信号存在对应的信号失真集合的情况下,根据所述射频信号在所述信号失真集合下的信号编码值及其编码顺序确定所述射频信号在信号保真集合下的各信号编码值与所述射频信号在所述信号失真集合下的各信号编码值之间的重复度,并将所述射频信号在所述信号保真集合下的与在所述信号失真集合下的信号编码值重复的信号编码值删除;
根据所述信号保证集合下的多个信号编码值确定所述射频信号的误差信号,根据所述误差信号对所述射频信号进行修正得到目标信号;根据预设的映射列表确定所述目标信号对应的耗时值为所述第二耗时。
在上述基础上,还提供了一种业务服务器,包括:处理器,以及与处理器连接的内存和网络接口;所述网络接口与业务服务器中的非易失性存储器连接;所述处理器在运行时通过所述网络接口从所述非易失性存储器中调取计算机程序,并通过所述内存运行所述计算机程序,以执行上述的方法。
在上述基础上,进一步提供了一种应用于计算机的可读存储介质,所述可读存储介质烧录有计算机程序,所述计算机程序在业务服务器的内存中运行时实现上述的方法。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
- 一种基于业务处理系统的数据格式优化方法及业务服务器
- 应用于业务处理系统的数据格式优化方法及业务服务器