一种股票交易数据处理方法、装置及计算机可读存储介质

技术领域

本发明涉及数据处理技术领域，具体涉及一种股票交易数据处理方法、装置及计算机可读存储介质。

背景技术

在股票交易中，用户需要实时掌握各种数据，传统的方法是直接把数据进行统计整理，然后传输给手机，电脑等设备进行图像化显示。

传统的方法在进行数据整理和传输时，往往在进行数据请求时，响应时间过长；鉴于此，业内一直希望能够提供一种解决方案，能够对股票交易数据进行有效的处理，进一步加快数据请求的响应速度，从而能够即时响应用户的查询请求，提高查询效率。

发明内容

本发明提供一种股票交易数据处理方法、装置及计算机可读存储介质，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

为了实现上述目的，本发明提供以下技术方案：

一种股票交易数据处理方法，所述方法包括以下步骤：

步骤S100、从第三方数据库中获取有价证券对应的原始交易数据；

步骤S200、基于所述原始交易数据生成基础数据和派生数据，将所述基础数据和派生数据对应存储到自有数据库中的各个数据库；

步骤S300、当接收到客户端发送的查询请求时，根据所述查询请求确定用户选择的有价证券以及想要查询的基础数据和预测类别；

步骤S400、从自有数据库中对应的数据库分别获取基础数据和派生数据，将所述派生数据输入预先生成的函数模型，得到与所述预测类别对应的预测数据；

步骤S500、将所述有价证券的基础数据和与所述预测类别对应的预测数据发送给客户端进行显示。

进一步，所述步骤S200包括：

步骤S201、从各个交易所的第三方数据库中获取有价证券的原始交易数据；其中，所述原始交易数据包括实时数据、备份数据和离线历史数据；

步骤S202、确定所述实时数据对应的数据类别，将所述数据类别对应的标签转换为指定标签，将转换为指定标签的原始交易数据作为该有价证券的第一交易数据；

步骤S203、将不同有价证券的第一交易数据按交易时间顺序进行排序，形成第一数据队列；

步骤S204、确定所述第一数据队列中各个原始交易数据的交易类别，按所述交易类别将所述第一数据队列进行分类，得到多个第二数据队列；

步骤S205、确定每个第二数据队列的交易类别对应的数据类型；其中，所述数据类型包括秒级数据、分时数据、K线数据和备份数据；

步骤S206、将数据类型为秒级数据的第二数据队列作为第一基础数据存储到第一HBASE数据库；将数据类型为分时数据的第二数据队列作为第二基础数据存储到Druid数据库；将数据类型为K线数据的第二数据队列存储到MySQL数据库；将数据类型为备份数据的第二数据队列存储到HDFS数据库，将离线历史数据存储到HIVE数据仓库中；

步骤S207、对所述HIVE数据仓库中的离线历史数据进行数据清洗，得到清洗后的离线历史数据；从清洗后的离线历史数据中提取得到K线数据，将离线历史数据中提取得到的K线数据发到MySQL数据库；将所述离线历史数据中提取得到的K线数据和MySQL数据库中数据类型为K线数据按时间轴顺序排列后作为第三基础数据存储在MySQL数据库中；

步骤S208、对所述HDFS数据库中的备份数据进行数据清洗，得到清洗后的备份数据，将清洗后的备份数据作为第四数据队列存储在所述HDFS数据库中；

步骤S209、将第四数据队列发到HIVE数据仓库，将HIVE数据仓库中清洗后的离线历史数据和第四数据队列加载到Kylin引擎，以通过Kylin引擎对清洗后的离线历史数据和第四数据队列进行多维索引和数据聚合，得到预处理数据；

步骤S210、采用预先设置的转换公式对所述预处理数据进行计算，得到派生数据；将派生数据存储在第二HBASE数据库中。

进一步，步骤S207中，所述对所述HIVE数据仓库中的离线历史数据进行数据清洗，得到清洗后的离线历史数据，包括：

确定所述HIVE数据仓库中的离线历史数据是否在预设的数值范围内，将不在预设的数值范围内的离线历史数据剔除；

将HIVE数据仓库中剩余的离线历史数据的数据格式转换为设定的数据格式，得到清洗后的离线历史数据。

进一步，步骤S208中，所述对所述HDFS数据库中的备份数据进行数据清洗，得到清洗后的备份数据，包括：

确定所述HDFS数据库中的备份数据是否在预设的数值范围内，将不在预设的数值范围内的备份数据剔除，得到清洗后的备份数据。

进一步，所述方法还包括：

若所述HDFS数据库中存在预设的数值范围以外的备份数据，则触发服务器端向客户端发送告警信息。

进一步，所述步骤S400包括：

步骤S401、确定所述有价证券对应的证券代码；

步骤S402、确定用户想要查询的基础数据，若所述基础数据包括第一基础数据，则根据所述证券代码从第一HBASE数据库中匹配所述有价证券对应的第一基础数据；若所述基础数据包括第二基础数据，则根据所述证券代码从Druid数据库中匹配所述有价证券对应的第二基础数据；若所述基础数据包括第三基础数据，则根据所述证券代码从MySQL数据库中匹配所述有价证券对应的第三基础数据。

进一步，所述步骤S400还包括：

步骤S411、确定所述有价证券对应的证券代码；

步骤S412、确定用户想要查询的派生数据，根据所述证券代码从第二HBASE数据库中匹配出与所述有价证券对应的派生数据；

步骤S413、根据所述预测类别从与所述有价证券对应的派生数据中选取出派生数据；

步骤S414、从公式管理器中调用与所述预测类别对应的函数模型，将选取出的派生数据输入与所述预测类别对应的函数模型，得到与所述预测类别对应的预测数据。

一种股票交易数据处理装置，所述装置包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任一项所述的股票交易数据处理方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储有股票交易数据处理程序，所述股票交易数据处理程序被处理器执行时实现上述任意一项所述的股票交易数据处理方法的步骤。

本发明的有益效果是：本发明公开一种股票交易数据处理方法、装置及计算机可读存储介质，本发明从第三方数据库中获取有价证券对应的原始交易数据，基于所述原始交易数据生成基础数据和派生数据，将所述基础数据和派生数据对应存储到自有数据库中的各个数据库；通过采用不同的数据库有针对性的进行存储，发挥各类数据库的效率、性能，能够提高数据处理的效率，便于后续接口调用；当接收客户端发送的查询请求时，根据所述查询请求确定用户选择的有价证券以及想要查询的基础数据和预测类别；通过直接使用加工好的数据，从而节约反馈时间，将所述派生数据输入预先生成的函数模型，即能快速得到预测数据，从而瞬时将所述预测数据发送给客户端进行显示，能即时响应客户端发送的查询请求，提高查询效率。本发明能够加快数据请求的响应速度，从而能够即时响应用户的查询请求，提高查询效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中股票交易数据处理方法的流程示意图；

图2是本发明实施例中股票交易数据处理装置的结构示意图。

具体实施方式

以下将结合实施例和附图对本申请的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本申请的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

参考图1，如图1所示为本申请实施例提供的一种股票交易数据处理方法，所述方法通过服务器端执行，所述方法包括以下步骤：

步骤S100、服务器端从第三方数据库中获取有价证券对应的原始交易数据；

具体地，所述原始交易数据的来源包括上海证券交易所、深圳证券交易所、证券公司等；服务器与各个交易所或证券公司采用不同的通信协议，从各个交易所或证券公司的第三方数据库中获取原始交易数据；

步骤S200、服务器端基于所述原始交易数据生成基础数据和派生数据，将所述基础数据和派生数据对应存储到自有数据库中的各个数据库；

步骤S300、当服务器端接收客户端发送的查询请求时，根据所述查询请求确定用户选择的有价证券以及想要查询的基础数据和预测类别；

需要说明的是，在一实施例中，客户端获取用户输入的查询请求，将所述查询请求发送给服务器端；所述有价证券包括股票、基金、期货、债券等，以股票为例，所述原始交易数据的基础数据包括：日期、前收盘价、开盘价、最高价、最低价、收盘价、成交量、成交金额。所述有价证券的预测类别为所述有价证券的指标类别，例如，所述有价证券的成交价。

步骤S400、服务器端从自有数据库中对应的数据库分别获取基础数据和派生数据，将所述派生数据输入预先生成的函数模型，得到与所述预测类别对应的预测数据；

其中，所述自有数据库包括HBASE数据库、Druid数据库、MySQL数据库、HDFS数据库、HIVE数据仓库；

步骤S500、服务器端将所述有价证券的基础数据和与所述预测类别对应的预测数据发送给客户端进行显示。

需要说明的是，所述派生数据包括：振幅、换手率、量比、委比，所述有价证券的预测数据为所述有价证券在未来某个时段与所述预测类别对应的趋势数据，例如，在未来某个时段所述有价证券的成交价走势；本实施例中的函数模型预先生成，直接调用即可，通过从数据库中获取所述有价证券对应的派生数据；能直接拿到加工好的数据，避免在响应查询请求时，还需要处理繁杂的数据预处理过程，从而节约反馈时间，将所述派生数据输入预先生成的函数模型，即能快速得到预测数据，从而瞬时将所述预测数据发送给客户端进行显示，能即时响应客户端发送的查询请求，提高查询效率。

作为上述实施例的优选，所述步骤S200包括：

步骤S201、从各个交易所的第三方数据库中获取有价证券的原始交易数据；其中，所述原始交易数据包括实时数据、备份数据和离线历史数据；

需要说明的是，所述实时数据为所述有价证券在当前时刻的原始交易数据，所述备份数据为对实时数据进行备份得到的数据，所述离线历史数据为所述有价证券在过往时间段的原始交易数据。

步骤S202、确定所述实时数据对应的数据类别，将所述数据类别对应的标签转换为指定标签，将转换为指定标签的原始交易数据作为该有价证券的第一交易数据；

需要说明的是，各个交易所对原始交易数据对应的数据类别采用不同标签进行标记，例如，一个交易所将开盘价对应的标签标记为OP，而另一个交易所将开盘价对应的标签标记为O；本步骤首先对各个交易所的不同标签标记方式进行统一，转换为本申请实施例统一的指定标签，从而便于后续统一处理。

步骤S203、将不同有价证券的第一交易数据按交易时间顺序进行排序，形成第一数据队列；

步骤S204、确定所述第一数据队列中各个原始交易数据的交易类别，按所述交易类别将所述第一数据队列进行分类，得到多个第二数据队列；

需要说明的是，交易类别包括个股、指数、基金、行业板块，本步骤对各个交易类别进行划分，便于后续分类处理。本实施例中，服务器端从交易所获取原始交易数据后，在服务器端进行数据信息的整理归纳，加上指定标签，方便后续分类存储，提高数据传输的速度和准确性。

步骤S205、确定每个第二数据队列的交易类别对应的数据类型；其中，所述数据类型包括秒级数据、分时数据、K线数据和备份数据；

步骤S206、将数据类型为秒级数据的第二数据队列作为第一基础数据存储到第一HBASE数据库；将数据类型为分时数据的第二数据队列作为第二基础数据存储到Druid数据库；将数据类型为K线数据的第二数据队列存储到MySQL数据库；将数据类型为备份数据的第二数据队列存储到HDFS数据库，将离线历史数据存储到HIVE数据仓库中；

步骤S207、对所述HIVE数据仓库中的离线历史数据进行数据清洗，得到清洗后的离线历史数据；从清洗后的离线历史数据中提取得到K线数据，将离线历史数据中提取得到的K线数据发到MySQL数据库；将所述离线历史数据中提取得到的K线数据和MySQL数据库中数据类型为K线数据按时间轴顺序排列后作为第三基础数据存储在MySQL数据库中；

步骤S208、对所述HDFS数据库中的备份数据进行数据清洗，得到清洗后的备份数据，将清洗后的备份数据作为第四数据队列存储在所述HDFS数据库中；

步骤S209、将第四数据队列发到HIVE数据仓库，将HIVE数据仓库中清洗后的离线历史数据和第四数据队列加载到Kylin引擎，以通过Kylin引擎对清洗后的离线历史数据和第四数据队列进行多维索引和数据聚合，得到预处理数据；

需要说明的是，清洗后的离线历史数据作为全量数据，反应过往的成交记录；清洗后的备份数据作为增量数据，反应当前的成交记录；通过将清洗后的离线历史数据和第四数据队列进行多维索引和数据聚合，能够实时生成最新最全的预处理数据。

步骤S210、采用预先设置的转换公式对所述预处理数据进行计算，得到派生数据；将派生数据存储在第二HBASE数据库中。

需要说明的是，预处理数据是经过数据清洗后的纯净数据，作为基础数据，能够保证有价证券对应的交易数据的准确性，从而能够保证后续得到的派生数据的准确性；其中，预先设置的转换公式是指以预处理数据为自变量，以派生数据为因变量的函数，用于将基础数据转换为能够作为预先生成的函数模型的输入量的数据，例如，采用预先设置的转换公式将最高价和最低价转换为振幅，振幅能够作为函数模型的一个因变量，通过将一个或多个派生数据输入预先生成的函数模型，能够得到与所述预测类别对应的预测数据。

需要说明的是，发明人为了提高数据处理的效率，便于后续接口调用，首先确定每个第二数据队列的交易类别对应的数据类型，不同数据类型在单位时间内的数据量不同，基于数据类型进行分组，通过采用不同技术栈的数据库对各个分组的交易数据有针对性的进行存储，发挥各类数据库技术栈的效率、性能；其中，HBASE数据库是一个分布式的、面向列的开源数据库，Apache Druid是一个实时分析型数据库，适合存储大数据量的秒级数据、分时数据；MySQL是一个关系型数据库管理系统，HDFS数据库是被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统，Kylin是一个开源的分布式存储引擎。

此外，现有技术中，由于纯粹的数据统计与整理收纳了许多异常情况，造成图像化界面显示的数据严重偏离，容易造成错误指导，进而也会影响作为参考的趋势预测数据的准确性。

作为上述实施例的优选，步骤S207中，所述对所述HIVE数据仓库中的离线历史数据进行数据清洗，得到清洗后的离线历史数据，包括：

确定所述HIVE数据仓库中的离线历史数据是否在预设的数值范围内，将不在预设的数值范围内的离线历史数据剔除；

将HIVE数据仓库中剩余的离线历史数据的数据格式转换为设定的数据格式，得到清洗后的离线历史数据。

需要说明的是，数据格式包括显示方式(百分比还是小数位)、数据精度(小数位数)等，示例性的，确定HIVE数据仓库中剩余的离线历史数据的数据精度是否为设定的数据精度，将HIVE数据仓库中剩余的离线历史数据的数据精度设置为设定的数据精度。

作为上述实施例的优选，步骤S208中，所述对所述HDFS数据库中的备份数据进行数据清洗，得到清洗后的备份数据，包括：

确定所述HDFS数据库中的备份数据是否在预设的数值范围内，将不在预设的数值范围内的备份数据剔除，得到清洗后的备份数据。

需要说明的是，原始交易数据中的开盘价预设的数值范围通过人工根据该原始交易数据的过往数值预先设置，例如，若某个原始交易数据中的开盘价为20，人工(交易员、分析员等)对某个原始交易数据中的开盘价预设的数值范围为[18，22]，而该交易数据的开盘价为0，则将该原始交易数据剔除，并触发告警信息；

作为上述实施例的优选，所述方法还包括：

若所述HDFS数据库中存在预设的数值范围以外的备份数据，则触发服务器端向客户端发送告警信息。

具体地，服务器端向客户端发送告警信息形式为邮件、短信等。

作为上述实施例的优选，所述步骤S400包括：

步骤S401、服务器端确定所述有价证券对应的证券代码；

步骤S402、服务器端确定用户想要查询的基础数据，若所述基础数据包括第一基础数据，则根据所述证券代码从第一HBASE数据库中匹配所述有价证券对应的第一基础数据；若所述基础数据包括第二基础数据，则根据所述证券代码从Druid数据库中匹配所述有价证券对应的第二基础数据；若所述基础数据包括第三基础数据，则根据所述证券代码从MySQL数据库中匹配所述有价证券对应的第三基础数据。

作为上述实施例的优选，所述步骤S400还包括：

步骤S411、服务器端确定所述有价证券对应的证券代码；

步骤S412、服务器端确定用户想要查询的派生数据，根据所述证券代码从第二HBASE数据库中匹配出与所述有价证券对应的派生数据；

步骤S413、服务器端根据所述预测类别从与所述有价证券对应的派生数据中选取出派生数据；

步骤S414、服务器端从公式管理器中调用与所述预测类别对应的函数模型，将选取出的派生数据输入与所述预测类别对应的函数模型，得到与所述预测类别对应的预测数据。

需要说明的是，在一些实施例中，研究员结合多个纬度，根据有价证券的价格走势运行规律，制作编写量化策略，利用量化评测系统，得到和依据大量的数据回溯，再反复校对，最终形成量化策略的制作，根据预先制订的量化策略生成函数模型；

与图1的方法相对应，参考图2，本发明实施例还提供一种股票交易数据处理装置10，所述装置10包括：

至少一个处理器12；

至少一个存储器11，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器12执行，使得所述至少一个处理器12实现上述任一实施例所述的股票交易数据处理方法。

上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

与图1的方法相对应，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有股票交易数据处理程序，所述股票交易数据处理程序被处理器执行时实现上述任一实施例所述的股票交易数据处理方法的步骤。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。