消息处理方法及装置

技术领域

本发明涉及互联网技术领域，特别是涉及一种消息处理方法和装置。

背景技术

AS/400是当今世界上最流行的中小型、多用户商业计算机系统，其广泛应用于流通、金融证券、制造、运输,安防等各个行业。

现有的AS400系统虽然从架构上实现了交易处理系统和消息处理模块的异步设计，但是因为数据库系统的集中式部署，实际并未实现交易处理系统与消息处理模块的真正解耦；且AS400大型机横向扩展和纵向扩展高难度性，也决定了原主机系统很难达到消息处理服务的高并发性要求。

现有技术中常见的交易处理系统与交易后的消息通知是一个整体模块，交易后消息处理功能必将给交易系统带来性能的损耗；同时，AS400主机系统是将消息存储在队列中，通过socket通信将消息发给短信平台，此种方式的队列是有存储容量限制的，会造成消息丢失。

发明内容

基于此，本发明提供一种消息处理的方法和装置，能够解耦交易系统和交易消息处理系统，保证消息服务系统的高可用和高可靠性；同时解决AS/400系统高并发时消息拥堵及丢失问题。

本发明第一个方面，提供一种消息处理方法，该方法包括：

采集至少一个数据表，将所述数据表存储至第一kafka队列中；

分拣所述数据表中数据，得到待处理数据；

将所述待处理数据路由至消息服务平台进行加工，得到待发送消息。

具体地，所述分拣所述数据表中数据包括：

订阅所述数据、分类处理所述数据、判断所述数据的签约关系、控制所述数据的处理渠道、按所述处理渠道将所述数据进行路由。

具体地，所述将所述待处理数据按类型路由至消息服务平台进行加工包括：

将所述待处理数据按所述处理渠道分别路由至短信处理服务、公众号消息处理服务、或实时短信处理服务；

具体地，该方法还包括：

将所述待发送消息与短信处理服务、公众号消息处理服务、或实时短信处理服务适配。

具体地，该方法还包括：

配置所述待发送消息模板属性、模板变量、变量规则、和消息渠道。

本发明第二个方面，提供一种消息处理装置，该装置包括：

一种消息处理装置，其特征在于，所述装置包括：

采集模块，用于采集至少一个数据表，将所述数据表存储至第一kafka队列中；

分拣模块，用于分拣所述数据表中数据，得到待处理数据

加工模块，用于将所述待处理数据路由至消息服务平台进行加工，得到待发送消息。

具体地，所述分拣模块包括：

订阅模块、分类模块、判断签约关系模块、渠道控制模块，渠道路由模块。

具体地，所述加工模块还包括：

短信加工模块，公众号消息加工模块、实时短信加工模块。

具体地，所述消息处理模块还包括：

适配模块，用于将所述待发送消息与短信处理服务、公众号消息处理服务、或实时短信处理服务适配。

具体地，所述消息处理模块还包括：

内管模块，用于配置所述待发送消息模板属性、模板变量、变量规则、和消息渠道。

本发明第三方面，提供一种终端，所述终端包括处理器以及存储器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序执行本申请第一方面所述的消息处理方法。

本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的消息处理方法。

综上本发明通过将消息处理系统与交易系统解耦，实现一种异步的、可扩展高并发的实时消息处理系统，同时解决AS400系统高并发时消息拥堵及丢失问题。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例中消息处理方法的流程示意图；

图2为本发明另一实施例中消息处理装置的架构示意图；

图3为本发明另一实施例中消息处理终端的架构示意图。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

实施例1

如图1所示，一种消息处理方法，包括：

S001采集至少一个数据表，将所述数据表存储至第一kafka队列中；

采用kafka大数据分布式存储，数据存储无限制，有副本机制保证数据完整以及安全。

S002分拣所述数据表中数据，得到待处理数据；

S003将所述待处理数据路由至消息服务平台进行加工，得到待发送消息。

具体地，所述分拣所述数据表中数据包括：

订阅所述数据、分类处理所述数据、判断所述数据的签约关系、控制所述数据的处理渠道、按所述处理渠道将所述数据进行路由。

具体地，所述将所述待处理数据按类型路由至消息服务平台进行加工包括：

将所述待处理数据按所述处理渠道分别路由至短信处理服务、公众号消息处理服务、或实时短信处理服务；

具体地，该方法还包括：

将所述待发送消息与短信处理服务、公众号消息处理服务、或实时短信处理服务适配。

所述短信处理服务、所述公众号消息处理服务、和所述实时短信处理服务分别对接收到的所述待处理数据进行消息处理，所述消息处理包括数据查询、数据计算、规则引擎决策、决策结果解析、消息模板和模块变量加工、营销短信处理、记录消息历史、发送消息至所述第二kafka队列

具体地，该方法还包括：

配置所述待发送消息模板属性、模板变量、变量规则、和消息渠道。

该发明通过kafka集群采集授权交易流水，消息服务系统实时消费数据，并将处理结果实时发送给短信平台和微信公众平台。一方面将授权交易系统与授权后短信&公众号消息推送系统完全解耦，极大的缓解了授权交易系统的处理负荷，实现更高的授权交易吞吐量；另一方面，解决了原AS400主机系统授权交易和授权后实时短信处理模块共用内存，当并发过高时，机器容量不足时将堆积的消息自动清理导致消息丢失的技术痛点。

该发明采用线程池+countdown技术实现并行化处理以提高系统吞吐量；同时借助容器云平台的流水线的编排，动态的调整服务数量与服务启停，可根据需要调整消息服务部署节点，实现消息服务动态扩展以及高并发性能需求。

该发明借助新核心系统内管平台和规则引擎平台，通过在内管平台配置短信模板的变量，以及对应的变量规则，借助规则引擎平台的规则计算模型，可动态计算模块变量值，实现短信模板配置化，极大的减少了短信模板变更时的代码变更频率，解决了业务需求变更投产难、投产慢的痛点。

实施例2

如图2所示，一种消息处理装置100，包括：

采集模块110，用于采集至少一个数据表，将所述数据表存储至第一kafka队列中；采集交易生成的授权流水表记录(或其他需要处理发送消息的数据表)，存储至kafka中，供消息服务消费使用

分拣模块120，用于分拣所述数据表中数据，得到待处理数据

加工模块130，用于将所述待处理数据路由至消息服务平台进行加工，得到待发送消息。

其中，所述分拣模块120包括：

订阅模块121、分类模块122、判断签约关系模块123、渠道控制模块124，渠道路由模块125。

优选地，所述加工模块还130包括：

短信加工模块131，公众号消息加工模块132、实时短信加工模块133。其中每个加工模块，需要完成数据查询、数据计算、规则引擎决策、决策结果解析、消息模板和模块变量加工、营销短信处理、记录消息历史、发送消息至kafka队列等功能。

该发明采用线程池+countdown技术实现并行化处理以提高系统吞吐量；同时借助容器云平台的流水线的编排，动态的调整服务数量与服务启停，可根据需要调整消息服务部署节点，实现消息服务动态扩展以及高并发性能需求；

优选地，所述消息处理模块还包括：

适配模块140，用于将所述待发送消息与短信处理服务、公众号消息处理服务、或实时短信处理服务适配。该模块可适配下游短信平台和公众消息平台，实现消息调用、消息推送错误重试的功能。该模块将消息推送与消息处理模块解耦，当在外围系统消息拥堵或者环境异常时，可保证消息处理模块的高稳定性

优选地，所述消息处理模块100还包括：

内管模块160，用于配置所述待发送消息模板属性、模板变量、变量规则、和消息渠道。

优选地，所述消息处理模块100还包括：

营销模块，用于实现授权交易后的实时营销短信和消息的生成。

数据存储层，该层使用hbase+es存储数据，海量数据下查询的耗时明显降低。

实施例3

如图3所示，一种消息处理终端3。

所述终端包括存储器301、处理器302，所述存储器用于存储计算机程序303；其特征在于，所述处理器用于执行所述计算机程序时实现如上实施例1中消息处理方法所述的步骤。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种消息处理方法、消息处理装置进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。