基于大数据的数据挖掘系统

技术领域

本发明设涉及大数据技术领域，具体涉及一种基于大数据的数据挖掘系统。

背景技术

随着大数据时代的到来，对于政府和企业而言，拥有海量、多样的数据资源，而经济增长方式是“生产要素的分配、投入、组合和使用的方式”，创新性地挖掘和应用隐藏在经济增长相关数据背后的事物发展规律，可以有效实现传统资源的投入、组合和使用方式的优化和预测。但就目前而言，大数据是一门新兴的技术，处于高速发展阶段，一方面利用传统技术难以进行充分的数据分析与挖掘，另一方面，大数据人才的严重匮乏，而且人力成本非常昂贵，使得政府和企业不能够及时充分地利用内外部数据，不能发现数据背后的价值和规律。如何提升海量数据的快速处理能力、数据的分析挖掘能力、大数据算法能力以通过数据助力新经济发展，是亟待解决的重要问题，也是新经济发展的关键所在。

大数据是一门新兴的技术，传统的大数据挖掘系统存在着许多缺点：数据化程度不高，数据孤岛问题严重的数据管理问题；数据挖局资金成本高、时间周期长、计算集群复杂的成本问题；大数据需求和应用方式不明确的具体业务分析问题；对数据价值进行挖掘，无法找到业务优化点、业务创新点、业务分析，需要依靠大量人力且无法准确判断得出结果是否科学合理的数据分析问题等。因此提出一种整合优化、高性价比、轻便快捷的专业机器学习环境、内置常见的算法框架、分布式、高性能、易部署的大数据挖掘系统以解决传统大数据挖掘系统的不足。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于大数据的数据挖掘系统，该基于大数据的数据挖掘系统可以很好地解决上述问题。

为达到上述要求，本发明采取的技术方案是：提供一种基于大数据的数据挖掘系统，该基于大数据的数据挖掘系统

该基于大数据的数据挖掘系统具有的优点如下：

通过建设一个分布式、无需编码的可视化大数据分析与挖掘平台，以此为基础汇聚大数据解决方案构建智库，形成集大数据分析挖掘技术、大数据综合解决方案为一体的大数据生态圈。平台提供包括大数据服务基础平台集成、数据分析挖掘、模型部署和创新应用的完善解决方案，并为客户提供数据挖掘和业务建模的技术指导，力求以产品自助使用为主、各种培训方式为辅的方式来帮助客户降低大数据应用门槛，提升大数据价值发现的效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示意性地示出了根据本申请一个实施例的基于大数据的数据挖掘系统的前端设计架构示意图。

图2示意性地示出了根据本申请一个实施例的基于大数据的数据挖掘系统的后端设计架构示意图。

图3示意性地示出了根据本申请一个实施例的基于大数据的数据挖掘系统的结构示意图核心挖掘服务端设计结构。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。

在以下描述中，对“一个实施例”、“实施例”、“一个示例”、“示例”等等的引用表明如此描述的实施例或示例可以包括特定特征、结构、特性、性质、元素或限度，但并非每个实施例或示例都必然包括特定特征、结构、特性、性质、元素或限度。另外，重复使用短语“根据本申请的一个实施例”虽然有可能是指代相同实施例，但并非必然指代相同的实施例。

为简单起见，以下描述中省略了本领域技术人员公知的某些技术特征。

根据本申请的一个实施例，提供一种基于大数据的数据挖掘系统，如图1所示，分为三大模块，分别是平台前端模块、平台后端模块和核心挖掘服务端模块。平台前端模块处理用户交互、在浏览器中展示数据。平台后端模块和核心挖掘服务通过RPC的方式交互，核心挖掘服务端模块处理平台后端的请求，负责工作流的执行，并返回结果给平台后端。

根据本申请的一个实施例，提供一种基于大数据的数据挖掘系统，该系统的平台前端模块是基于Backbone框架的单页面应用。它的Model通过发送GET请求给后端获取所需内容。然后该内容通过模板渲染到平台前端模块。如果用户改变了Model，平台前端模块会通过发送PUT\POST请求给后端来保存数据。前端工作流程图基于Draw2D框架开发，以满足用户拖拽算子组成工作流的需求。

平台前端模块以M(Models)V(View)P(Presenter)模式进行开发，整个页面由handlebars Template前端模板渲染生成，用户通过对URL路由的操作或者页面中某些DOM节点的操作使页面跳转并重新渲染新的页面(页面部分属于V)。页面渲染需要获取模板中对应的属性参数和节点的绑定事件，这时就需要P与V和M进行交互，在P里存在着views，一些继承于views的对象和presenters，views可以为handlebars Template提供其需要的属性参数并为对应的DOM节点绑定事件，presenters是处理一些复杂的Models和collections使其能被views调用。M部分包括Models和collections，它们会给P部分提供数据和需要处理的数据，使其能被V部分展示，M能与后台进行交互使数据能增删改查。当M发生变化后V也会重新渲染，这个过程需要P去处理中间交互过程，因为M和V不能直接交互。

根据本申请的一个实施例，提供一种基于大数据的数据挖掘系统，该系统的平台后端模块使用Ruby on Rails作为开发框架，在此基础上开发具体业务逻辑，平台前端模块通过RESTful风格的API和具体的路由表和平台后端模块交互，平台后端模块和计算后端的MinerServer交互，持久化数据库使用PostgreSQL。

Rails是基于Ruby的Web应用框架，遵循MVC的软件开发模式，并强调约定由于配置，通过约定来减少配置，从而可以快速敏捷开发项目。

Rails中的模型和持久化数据库之间通过ORM框架交互，Rails中的ActiveRecord即为ORM实现。Rails所遵循的Web接口是Rack，Rack是Ruby上定义的一个简单的Web接口。

根据本申请的一个实施例，提供一种基于大数据的数据挖掘系统，该系统的核心挖掘服务端基于Netty对外提供RPC服务，主要提供算子、工作流、模型访问服务。服务端还封装了一层Connector，实现对Hadoop相关组件的调用。RPC服务端在线的情况下，可通过RPC客户端API获取各类服务对象(RPCService)，进而调用各类Service提供的相关接口。RPC服务不直接操作Hadoop相关组件，而RPC服务内部通过ConnectorService来获取底层基础框架(Infrastructure)的数据或计算资源。

以上所述实施例仅表示本发明的几种实施方式，其描述较为具体和详细，但并不能理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明保护范围。因此本发明的保护范围应该以所述权利要求为准。