银行历史数据集中系统的大数据技术实践

银行历史数据集中系统的大数据技术实践

 

目前Hadoop/HBase广泛应用于各类具有大数据需求的企业,尤其是互联网企业,实践已证明其对大数据处理的适用性。银行历史数据系统具有的“大数据”特征,作者探索了采用Hadoop/HBase实现历史数据集中系统。

 

目前银行历史数据系统主要采用关系型数据库进行数据存储,如Oracle RAC方式,但此方式具有诸多限定,例如数据量积压到一定值后,将极大影响联机查询效率;只适合存储结构化数据,难以满足对半结构化和非结构化历史数据的处理;成本较高,一套系统性能完善的历史系统仅硬件成本将超过千万。基于银行历史数据系统具有的“大数据”特征,我们探索采用当前广泛应用的大数据技术解决方案,基于Hadoop/HBase的技术架构,给出技术结果、分析关键技术及技术特性。

一、Hadoop/HBase简介

Hadoop是Apache软件基金会的一个开源项目,目的是为用户提供一个能够对大量数据进行分布式处理的软件框架,具有可靠、高效、可伸缩等特点。HBase则是APache的Hadoop的子项目,在Hadoop之上提供高可靠性、高性能、可伸缩的分布式数据库系统。不同于一般的关系数据库,利用HBase技术可在廉价PC服务器上搭建起大规模结构化数据库集群系统。

HDFS是Hadoop分布式文件系统,为HBase提供了高可靠性的底层存储支持。MaPReduce是Hadoop任务调度管理模块,为HBase提供了高性能的计算能力。Zookeeper是Hadoop的分布式协调服务,为HBase提供了稳定服务和容错机制。

此外,开源社区提供基于Hadoop的支持工具,如:Pig是一个基于Hadoop的大规模数据分析平台,Hive是基于Hadoop的一个数据仓库工具,使得在HBase上进行数据统计处理变得非常简单。Sqoop则为HBase提供了方便的RDBMS数据导入功能,使得传统数据库数据向HBase中迁移变得非常方便。

Ambari是一种基于Web的、支持Apache Hadoop集群的供应、管理和监控的工具。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop等集中管理。

目前Hadoop/HBase广泛应用于各类具有大数据需求的企业,尤其是互联网企业,如Facebook、Twitter、ebay、雅虎、阿里、百度、华为、国内部分电信运营商等公司,国外摩根、花旗等银行都已开展具体应用。其中,阿里、国内部分电信运营商都已经采用Hadoop/HBase实现对历史数据(如话费单、购买交易记录)的查询等功能。阿里Hadoop/HBase集群节点数目将近5000个,实践已证明其对大数据处理的适用性。

二、系统架构

基于Hadoop/HBase历史数据集中系统逻辑结构如图1所示。

 银行历史数据集中系统的大数据技术实践1

1.历史数据获取。历史数据通过数据抽取系统,从相关生产数据库中抽取所需数据,为不影响关键业务系统性能,可以通过灾备线路将数据导入历史数据库中。相对于基于Oracle RAC的技术方案,新技术方案由于技术架构的横向可扩展性,在不影响系统性能的条件下,可以同时对接多个生产数据库,实现历史数据的集中处理。

2.历史数据查询。历史数据查询模块实现联机交易查询,根据查询时间段,将查询结果反馈给前台用户。相对于基于Oracle RAC的技术方案,新技术方案由于具备大数据量的处理能力,不但能够提高查询效率,而且历史联机查询的时间范围能随着处理数据量扩展,例如从以前5年历史查询扩展到查询30年的历史数据。

3.历史数据挖掘分析。相对于Oracle RAC的技术方案,新技术架构由于具有天然大数据技术特性,可以做到综合多种生产数据来源,从海量历史数据中进一步挖掘分析出所需信息,例如用户行为分析等,以优化相关金融服务产品,提高用户体验、防范风险。

从图2物理结构上看,相对于基于Oracle RAC的技术方案,新技术方案在展示层、应用服务层改动较小,在数据资源层改变较大,去除了磁盘阵列要求,数据全部存储在HBase域服务器本地硬盘上。新技术方案中,数据存储层,各服务器作用如下。

 银行历史数据集中系统的大数据技术实践2

Zookeeper服务器集群:为HBase提供了稳定服务和容错机制,为应用提供数据库配置信息、命名、分布式协调服务。

HBase主服务器:实现HBase集群初始化,负责数据表格、域分配管理;负责管理域服务器的负载均衡,调整域分布。数据资源层只有一台在线使用的HBase主服务器,但没有单点问题,HBase中可以启动多个HBase主服务,通过Zookeeper保证总有一个HBase主服务运行。

HBase域服务器集群:负责响应应用的数据I/O请求,向HDFS文件系统中读写数据,是HBase中最核心的模块。所存储的数据以文件形式保存在本地盘中。

HBase管理、监控服务器:基于Ambari工具,为运维人员提供HBase集群的管理和监控功能。

三、技术特性

采用Hadoop/HBase实现历史数据集中系统,能够满足海量历史数据高效的联机查询需求,并通过Hive/Pig等工具实现数据挖掘分析功能,具备如下技术特性。

高可靠性:Hadoop/HBase维护多个数据副本,确保能够针对失败的节点重新分布处理,其备份恢复机制以及计算任务监控机制保证了分布式处理的可靠性。高扩展性:Hadoop/HBase具备存储和计算可扩展性,为处理海量数据,可以很方便地将集群扩展到数以干计节点规模,处理规模能够达到PB级。高效性:Hadoop/HBase以并行的方式工作,处理速度高效。经济性:基于Hadoop/HBase的大数据处理都运行在廉价的PC服务器上,无需购置昂贵的小/大型机以及磁盘阵列设备。

值得注意的是,新技术除具备以上技术优点外,其具体应用中也存在一定技术风险。首先,HBase不是传统关系型数据库管理系统,需要应用开发人员抛弃原有数据库系统设计方法,重新掌握NoSQL等新技术知识。其次,Hadoop/HBase是全新的技术,目前国内精通此技术的人员较少,尚无专业技术服务支持公司,需要银行自我培养人才队伍。最后,Hadoop/HBase采用开源方式发行,相关自动化运维辅助工具较少,要维护管理好一个大规模Hadoop/HBase集群,需要投入一定数量的技术人员。

 

文章来源:《金融电子化》杂志

Copyright © 1998 - 2017 北京宏基恒信科技有限责任公司    京ICP备17073448号-1