Application 闕a f e l
柳州银行分布式数据库应用实践
文丨丨柳州银行信息科技部总经理尹冠华
从事金融业科技工作13年,现任柳州锒行信息科技部总经理。先后参与柳州银行核心系统、开放银行、数据仓库、“两地三中心”等多个 重大科技项目建设,2015年获得银行科技发展奖三等奖。
着近几年移动互联网技术和线上业
务的发展,传统银行将逐步演变为金融科技银行,这对商业银行的I T传 统架构带来巨大的挑战。2019年人民银 行发布《金融科技(FinTech)发展规划(2019-2021)》,提出了将“安全可控”作为金融科技的指导思想,并将分布式数 据库研发和应用列为一项重要的工作。
现阶段科技发展思路
为了快速应对复杂的互联网金融业务需求,我行从2019年开始,积极探索1T建设的新思路,提出了要向数字化和
智能化转型发展,科技既要为业务运行做
好支撑,也要为业务创新赋能。
目前我行的I T架构主要存在业务系
统模块高度耦合、重要系统数据之间没有
打通、各系统部署和运行基于应用虚拟
化和集中式数据库部署等特点,对满足新
形势下的需求存在诸多问题。我行借鉴大
型银行和互联网机构的分布式架构转型经
验,从系统架构设计、开发模式和规范、
运维机制和监督、人才梯队建设等方面进
行全面考虑,目标是实现分布式架构、高
效的数据治理体系、敏捷的开发体系、安
全高效的运维保障体系。由于我行核心系
统投产运行时间较长,已经无法完全适应
互联网金融业务复杂多变的快速迭代,因
此2018年我行将核心系统的业务模块进
行剥离和拆分,将主要面向互联网金融业
务的模块独立出来,成为互联网核心。同
时将历史数据从核心库中剥离,形成全行
历史库系统,大大简化了核心系统的复杂
度,有效提升数据处理效率。
分布式数据库试点契机
架构转型是一个复杂的过程,集中
式架构运行多年,从管理、设计、开发、
运维各方面已经形成惯性,而在分布式架
构下,需要实现业务模块解耦、数据实时
通信、开发运维一体化、系统监控智能化
等,这对传统的开发和运行模式形成一定
挑战。我行科技部门对于技术创新和新技
术使用有很强的内在驱动力,主动迎接技
术变化,统一思想,确定了集中式架构向
分布式架构转型的总体建设目标。在分布
式架构的转型过程中,分布式数据库是其
中最核心的一环。同时,由于全行历史库
系统的立项建设,分布式数据库成为我行
的重要考量因素。
近几年,柳州银行核心业务系统接
入的渠道数量不断增加,互联网金融等业
务迅速发展,业务数据比上线时有了数十
倍的増长。历史数据不仅占用了大量的存
储空间,历史数据查询也消耗了核心系统
的运算资源,降低核心系统业务响应时间。
柳州银行为保障核心业务系统性能,下决
心解决数据查询效率低、查询区间小、历
史数据量剧增导致的跑批和备份时间长
等问题。2019年初,由行领导亲自督办,
科技部领导牵头,组织核心业务系统技术
专家评审和可行性分析后决定,成立核心
历史数据查询平台项目组。
分布式数据库选型之路
项目组成立之初,关注的重心还是在
底层技术选型上,柳州银行核心系统使用
G T.M集中式数据库,重要业务系统主要
使用Oracle数据库。但集中数据库存在
多并发处理能力不足,单机硬件故障导致
业务中断风险性高,软硬件升级过程中需
要停机,国内专业技术工程师少,技术相
对封闭以及原厂服务成本较高等问题。
当前金融行业互联网线上业务爆发
式增长,大量的线下渠道向线上转移,线
上应用系统大量建设,传统集中数据库逐
71
跟aaaisi Application
渐难以适应新技术的服务要求。柳州银行 近年来一直在思考如何通过信息技术实现 传统数据库架构转型,以应对新的业务技 术特点。经项目组研究决定核心历史查询 平台坚定不移的走分布式数据库的技术选 型之路。
柳州银行组织专业团队通过市场调研和走访同业成功案例,分析技术功能点、稳定性、厂商保障能力,以及运维和开发 的便捷程度,同时站在国家信息安全、自主可控能力等方面综合考虑后,某国产数 据库产品最终以优秀的综合能力入选试点 项目数据库。该分布式数据库从国家信息 安全角度上考虑自主可控,具备大压力、高可靠性的能力。支持多地多数据中心部 署,数据中心之间通过内部数据同步机制 实现跨数据中心的实时同步,能保证数据 中心之间的数据一致性和服务连续性。同时具有快速切换,非停机扩容,定比流量 分配等优势,与Oracle、DB2等主流传统数据库的兼容性较好,基本实现技术平 滑切换迁移;开发额外技术成本低,SQL 不依赖特定数据库产品和应用程序,运行维护简单,而且可以做
到原路切换回原有
数据库,解除后续系统开发和维护的后顾
之忧;根据业务场景可以选配各种配置的
硬件服务器,在价格上具有的较大的优势,
可以有效降低中小规模的商业银行的科技
投入。
分布式数据库使用情况
我行核心历史查询平台一、二期项目
建设已于2020年9月全部投产完成,整
个开发、测试、投产非常顺利。核心历史
数据平台通过对核心历史流水的迁移,实
现核心历史数据的读写分离。平台使用分
布式数据库,与传统核心单节点文件型数
据库相比较,大幅提高了查询效率。同时
分布式架构的应用,使平台具有与生俱来
的容灾特性,很大程度上提升了系统的安
全性及稳定性。
原核心为文件型数据库,不支持大跨
度时间段的历史交易明细查询。如今平台
对其进行了数据迁移整合,可以实现大跨
度时间段的流水查询。如手机用户、网上
银行可以放开查询范围限制,让客户查询
跨度更大的历史流水,
提供了更好的用户体
银行为什么用db2数据库验。
平台使用分布式
架构,在柳州银行客户
及业务量逐年递增的
背景上,扩展后台服
务器硬件成本与技术
成本更低。对于分布
式架构,平台横向扩
展更加简单且易操作,
只需要增加应用和数
据库服务器节点,便可
以提升平台的查询性
能及效率,且平台使
用的是x86的服务器,
比起传统核心的小型机性价比更高(见图
2)〇
平台上线后,系统运行稳定,截止到
2020年10月底,柳州银行的平台响应率
在99.999%以上。特别是柳州银行历史
查询中有文件交互的场景,凭证交易历史
查询接口响应时间从原先的平均1000多
毫秒下降到20毫秒,查询响应时间提升
50倍左右;账户交易历史明细报表接口
从平均耗时3000毫秒下降到2000毫秒,
查询耗时降低30%左右;账户历史明细
查询接口从平均1000毫秒下降到170毫
秒,执行效率提升约5倍。整体查询性能
大幅提升,同时也增加了客户应用体验满
思;
分布式数据库工作总结和规划
柳州银行通过核心历史查询平台一、
二期建设,降低了核心实时交易数据量,
缩短了核心跑批和备份时间,提高了生
产安全可靠性。在国产分布式数据库的使
用过程中,柳州银行工程师通过学习,了
解到分布式数据库相关技术原理和实现模
式,在用分布式数据库操作和运维与传统
数据库差异不大,较快掌握了相关技术。
目前行内数据库的应用开发和运维工作,
基本由柳州银行技术人员独立承接。
通过我行项目实践,我们对国产数据
库有了更强的信心,特别是国产数据库原
厂的技术支持和保障体系,更有优势,我
们也希望能和国内基础软件厂商紧密合
作,结合国际安全形势,为国家信创战略
的实施贡献力量。下一阶段,柳州银行将
立足于自身的实际情况,结合国家的信创
战略要求,稳步扩大分布式数据库的应用
范围,目前柳州银行已经完成线上重要交
易系统的可行性测试,为后续分布式数据
库的应用试点做好技术储备,同时也为我
行的分布式架构转型打好基础。S
72