微服务项目技术架构
——中小金融机构数智化转型之数智化转型优秀案例
重庆农商行:外部数据综合管理平台
一、项目方案
随着本行渝快贷、房快贷、税快贷等线上创新产品的研发投产,本行对于外部数据的接入和调用呈现不断上升的趋势,应用外部数据已成为银行数字化转型的重要技术手段。为了不断提升本行大数据处理和服务能力,增强外部数据综合的管理效率和水平,本行数据管理部统筹建设了外部数据综合管理平台,该平台实现了全行安全稳定的外部数据接入和调度,支持外部数据服务开发和采购管理功能、系统运维监控管理及外部数据综合查询和统计分析功能。
外部数据综合管理平台系统设计采用SOA面向服务设计原则,采用可靠的、先进的大数据技术,确保整体先进性、开放性和技术架构兼容性。
图1系统逻辑架构
通过系统平台,(1)在安全稳定的数据接入和调度服务方面实现对接入数据的加解密控制,包括预设加解密算法、支持自定义加解密支持多种报文格式接入,然后进行统一报文格式转发服务,在接入数据解析过程中完成报文字段可拆解、数据解析映射等功能,进一步对接入的数据进行认证管理、密钥统一管理、并发布行内的接口标准和规范。
(2)在开发服务和采购管理方面实现接口配置化,支持接口Mock测试,提供开发高效的
开发测试;实现接入的数据包括联机调用,批量拉取,本地化部署;通过管理端APP实现从需求到采购的流程化管理。
(3)在系统管理和运维监控管理方面,针对不同接口的调用量进行阈值配置,如设置阈值80%为正常,超过80%后进行告警,达到100%后进行熔断;针对CPU、磁盘空间、内存等设置告警阈值,各服务器的资源进行监控,并进行图形化的展现,正常与告警以不同颜进行显示;对于操作记录进行日志记录,针对每个服务进行日志记录,针对每笔交易进行全链路监控;通过阈值配置配置的每个接口调用总量的阈值,针对不同的接口进行图形化的调用总量的展现,对于超出对应级别阈值的发出对应告警或者熔断。
(4)在外部数据综合查询和统计分析方面,支持接口级灵活查询,包括web页面查询接口;统计分析查询,支持根据不同统计口径、时间、产品等维度进行接口调用查询,以及供应商、业务需求的集中管理。
二、创新点
本项目在时效性、可控性、安全性、共享性、合规性等五个方面有较好的实践和创新。
第一,时效性方面,通过技术手段,对外部数据进行实时自动化存储、清洗、转化、关联,无需人工干预、无需代码开发,保证外部数据在使用时做到高效、实时。
第二,可控性方面,建立外部数据开发测试等相关规范,保证在外部数据技术开发上可控性;严格按照“先授权、后使用”的原则,保证在数据权限方面的可控性;全流程监测外部数据使用状态、使用规范、使用场景,保证外部数据使用方面的可控性;实时监测外部数据质量,保证外部数据质量方面的可控性。
第三,安全性方面,提供完善的数据加密及传输加密机制,外部数据资产在存储、传输的各个环节无明文数据;为了防止数据在存储传输过程中被拦截获取,提供数据加密规则和算法,对敏感数据进行加密处理。
第四,共享性方面,为保证外部数据资产的统一性与共享性,所采用的技术均为主流技术,数据标准采用全行的统一标准,统一进行外部数据商采购以及相关对价管理等。针对行内需求,协助采购部门进行业务需求与技术方案的把关、开展后评估报告等管理工作
第五,合规性方面,充分结合《中华人民共和国数据安全法》《中华人民共和国网络安全法》
《征信业务管理办法》《商业银行应用程序接口安全管理规范》《个人信用信息基础数据库数据金融机构用户管理办法》等法律法规以及行内的数据管理规范,制定了《银行外部数据源管理办法》《外部数据平台管理实施细则》等内部制度,保证外部数据在传输、存储、使用过程中的合规性。
三、技术实现特点
该平台基于服务的设计理念,建立外部数据服务网关,实现外部数据对行内业务系统的实时和联机服务。在服务方面,平台基于微服务技术框架,实现全行外部数据服务接口的统一管理和治理。该平台集服务及管理于一体,既满足业务系统使用要求,也满足外部数据管理、外部服务管理等要求。在开发实施方面,平台基于组件实施模块,快速实现外部数据接口的接入,便于系统的二次开发和维护管理,支持多种协议及通信方式,满足报文的格式转换及外部数据标准化。
该系统内设有详细的日志及审计信息,实现外部接口接入及内部服务调用的全流程监控及服务地图。实时服务与数据落地通过消息件的异步接口机制,支持服务的高并发,确保系统的高效运行及可扩展性。支持外部数据资产管理,外部数据元数据管理,外部数据质量管理及
在线API文档展示,方便用户查阅外部数据资产目录及外部数据申请接入。
四、项目过程管理
本项目按照建设规划分三阶段进行建设
第一阶段完成平台搭建:于2020年7月启动项目,通过框架设计和架构规划,搭建环境和数据基础设施,于2020年9月完成平台功能部署;
第二阶段平台升级:于2021年9月至2021年11月,为进一步推动全行数字化基础设施建设,进一步提升平台业务管理功能,加强综合报表管理和分析,为外部数据管理提供更好决策;优化接口服务功能,优化开发端缓存、热备、挡板的关键需求。
五、运营情况
该平台已对接 17 个业务系统,上线48 个数据服务供应商,发布251个服务接口,目前周均调用量约210万次,预计今年全行调用量突破6000万次,发布的数据服务包括核验类、评分类、标签类、黑名单类、金融市场类、价格评估类等类型,支持开户建档、授信审批、贷后
管理、业务营销等场景,满足了各个业务线日益增长的数字化运营、信贷、风控管理等需求。
六、项目成效
该平台通过全行统一集中管理,形成了统一的外部数据接入标准,为行内各系统提供了安全便捷稳定的外部数据服务。在管理方面,对于行内多个相同数据源进行了合并管理,促进了外部数据供应商商务层面的统一管理,整合行内各部门使用外部数据的成熟经验,为行内各部门提供了更加全面完善的外部数据使用参考。在费用方面,通过平台统一开发接口发布服务,减少了各个业务系统单独对接开发的工作量;同时通过提供接口的缓存功能,在策略有效期下可以重复利用缓存的外部数据,大幅节省相关费用。
七、经验总结
通过本平台建设,实现外部数据统一存储和管理,对外部数据进行结构化处理、数据标准化转换和数据清洗等,进行关联整合,满足数据二次使用的目的。实现外部数据服务的审计监控、计费对账、数据查询、分析统计及报表等功能。建立全行外部数据发布机制以及外部数
据使用标准,在提高服务复用率的同时降低了外部数据使用难度与使用成本。在系统性能与稳定性方面,已完成同城双活建设,满足各类系统高并发与高可用要求。
本平台已成为本行引入外部数据的重要渠道,在客户画像、智能风控、获客营销等场景发挥重要作用。在平台使用上,已覆盖全行各个业务部门,成为全行级的大数据基础平台。此平台是本行数字化转型战略的重要平台,有效支撑了银行金融生态和场景应用的构建,成为银行互联网业务和零售业务发展的重要基础支撑。

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。