外部数据管理平台是干嘛的(外部数据管理平台是干嘛的啊)

来源：2022第三届中小金融机构数智化转型优秀案例评选

获奖单位：重庆农商行

荣获奖项：数据智能应用创新优秀案例奖

一、项目方案

随着本行渝快贷、房快贷、税快贷等线上创新产品的研发投产，本行对于外部数据的接入和调用呈现不断上升的趋势，应用外部数据已成为银行数字化转型的重要技术手段。为了不断提升本行大数据处理和服务能力，增强外部数据综合的管理效率和水平，本行数据管理部统筹建设了外部数据综合管理平台，该平台实现了全行安全稳定的外部数据接入和调度，支持外部数据服务开发和采购管理功能、系统运维监控管理及外部数据综合查询和统计分析功能。

外部数据综合管理平台系统设计采用SOA面向服务设计原则，采用可靠的、先进的大数据技术，确保整体先进性、开放性和技术架构兼容性。

图1 系统逻辑架构

通过系统平台，在安全稳定的数据接入和调度服务方面：实现对接入数据的加解密控制，包括预设加解密算法、支持自定义加解密；

支持多种报文格式接入，然后进行统一报文格式转发服务，在接入数据解析过程中完成报文字段可拆解、数据解析映射等功能，进一步对接入的数据进行认证管理、密钥统一管理、并发布行内的接口标准和规范。在开发服务和采购管理方面：实现接口配置化，支持接口Mock测试，提供开发高效的开发测试；实现接入的数据包括联机调用，批量拉取，本地化部署；通过管理端APP实现从需求到采购的流程化管理。系统管理和运维监控管理：针对不同接口的调用量进行阈值配置，如设置阈值80%为正常，超过80%后进行告警，达到100%后进行熔断；针对CPU、磁盘空间、内存等设置告警阈值，各服务器的资源进行监控，并进行图形化的展现，正常与告警以不同颜色进行显示；对于操作记录进行日志记录，针对每个服务进行日志记录，针对每笔交易进行全链路监控；通过阈值配置配置的每个接口调用总量的阈值，针对不同的接口进行图形化的调用总量的展现，对于超出对应级别阈值的发出对应告警或者熔断。外部数据综合查询和统计分析：支持接口级灵活查询，包括web页面查询接口；统计分析查询，支持根据不同统计口径、时间、产品等维度进行接口调用查询，以及供应商、业务需求的集中管理。

二、创新点

本项目在时效性、可控性、安全性、共享性、合规性等五个方面有较好的实践和创新。第一，时效性方面，通过技术手段，对外部数据进行实时自动化存储、清洗、转化、关联，无需人工干预、无需代码开发，保证外部数据在使用时做到高效、实时。第二，可控性方面，建立外部数据开发测试等相关规范，保证在外部数据技术开发上可控性；严格按照“先授权、后使用”的原则，保证在数据权限方面的可控性；全流程监测外部数据使用状态、使用规范、使用场景，保证外部数据使用方面的可控性；实时监测外部数据质量，保证外部数据质量方面的可控性。第三，安全性方面，提供完善的数据加密及传输加密机制，外部数据资产在存储、传输的各个环节无明文数据；为了防止数据在存储传输过程中被拦截获取，提供数据加密规则和算法，对敏感数据进行加密处理。第四，共享性方面，为保证外部数据资产的统一性与共享性，所采用的技术均为主流技术，数据标准采用全行的统一标准，统一进行外部数据商采购以及相关对价管理等。

针对行内需求，协助采购部门进行业务需求与技术方案的把关、开展后评估报告等管理工作；第五，合规性方面，充分结合《中华人民共和国数据安全法》《中华人民共和国网络安全法》《征信业务管理办法》《商业银行应用程序接口安全管理规范》《个人信用信息基础数据库数据金融机构用户管理办法》等法律法规以及行内的数据管理规范，制定了《银行外部数据源管理办法》《外部数据平台管理实施细则》等内部制度，保证外部数据在传输、存储、使用过程中的合规性。

三、技术实现特点

该平台基于服务的设计理念，建立外部数据服务网关，实现外部数据对行内业务系统的实时和联机服务。在服务方面，平台基于微服务技术框架，实现全行外部数据服务接口的统一管理和治理。该平台集服务及管理于一体，既满足业务系统使用要求，也满足外部数据管理、外部服务管理等要求。在开发实施方面，平台基于组件实施模块，快速实现外部数据接口的接入，便于系统的二次开发和维护管理，支持多种协议及通信方式，满足报文的格式转换及外部数据标准化。

该系统内设有详细的日志及审计信息，实现外部接口接入及内部服务调用的全流程监控及服务地图。实时服务与数据落地通过消息件的异步接口机制，支持服务的高并发，确保系统的高效运行及可扩展性。支持外部数据资产管理，外部数据元数据管理，外部数据质量管理及在线API文档展示，方便用户查阅外部数据资产目录及外部数据申请接入。

四、项目过程管理

本项目按照建设规划分三阶段进行建设：

第一阶段完成平台搭建：于2020年7月启动项目，通过框架设计和架构规划，搭建环境和数据基础设施，于2020年9月完成平台功能部署；

第二阶段平台升级：于2021年9月至2021年11月，为进一步推动全行数字化基础设施建设，进一步提升平台业务管理功能，加强综合报表管理和分析，为外部数据管理提供更好决策；优化接口服务功能，优化开发端缓存、热备、挡板的关键需求。

五、运营情况

该平台已对接 17 个业务系统，上线48 个数据服务供应商，发布251个服务接口，目前周均调用量约210万次，预计今年全行调用量突破6000万次，发布的数据服务包括核验类、评分类、标签类、黑名单类、金融市场类、价格评估类等类型，支持开户建档、授信审批、贷后管理、业务营销等场景，满足了各个业务线日益增长的数字化运营、信贷、风控管理等需求。

六、项目成效

该平台通过全行统一集中管理，形成了统一的外部数据接入标准，为行内各系统提供了安全便捷稳定的外部数据服务。在管理方面，对于行内多个相同数据源进行了合并管理，促进了外部数据供应商商务层面的统一管理，整合行内各部门使用外部数据的成熟经验，为行内各部门提供了更加全面完善的外部数据使用参考。在费用方面，通过平台统一开发接口发布服务，减少了各个业务系统单独对接开发的工作量；同时通过提供接口的缓存功能，在策略有效期下可以重复利用缓存的外部数据，大幅节省相关费用。

七、经验总结

通过本平台建设，实现外部数据统一存储和管理，对外部数据进行结构化处理、数据标准化转换和数据清洗等，进行关联整合，满足数据二次使用的目的。实现外部数据服务的审计监控、计费对账、数据查询、分析统计及报表等功能。建立全行外部数据发布机制以及外部数据使用标准，在提高服务复用率的同时降低了外部数据使用难度与使用成本。在系统性能与稳定性方面，已完成同城双活建设，满足各类系统高并发与高可用要求。

本平台已成为本行引入外部数据的重要渠道，在客户画像、智能风控、获客营销等场景发挥重要作用。在平台使用上，已覆盖全行各个业务部门，成为全行级的大数据基础平台。此平台是本行数字化转型战略的重要平台，有效支撑了银行金融生态和场景应用的构建，成为银行互联网业务和零售业务发展的重要基础支撑。

更多金融科技案例和金融数据智能优秀解决方案，请登录数字金融创新知识服务平台-金科创新社官网案例库、选型库查看。

使用无须实名的阿里云国际版，添加微信：ksuyun 备注：快速云！

本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请发送邮件至 cloud@ksuyun.com 举报，一经查实，本站将立刻删除。
如若转载，请注明出处：https://www.hanjifoods.com/22958.html

外部数据管理平台是干嘛的(外部数据管理平台是干嘛的啊)

相关推荐