大数据、人工智能和区块链等技术的快速兴起与广泛应用，深刻影响了传统银行业的运营模式。数据已然成为数字时代的重要战略资源与关键要素，而数据要素市场化也已上升为国家战略。在这一背景下，银行业正经历一场深刻的大数据变革。某全球 20 强银行基于云原生技术完成了大数据综合服务平台的建设，为多样化的金融业务场景提供了数据驱动的决策支持和业务优化，全面赋能数字金融。

01

基于云原生的数据架构转型思路

从 2017 年起至今，该银行经历了两个阶段的业务系统转型升级。

在第一阶段，该银行以电子支付链路改造为契机开始探索云原生化的架构转型。「DaoCloud 道客」基于 DaoCloud Enterprise 支撑了其电子支付链路的升级，通过容器化技术，该银行的支付系统得以在更灵活、更高效的云原生环境中运行，显著提升了其可扩展性和可靠性。随着平台运维、安全等功能的完善，以及平台便捷性、合规性和使用规范的提升，该银行全面推广以容器服务为基础的金融云建设，逐渐将信用卡代授权、网银、企业客户信息系统等数十个重要业务系统进行了云原生化改造，使得云原生平台逐渐成为全行服务占比“第—”的系统运行平台。

随着业务场景变得日益复杂，其内部科技与业务部门的人员数量持续增长，对数据分析与使用的需求呈现爆发式增长。在已经完成了应用架构的创新之后，该银行数据部门的创新步伐也提上了日程，认为大数据+云原生将会是未来的主流架构。

在第二阶段，该银行计划探索一些针对大数据领域的云原生化升级的可行性方案，比如“大数据存算分离”、“大数据上云”等，还发起了大数据平台的容器化可行性研究性课题、大数据应用云化改造等项目。而且行内“十四五规划”中明确提到了夯实关键技术平台、发挥云原生架构技术优势的指导精神。但在规划建设过程，遭遇了一些挑战：

1）多生态、多组件产品的高效管理挑战

从银行所面临的复杂业务需求以及强监管要求来看，融合多种生态产品，运用好多类型技术是支撑好数据应用的基础，多生态、多组件共存将成为主流趋势。如何对这些多生态产品进行高效统一管理？在多生态共存的平台中，如何解决数据孤岛问题，最大化释放数据价值？

2）资源利用率提升挑战

大数据领域通常需要大量的计算资源，如何有效地管理和调度资源是一个重要问题。随着平台规模扩大，投入与收益的比例呈下降趋势，主要原因在于资源利用率难以显著提升。现有存算一体架构下，仅依靠管理手段优化资源的使用效果很有限。在机器资源利用率低，且资源冗余的情况下，如何提升资源利用率？

02

建设大数据综合服务平台

面对如上问题，该银行计划构建统一的大数据综合服务平台，以此支撑众多金融业务的进一步转型升级。

多生态大数据产品的统一管理

为解决大数据平台下多生态大数据产品并存的管理问题，「DaoCloud 道客」帮助该银行基于云原生环境研发了统一的综合管理平台，并从多个层面实现了多生态支持：

1）存储层本身支持 HDFS、S3 等常用的大数据存储与处理技术，也支持基于大数据场景的云原生容器存储，既能够满足传统业务场景需求，也能适应云原生环境的升级需求，对于该银行复杂的业务系统具有实践意义。平台配备的大数据组件层，可以实现对多生态环境中大量数据的管理，除了常见的分布式存储组件（hadoop），以及其他大数据查询引擎组件（solr、es、clickhouse）之外，「DaoCloud 道客」还协助该银行研发了其他各类组件，具备包括跨组件的数据加载、质量检控、数据预处理、数据作业调度服务等能力，进一步帮助该银行丰富了大数据平台的生态，满足行内各应用场景需求。

2）为了加强上下层连通性，平台增强了多种数据组件对于上层应用服务的影响，同时加入行业自研组件以及基于行内多年沉淀的金融行业经验形成的自动化数据服务，将大数据平台发展成为一个以大数据为核心的综合服务平台。支持该银行开发了统一的驱动层，进行统一逻辑对接，各团队可以结合业务场景逻辑，定制化开发应用服务、运维服务、监控服务等功能。并且助力该银行研究开发了各类增强组件，解决了多生态产品之间的数据传输问题以及一致性问题，对于满足行内安全合规的要求有重要意义。

3）基于上述的总和能力，「DaoCloud 道客」让大数据应用场景在该银行的平台上快速落地。在应用层，该平台可以支撑银行各类数据相关的业务，如 SML 探查分析、SDW 数据仓库、SOD 联机查询等，并且支持更多应用场景的标准化接入。此外，平台特有的适配层设计，可以兼容适配开源、商业化等引擎矩阵，为该银行多样化的金融科技体系提供支持。

计算引擎云化，优化资源利用

而针对行内资源利用率低及资源冗余的问题，该银行和「DaoCloud 道客」开展了计算引擎云化的工作。

在大数据平台云原生化的过程中, 和数据直接相关的有状态应用逐步迁移到 Kubernetes 上。基于「DaoCloud 道客」所提供的云原生技术支持，该银行开展了集群存算分离部署模式下的应用实践。通过两年的时间，项目组不断探索，不断实践，目前行内生产环境中的一个集群已经实现了存算分离架构的落地，其中存储集群使用传统模式部署，而计算集群采用私有云部署，存算之间共享数据、元数据、用户及权限体系。在此情况下，计算集群可以快速且弹性地创建多种类型的计算任务，为上层的人工智能、探索分析、以及行内一些新的创新业务提供敏捷服务及技术支持。此外，通过对一些主要的开源大数据组件，比如 HIVE、HDFS、RANGER、YARN 等，进行容器化部署，使得这个大数据平台可以更加灵活、高效地运行这些组件。

当然，这也要求平台能提供完善的持久化存储卷服务。对此，「DaoCloud 道客」的云原生开源存储项目 Piraeus 发挥了作用。Piraeus 使用云原生架构，部署在 Kubernetes 上, 实现了全套的 Kubernetes CSI 存储框架，提供多种企业级存储特性。为了适应大数据平台的具体场景，并最大化发挥 Piraeus 的存储能力，项目组与「DaoCloud 道客」还共同开发了快速故障切换器和 NFS 转发控制器，并贡献给了 Piraeus 社区。

03

以数据驱动数字金融建设

在同「DaoCloud 道客」的合作中，该银行不仅实现了应用架构的云原生升级，还将云原生的优势应用到了数据架构中，从而实现了数据管理的高效性和灵活性，并且保障了数据的安全性和可靠性。

多生态融合并分而治之

管理平台支持多技术生态下统筹管理，海纳百川，实现大数据云上云下，多生态融合并分而治之。目前该平台已经规划了多种大数据技术生态，并且通过驱动逻辑整合，已经试点接入 CDH 集群、国产信创集群、开源大数据集群。这种多生态的管理模式非常有意义，整体架构不仅兼容新技术，同时使用了一些稳定的版本技术，满足行内安全合规稳定的要求；同时随着应用的灵活变化，可以助力业务可持续地扩展。

高效灵活的大数据服务

通过将大数据平台的架构云原生化，大大简化了大数据应用的管理和部署，利用云原生的弹性和可扩展性，实现了资源管理的优化，并基于数据持久化的支持带来了高可用性和容错性的提升，推动了大数据平台的成本效益更大化。在这之中，容器化的部署确保了数据的隔离性，保障了大数据平台的安全稳定运行。

特别在存储方面，通过快速故障切换控制器，平台显著提升了 Kubernetes 在挂载存储卷的容器发生故障时的切换速度，从 12 分钟缩短到了 1 分钟以内。并且通过容器化的 NFS 服务器，这不仅扩展了块存储的应用场景，还有效降低了对外部 NAS 服务器的依赖，从而提高了系统的灵活性和自主性。

未来，该银行将以数智融合为核心战略方向，致力于构建集大数据、大模型和智算平台于一体的综合性技术架构，通过深度融合云原生技术与智能计算能力，全面提升平台的智能化和决策支持能力。在实现数据要素高效流通和价值挖掘的同时，进一步探索大模型在金融风控、精准营销和运营优化等场景中的深度应用，逐步形成贯通数据治理、模型开发与实时推理的一体化解决方案。通过开放协作与技术创新，该银行将打造以智能驱动为特色的数智融合生态平台，为未来的开放金融体系和数字经济发展提供坚实支撑。