香港作为亚洲最重要的金融中心之一，拥有开放自由的金融市场，秉持着高度的国际化和市场化原则，吸引了全球范围内的金融机构和投资者。作为连接中国内地和国际市场的桥梁，其独特的地理位置和文化优势，为金融银行业的高速发展提供了丰富的机遇。这些优势为技术发展注入了强劲的动力，因此香港银行业的技术一直处于世界前沿。

2024 年伊始，「DaoCloud 道客」与 JFrog、Finoverse 一起在香港举办了 “面向金融科技的 DevOps：合规、治理与创新” 主题的沙龙活动。在活动上，「DaoCloud 道客」首席运营官张红兵为大家带来了 “银行业如何在云原生的支持下拥抱 LLM” 的主题分享。鉴于香港银行业已经持续引入先进的科技手段来提升服务质量和效率，例如数字化银行服务、金融科技（Fintech）、电子支付和结算系统等等的现状，这次张红兵携云原生与大模型的落地方案，向大家展示新技术在银行业的应用情况，希望为香港银行业的同仁们带来新的启发与思考。

01

弹性与稳定性缺一不可

以上海本地龙头银行的购物节高并发场景作为切入点，张红兵指出了未来银行业对于 IT 系统支撑能力有很高的要求，弹性和稳定性缺一不可，云原生的横向弹性扩容能力非常适合支持高并发业务场景。而我们的 DaoCloud Enterprise 5.0 在银行生产环境中承担着支撑业务应用发布和运行的角色，保证了整个业务连续性及稳定性，实现了互联网支付链路系统 全天候不间断运行。

02

异构纳管的重要性

香港银行在之前的数字化发展过程中，大多采用了各种国际品牌的技术产品。因此在后续的技术升级和推进过程中，难免遇到多种不同集群的纳管问题。同样的情况，也出现在一家内陆的股份制商业银行项目中，当时的客户痛点之一就是异构架构管理复杂，需要同时支持信创与非信创的混编调度与纳管。为解决这一问题，「DaoCloud 道客」帮助客户打造面向应用的云原生平台，纳管多种异构的集群，提供统一的门户入口。客户可以通过该云原生平台，即可纳管和调度信创与非信创多种架构的集群，并以标准化封装的形式加快信创应用迁移速度，保障企业自主发展可控，提升整体效率。

03

大模型助手，助力银行业发展

在大模型的落地案例中，张红兵分享道，某商业银行以智能合规助手作为初步切入点，基于银行合规性要求，企业将合规材料与智能问答的形式相结合，打造合规助手来保障流程规范。在这个初步的落地应用中，「DaoCloud 道客」梳理与该银行适配的整体大模型应用架构，纳管异构的 CPU 和 GPU，通过云原生调度系统，对异构资源进行编排，优化网络、加速存储、高效管理 GPU，支撑算力的统一调度；再由分布式大模型引擎进行资源编排与数据知识化，最后到上层的应用支持。在构建完整架构之后，合规助手成功将原有相关工作效率提升了 50%。在达成这令人欣喜的第一步后，企业又提出了金融外汇场景的智能问答落地应用，在这个过程中，我们帮助客户整理了超过百万字的外汇语料库，从数据治理、模型微调到 RAG 检索增强全链路，打通大模型体系，最终成功为全国分行外汇场景业务提效 30%。

在合作过程中，「DaoCloud 道客」逐步帮助客户落地了更贴近业务场景的大模型应用，从内部合规助手扩展到外汇业务助手，为银行的业务赋能提效。「DaoCloud 道客」将整体大模型应用架构的适配性不断调优，可以支持后续多种大模型应用的需求，并将有限的 GPU 资源卡的利用率和复用率逐步提升。

04

「DaoCloud 道客」，让算力更自由

在分享的最后，张红兵也介绍了未来「DaoCloud 道客」在算力调度管理方面的深入布局，不仅包含 AI 算力云服务，还包含 AI 算力平台。

在算力云服务布局中，「DaoCloud 道客」将作为算力服务的供应商和专业技术提供方，与大型政企、科研机构、运营商等智算中心建设方与运营方相互配合，建设算力枢纽中心。为客户提供全面的 AI 支持和一站式解决方案，将灵活性运用到极致，从小型到大型无缝切换，自由扩展计算资源。

在算力平台布局中，DaoCloud AI 算力平台将提供软硬一体的 AI 智算体验，整合异构算力，优化 GPU 性能，实现算力资源统一调度和运营，最大化算力效用并降低算力开销，并且还提供了优化的 AI 开发框架，简化 AI 开发和部署，加速推动各行业的 AI 应用场景落地。

通过此次活动，我们深刻感受到香港银行业对 IT 基础技术能力的重视，不仅对 AI 算力技术升级带来的创新效果充满期待，也对云原生结合大模型为银行业务带来实际效率提升展现了极大的兴趣，将其视为未来银行业发展的方向，并表示希望能够与像「DaoCloud 道客」这样的科技创新企业加深交流，加快在这方面的探索和应用。未来，「DaoCloud 道客」将持续推出优质产品和服务，为更多国内外客户创造更大价值。