【运营商案例】嘉为蓝鲸助力实现核心系统全链路灰度发布

为落实 “十四五” 新发展阶段 “网络强国、数字中国、智慧社会” 重要战略部署，满足用户对高质量云网服务的要求，运营商行业走在数智化转型的前沿。IT 规模的快速发展和用户对业务连续性的高要求，为运营商行业的运行维护带来新的挑战。如何实现业务价值的快速交付、缩短业务变更带来的业务中断、保障业务割接的高质量、高效率和安全性，成为运营商行业一大难题。国内某运营商专业公司借助嘉为蓝鲸应用发布中心，完成了全业务线 DevOps 集约和核心业务不停机全链路灰度发布的目标。

01 阶段一：敏捷规模化
1）痛点

• 多云融合，技术栈复杂：业务逐步向云原生转型，同时存在传统架构和容器化架构。IT 规模与日俱增，数万服务器和容器分散在公有云和自建机房中，统一管控难度大。

• 工具能力零散，效率待提升：部分团队 DevOps 及应用发布能力缺失，尚未自动化，效率待提升。其他团队则重复建设和维护构建工具，技术栈不统一，维护难度大，标准化程度低，数智化推进复杂度高。

• 缺少规范，变更管控弱：缺少制品管理规范、流水线规范、应用发布规范，各团队自主完成变更割接，发布成功率参差不齐，同时缺少变更行为管控手段。

该运营商公司通过引入嘉为蓝鲸应用发布中心，构建了端到端、全流程、公司级、集约化的 DevOps 体系。生产全方位量化与度量，敏捷研发和运维，为全网业务赋能减负，降本提效；实现主机海量异构化管控、多类型发布、多场景发布、统一构建工具、集中制品管理、极细粒度生产权限管控、工具体系化治理、业务上线统一标准规范。

⑤ 容器发布建设：建设对基于 K8S 部署的敏态业务自动化发布能力。提供 K8S 架构下的容器集群管理能力，支持对容器对象的状态信息查看、可视化配置管理等能力，提升敏态业务发布过程中的基础能力，容器纳管集群 80+。

• 工具集约：应用发布中心已覆盖该公司全部业务线，服务 1000 + 人技术团队、配置 CI 流水线 6000 + 条、构建次数超 23 万 + 次、配置 CD 发布流水线 5000 + 条、进行全环境发布次数达 17 万 + 次。

• 统一规范：项目团队制定了权限角色规范、流水线规范、构建环境规范、发布脚本规范等一系列规范，并以应用发布中心为抓手推广至全公司，定期进行度量与考核。

• 降本增效：中小业务从人工到自动化，平均发布时长从 30 分钟缩短至 3 分钟，效率提升 10 倍以上，预计每年节省人工 3000 + 天。

应用发布中心一阶段建设获得了业务团队的一致好评，同时业务方也针对夜间停机变更低效、影响面大等问题提出了新的痛点。

1）痛点

• 故障影响半径大：当前全量业务停机变更的方式，出现问题时影响全网用户。不具备控制少量生产流量进行生产功能验证从而缩短故障半径的能力。

• 热修复周期长：生产环境出现小瑕疵也需要等到次日变更窗口更新，对生产环境影响时间长。出现较大问题必须回滚时会中断业务。

• 夜间变更消耗大：核心业务夜间变更需要研发、测试、运维团队共同参与。人员消耗大，工作效率低，频繁夜间变更也使团队超负荷。

2）解决方案

灰度发布（又名金丝雀发布）是指在黑与白之间，能够平滑过渡的一种发布方式。在其上可以进行 A/B testing，即让大部分用户继续用旧版本特性 A，一部分灰度用户开始用新版本特性 B。如果用户对新版本功能使用正常，那么逐步扩大范围，把所有用户都迁移到 B 上面来；如果新版本功能存在瑕疵，可快速回滚至旧版本特性 A。灰度发布可以保证整体系统的稳定，在流量逐步灰度的时候即可以发现、分析解决问题，以保证其影响度。

嘉为蓝鲸应用发布中心应用服务网格技术，以 proxyless mesh 无侵入方式为业务提供流量染色、泳道隔离、灰度流量控制等能力。使业务新特性能在生产灰度单元验证后再推广至全网，减少影响面。逐步实现全自动、不停服的全链路灰度发布，具体能力实现如下：

① 流量染色：在灰度发布过程中可以根据业务策略精准划分灰度用户，例如指定的内部自测账户、指定客户端版本的用户、ID 尾号为指定数字的用户。在入口服务网关可根据业务侧定义的流量标签进行染色加工，并根据路由至不同版本的入口微服务，实现南北向的入口流量治理。

② Proxyless mesh：为了实现整个微服务架构灰度发布的标签透传、流量控制、条件路由等服务能力，采用服务网格的技术架构。同时服务网格控制面还能提供流量限流、服务降级、流量回放、镜像流量测试等进阶能力。服务网格通常通过 Envoy 等数据面 sidecar 代理、java agent 字节码注入、sdk 嵌入等方式运行。Envoy 方案消耗资源较大，sdk 嵌入需要业务侧改动代码。结合客户 java 应用占比高的特点，项目中采用 java agent 动态字节码注入方式，在服务进程启动时将代码动态编织增强原有流量处理逻辑，与服务运行全生命周期一致，同时缩短流量转发路径（从应用进程转发至 sidecar）提供更高的性能体验。

④ 条件路由：当流量传递到服务 B V1 版本后，需要根据染色透传的流量标签将 release tag 的流量路由到应用 C V1 版本，将 gray tag 的流量路由到应用 C V2 版本。此时 java agent 会访问 nacos 注册中心，获取应用 C V1/V2 版本的服务地址，根据流量标签进行动态分发。实现灰度发布过程中服务间东西向流量的动态路由。

⑤ 逻辑泳道隔离：通过染色透传、条件路由的方式，将消费同一个染色标记及发布依赖关联的一组服务视为一个逻辑泳道。每个泳道的流量相对独立且可并行生效。通过多个逻辑泳道能够同时支持多个产品特性并行上线灰度验证。同时线上问题排查时，可通过泳道锁定上下游服务进行故障定界，提高问题排查效率。

• 从全量到灰度：提前发现问题，通过灰度和滚动发布，尽早发现并解决问题，避免故障发生，显著提高发布成功率。

• 从停机到无损：解决流量精细调度和全链路追踪等技术挑战，实现无停机、全自动的无损发布，最小化业务影响。

• 从低效到高效：从夜间人工支持转向全自动无人值守发布，减少回滚，一次性发布成功，提升效率，降低成本。

• 从夜间到白天：实现无损、滚动发布，将发布窗口从夜间扩展至白天，减轻运维人员负担，提高工作效率。