即时焦点:发布变更又快又稳?腾讯运维工程师经验首发
1)背景诉求
(资料图片)
现网发布变更对运维开发工程师来说是最繁重的工作。发布变更的概念、节奏等已经是老生常谈。但在ToB时代到来后,云上业务的诉求是功能/缺陷修复尽快上线、版本发出问题快速回退,防止客户业务受损。在整个需求上线环节中,CD部分由运维实施。如何让版本更快的交付上线是核心任务。腾讯云近几年开始大力发展,对象存储COS架构也经历了一次存储引擎升级YottaStore的大迭代。对象存储COS从用户接入到数据落地,要经历三个核心子平台:逻辑接入层、索引存储层、数据存储层。每个子平台内部还有数十个模块相互配合提供服务,任何一个链路出现异常都可能对数据PUT、GET、LIST、HEAD等接口造成可用性影响,COS节点数更是突破了10W+。YottaStore相比传统TFS模式或LAVADB模式而言,好在将小set模式的变更方式升级为集群百分比变更,打破理解set变更的模式,每个节点剔除加回也不需要等待数据迁移。这本质上提高了存储变更效率上限。
COS关键提效手段1)管理区域MZ适配发布YottaStore在上线的时候就对节点标签引入了MZ(Management Zone)的概念:同集群内跨MZ不能同时变更,减小误操作爆炸半径。例如,模块上线后使用20个MZ,跨MZ屏蔽节点会失败(保障现网最大5%的机器可以并发变更)。当然,在更核心服务配置时MZ应该设置的更多。优化前,基于MZ的概念变更节奏为:单机灰度:随机一个MZ变更1台;灰度:所有MZ随机变更1台;全量:MZ内全量并发,MZ之间串行,并且开始时智研平台并发度受限在100以内。
优化后:考虑集群内节点同服务角色,将灰度节奏调整为随机一个MZ全量,减少跨MZ带来的耗时,同时智研平台支持将最大并发调整为500+(单集群节点数/mz数量目前小于500,故相当于实现了MZ内全量并发)。
基于区域MZ适配发布优化的策略,主要是通过COS对MZ编排做了适配,同时智研平台把并发度支持从100并发调整到500并发,对于单机模板执行效率也做了优化。这整体优化了平台并发能力和发布流转效率,全园区覆盖效率提升100%。
2)灰度自测能力为降低人工check等待时间,COS在单机变更模版引入变更的自检过程。第一,灰度机器加回现网之前,扫描日志初始化,进而确认程序初始化成功。第二,灰度机器加回现网之前,引入自动化回滚。这里需持续丰富测试用例,打通测试平台建立完整测试流程。
3)优化并发策略变更系统提供人工控制入口,部署编排中的所有任务可以人工确认后直接启动,速度直线提升。COS发布分离线计算,自研云集群、公有云海外、公有云国内(每个云属性下有多个集群)、同云属性集群都可以在灰度健康的情况下开启并发。正常的版本发布耗时大约在1周工作日内完成。
4)优化流转时间将发布流程放大并将每一环可能产生的问题明确,我们可以看到不必要的浪费和可节约的时间。现网发布时,由于云上是区分客户等级的,所以在发布区域上用唯一流水线固化发布顺序来降低区域选择和流转时间。(流水线覆盖权限,且支持发布中临时调整)。其实固化对于质量的提升更多,后面来说。
上述点优化后,变更耗时从15天变更1w+设备,到4天变更4W+设备。
5)关注提效的更多探索某次大规模故障复盘当晚,我们对于快速故障处理时的发布提出了思考:回滚或者紧急的发布能否支持更快完成?软件发布是否还有提效的空间?答案是肯定的。为了从细节出发,我们对每一次单机变更做了记录。最终发现关键软件由于程序包太大,下载耗时就占了40%。该下发方案是,多台机器同时从变更系统拉取程序包。这使我们一下子就联想到了客户集中下载COS单对象的场景,该场景最优的解决方案,就是引入CDN的特性与优势:预热!
在实现上,我们用了两种方案:
第一,缓存接入点就近分发。机器触发新包拉取的时候存一份到缓存接入点。后续机器拉包去到就进的缓存接入点拉取,减少拉包时间。缺点是需要尽可能多的缓存接入点;COS地域较多,会导致耗成本。
第二,预拉取。变更系统知晓发布单的所有行为,所以在任务启动的时候后台就开始(比如以200台的并发度)将包往机器上分发。后面执行的机器在单机变更模版基础上加一步:判断是否已经分发过。当标志位是已分发时,则会跳过分发包直接开始变更步骤。(COS使用该方案,节省了缓存接入点,降低带宽与本机器成本)方案上线后,单机执行效率提升40%。
6)只考虑提效带来的问题云上2B业务规模量庞大,叠加对象存储COS内部模块数超20个,节点数超10万,对于版本迭代中的质量必须提出极高要求。
质量对于效率是非直观的,但是始终会影响真实的交付效率。
总的来说:现网发布中,效率是诉求,但发布质量是痛点,若质量问题不解决,单纯提效并不完善。
发布要提效,质量是痛点COS对于发布中引入的质量问题优化是艰难的。年维度的时间迭代,期间包含了COS运营模式改造、存储架构升级、变更体系完善、变更系统适配改造等多项措施。解决质量问题时不仅解决了效率痛点、规范了变更流程、保障变更质量的同时还降低变更人力,多方面助力发布提效。下面讲下COS如何做发布质量的提升,希望能给你一些思路。
1)明确质量痛点COS自身的问题第一,OSS不完善,无实例管理。由于前期没有统一的OSS,部署/开区都通过拷包完成。OSS缺失导致发布中的状态感知及各种发布中的问题排查都是低效的。三级模块管理很容易出错。因此,实例接口化升级是必要途径。第二,配置包区域化,模版不一致。每个区域都有自己独特的配置,而独立性并不是需要的。修改一次全网特性需要去每一个区域包里面改配置,确认时也一样。差异化配置众多,改造统一配置文件是重中之重。
第三,发布流程随意,发布成功率靠运维能力保障。原发布变更系统是没有顺序概念的,只有通用的编排比如串行/并行指着ip发布。
变更过程的问题从历史中能看到,问题最多的原发布变更系统。业务发展初期,典型的情况是只考虑变更效率的极致提升,无考虑管控不足带来的质量风险。所以在系统选型上,需要按照自身业务的管控需求来做。管控不足主要分为以下六点:COS发布场景梳理结合COS业务特性进行发布场景梳理与逻辑梳理,我们分别从正常部署、正常回滚、配置发布、扩缩容、紧急逃生、混部后的发布入手,结合现网变更中遇到的所有问题确定所有场景。
另外回退对云业务来说是预案。当和发布有关联,应该第一时间回退。若不是回退问题,其实我们期望让回滚流转成正向发布以继续变更。
观察点梳理—质量岗哨梳理COS发布前后的观察点,便于理解变更行为从而设置“岗哨”。包括基础的进程是否拉起、日志是否有错误、coredump、正常/异常返回码是否正常、延迟成功率业务请求是否变化。
每次变更软件负责人提供的额外注意事项,变更后的功能点更新的验证。以及是否可回滚,不可回滚变更的预案处理方法;
要关注变更期间的事件(不仅仅是变更模块的告警,而是需要关注整体的告警)和用户投诉、集群异常事件的产生等。2)逐项攻克解决配置文件管理升级为配置模板+配置变量的管理模式,对于整体运营上的提升有巨大帮助
第一,开区识别配置模版与配置变量,OSS支持自动化开区,独立客户单应用创建;第二,OSS识别配置变量,对于每一个配置变量可以确定功能,明确变量使用场景,做到配置修改和下发的预案模型,取代sed;第三,管理配置模版后,全局配置统一,不需要担心任何一个区域的配置文件再存在特异性问题;第四,区分配置模版、配置变量后,可以逐渐根据情况缩减配置变量,让通用性更强,运营复杂度降低;第五,配置变量对应的文件可以独立抽出来后,方便的做配置中心管理等更高级的下发升级;第六,实例问题——OSS建设,实例接口化升级(耗时半年)。
接口实例化升级首先,接口化便于指定发布、日志、监控系统的统一管理(oss只维护接口,所有平台支持监听接口自动更新);其次,实例接口化后统一接入部门产品树和产品下的集群树,规范化集群和LZ(逻辑区域),根源上杜绝IP变更;此外,基于标签化的配置作用域管理,通过建立标签映射关系的工具支持,可以降低很多运维的平台迁移工作。变更过程改造第一,固化发布流程。因为腾讯云是通过区域售卖区域管理,COS属于Region级产品,所以按照Region来作为内部发布平台的抽象任务,内部区分实际不同功能特性的集群。但是所有软件的发布方式原本都各式各样,没办法保障每个人来发布都能不出问题。所以我们的方案是,降低发布爆炸半径且固化:区域发布顺序唯一且固化,设置可最大程度降低发布爆炸半径的流程编排并验证(如第二部分COS的直观提效第4点的发布流程优化图),并且所有的规范都通过智研平台标准化落地,一个应用,一个流程,现代化升级和固化发布流程,工具化落地审批、double check、强制回滚,预发布流程等,杜绝人为失误,为自动化变更打好基础。详细的点还包含:
每列分为一个完整的云属性概念,保障不同属性优先级顺序,不同列之间引入暂停确认;将LZ(逻辑区域)的概念落为编排单元(图中的每一个任务);LZ内实现set化管理,保障区域内针对不同云上客户优先级编排发布顺序;新开区场景会自动识别到流水线模板,保障每次新增/减少集群都会加入到变更流水线上,保障发布全网覆盖。
第二,固化发布策略保障了发布流程,当然还要保障发布过程(发布策略)。失败可暂停,变更必灰度,变更模式统一;统一的变更策略:程序变更统一最大失败数,组内/组间并发度;统一的灰度策略:所有变更按照【1-确认-10%-确认-100%】的灰度节奏,强保障变更影响面和人工观察确认;统一的单机变更模板:正常情况程序变更和配置变更的单机变更模板各有一个,其他按各场景各自唯一;统一的发布时间:落地部门变更标准时间,变更时间过后发布单自动停止。
其他变更过程如下:
改造后的收益3)解决存储业务混部场景架平很多服务需要极致压榨硬件性能,与存储设备混部。该场景区别于在离线混部,属于在线和在线混部,每个服务都需要保障可用性。故需要考虑发布中此类场景的容灾设计。
需要杜绝的情况:第一,软件A数量>>软件B,软件A灰度10%触发机器死机导致软件B100%服务异常;第二,软件B类三副本cell模型(参考索引存储、块存储等实现),软件A机器变更影响软件B成对异常也会导致部分数据不可用的场景。
解决方案是引入通用理解的容灾分组,保证上述流程落地后规范并发布。
4)完善变更体系发布问题,解决的要点不仅仅是发布。COS对于变更额外还提出了很多自身运营上的的要求。
整体来说,发布概念、发布流程把控的标准化解决了在大部分发布流程上人工误操作可能引起的问题。足够标准化带来的收益就是全面标准化外包化发布,通过运维和开发配合持续降低发布变更的人力投入。并且关键的是:版本发布未再出现由人为操作引起的故障case。
COS的变更改造总结如果所有发布正向环节都考虑完备,能将效率与质量都进行提升。但这是否就足够呢?答案是NO。还需要良好的可度量体系,才能保障各项环节有数据反馈,持续调优。
好的度量具有两个特征:一是能够回答一个本质问题,另一个是能够引导出正确的行为,两者缺一不可。
1)审计负反馈目前来看,COS按照每一项发布的目标做行为上的数据审计。可以参考以下几点:
第一,成熟度指标体系:比如达到了某些标志性的数据后,可以直观地标识成熟度等级(但等级低可能是包含了各种历史和业务原因的)。
第二,发布效率提升:比如从执行日志找到单机类效率低的点,比如从整个发布环节中找到时间delay比较多并且可优化的点。
第三,发布行为考量:比如整个发布环节究竟占了多少人力,一次变成成功率是否高?由于人为环节或系统因素导致频繁发布失败,发布结单是有数据的,从这些数据可以负反馈给到用户是否该好好梳理下当前的发布问题及如何提升(是否环境污染、配置填错、模板不幂等)。因为统计后发现30%的人力消耗都在发布后,我们对于发布的调优才变的非常重要。
第四,发布过程事件关联:通过不同问题类型触发的故障影响,给各个问题做贡献度系数,最终可以做变更质检的打分体系。
第五,发布软件原因:从程序上入手,可以从程序问题的原因分类来做统计,比如相同软件经常出BUG,相同平台频繁出BUG,BUG平均影响线上时长等等反馈研发团队的可改进方案。
第六,审计负反馈通过部门某平台汇总展示:定期邮件到所有产品的发布情况,引导各项环节完善管理。
2)成熟度体系基于腾讯云上发布的理解,COS将发布成熟度区分为以下5级,最终目标为全自动发布。建立标准和成熟度模型,数据化牵引改进发布变更各环节的成熟度,迈向自动化。
未来:向更智能的发布模式演进首先是变更质检。区域告警关联区域变更,事件总线建设(相关事件关联),故障快速定位建设。用质检和打分体系代替灰度与全量&区域与区域之间的每一个暂停确认点,把流程自动化起来。
其次,用事件关联变更、统一的质检看板与结果分析、软件可回滚的前置条件下,把自动回滚能力也同步建设到位。
基于主干开发,引入城际快车发布模式,继承其带来的好处。每个人都非常清楚各个时间点、每个人都感觉到特性进展、速度不断提升、更加聚焦于生产质量。
最后,结合云业务特性与devops中的变更看板:统一把控发布与发布评审(如同一区域最多同时发多少单等等),让每个人都有紧迫感的同时,也不会漏发关键功能版本。
腾讯工程师技术干货直达:1、算法工程师深度解构ChatGPT技术
2、10分钟!从架构视角读懂K8s
3、探秘微信业务优化:DDD从入门到实践
4、耗时减半?腾讯云OCR只做了3件事
标签:
推荐文章
- 鲜切花扮靓产业振兴路!每年可实现总产值800余万元
- 研究人员最新发现 单个细胞可同时处理成百上千个信号
- 陆军第73集团军某旅 创新升级模拟训练器材
- 长期暴露在光照下性能退化 科学家发现钙钛矿太阳能电池最大缺陷
- 宁夏启动双百科技支撑行动 构建高水平产业创新体系
- 陆军炮兵防空兵学院 毕业学员综合战术演习现地备课工作圆满完成
- 国内首颗以茶叶冠名遥感卫星 安溪铁观音一号发射成功
- 区域特色产业转型升级 四川屏山以“3+”模式推进科技创新工作
- 激发创新动能促进产业发展 无锡滨湖走出产业转型“绿色”路
- 绥化全域低风险!黑龙江绥化北林区一地调整为低风险
- 走访抗美援朝纪念馆:长津湖的寒冷,与战斗一样残酷
- 节后第一天北京白天晴或多云利于出行 夜间起秋雨或再上线
- 走近网瘾少年们:他们沉迷网络的病根何在?
- “双减”后首个长假:亲子游、研学游需求集中释放
- 获2021年诺奖的蛋白,结构由中国学者率先解析
- 他从一窍不通的“门外汉”,到重装空投“兵专家”
- 升旗、巡岛、护航标、写日志,他们一生守护一座岛
- 中国故事丨“沉浸式”盘点今年的教育好声音!
- 农业农村部:确保秋粮丰收到手、明年夏季粮油播种
- “双减”出台两个月,组合拳如何直击减负难点?
- 《山海情》里“凌教授”的巨菌草丰收啦
- 且看新疆展新颜
- 天山脚下,触摸丝路发展新脉动
- 160万骑手疑似“被个体户”?平台不能当甩手掌柜
- 网游新政下,未成年人防沉迷的“主战场”在哪?
- “辱华车贴”商家及客服被行拘,处罚要不放过每一环
- 沙害是自然界的恶魔,而他是荒沙碱滩的征服者
- 面对婚姻,“互联网世代”的年轻人在忧虑什么?
- IP类城市缘何吸引力强?玩法创新带动游客年轻化
- 国庆主题花坛持续展摆至重阳节
- 都市小资还是潮流乐享?花草茶市场呈爆发性增长
- 从1.3万元降到700元,起诉书揭秘心脏支架“玄机”
- 北京国庆7天接待游客超861万人次 冬奥线路受青睐
- 陈毅元帅长子忆父亲叮嘱:你们自己学习要好,就可以做很多事儿
- 报告显示:这个国庆假期,粤川浙桂赣旅游热度最高
- 中国科技人才大数据:广东总量第一,“北上”这类人才多
- 嘉陵江出现有记录以来最强秋汛
- 全国模范法官周淑琴:为乡村群众点燃法治明灯
- 线上教学模式被盯上,网络付费刷课形成灰色产业链
- 云南保山:170公里边境线,4000余人日夜值守
- 警方查处故宫周边各类违法人员12人
- 农业农村部:确保秋粮丰收到手、明年夏季粮油播种
- 受南海热带低压影响 海南海口三港预计停运将持续到10日白天
- 多地网友投诉遭遇旅游消费骗局,呼吁有关部门严查乱象
- 神经科学“罗塞塔石碑”来了:迄今为止最完整的大脑细胞图谱
- 汾河新绛段发生决口
- 陕西支援14省份采暖季保供用煤3900万吨
- 这场红色故事“云比拼”,穿越时空为我们指引方向
- 受琼州海峡封航影响 10月7日、8日进出海南岛旅客列车停运
- 辽宁省工信厅发布10月8日电力缺口橙色预警
- 广州10月8日至20日对所有从省外来(返)穗人员实施核酸检测
- 假期怎么过得这么快?国庆5.15亿人次出游,你咋过的?
- 国庆假期全国道路交通总体安全平稳有序
- 哈尔滨市南岗区爱达88小区将调整为低风险地区
- 新疆霍尔果斯市2例无症状感染者新冠病毒均为德尔塔变异株
- 百闻不如一见——北京大学留学生参访新疆
- 看,生机勃勃的中国
- 国庆假期中国预计发送旅客4.03亿人次
- 新疆兵团可克达拉市:195名密接者已全部隔离医学观察
- 山西平遥消防4天29次救援:拖着腿走路也要完成任务
- 国庆假期北京接待游客861.1万人次
- 冷空气自西向东影响中国大部地区 气温将下降4℃至6℃
- 新疆哈密市巴里坤县发生4.3级地震 震源深度9千米
- 国庆假期中国国内旅游出游5.15亿人次
- 公安部交管局:国庆假期日均出动警力18万余人次,5位交警辅警牺牲
- 受南海热带低压影响广东将暂别高温天气
- “数说”杭州无障碍改造:触摸城市“爱的厚度”
- 新疆霍尔果斯无症状感染者新冠病毒属德尔塔变异株 未发现高度同源的基因组序列
- 新疆伊犁州:妥善做好滞留旅客安置返回工作
- 国庆假期广西累计接待游客逾3611万人次 实现旅游消费272.41亿元
- 2021年MAGIC3上海市青少年三对三超级篮球赛落幕
- 新疆兵团第四师可克达拉市1名无症状感染者为餐饮从业人员
- 哥伦比亚遇上广州:洋茶人“云上”喫茶 传播中国茶“味道”
- 厦门同安区四区域调整为低风险 全市无中高风险地区
- 直径2米“面气球”亮相 山西首届“寿阳味道”美食大赛启幕
- 世界第一埋深高速公路隧道大峡谷隧道出口端斜井掘进完成
- 浙南沿海村村发展有妙招 搭乘共富快车打造“海上花园”
- 新疆霍尔果斯两例无症状感染者新冠病毒均属德尔塔变异株
- 南沙港铁路国庆假期不停工 力争今年年底开通
- 添加陌生人为好友 内蒙古两女子被骗126万
- 中国国庆假期出行热:数字改变“关键小事”
- 水能载物亦能“生金” 浙江遂昌山村以水为媒奔共富
- 铁路人国庆雨中巡查排险记:一身雨衣、一把铁锹保安全畅通
- 铁路迎返程高峰 西安局集团公司加开79趟高铁列车
- 受热带低压影响 琼州海峡北岸等待过海车辆排长龙
- 哈尔滨市学校有序恢复线下教学
- 哈尔滨一地风险等级调整为低风险
- 从进“培训班”到看《长津湖》
- 安徽黄山国庆假期迎客12万余人 旅游市场稳步复苏
- 山西解除持续近90小时的暴雨四级应急响应
- 科学拦峰错峰削峰 嘉陵江洪水过境重庆中心城区“有惊无险”
- 粤高速大湾区路段假期车流集中 跨珠江口通道尤甚
- 千年街区“非遗”风催热国庆假期本地游
- “颜值担当”里的中国,映照“万物和谐”新气象
X 关闭
资讯
X 关闭
行业动态
-
北京110与12345“一键通” 基层110接处警工作纳入执法质量监督考核
- 北京110与12345“一键通” 基层110接处警工作纳入执法质量监督考核
- 全球微速讯:广州南沙力争2025年打造万亿级先进制造业产业集群
- 鑫磊股份: 首次公开发行股票并在创业板上市网上申购情况及中签率公告|全球热讯
- 吉林省造老银元价格(2023年01月10日)
- 全球热消息:成都保租房申请方式
- 湖北三条高速公路同时开通运营
- 五芳斋董秘回复:感谢您对公司的宝贵建议,公司注重产品研发创新-环球快讯
- 平安惠普贷款逾期16天不还会影响征信吗
- 大众经典“迷你巴士”电动款将迎中南首秀
- 沃森生物:公司与蓝鹊生物合作开发的新冠变异株mRNA疫苗(S蛋白嵌合体)在目前已完成7个地点的入组工作