Python与Devops Law 目录 CONTENTS Devops技术栈 Devops构建示例 Python工具二次开发 Devops DevOps 是一个完整的面向IT运维的工作流，以 IT 自动化以及持续集成（CI）、持续部署（CD）为 基础，来优化程式开发、测试、系统运维等所有 环节 构建Devops之前面临的问题 Devops 过程包含，代码构建打包、测试、部署、发布、监控、回滚等等一个 过程包含，代码构建打包、测试、部署、发布、监控、回滚等等一个 项目的闭环、快速构建以上过程。 构建Devops常用软件技术栈 •代码管理（SCM）：GitHub、GitLab、SubVersion •构建工具：Ant、maven •自动部署：ansible、saltstack、puppet •持续集成（CI）：Jenkins •配置管理：Ansible、Chef、Puppet、SaltStack •容器：Docker、kvm sul •脚本语言：python、ruby、shell •日志管理：ELK、Logentries •系统监控：zabbix、prometheus 前东家关于Devops的一些实践 Devops传统方式下构建示例 Devops发布流程需要考虑几个问题 1、发布什么应用，发布到哪里（CMDB） 2、发布人员是否有权限（RBAC） 3、发布过程是否有认证，授权发布（流程审计） 4、发

Golang to the rescue: Saving DevOps from TLS turmoil GopherCon 2017 Lightning Talk Chris Short Manager of DevOps at Bankrate Introduction Chris Short Manager of DevOps at Bankrate (http://www.bankrate organization/resources/culture-change) DevOpsDays (https://www.devopsdays.org/) Speaker and Organizer DevOps'ish (https://devopsish.com/) chrisshort.net (https://chrisshort.net) @ChrisShort (https://twitter was derived from an opensource.com article I wrote in April 2017: Golang to the rescue: Saving DevOps from TLS turmoil (https://opensource.com/article/17/4/testing-certi�cate-chains-34-line-go-program)

⼤多数组织⽆法⽴即区分出琐碎任务的测试失败和必须⽴即解决的关键业务的测试 失败。 数据来源：《 Enterprise Continuous Testing; Transforming Testing for Agile and DevOps 》报告 碎⽚化的测试⼯具是阻碍持续测试的关键因素之⼀ 测试管理 测试框架 接⼝测试 性能测试 UI 及移动测试 ⽆规范✗ 不兼容✗ ⽆联动✗ 协同难✗ 1 2 持续测试的兴起与现状 性能测试报告 依据三个关键能⼒打造⼀站式持续测试平台 - 让测试不再成为持续交付的瓶颈 - MeterSphere ⼀站式开源持续测试平台 敏捷流程 持续监控 持续开发 团队协作、融⼊ DevOps 持续集成 持续部署 测试跟踪 测试计划、⽤例管理、测试报告 接⼝测试 接⼝管理、接⼝ Mock、接⼝⾃动化 性能测试 兼容 JMeter、云端压测、实时展示 UI 测试（X-Pack） ⼀、测试跟踪 全场景的测试跟踪能⼒ ⼆、接⼝测试 灵活的接⼝⾃动化能⼒ 三、UI 测试 ⾃然语⾔的 UI ⾃动化测试 四、性能测试 ⼤规模的性能测试能⼒ 五、团队协作、融⼊ DevOps 融⼊业务交付线能⼒ 注：测试成熟度模型参考《持续测试⽩⽪书》。⽩⽪书中定义了测试成熟度的四个等级： Level 1:⼿动为主；Level 2：初步尝试；Level 3：实践阶段；Level

⽂件管理 取数 MeterSphere 提供的数据能⼒ 其他依赖⽂件 依据三个关键能⼒打造⼀站式持续测试平台 - 让测试成为⼀种能⼒，为不同的团队进⾏赋能 - 持续 测试 团队协作、融⼊ DevOps 测试左移 开发参与测试 测试团队 运维参与测试 测试管理 测试计划、⽤例管理、测试报告 接⼝测试 接⼝管理、接⼝ Mock、接⼝⾃动化 性能测试 兼容 JMeter、云端压测、实时展示 ⼀、测试管理 全场景的测试跟踪能⼒ ⼆、接⼝测试 灵活的接⼝⾃动化能⼒ 三、UI 测试 ⾃然语⾔的 UI ⾃动化测试 四、性能测试 ⼤规模的性能测试能⼒ 五、团队协作、融⼊ DevOps 融⼊业务交付线能⼒ 注：测试成熟度模型参考《持续测试⽩⽪书》。⽩⽪书中定义了测试成熟度的四个等级： Level 1:⼿动为主；Level 2：初步尝试；Level 3：实践阶段；Level 适合团队，⽅便度量和集成； 缺点： 闭源商业化平台价格较贵，开源 平台的稳定性⽋佳和功能较少； 场景： 适合团队和集成 DevOps 等。 优势： 需求满⾜度⾼，⾃主可控； 缺点： 投⼊产出⽐低，研发⼈⼒成本级 别⾼； 场景： 适合团队和集成 DevOps。 直接导⼊ HAR 抓包导⼊ 浏览器抓包 直接编写接⼝ IDEA 开发⼯具上传 接⼝测试 统⼀的接⼝定义与维护管理

依据三个关键能⼒打造⼀站式持续测试平台 - 让测试成为⼀种能⼒，为不同的团队进⾏赋能 - MeterSphere ⼀站式开源持续测试平台 敏捷流程 持续监控 持续开发 团队协作、融⼊ DevOps 持续集成 持续部署 测试跟踪 测试计划、⽤例管理、测试报告 接⼝测试 接⼝管理、接⼝ Mock、接⼝⾃动化 性能测试 兼容 JMeter、云端压测、实时展示 UI 测试（X-Pack） ⼀、测试跟踪 全场景的测试跟踪能⼒ ⼆、接⼝测试 灵活的接⼝⾃动化能⼒ 三、UI 测试 ⾃然语⾔的 UI ⾃动化测试 四、性能测试 ⼤规模的性能测试能⼒ 五、团队协作、融⼊ DevOps 融⼊业务交付线能⼒ 注：测试成熟度模型参考《持续测试⽩⽪书》。⽩⽪书中定义了测试成熟度的四个等级： Level 1:⼿动为主；Level 2：初步尝试；Level 3：实践阶段；Level 适合团队，⽅便度量和集成； 缺点： 闭源商业化平台价格较贵，开源 平台的稳定性⽋佳和功能较少； 场景： 适合团队和集成 DevOps 等。 优势： 需求满⾜度⾼，⾃主可控； 缺点： 投⼊产出⽐低，研发⼈⼒成本级 别⾼； 场景： 适合团队和集成 DevOps。 - 解决现有接⼝测试的问题，覆盖多种接⼝协议，⾃由组合接⼝⾃动化测试场景- MeterSphere 灵活的接⼝场景编排设计

ThoughtWorks⾸首席咨询师 Sybase Tech Leader • 《微服务架构与实践》作者 • 《DevOps Handbook》中⽂文译者之⼀一 • 国内较早倡导和实践微服务的先⾏行行者 • 对于⾃自动化测试、持续交付、DevOps有丰富的实践经验 • ⻄西安DevOps Meetup 联合发起⼈人 关于我 议题 • 微服务架构的核⼼心 • 微服务架构设计原则 • the first post DevOps revolution architecture. Neal Ford 2015/10 Loosely coupled service oriented architecture with bounded contexts. Adrian Cockcroft 2014/11 以缩短交付周期为核⼼心 基于DevOps 内建质量量 微服务架构是松耦合架构机制的⼀一种实现 为什什么基于DevOps？ ● Communication ● Automation ● Measuring ● Sharing 为什什么基于DevOps？ https://www.supinfo.com/articles/single/3652-what-is-devops 架构⼀一旦确定，很难改变 什什么是演进式架构？ ⽀支持增量量式变更更作为第⼀一原则

��� ���� • Ansible ��������� ��� �����Elastic Cloud Platform 300+ Jenkins Jobs 10+ �� �������DevOps Automation �������Infrastructure Automation ������Alerting Everywhere ����������� �������������������������� ��������DevOps ����������� ‣������ Cloud Native ‣������ App Centric ‣������ Dynamic Infrastructure������ IaaS ����� ���������� DevOps PaaS VM/Docker VM/Docker VM/Docker VM/Docker DevOps DevOps DevOps DevOps DevOps ��Trends • ����������������� • ���� • ������������� • ���� • ���“�”����“�” • ���“�”������“�” ����Management • ��� • ��������� • ��������� • ����������� • ��������� • �����������������

Consultant Sybase - Tech Leader �2 关于我 • 丰富的持续交付/微服务架构/DevOPS经验 • 《微服务架构与实践》作者 • 《DevOps实践指南》译者 • 中国⾸首批EXIN DevOps Master教练 • ⻄西安DevOps Meetup 联合发起⼈人 • 《消费者驱动契约测试-Pact》译者 • 《使⽤用SpringBoot 机制互 相协作（通常是基于HTTP协议的RESTful API）。 每个服务都围绕着具体业务进⾏行行构建，并且能够被独⽴立的部署到⽣生产环 境、类⽣生产环境等。 以持续交付为核⼼心 基于DevOps 的演进式架构 Shakespear A thousand Hamlets in a thousand people’s eyes. 微服务架构 �7 什什么是领域驱动设计 领域驱动设计

2014年问题倍出（⼆二） 不要再添加任何服务！ 当然不是！ 业务迅速扩张 技术选型灵活 助⼒力客户快速占领市场 那怎么办？ 2015年服务治理 � � � � � � � � � � � � DevOps 快速响应 只有这 些是不 够的 ful API Restful API ⾃自动 化部署 特性 团队 1 环境⼿手⼯工维护，频频出错 2 缺乏有效监控 3 服务过⼤大，堵塞交付 实施了新的部署流程，成功率 ⼤大⼤大提⾼高，部署时间缩短到 30分钟。 2 ⾼高效监控 服务提供状态汇报，利⽤用 Splunk聚合⽇日志，对服务运 ⾏行状态进⾏行监控，⼤大⼤大提⾼高运 维效率。 2.DevOps⼀一家亲 2012 2015 环境⼿手⼯工维护，频频出错 缺乏有效监控 3 服务过⼤大，堵塞交付 快速增⻓长的结果导致服务过⼤大 或者服务过⼩小。⽽而过⼤大的服务 导致整个提交流⽔水线堵塞，测 新的团队结构 Perf Guild DevOps Guild 交付特性团队 交付特性团队 “没有衡量就没有改善！ 你衡量什么就得到什么！” —Peter F．Drucker 产品规划 需求澄清 分析设计 开发实现 测试交付 上线发布 运营 持续交付 持续改进 建⽴立闭环反馈系统 � � � � � � � � � � � � DevOps 这样就⾜足够了吗？ 快速响应

05 ⾯向云原⽣的软件交付 第⼀部分 ⾯向云原⽣的企业软件产品 - 敏捷开发 - 微服务化和容器化 - 交付标准化 - 可观察性 特点： 敏捷的⽬标是提升研发效能 需要⼀个 DevOps 平台来⽀撑敏捷开发的落地 这⾥需要有⼀个标准的交付平台 运⾏环境 业务 数据 业务系统 C 业务 数据 业务系统 A 业务 数据 业务系统 B 资源管理在统⼀平台 应⽤运⾏在统⼀平台 Kafka ES MQ Minio 中间件 通⽤服务 ⾃定义服务 服务市场 Kubernetes Rancher Openshift 私有云 公共 物理机 虚拟机 微服务治理平台 DevOps 平台 边缘监控 边缘站点管理 制品 快速分发部署 边缘⽇志 边缘计算平台 边缘数据收集 边缘算⼒调度 ⽹络⾃动容错 平台产品 核⼼引擎 容器服务 基础设施 数仓设计 Build any application, Deploy anywhere, Monitor anything Erda 架构的思考 第三部分 基于微服务的 PaaS 架构 定义 DevOps 的开放接⼝ 我们认为 CI/CD 核⼼的两个功能是 workflow 和 workload 的管理 Workflow 管理 - Create - Update - Delete -