⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 ⽬目录 CONTENTS 关于AIOps ⼯工程难点 开源⽅方案与Python作⽤用 根据Gartner的报告，AIOps将在未来5-10年年落地开花，并集中统⼀一 各种Ops平台 IT运维的⽬目标/KPI 1 2 3 IT运维的挑战 • 复杂度越来越⾼高： • 架构演变：SaaS、多云、容器器、微服务等 • 数据孤岛越来越多：⼤大数据的3V（容量量、变化、种类） • 成本越来越⾼高： • 业务中断成本 • 缺少持续改进（运维⼈人员⼤大部分时间忙于救⽕火） • ⼈人员学习速度跟不不上业务增⻓长和问题出现的速度 AIOps系统（常规层次） AIOps系统架构 • 场景应⽤用 • 智能监测系统 • ⾃自动化系统 • ⼯工单知识库 • 数据湖 • 监控⽣生态系统 • 数据源 数据的摄取挑战 • 各种来源： • SaaS、多云、容器器、微服务、主机、应⽤用等 • 各种数据样式： • Log、Tracking、Event；Metrics、IoT data；⽹网络数据； • ⽂文本、⼯工单、知识库；API；代码等

就几万行的代码，你可以尽情地嘲笑他。 那 Python 适合开发哪些类型的应用呢？ Python3 基础教程【完整版】 http://www.yeayee.com/ 10/531 首选是网络应用，包括网站、后台服务等等； 其次是许多日常需要的小工具，包括系统管理员需要的脚本任务等等； 另外就是把其他语言开发的程序再包装起来，方便使用。 最后说说 Python 的缺点。 任何编程语言都有缺点，Python 言，都没有这个问题，而解释型的语言，则必须把源码发布出去。 这个缺点仅限于你要编写的软件需要卖给别人挣钱的时候。好消息是目 前的互联网时代，靠卖软件授权的商业模式越来越少了，靠网站和移动 应用卖服务的模式越来越多了，后一种模式不需要把源码给别人。 再说了，现在如火如荼的开源运动和互联网自由开放的精神是一致的， 互联网上有无数非常优秀的像 Linux 一样的开源代码，我们千万不要高 估自 用记事本编辑的时候，从文件读取的 UTF-8 字符被转换为 Unicode 字符 到内存里，编辑完成后，保存的时候再把 Unicode 转换为 UTF-8 保存到 文件： 浏览网页的时候，服务器会把动态生成的 Unicode 内容转换为 UTF-8 再 传输到浏览器： 所以你看到很多网页的源码上会有类似的信息， 表示该网页正是用的

(2004-2011) … Serverless 为何而生 ？ 为什么需要“无服务器”？ 服务部署及利用率 可用性及容错度 监控、调度 运行及管理 什么是“Serverless”? 无需管理基础设施 自动扩展 按价值付费 高可用以及安全 “无服务”是一种新的模型，它跨越许多不同类别的服务 AWS Lambda AWS Fargate Amazon API Gateway Lambda Google Cloud Functions Azure Functions Apache OpenWisk Oracle Fn 2017.10 Project Riff “无服务器”计算平台的发展 2017.2 OpenFAAS “Serverless” 好在哪里？ 来源：https://aws.amazon.com/cn/solutions/case-studie AWS Lambda 的事件驱动架构 其它服务 事件源 Serverless函数 常见的应用场景 Web 应用 • 静态网站 • 复杂的Web 应用 • 打包Flask 与 Express应用 数据处理 • 实时处理 • MapReduce • 批处理 • 机器学习推理 聊天机器人 • 驱动 chatbot 逻辑 后台 • 应用与服务 • 移动应用 • 物联网(IoT)

自动化以及持续集成（CI）、持续部署（CD）为 基础，来优化程式开发、测试、系统运维等所有 环节 构建Devops之前面临的问题 Devops 过程包含，代码构建打包、测试、部署、发布、监控、回滚等等一个 项目的闭环、快速构建以上过程。 构建Devops常用软件技术栈 •代码管理（SCM）：GitHub、GitLab、SubVersion •构建工具：Ant、maven •自动 •容器：Docker、kvm •编排：Kubernetes、openstack、Apache Mesos、swarm •服务注册与发现：Zookeeper、etcd、Consul •脚本语言：python、ruby、shell •日志管理：ELK、Logentries •系统监控：zabbix、prometheus 前东家关于Devops的一些实践 Devops传统方式下构建示例 Devops发布流程需要考虑几个问题 via ssh: ssh: connect to host 1.1.1.1 port 22: Connection timed out\r\n', 'unreachable': True}}} 监控系统二次开发 Zabbix api 二次开发 https://blog.51cto.com/xiaoluoge/1827151 #coding:utf-8 import time from zabbix_client

。 将程序托管到 GitHub（可选） 这一步是可选的，将程序托管到 GitHub、GitLab 或是 BitBucket 等平台上，可以更 方便的备份、协作和部署。这些托管平台作为 Git 服务器，你可以为本地仓库创建 远程仓库。 首先要注册一个 GitHub 账户，点击访问注册页面，根据指示完成注册流程。登录 备用。 设置 SSH 密钥 一般情况下，当推送本地改动到远程仓库时，需要输入用户名和密码。因为传输通 们在程序里返回的问候语，如下图所示： 执行 flask run 命令时，Flask 会使用内置的开发服务器来运行程序。这个服务 器默认监听本地机的 5000 端口，也就是说，我们可以通过在地址栏输入 http://127.0.0.1:5000 或是 http://localhost:5000 访问程序。 注意 内置的开发服务器只能用于开发时使用，部署上线的时候要换用性能更好的服 务器，我们会在最后一章学习。 http://localhost:5000/hello 。 整个请求的处理过程如下所示： 1. 当用户在浏览器地址栏访问这个地址，在这里即 http://localhost:5000/ 2. 服务器解析请求，发现请求 URL 匹配的 URL 规则是 / ，因此调用对应的处 理函数 hello() 3. 获取 hello() 函数的返回值，处理后返回给客户端（浏览器） 4. 浏览器接受响应，将其显示在窗口上

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 6 文本处理服务 107 6.1 string --- 常见的字符串操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . rlcompleter --- 用于 GNU readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . 160 7 二进制数据服务 163 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . 163 7.1.1 函数和异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 576 15 加密服务 577 15.1 hashlib --- 安全哈希与消息摘要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 6 文本处理服务 107 6.1 string --- 常见的字符串操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . rlcompleter --- 用于 GNU readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . 160 7 二进制数据服务 163 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . 163 7.1.1 函数和异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 576 15 加密服务 577 15.1 hashlib --- 安全哈希与消息摘要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 6 文本处理服务 111 6.1 string --- 常见的字符串操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . rlcompleter --- 用于 GNU readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . 165 7 二进制数据服务 167 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . 167 7.1.1 函数和异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 599 15 加密服务 601 15.1 hashlib --- 安全哈希与消息摘要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 601

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 6 文本处理服务 111 6.1 string --- 常见的字符串操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . rlcompleter --- 用于 GNU readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . 164 7 二进制数据服务 165 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . 165 7.1.1 函数和异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 595 15 加密服务 597 15.1 hashlib --- 安全哈希与消息摘要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 6 文本处理服务 91 6.1 string --- 常见的字符串操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . rlcompleter --- GNU readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 7 二进制数据服务 141 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 7.2 5 plistlib --- 生成与解析 Mac OS X .plist 文件 . . . . . . . . . . . . . . . . . . . . . . . . . 494 15 加密服务 497 15.1 hashlib --- 安全哈希与消息摘要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .