开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 架构演变：SaaS、多云、容器器、微服务等 • 数据孤岛越来越多：⼤大数据的3V（容量量、变化、种类） • 成本越来越⾼高： • 业务中断成本 • 缺少持续改进（运维⼈人员⼤大部分时间忙于救⽕火） • ⼈人员学习速度跟不不上业务增⻓长和问题出现的速度 基本概念 • AIOps = Artificial Intelligence for IT Operations • 组合⼤大数据 + 机器器学习 + 分析来帮助IT运维： 分析来帮助IT运维： • 发现、预测、修复问题 ⼤大数据 机器器学习 分析 Garner：AIOps对IT运维的改进 ⼤大数据促进平台融合 • 采集各种数据（以下各种⻆角⾊色都关⼼心）： • IT运维⼈人员、开发⼈人员、数据⼯工程师、 • 安全运维、合规审计⼈人员、商务分析师 • Garner预测未来5年年： • AIOps会从功能演变成平台并落地 • 到2022年年，40%企业会使⽤用AIOps

内容简要介绍了如何使用 Django 实现一个数据库驱动的 Web 应用。 为了让您充分理解 Django 的工作原理，这份文档为您详细描述了相关的技术细节，不过这并不是 一份入门教程或者是参考文档（我们当然也为您准备了这些）。如果您想要马上开始一个项目，可以 从 实例教程（zh）开始入手，或者直接开始阅读详细的参考文档。 Django 无需数据库就可以使用，它提供了对象关系映射器（ORM）。通过此技术，你可以使用 。通过此技术，你可以使用 Python 代码来描述数据库结构。 数据模型语法提供了很多方法来描述你的数据，这解决了多年来在数据库模式中的难题。以下是一个 简明的例子： 1. # mysite/news/models.py 2. 3. from django.db import models 4. 5. class Reporter(models.Model): 6. full_name headline 然后，运行 Django 命令行工具来创建数据库表。 1. $ python manage.py migrate migrate 命令会查找所有可用的模型，如果数据库中没有与之对应的表，则会为其自动创建。 Django 也提供了其他更丰富的控制方式。 接下来，你就可以使用一套便捷而丰富的 Python API 用于访问你的数据。这些 API 是自动即时 创建的，你不用编写其他任何代码。

QA • 数据结构化 Ø 用问答对的方式进行知识表示 Ø 知识点：由若干个问题（相似问）、以及 能回答这些问题的答案组成 Ø 知识库：由若干个知识点组成 • 模型 Ø 找到和用户query最匹配的问题，进而给 出对应的答案 • 特点 Ø 易于维护 Ø 符合实际业务场景 Ø 为什么用这种形式？ ü 减轻人工维护答案的工作量 ü 同一知识点下的问题语义相同，是很好的 训练数据 智能问答应用场景 Voice-only Apps Ø 智能音箱 Ø 车载设备 Ø 可穿戴设备 2 QA快速实践 任务拆解、各个击破 任务拆解 • 业务 Ø 解决什么问题？ • 数据 Ø 标注数据 Ø 训练数据 Ø 测试数据 Ø 评估数据 • 建模 Ø 输入输出？ Ø 工作流？ • 语言工具 Ø C++ Ø Python Ø Java Ø GO • 模型 Ø 统计模型 Ø 传统机器学习模型 Ø Python：语法简单，完全面向对象，容易入门和 使用 Ø Java：语法简单，面向对象，但框架较重，相对 而言较适用业务程序开发 Ø GO：语法简单，支持面向对象、函数、接口编 程，开发速度媲美Python • 平台迁移性 Ø C++：受环境和编译器影响较大 Ø Python：安装简单，服务器ubuntu、centos等都 默认兼容 Ø Java：跨平台可用 Ø GO：支持交叉编译，可在不同平台直接运行 •

— Run and integrate with Web framework Tornado相关 Flask相关 Django相关 aiohttp相关 其他 第三方库生态 数据可视化 Demos 基本demo 数据可视化demo Other 常用的Codemirror选项 Nginx WebSocket配置示例 Release notes 实现文档 服务器-客户端通信协议 Command valid_func=check_age) ], valid_func=check_form) print(data['name'], data['age']) 输入组中同样支持设置校验函数，其接受整个表单数据作为参数: def check_form(data): # 检验函数校验通过时返回None，否则返回 (input name,错 误消息) if len(data['name']) > 6: other_html_attrs (-) – 与 input 输 入函数的同名参数含义一致 用户没有上传文件时，返回 None ；上传文件返回dict: {'filename': 文件名， 'content'：文件二进制数据(bytes object)} 参数: 返回: pywebio.input.input(label='', type='text', *, valid_func=None, name=None

发布 0.3.0 (续上页) ], valid_func=check_form) print(data['name'], data['age']) 输入组中同样支持设置校验函数，其接受整个表单数据作为参数: def check_form(data): # 检验函数校验通过时返回 None，否则返回 (input name, 错误消息) if len(data['name']) > 6: other_html_attrs (-) –与input 输入函数的同 名参数含义一致 返回 用户没有上传文件时，返回 None ；上传文件返回 dict: {'filename': 文件名， 'content'：文件二进制数据 (bytes object)} pywebio.input.input(label=”, type=’text’, *, valid_func=None, name=None, value=None anchor=None, before=None, af- ter=None) → pywebio.io_ctrl.OutputReturn 输出表格 参数 • tdata (list) –表格数据。列表项可以为 list 或者 dict , 单元格的内容可以为字 符串或 put_xxx 类型的输出函数，字符串内容的单元格显示时会被当作 html。 • header (list) –设定表头。当

辑便可改造为Web服务 支持整合到现有的Web服务，目前支持与Flask、Django、Tornado、aiohttp 框架集成 同时支持基于线程的执行模型和基于协程的执行模型 支持结合第三方库实现数据可视化 Install 稳定版安装: pip3 install -U pywebio 开发版安装: pip3 install -U --force-reinstall https://code session — 会话相关 pywebio.platform — Web框架支持 Tornado相关 Flask相关 Django相关 aiohttp相关 其他 第三方库生态 数据可视化 示例Demos 基本demo 数据可视化demo 其他 常用的Codemirror选项 Nginx WebSocket配置示例 常见问题 Release notes What’s new in PyWebIO 输入组 PyWebIO支持输入组, 返回结果为一个字典。pywebio.input.input_group() 接 受单项输入组成的列表作为参数, 返回以单项输入函数中的 name 作为键、以输 入数据为值的字典: code = textarea('Code Edit', code={ 'mode': "python", # 编辑区代码语言 'theme': 'darcula',

• 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.1.0 4 Chapter 1. 特性 CHAPTER2 Install 稳定版安装: pip3 install -U pywebio 开发版安装: 输入组 PyWebIO 支持输入组, 返回结果为一个字典。pywebio.input.input_group() 接受单项输入组成的列表 作为参数, 返回以单项输入函数中的 name 作为键、以输入数据为值的字典: data = input_group("Basic info",[ input('Input your name', name='name'), input('Input your validate=check_age) ]) put_text(data['name'], data['age']) 输入组中同样支持使用 validate 参数设置校验函数，其接受整个表单数据作为参数: def check_form(data): # 检验函数校验通过时返回 None，否则返回 (input name, 错误消息) if len(data['name']) > 6:

• 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.0.3 4 Chapter 1. 特性 CHAPTER2 Install 稳定版安装: pip3 install -U pywebio 开发版安装: 输入组 PyWebIO 支持输入组, 返回结果为一个字典。pywebio.input.input_group() 接受单项输入组成的列表 作为参数, 返回以单项输入函数中的 name 作为键、以输入数据为值的字典: data = input_group("Basic info",[ input('Input your name', name='name'), input('Input your validate=check_age) ]) put_text(data['name'], data['age']) 输入组中同样支持使用 validate 参数设置校验函数，其接受整个表单数据作为参数: def check_form(data): # 检验函数校验通过时返回 None，否则返回 (input name, 错误消息) if len(data['name']) > 6:

• 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.2.3 4 Chapter 1. 特性 CHAPTER2 Installation 稳定版: pip3 install -U pywebio 开发版: 输入组 PyWebIO 支持输入组, 返回结果为一个字典。pywebio.input.input_group() 接受单项输入组成的列表 作为参数, 返回以单项输入中的 name 作为键、以输入数据为值的字典: data = input_group("Basic info",[ input('Input your name', name='name'), input('Input your validate=check_age) ]) put_text(data['name'], data['age']) 输入组中同样支持使用 validate 参数设置校验函数，其接受整个表单数据作为参数: def check_form(data): # input group validation: return (input name, error msg) when␣ �→validation

• 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.2.2 4 Chapter 1. 特性 CHAPTER2 Installation 稳定版: pip3 install -U pywebio 开发版: 输入组 PyWebIO 支持输入组, 返回结果为一个字典。pywebio.input.input_group() 接受单项输入组成的列表 作为参数, 返回以单项输入函数中的 name 作为键、以输入数据为值的字典: data = input_group("Basic info",[ input('Input your name', name='name'), input('Input your validate=check_age) ]) put_text(data['name'], data['age']) 输入组中同样支持使用 validate 参数设置校验函数，其接受整个表单数据作为参数: def check_form(data): # input group validation: return (input name, error msg) when␣ �→validation