基于Azure的Python机器学习 平安金融壹账通大数据研究院 微软MVP 王大伟 目录 CONTENTS Azure与Python 如何用Azure完成机器学习 Azure与自动机器学习 Azure的相关学习资料 Azure与Python 日渐流行的Python TIOBE给出的排行榜是具有权威性质的，是判断语言流行趋势的指标。 TIOBE排行榜的网址是：https://tiobe 什么是自动机器学习？ 机器学习的一般步骤包括：问题定义、数据收集、特征工程、模型选择、模型评估、模型应用。 而算法工程师的工作一般是从特征工程开始。 自动机器学习的自动体现在：自动特征工程、自动模型选择、自动超参数优化等。 手动特征工程效率低、 可移植性差、受到创 造力的限制。 自动特征工程 自动超参数优 化 自动模型选择 添加标题 如何有效选择对应于 特定数据集的模型至 关重要。 大量超参数如何自动

开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 架构演变：SaaS、多云、容器器、微服务等 • 数据孤岛越来越多：⼤大数据的3V（容量量、变化、种类） • 成本越来越⾼高： • 业务中断成本 • 缺少持续改进（运维⼈人员⼤大部分时间忙于救⽕火） • ⼈人员学习速度跟不不上业务增⻓长和问题出现的速度 基本概念 • AIOps = Artificial Intelligence for IT Operations • 组合⼤大数据 + 机器器学习 + 分析来帮助IT运维： 分析来帮助IT运维： • 发现、预测、修复问题 ⼤大数据 机器器学习 分析 Garner：AIOps对IT运维的改进 ⼤大数据促进平台融合 • 采集各种数据（以下各种⻆角⾊色都关⼼心）： • IT运维⼈人员、开发⼈人员、数据⼯工程师、 • 安全运维、合规审计⼈人员、商务分析师 • Garner预测未来5年年： • AIOps会从功能演变成平台并落地 • 到2022年年，40%企业会使⽤用AIOps

服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp、FastAPI(Starlette) 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.3.1 4 Chapter 1. 特性 CHAPTER2 Installation 稳定版: pip3 start_server(bmi, port=80) 便可以 在 80 端口提供 bmi() 服务 ( 在线 Demo )。 将 bmi() 服务整合到现有的 Web 框架请参考与 Web 框架集成 。 8 Chapter 3. Hello, world CHAPTER4 Documentation 这个文档同时也提供 PDF 和 Epub 格式. 4.1 User’s guide 输入组 PyWebIO 支持输入组, 返回结果为一个字典。pywebio.input.input_group() 接受单项输入组成的列表 作为参数, 返回以单项输入中的 name 作为键、以输入数据为值的字典: data = input_group("Basic info",[ input('Input your name', name='name'), input('Input your

服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp、FastAPI(Starlette) 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.3.3 4 Chapter 1. 特性 CHAPTER2 Installation 稳定版: pip3 start_server(bmi, port=80) 便可以 在 80 端口提供 bmi() 服务 ( 在线 Demo )。 将 bmi() 服务整合到现有的 Web 框架请参考与 Web 框架集成 。 8 Chapter 3. Hello, world CHAPTER4 Documentation 这个文档同时也提供 PDF 和 Epub 格式. 4.1 User’s guide 输入组 PyWebIO 支持输入组, 返回结果为一个字典。pywebio.input.input_group() 接受单项输入组成的列表 作为参数, 返回以单项输入中的 name 作为键、以输入数据为值的字典: data = input_group("Basic info",[ input('Input your name', name='name'), input('Input your

服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp、FastAPI(Starlette) 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.3.2 4 Chapter 1. 特性 CHAPTER2 Installation 稳定版: pip3 start_server(bmi, port=80) 便可以 在 80 端口提供 bmi() 服务 ( 在线 Demo )。 将 bmi() 服务整合到现有的 Web 框架请参考与 Web 框架集成 。 8 Chapter 3. Hello, world CHAPTER4 Documentation 这个文档同时也提供 PDF 和 Epub 格式. 4.1 User’s guide 输入组 PyWebIO 支持输入组, 返回结果为一个字典。pywebio.input.input_group() 接受单项输入组成的列表 作为参数, 返回以单项输入中的 name 作为键、以输入数据为值的字典: data = input_group("Basic info",[ input('Input your name', name='name'), input('Input your

服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp、FastAPI(Starlette) 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.3.0 4 Chapter 1. 特性 CHAPTER2 Installation 稳定版: pip3 start_server(bmi, port=80) 便可以 在 80 端口提供 bmi() 服务 ( 在线 Demo )。 将 bmi() 服务整合到现有的 Web 框架请参考与 Web 框架集成 。 8 Chapter 3. Hello, world CHAPTER4 Documentation 这个文档同时也提供 PDF 和 Epub 格式. 4.1 User’s guide 输入组 PyWebIO 支持输入组, 返回结果为一个字典。pywebio.input.input_group() 接受单项输入组成的列表 作为参数, 返回以单项输入中的 name 作为键、以输入数据为值的字典: data = input_group("Basic info",[ input('Input your name', name='name'), input('Input your

是 Django 的扩展，用于快速构建 RESTful API 接口。通过 Rest Framework，可以定义 API 视图和序列化器，实现数据的序列化和反序列化，从而方便地 与前端进行数据交互。 MySQL 是一个关系型数据库，用于存储后端的数据。 前端开发（Vue+Element UI）： Vue 是一种现代的 JavaScript 框架，用于构建用户界面。Vue 提供了丰富的组件和模 前端通过 HTTP 请求向后端发送数据请求，后端根据请求进行相应的数据处理，并 返回响应数据给前端。 前端接收到后端返回的数据，并根据数据更新页面展示，实现与用户的交互。 总体而言，这种前后端分离的开发模式有助于实现前后端开发的解耦，使得各自的 开发工作更加专注和高效。前端负责用户界面的呈现和交互，后端负责数据处理和业务 逻辑，通过 API 接口进行数据传输和交互，从而实现一个完整的 Web 51testing.com 二、搭建流程 2.1 后端搭建流程 安装相关包->创建工程->后端依赖（pipenv）创建虚拟环境->后端服务配置启动->后 端创建子应用->后端 Rest Framework->数据库配置 简要说明： 安装相关包：在开始之前，首先需要安装 Python 和 pip，然后安装 Django 等相关包， 可以使用 pip 命令来安装。 创建工程：使用 Django 的命令行工具创建

可改造为Web服务 支持整合到现有的Web服务，目前支持与Flask、Django、Tornado、 aiohttp、 FastAPI(Starlette)框架集成 同时支持基于线程的执行模型和基于协程的执行模型 支持结合第三方库实现数据可视化 Installation 稳定版: pip3 install -U pywebio 开发版: pip3 install -U https://code 服务整合到现有的Web框架请参考 与Web框架集成 。 Documentation 这个文档同时也提供 PDF 和 Epub 格式 [https://readthedocs.org/projects/pywebio/downloads/]. 使用手册 User’s guide 输入 输出 Server模式与Script模式 与Web框架集成 基于协程的会话 Last but not least pywebio.platform — 应用部署 Directory Deploy Application Deploy 其他 第三方库生态 构建stand-alone App 数据可视化 示例Demos 基本demo 数据可视化demo 其他 常用的Codemirror选项 Nginx WebSocket配置示例 常见问题 Release notes What’s new in PyWebIO

可改造为Web服务 支持整合到现有的Web服务，目前支持与Flask、Django、Tornado、 aiohttp、 FastAPI(Starlette)框架集成 同时支持基于线程的执行模型和基于协程的执行模型 支持结合第三方库实现数据可视化 Installation 稳定版: pip3 install -U pywebio 开发版: pip3 install -U https://code 服务整合到现有的Web框架请参考 与Web框架集成 。 Documentation 这个文档同时也提供 PDF 和 Epub 格式 [https://readthedocs.org/projects/pywebio/downloads/]. 使用手册 User’s guide 输入 输出 Server模式与Script模式 与Web框架集成 基于协程的会话 Last but not least pywebio.platform — 应用部署 Directory Deploy Application Deploy 其他 第三方库生态 构建stand-alone App 数据可视化 示例Demos 基本demo 数据可视化demo 其他 常用的Codemirror选项 Nginx WebSocket配置示例 常见问题 Release notes What’s new in PyWebIO

可改造为Web服务 支持整合到现有的Web服务，目前支持与Flask、Django、Tornado、 aiohttp、 FastAPI(Starlette)框架集成 同时支持基于线程的执行模型和基于协程的执行模型 支持结合第三方库实现数据可视化 Installation 稳定版: pip3 install -U pywebio 开发版: pip3 install -U https://code 服务整合到现有的Web框架请参考 与Web框架集成 。 Documentation 这个文档同时也提供 PDF 和 Epub 格式 [https://readthedocs.org/projects/pywebio/downloads/]. 使用手册 User’s guide 输入 输出 Server模式与Script模式 与Web框架集成 基于协程的会话 Last but not least pywebio.platform — 应用部署 Directory Deploy Application Deploy 其他 第三方库生态 构建stand-alone App 数据可视化 示例Demos 基本demo 数据可视化demo 其他 常用的Codemirror选项 Nginx WebSocket配置示例 常见问题 Release notes What’s new in PyWebIO