开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 CONTENTS 关于AIOps ⼯工程难点 开源⽅方案与Python作⽤用 1 关于AIOps 根据Gartner的报告，AIOps将在未来5-10年年落地开花，并集中统⼀一 各种Ops平台 IT运维的⽬目标/KPI 1 2 3 IT运维的挑战 • 复杂度越来越⾼高： • 架构演变：SaaS、多云、容器器、微服务等 • 数据孤岛越来越多：⼤大数据的3V（容量量、变化、种类） • 成本越来越⾼高： Intelligence for IT Operations • 组合⼤大数据 + 机器器学习 + 分析来帮助IT运维： • 发现、预测、修复问题 ⼤大数据 机器器学习 分析 Garner：AIOps对IT运维的改进 ⼤大数据促进平台融合 • 采集各种数据（以下各种⻆角⾊色都关⼼心）： • IT运维⼈人员、开发⼈人员、数据⼯工程师、 • 安全运维、合规审计⼈人员、商务分析师 • Garner预测未来5年年：

当Python遇上FPGA PYNQ开源项目的实践与体会 陆佳华 joshual@Xilinx.com 目录 CONTENTS FPGA 35th Computer Architecture Golden Age PYNQ Open Source Framework How Python helps, really a lot.. FPGA 35th National Inventors

项目组成 •IoT 项目组成 • 云 即云端，它负责真实世界数 据的存储、展示、分析，是物 联网的最上层，它是中枢和大 脑，也是连接人和物的纽带； • 管 即管道，它是物联网的网络 核心，一切数据和指令均靠管 道来传输，它是物联网的中间 层； • 端 即终端，它负责真实世界的 感知和控制，是物联网的最底 层。 典型 IoT 项目剖析 •典型 IoT 项目剖析 – 常用网络结构 共享单车： – 技术栈 • 单片机程序开发 • 使用多种硬件接口 • 驱动各种外设 • 嵌入式Linux软件开发 • 使用多种硬件接口 • 驱动各种外设 • 数据库存储 • 网络通信 • Web程序开发 • 数据存储 • 数据可视化 Python 各个击破 IoT 技术栈 • MicroPython 开发 IoT 终端 • Python 开发 IoT 网关 • Python 开发 IoT IoT 网关 • 构建Python环境：很多IC厂商的BSP已经对 Python有了很好的支持，若没有则自主移植 • 支持多种硬件接口： pyserail等，如果没有 通过C语言开发 • 支持多种数据库：sqlite、mysql…. • 支持多种网络库：requests、hbmqtt…. • 性能敏感的模块采用C/C++编写库，供 Python应用程序调用 •Python 各个击破 IoT

安富利电子科技 2019年10月20日，深圳 2 Ø Python 语言：易学易读易用、可扩展性、可移植性等。 Ø Python 开发工具：库丰富、效率高、调试方便 Ø Python 的应用： 人工智能、数据分析等 Ø Python 的生态环境：软件平台、硬件平台、方案合作伙伴 等 Ø 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ Ø 之前基于python开发的工程师很少接触嵌入式环境， 数字电路的语言，常用 的主要有VHDL、Verilog HDL Ø 信号处理：数据可以并行处理 Ø 主要实现功能： Ø 组合逻辑 -》计数器 -》算法实现 -》SOC 设计 Ø 新一代FPGA器件：高速接口、ARM SOC、多个 IP 硬核、大容量存储器等 Ø 新一代PCIE加速卡：人工智能、金融计算、数据库、高性能计算、视频转码等。 Ø 主要应用： Ø 通信设备：路由器、交换机、5G 设备 存储器架构：芯片内有大容量存储器，不需要和外 面的 DDR 做反复读写。 Ø DSP 硬核：硬核乘加器，一个时钟实现。 Ø 数据的处理以FPGA 时钟 cycle 来计算的 Ø 100M 时钟，10ns Ø D 触发器：数据可以准确和时钟同步。一个 时钟 cycle 可以实现多个数据流的同步：数 据打齐 Ø 纯并行处理架构 / 流水线处理架构 FPGA 如何实现算法加速 FPGA 基本架构 9

安富利电子科技 2019年10月19日，北京 2 ➢ Python 语言：易学易读易用、可扩展性、可移植性等。 ➢ Python 开发工具：库丰富、效率高、调试方便 ➢ Python 的应用： 人工智能、数据分析等 ➢ Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 ➢ 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ ➢ 之前基于python开发的工程师很少接触嵌入式环境， 数字电路的语言，常用 的主要有VHDL、Verilog HDL ➢ 信号处理：数据可以并行处理 ➢ 主要实现功能： ➢ 组合逻辑 -》计数器 -》算法实现 -》SOC 设计 ➢ 新一代FPGA器件：高速接口、ARM SOC、多个 IP 硬核、大容量存储器等 ➢ 新一代PCIE加速卡：人工智能、金融计算、数据库、高性能计算、视频转码等。 ➢ 主要应用： ➢ 通信设备：路由器、交换机、5G 设备 存储器架构：芯片内有大容量存储器，不需要和外 面的 DDR 做反复读写。 ➢ DSP 硬核：硬核乘加器，一个时钟实现。 ➢ 数据的处理以FPGA 时钟 cycle 来计算的 ➢ 100M 时钟，10ns ➢ D 触发器：数据可以准确和时钟同步。一个 时钟 cycle 可以实现多个数据流的同步：数 据打齐 ➢ 纯并行处理架构 / 流水线处理架构 FPGA 如何实现算法加速 FPGA 基本架构 9

安富利电子科技 2019年9月21日， 上海 2 Ø Python 语言：易学易读易用、可扩展性、可移植性等。 Ø Python 开发工具：库丰富、效率高、调试方便 Ø Python 的应用： 人工智能、数据分析等 Ø Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 Ø 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ Ø 之前基于python开发的工程师很少接触嵌入式环境， 数字电路的语言，常用 的主要有VHDL、Verilog HDL Ø 信号处理：数据可以并行处理 Ø 主要实现功能： Ø 组合逻辑 -》计数器 -》算法实现 -》SOC 设计 Ø 新一代FPGA器件：高速接口、ARM SOC、多个 IP 硬核、大容量存储器等 Ø 新一代PCIE加速卡：人工智能、金融计算、数据库、高性能计算、视频转码等。 Ø 主要应用： Ø 通信设备：路由器、交换机、5G 设备 存储器架构：芯片内有大容量存储器，不需要和外 面的 DDR 做反复读写。 Ø DSP 硬核：硬核乘加器，一个时钟实现。 Ø 数据的处理以FPGA 时钟 cycle 来计算的 Ø 100M 时钟，10ns Ø D 触发器：数据可以准确和时钟同步。一个 时钟 cycle 可以实现多个数据流的同步：数 据打齐 Ø 纯并行处理架构 / 流水线处理架构 FPGA 如何实现算法加速 FPGA 基本架构 9

Developer Group • Speaker @ 2019 GitHub 中国官方见面会 我开发的插件 Python 与人工智能 “Python的快速发展的一个主要增 长点来自于数据科学、机器学习和 学术研究。 “数据科学和机器学习在各种类型的 公司都逐渐成为主流，而Python成 为此用途的首选语言。” 来源: https://stackoverflow.blog/2017/09/14/py Machine Learning 开发工具 à Azure Notebook Azure Machine Learning • 拥有不同运算性能的机器 • 降低成本，按需付费 • 支持不同的开源框架：TenserFlow、PyTorch、MXNet 等 Azure Notebook Jupyter Notebook on Azure • 免费 • 全托管 • 无需安装 • 无需配置 上传训练数据 5. 准备 training script 6. 把 training 任务提交到 Azure Machine Learning 1. 安装 Azure Machine Learning SDK 2. 连接到 Azure Machine Learning 的 Workspace 3. 创建远程运算资源 —— NC6 GPU machines 4. 上传训练数据 5. 准备

力，啃厚重的书往往变成了一项艰巨的挑战。 如果你也面临类似的困扰，那么很幸运这本书“找”到了你。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 “知识地图”，带你了解不同“地雷”的形状、大小和分布位置，让你掌握各种“排雷方法”。有了这些本领， 相信你可以更加自如地刷题和阅读文献，逐步构建起完整的知识体系。 我深深赞同费曼教授所言：“Knowledge 仓库。 动画在 PDF 内的展示效果受限，可访问 hello‑algo.com 网页版以获得更优的阅读体验。 推荐语 “一本通俗易懂的数据结构与算法入门书，引导读者手脑并用地学习，强烈推荐算法初学者阅读！” ——邓俊辉，清华大学计算机系教授 “如果我当年学数据结构与算法的时候有《Hello 算法》，学起来应该会简单 10 倍！” ——李沐，亚马逊资深首席科学家 计算机的出现给世界带来了巨大 的自然交互，这些应用都是算法在计算机上的精妙演绎。 事实上，在计算机问世之前，算法和数据结构就已经存在于世界的各个角落。早期的算法相对简单，例如古 代的计数方法和工具制作步骤等。随着文明的进步，算法逐渐变得更加精细和复杂。从巧夺天工的匠人技艺、 到解放生产力的工业产品、再到宇宙运行的科学规律，几乎每一件平凡或令人惊叹的事物背后，都隐藏着精 妙的算法思想。 同样，数据结构无处不在：大到社会网络，小到地铁线路，许多系统都可以建模为“图”；大到一个国家，小

力，啃厚重的书往往变成了一项艰巨的挑战。 如果你也面临类似的困扰，那么很幸运这本书“找”到了你。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 “知识地图”，带你了解不同“地雷”的形状、大小和分布位置，让你掌握各种“排雷方法”。有了这些本领， 相信你可以更加自如地刷题和阅读文献，逐步构建起完整的知识体系。 我深深赞同费曼教授所言：“Knowledge 仓库。动画在 PDF 内的 展示效果受限，可访问 hello‑algo.com 网页版以获得更优的阅读体验。 推荐语 “一本通俗易懂的数据结构与算法入门书，引导读者手脑并用地学习，强烈推荐算法初学者阅读！” ——邓俊辉，清华大学计算机系教授 “如果我当年学数据结构与算法的时候有《Hello 算法》，学起来应该会简单 10 倍！” ——李沐，亚马逊资深首席科学家 i 目 录 第 0 章 前言 . . . . . . . . . . . . . . . . . . 47 第 3 章 数据结构 49 3.1 数据结构分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 3.2 基本数据类型 . . . . . . . . . . . . . . . . . . . . . .

力，啃厚重的书往往变成了一项艰巨的挑战。 如果你也面临类似的困扰，那么很幸运这本书“找”到了你。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 “知识地图”，带你了解不同“地雷”的形状、大小和分布位置，让你掌握各种“排雷方法”。有了这些本领， 相信你可以更加自如地刷题和阅读文献，逐步构建起完整的知识体系。 我深深赞同费曼教授所言：“Knowledge 动画在 PDF 内的展示效果受限，可访问 www.hello‑algo.com 网页版以获得更优的阅读体验。 推荐语 “一本通俗易懂的数据结构与算法入门书，引导读者手脑并用地学习，强烈推荐算法初学者阅读！” ——邓俊辉，清华大学计算机系教授 “如果我当年学数据结构与算法的时候有《Hello 算法》，学起来应该会简单 10 倍！” ——李沐，亚马逊资深首席科学家 计算机的出现给世界带来了巨大 的自然交互，这些应用都是算法在计算机上的精妙演绎。 事实上，在计算机问世之前，算法和数据结构就已经存在于世界的各个角落。早期的算法相对简单，例如古 代的计数方法和工具制作步骤等。随着文明的进步，算法逐渐变得更加精细和复杂。从巧夺天工的匠人技艺、 到解放生产力的工业产品、再到宇宙运行的科学规律，几乎每一件平凡或令人惊叹的事物背后，都隐藏着精 妙的算法思想。 同样，数据结构无处不在：大到社会网络，小到地铁线路，许多系统都可以建模为“图”；大到一个国家，小