Pants: Python工程化 必备构建工具 主讲人： 沈达 – 比图科技数据工程师 Pants 2 https://www.pantsbuild.org 面向任意规模代码仓库的高性能、可扩展、用户友好的构建系统。 由 主要实现 用 定义构建 对 支持最好 Pants 1 诞生于推特 Pants 2 涅槃重生 由Toolchain赞助 人生苦短，我用Python 用户 JupyterLab 个人：JupyterLab最佳实践 用户 JupyterLab 痛点：如何快速启动 痛点：如何分享、协作 痛点：如何管理依赖 模版工程 https://github.com/da-tubi/jupyterlab-best-practice 企业项目：多个子项目的Python代码仓库 模版工程 https://github.com/da-tubi/pants-pyspark-subprojects • 可扩展 智能依赖 • 新建子项目简单 • 开发环境和生产环境一致 • 本地缓存（SaaS支持：远程缓存） • 只要没有import，就会智能排除 业余项目：如何分发用Python实现的插件 示例工程 https://github.com/texmacs/plugins-in-python JAR • Executable • Assembly PEX • Executable • Assembly

easy ！）。 所以，通俗的来说，在AI system中：要么从原有的知识体系中直接提取信息来使用，要 么进行推理。 将知识融合在机器中，使机器能够利用我们人类知识、专家知识解决问题，这就是早期 知识工程（Knowledge Engineering）的核心内涵。 Preliminaries Explaining AI system from the perspective of KE – Symbolism R2：Dreyfus, Hubert (1979), What Computers Still Can't Do, New York: MIT Press. 本页PPT借鉴于复旦大学肖仰华老师《大数据时代的知识工程与知识管理》 Preliminaries Major difficulties: 自上而下：严重依赖专家和用户的干预（规模有限、质量存疑） Conventional KE – Features 3、很难处理异常情况 e.g., 鸵鸟不会飞 本页PPT借鉴于复旦大学肖仰华老师《大数据时代的知识工程与知识管理》 大数据时代催生KE飞速前进发 展 Preliminaries Preliminaries 大数据时代的机遇 – 大规模知识自动获取 本页PPT借鉴于复旦大学肖仰华老师《大数据时代的知识工程与知识管理》  Big Data + Machine Learning[R1] + Powerful

的应用： 人工智能、数据分析等 Ø Python 的生态环境：软件平台、硬件平台、方案合作伙伴 等 Ø 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ Ø 之前基于python开发的工程师很少接触嵌入式环境， 接触硬件 Ø 本次题目的主要内容 Ø Python <- tools -> FPGA Ø 算法硬件加速：用FPGA的逻辑硬件实现算法加速 Ø 算法如何在FPGA 中实现？如何用”与或非”门电路去 中实现？如何用”与或非”门电路去 写算法？ Ø 目前哪些 Xilinx FPGA的开发工具支持python 语言？ Ø 目前Xilinx 工具支持python 的主要应用领域 Python 工程师关心的问题 3 Python 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈？ Ø 传统的计算平台：基于通用处理器的架构，Intel x86 Ø 新的嵌入式计算平台：MCU，DSP，FPGA，GPU、ASSP等 软件仿真：这种方法主要是使用计算机软件来模拟运行， 用户不需要搭建硬件电路就可以对程序进行验证，特别 适合于偏重算法的程序。软件仿真的缺点是无法完全仿 真与硬件相关的部分，因此最终还要通过硬件仿真来完 成最终的设计。 Ø 大部分算法工程师经常做的事情 Ø 大量的仿真软件：Matlab，Simulink Ø 数学建模：核心技术 Ø 硬件仿真：使用附加的硬件来替代用户系统的单片机并 完成单片机全部或大部分的功能。使用了附加硬件后用

的应用： 人工智能、数据分析等 Ø Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 Ø 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ Ø 之前基于python开发的工程师很少接触嵌入式环境， 接触硬件 Ø 本次题目的主要内容 Ø Python <- tools -> FPGA Ø 算法硬件加速：用FPGA的逻辑硬件实现算法加速 Ø 算法如何在FPGA 中实现？如何用”与或非”门电路去写 中实现？如何用”与或非”门电路去写 算法？ Ø 目前哪些 Xilinx FPGA的开发工具支持python 语言？ Ø 目前Xilinx 工具支持python 的主要应用领域 Python 工程师关心的问题 3 Python 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈？ Ø 传统的计算平台：基于通用处理器的架构，Intel x86 Ø 新的嵌入式计算平台：MCU，DSP，FPGA，GPU、ASSP等 软件仿真：这种方法主要是使用计算机软件来模拟运行， 用户不需要搭建硬件电路就可以对程序进行验证，特别 适合于偏重算法的程序。软件仿真的缺点是无法完全仿 真与硬件相关的部分，因此最终还要通过硬件仿真来完 成最终的设计。 Ø 大部分算法工程师经常做的事情 Ø 大量的仿真软件：Matlab，Simulink Ø 数学建模：核心技术 Ø 硬件仿真：使用附加的硬件来替代用户系统的单片机并 完成单片机全部或大部分的功能。使用了附加硬件后用

的应用： 人工智能、数据分析等 ➢ Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 ➢ 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ ➢ 之前基于python开发的工程师很少接触嵌入式环境， 接触硬件 ➢ 本次题目的主要内容 ➢ Python <- tools -> FPGA ➢ 算法硬件加速：用FPGA的逻辑硬件实现算法加速 ➢ 算法如何在FPGA 中实现？如何用”与或非”门电路去写 中实现？如何用”与或非”门电路去写 算法？ ➢ 目前哪些 Xilinx FPGA的开发工具支持python 语言？ ➢ 目前Xilinx 工具支持python 的主要应用领域 Python 工程师关心的问题 3 Python 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈？ ➢ 传统的计算平台：基于通用处理器的架构，Intel x86 ➢ 新的嵌入式计算平台：MCU，DSP，FPGA，GPU、ASSP等 软件仿真：这种方法主要是使用计算机软件来模拟运行， 用户不需要搭建硬件电路就可以对程序进行验证，特别 适合于偏重算法的程序。软件仿真的缺点是无法完全仿 真与硬件相关的部分，因此最终还要通过硬件仿真来完 成最终的设计。 ➢ 大部分算法工程师经常做的事情 ➢ 大量的仿真软件：Matlab，Simulink ➢ 数学建模：核心技术 ➢ 硬件仿真：使用附加的硬件来替代用户系统的单片机并 完成单片机全部或大部分的功能。使用了附加硬件后用

Azure与自动机器学习 什么是自动机器学习？ 机器学习的一般步骤包括：问题定义、数据收集、特征工程、模型选择、模型评估、模型应用。 而算法工程师的工作一般是从特征工程开始。 自动机器学习的自动体现在：自动特征工程、自动模型选择、自动超参数优化等。 手动特征工程效率低、 可移植性差、受到创 造力的限制。 自动特征工程 自动超参数优 化 自动模型选择 添加标题 如何有效选择对应于 特定数据集的模型至

二、搭建流程 2.1 后端搭建流程 安装相关包->创建工程->后端依赖（pipenv）创建虚拟环境->后端服务配置启动->后 端创建子应用->后端 Rest Framework->数据库配置 简要说明： 安装相关包：在开始之前，首先需要安装 Python 和 pip，然后安装 Django 等相关包， 可以使用 pip 命令来安装。 创建工程：使用 Django 的命令行工具创建 Django Django 项目的数据库连接，通常使用 MySQL 作为后端数据库， 可以在 settings.py 中进行配置。 2.2 前端搭建流程 创建工程（模板）->前端依赖（npm install ）->前端服务配置启动 简要说明： 创建工程（模板）：可以使用 Vue 脚手架工具或其他模板工具来创建 Vue 项目的初始 结构。 前端依赖（npm install）：在项目目录下执行 npm 返回响应数据给前端。 前端接收到后端返回的数据，并根据数据更新页面展示，实现与用户的交互。 ·后端搭建流程 安装相关包->创建工程->后端依赖（pipenv）创建虚拟环境->后端服务配置启动->后 端创建子应用->后端 Rest Framework->数据库配置 ·前端搭建流程 创建工程（模板）->前端依赖（npm install ）->前端服务配置启动 ·关键技术 ---Pipenv：是 Python

⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 ⽬目录 CONTENTS 关于AIOps ⼯工程难点 开源⽅方案与Python作⽤用 1 关于AIOps 根据Gartner的报告，AIOps将在未来5-10年年落地开花，并集中统⼀一 各种Ops平台 IT运维的⽬目标/KPI 1 2 发现、预测、修复问题 ⼤大数据 机器器学习 分析 Garner：AIOps对IT运维的改进 ⼤大数据促进平台融合 • 采集各种数据（以下各种⻆角⾊色都关⼼心）： • IT运维⼈人员、开发⼈人员、数据⼯工程师、 • 安全运维、合规审计⼈人员、商务分析师 • Garner预测未来5年年： • AIOps会从功能演变成平台并落地 • 到2022年年，40%企业会使⽤用AIOps 机器器学习促进ITOps的主要⽅方式 辅助根因分析 root cause analysis ⾃自动模式识别 事件关联 通过关联、知识图谱获 得可能原因 基于模式的预测 AIOps增强分析与⾏行行动能⼒力力，挡住更更多⼯工单 2 ⼯工程难点 数据采集、数据中台、智能算法、⾃自动化等 AIOps系统（常规层次） AIOps系统架构 • 场景应⽤用 • 智能监测系统 • ⾃自动化系统 • ⼯工单知识库 • 数据湖

理理解 Python 中的 AST 何翔宇（正⼩小歪） 字节跳动 · 效率⼯工程 · 后端开发⼯工程师 ⽬目录 CONTENTS Intro CPython’s Compiler How to Use AST Library Use AST to Solve Problems Suggestion and Reference Intro CPython’s Compiler Intro list_foo 上添加⼀一个参数来表示不不校验 user，最⽅方便便的就是在调⽤用处 统⼀一加上⼀一个参数 ignore_user=True，这样就不不 ⽤用⼀一个⼀一个去添加。 在⼯工程健壮性和时间相⽐比，健壮性往往不不堪⼀一击。但是换⼀一种⻆角度思考， 你在⼀一个具有⼏几⼗十个的微服务的项⽬目中，如果不不这么改，那么⼯工作量量是巨⼤大的， 所以有时候也是⽆无可奈奈何 (｡•́︿•̀｡)

优化诊断与治疗方法 肺结节处理案例-预处理 分割肺实质: 将CT图像中除肺部以外的无用信息剔除 肺部CT预处理流程 肺部区域结构示意 肺结节处理案例-工程 DataLoader Model Trainer Predict 肺结节处理案例-工程 机器视觉在医学领域应用 自然语言处理在医疗中的应用 自然语言处理在医疗中的应用 医疗应用与前景 • 起步阶段 标准制定 FDA,CFDA认证