ics、IoT data；⽹网络数据； • ⽂文本、⼯工单、知识库；API；代码等 • ⼤大数据的3V（容量量、变化、种类） 数据类型⽐比较 数据类型与⽐比较 ⽇日志 Tracking 指标 ⽂文本 数据格式 ⾮非结构化 半结构化，数据关联 结构化（聚集） ⾮非结构化 数据量量 ⼤大 较⼤大 ⼀一般到极⼤大（IoT) ⼀一般 单条⼤大⼩小 100~10KB 100~10KB < 500 ⼀一般 加⼯工难度 较难 ⼀一般 简单 较难 价值 ⾼高（尤其安全） ⾼高 随着时间推移变低 ⽐比较⾼高 数据之间的重叠 数据中台的处理理 • 海海量量多样数据的存储/索引： • 时序指标数据、⽂文本数据、⽇日志、⽹网络数据、Tracking等 • 各种分析的⽀支持： • 流式分析：流式或微批实时处理理 • 统计关联分析：多维度的实时关联统计与分析⽀支持，⽀支持交互式add-hoc⽅方式 特定场景下特定的平台搭建选择及策略略以及Python的作⽤用 • ⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案 数据源与监控 - 容器器化架构为例例 物理理主机/VM层监控 容器器POD指标监控 容器器CaaS层资源监控 应⽤用层性能监控 应⽤用层 ⽇日志 指标监控 prometheus + grafana + thanos elastic

工作流？ • 语言工具 Ø C++ Ø Python Ø Java Ø GO • 模型 Ø 统计模型 Ø 传统机器学习模型 Ø 深度学习模型 Ø 如何选择？是否组合？ • 评估 Ø 评估指标 Ø 工具 • 迭代 Ø 策略？ • 服务化 Ø 服务框架 Ø 性能 Ø 稳定性 各个击破－业务 u 想给小孩报名英文课，不清楚课程内 容和价格怎么办？ u 课程看着不错，能直接帮忙预约一次 learn：调用LR训练模型 各个击破－评估 • 评估数据 Ø 领域均衡：6个领域，每个领域50个知识点 Ø 评估数据对标训练数据：每个知识点12个相似问用于训练，3个相似问用于评估 • 评估指标 Ø 准确率/召回率/F1值 婴儿咳嗽怎么食疗 新生儿黄疸吃什么药 没有快递取货码怎么办 宝宝流鼻水咳嗽可以喝什么么 新生儿黄疸可以服用的药物 取货吗被我不小心删了怎么办 宝宝咳嗽吃什么食疗好阿

如何用Azure完成机器学习 Azure与自动机器学习 Azure的相关学习资料 Azure与Python 日渐流行的Python TIOBE给出的排行榜是具有权威性质的，是判断语言流行趋势的指标。 TIOBE排行榜的网址是：https://tiobe.com/tiobe-index/ 日渐流行的Python 日渐流行的Python 日渐流行的Python 为什么用Python完成机器学习

将解放GIL对CPU密 集型Python多线程程序的限制。 Python3的新特性和改进——性能提升 鉴于大量的流行包使用C拓展进行加速，Python项目的开发速度和代码质量是更 值得关注的指标。 3 迁移到Python3 迁移到Python3 Porting Python 2 Code to Python 3 只需关注Python2.7 保证好的测试覆盖(利用 coverage

找到问题解法：算法需要在规定的输入范围内可靠地求得问题的正确解。 2. 寻求最优解法：同一个问题可能存在多种解法，我们希望找到尽可能高效的算法。 也就是说，在能够解决问题的前提下，算法效率已成为衡量算法优劣的主要评价指标，它包括以下两个维 度。 ‧ 时间效率：算法运行速度的快慢。 ‧ 空间效率：算法占用内存空间的大小。 简而言之，我们的目标是设计“既快又省”的数据结构与算法。而有效地评估算法效率至关重要，因为只有 况下，控制空间复杂度也非常重要。 第 2 章 复杂度分析 hello‑algo.com 47 2.5 小结 1. 重点回顾 算法效率评估 ‧ 时间效率和空间效率是衡量算法优劣的两个主要评价指标。 ‧ 我们可以通过实际测试来评估算法效率，但难以消除测试环境的影响，且会耗费大量计算资源。 ‧ 复杂度分析可以消除实际测试的弊端，分析结果适用于所有运行平台，并且能够揭示算法在不同数据 规模下的效率。 不得不从速度较慢的内存中加载所需数据。 显然，“缓存未命中”越少，CPU 读写数据的效率就越高，程序性能也就越好。我们将 CPU 从缓存中成功获 取数据的比例称为缓存命中率（cache hit rate），这个指标通常用来衡量缓存效率。 为了尽可能达到更高的效率，缓存会采取以下数据加载机制。 第 4 章 数组与链表 hello‑algo.com 83 ‧ 缓存行：缓存不是单个字节地存储与加载数据，而是以

找到问题解法：算法需要在规定的输入范围内可靠地求得问题的正确解。 2. 寻求最优解法：同一个问题可能存在多种解法，我们希望找到尽可能高效的算法。 也就是说，在能够解决问题的前提下，算法效率已成为衡量算法优劣的主要评价指标，它包括以下两个维 度。 ‧ 时间效率：算法运行速度的快慢。 ‧ 空间效率：算法占用内存空间的大小。 简而言之，我们的目标是设计“既快又省”的数据结构与算法。而有效地评估算法效率至关重要，因为只有 况下，控制空间复杂度也非常重要。 第 2 章 复杂度分析 hello‑algo.com 47 2.5 小结 1. 重点回顾 算法效率评估 ‧ 时间效率和空间效率是衡量算法优劣的两个主要评价指标。 ‧ 我们可以通过实际测试来评估算法效率，但难以消除测试环境的影响，且会耗费大量计算资源。 ‧ 复杂度分析可以消除实际测试的弊端，分析结果适用于所有运行平台，并且能够揭示算法在不同数据 规模下的效率。 不得不从速度较慢的内存中加载所需数据。 显然，“缓存未命中”越少，CPU 读写数据的效率就越高，程序性能也就越好。我们将 CPU 从缓存中成功获 取数据的比例称为「缓存命中率 cache hit rate」，这个指标通常用来衡量缓存效率。 为了尽可能达到更高的效率，缓存会采取以下数据加载机制。 第 4 章 数组与链表 hello‑algo.com 83 ‧ 缓存行：缓存不是单个字节地存储与加载数据，而是以

找到问题解法：算法需要在规定的输入范围内可靠地求得问题的正确解。 2. 寻求最优解法：同一个问题可能存在多种解法，我们希望找到尽可能高效的算法。 也就是说，在能够解决问题的前提下，算法效率已成为衡量算法优劣的主要评价指标，它包括以下两个维 度。 ‧ 时间效率：算法运行时间的长短。 ‧ 空间效率：算法占用内存空间的大小。 简而言之，我们的目标是设计“既快又省”的数据结构与算法。而有效地评估算法效率至关重要，因为只有 制空间复杂度也非常重要。 第 2 章 复杂度分析 www.hello‑algo.com 47 2.5 小结 1. 重点回顾 算法效率评估 ‧ 时间效率和空间效率是衡量算法优劣的两个主要评价指标。 ‧ 我们可以通过实际测试来评估算法效率，但难以消除测试环境的影响，且会耗费大量计算资源。 ‧ 复杂度分析可以消除实际测试的弊端，分析结果适用于所有运行平台，并且能够揭示算法在不同数据 规模下的效率。 不得不从速度较慢的内存中加载所需数据。 显然，“缓存未命中”越少，CPU 读写数据的效率就越高，程序性能也就越好。我们将 CPU 从缓存中成功获 取数据的比例称为缓存命中率（cache hit rate），这个指标通常用来衡量缓存效率。 为了尽可能达到更高的效率，缓存会采取以下数据加载机制。 第 4 章 数组与链表 www.hello‑algo.com 83 ‧ 缓存行：缓存不是单个字节地存储与加载数据

找到问题解法：算法需要在规定的输入范围内，可靠地求得问题的正确解。 2. 寻求最优解法：同一个问题可能存在多种解法，我们希望找到尽可能高效的算法。 也就是说，在能够解决问题的前提下，算法效率已成为衡量算法优劣的主要评价指标，它包括以下两个维 度。 ‧ 时间效率：算法运行速度的快慢。 ‧ 空间效率：算法占用内存空间的大小。 简而言之，我们的目标是设计“既快又省”的数据结构与算法。而有效地评估算法效率至关重要，因为只有 空间换时间”通 常是更常用的策略。当然，在数据量很大的情况下，控制空间复杂度也是非常重要的。 2.5 小结 1. 重点回顾 算法效率评估 ‧ 时间效率和空间效率是衡量算法优劣的两个主要评价指标。 ‧ 我们可以通过实际测试来评估算法效率，但难以消除测试环境的影响，且会耗费大量计算资源。 ‧ 复杂度分析可以克服实际测试的弊端，分析结果适用于所有运行平台，并且能够揭示算法在不同数据 规模下的效率。