智能运维系统：机器学习+业务运维，2017年8月-至今 ## 目录 01 / 智能运维场景描述 整体介绍 02 / 单维时间序列分析 异常检测 03 / 多维时间序列分析 多维下钻 04 / Metis 的研究方向 展望未来 ## 基于机器学习的智能运维 ## 智能运维（AIOps）  发现问题 - 时间序列异常 · 日志分析异常 · 设备性能异常 分析问题 · 多维下钻分析 · 关联事件分析 • 容量预估分析 解决问题 ·扩容 • 决策 • 调度 • 优化 ## 智能运维组件库 · 尝试应用：开始尝试应用AI能力，还无较成熟单点应用 ·单点应用 运维AI工程师 提出数据开发场景的平台诉求 ## 目录 01 / 智能运维场景描述 整体介绍 02 / 单维时间序列分析 异常检测 03 / 多维时间序列分析 多维下钻 04 / Metis 的研究方向 展望未来 ## 单维时间序列分析 ![Image](/uploads/documents/2/3/c/0/23c0c1639

order_shop_prov, dictGet('dw_shop', 'city_name', tuple(shop_id)) AS order_shop_city, ## 数据 展示+多维分析 采用开源报表系统davinci 地址: https://github.com/edp963/davinci ![Image](/uploads/documents/a/5/4/5/a54

## PYCON CHINA 2019 ## 基于深度学习的多维时间序列预测在数据机房中的应用 浙江省邮电工程建设有限公司 大数据研究院 演讲人：杨赛赛 时间：10.19 ## 目录 1 背景介绍 2 研究目标 3 研究内容 4 后续工作 ### 1. 背景介绍  ## 多维感知温度预测控制 ### 2. ## 研究目标  ## 多维时间序列预测方法解决机房温度预测 • 时间序列预测方法的比较 ## 传统时间序列预测 - 对单个维度历史信息进行预测 - 捕获简单线性关系，模型简单 • 代表算法有AR, ARIMA ## 基于深度学习的 时间序列预测 - 利用多维时间序列之间的信息 - 对变周期序列，多维空间依赖序列预测较弱 - 代表算法有RNN，LSTM ## 混合多维时间序列预测 -

游戏数据驱动场景 实时干预游戏用户 ■ 精细化、精准化驱动场景服务 ■ 提升原有服务的增强效果 ## 大数据应用PaaS服务 iData大数据分析PaaS 在线实时能力 iData大数据分析：多维分析，画像分析能力 ■ DataMore大数据实时决策能力 ## 大数据基础PaaS平台 标准化、海量数据接入能力 ■ 实时化、低延时对接数据应用 异构化兼容能力 ## 业务应用实践 iData 计算引擎 MR & Spark Data Warehouse ## 业务应用实践 iData ### 新大数据分析引擎2.0 ## iData大数据分析引擎 多维提取 多维分析 跟踪分析 下钻分析 分布式多维计算引擎 基于位图索引和行式内容存储  画像分析 ## 画像下钻分布式计算引擎 API Server 

支撑数据分析产品数十个以上，整体响应达到ms级。 - 支持百万、千万级大表关联查询，同时进行维表关联的雪花模型，经过Colocate Join特性优化，可以实现秒级响应。 - 日级别，基于商家明细现场计算，同时满足汇总及下钻明细查询，查询时效基本都可以控制在秒级。 - 7日趋势分析，2~3秒。由于数据量较大，根据集群规模不同查询性能有所区别，但数据量较大时，调动的集群资源较多，因此MPP的并发性能受限于集群的性能。一 钟的调度保障能力。 Lambda架构简化：实时数据与离线数据更好的在Doris中进行融合，灵活支撑应用。 高效的OLAP交互 ：支撑业务的灵活查询访问，业务层通过视图进行逻辑封装直接复用汇总层多维模型，提高了开发效率，减少了运维成本。 相比Storm、Flink中的窗口计算，准实时DB微批的优势： ## Doris引擎在美团的重要改进 Join 谓词下推的传递性优化 如上图所示，对于下面的

基础配置，常见的有入口资源的配置、网络的配置等。相对运营资源来说，其变更的频繁度相对较低，与时间、城市的关系也没那么强。譬如下面大众点评App-我的页面里的入口。这类配置有如下几个特征： 1. 多维度：需要针对不同的版本、平台、渠道，做不同的配置。 2. 长期有效：这种类型的配置一般长期存在，不会存在过期问题。 ![Image](/uploads/documents/3/5/e/a/35e 400TB，高峰期集群 QPS 达650万/秒。 面对流量的成倍增长，CAT 在通信、计算、存储方面都遇到了前所未有的挑战。整个系统架构也经历了一系列的升级和改造，包括消息采样聚合、消息存储、业务多维度指标监控、统一告警等等，项目最终稳定落地。为公司未来几年内业务流量的稳定增长，打下了坚定的基石。 经过 7 年的持续建设，CAT 也在不断发展，我们也希望更好的回馈社区，将 CAT 提供的服务惠 实现HTTP请求的定制化路由。 随着公司业务的高速发展，路由场景也越来越复杂。比如： 团购秒杀要灵活控制压测流量，实现线上服务单节点、各机房、各地域等多维度的压测。 - 团购秒杀要灵活控制压测流量，实现线上服务单节点、各机房、各地域等多维度的压测。 - 外卖业务要做流量隔离，把北方地域的流量转发到分组a，南方地域的流量转发到分组b。 - 酒旅业务要对App新版本进行灰度，让千分之一的用户试用新版本，其他用户访问老版本。

— 120 分享导图 — 122 云文件 — 122 第十四章 查看思维导图 — 126 折叠和展开分支 — 126 显示导图层级 — 127 下钻和上钻 — 127 显示比例 — 129 选择主题 — 130 第十五章 大纲模式 — 133 基础编辑 — 133 模式切换 — 140 导出 大纲模式 大纲模式使用户在文字大纲格式下对导图内容一目了然。 ### 9. 文件加密 亿图脑图 MindMaster 文件加密可以保护文件不被侵权和随意查看。 ### 10. 上钻/下钻 通过下钻功能来折叠或展开主题，有助于制图者集中注意力于特定主题，避免了其他主题对思维的干扰。 ### 11. 文件恢复 如果软件意外关闭导致未及时保存，亿图脑图 MindMaster 可以恢复未保存的导图文件。 键单击使导图适应操作界面大小。 |文件|开始|页面样式|幻灯片|高级|视图|||| |---|---|---|---|---|---|---|---|---| |选择相同类型|全选|全屏|聚焦|下钻|展示分支|显示层级数|缩放|适应整页 适应页宽| |选择||||显示|||显示比例|| ### 6. 帮助菜单 在 "帮助" 菜单，可以轻松找到相关指南以供参考，包括新手引导、

— 120 分享导图 — 122 云文件 — 122 第十四章 查看思维导图 — 126 折叠和展开分支 — 126 显示导图层级 — 127 下钻和上钻 — 127 显示比例 — 129 选择主题 — 130 第十五章 大纲模式 — 133 思维导图切换大纲视图 — 133 基础编辑 — 133 大纲模式 大纲模式使用户在文字大纲格式下对导图内容一目了然。 ### 9. 文件加密 亿图脑图 MindMaster 文件加密可以保护文件不被侵权和随意查看。 ### 10. 上钻/下钻 通过下钻功能来折叠或展开主题，有助于制图者集中注意力于特定主题，避免了其他主题对思维的干扰。 ### 11. 文件恢复 如果软件意外关闭导致未及时保存，亿图脑图 MindMaster 可以恢复未保存的导图文件。 键单击使导图适应操作界面大小。 |文件|开始|页面样式|幻灯片|高级|视图|||| |---|---|---|---|---|---|---|---|---| |选择相同类型|全选|全屏|聚焦|下钻|展示分支|显示层级数|缩放|适应整页 适应页宽| |选择||||显示|||显示比例|| ### 6. 帮助菜单 在 "帮助" 菜单，可以轻松找到相关指南以供参考，包括新手引导、

大纲模式 大纲模式使用户在文字大纲格式下对导图内容一目了然。 ### 9. 文件加密 亿图脑图 MindMaster 文件加密可以保护文件不被侵权和随意查看。 ### 10. 上钻/下钻 通过下钻功能来折叠或展开主题，有助于制图者集中注意力于特定主题，避免了其他主题对思维的干扰。 ### 11. 文件恢复 如果软件意外关闭导致未及时保存，亿图脑图 MindMaster 可以恢复未保存的导图文件。 图适应操作界面大小。 |文件|开始|页面样式|幻灯片|高级|视图||||| |---|---|---|---|---|---|---|---|---|---| |选择相同类型|全选|全屏|聚焦|下钻|展示分支|显示层级数|缩放|适应整页|适应页宽| |选择||||显示|||显示比例||| ### 6. 帮助菜单 在 "帮助" 菜单，可以轻松找到相关指南以供参考，包括新手引导 3/p127_2.jpg) ## 下钻和上钻 (F4) 在展示思维导图时，可以使用 "下钻" 功能以聚焦于特定主题上，避免被思维导图的其他分支分散注意力。 ## 下钻 1、鼠标单击以选中需要单独显示的主题，在 "视图" 菜单下点击 "下钻" 按钮； 2、或右键单击选中的主题，然后在菜单里点击“下钻”； 3、通过以上操作均可只显示该主题及其分支。