1 2022年01月 时间序列总结 黄海广 副教授 2 学习目标 了解 什么是时间序 列，ARIMA 1 2 掌握 时间序列的基本 操作 掌握 时期，重采样 3 4 熟悉 滑动窗口的使用 3 目录 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 4 1.时间序列的基本操作 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 5 问题 思考： 什么是时间序列？ 6 时间序列的概念 时间序列是指多个时间点上形成的数值序列，它既可 以是定期出现的，也可以是不定期出现的。 7 时间序列的数据种类 时间序列的数据种类 时间序列的数据主要有以下几种： 时间戳 表示特定的时刻 ，比如现在 时期 比如2018年或者 2018年10月 时间间隔 由起始时间戳和 结束时间戳表示 8 创建时间序列 Pandas中，时间戳使用Timestamp（Series派生的子 类）对象表示。 该对象与datetime具有高度的兼容性，可以直接通过 to_datetime()函数将datetime转换为TimeStamp对象。

激活函数及其梯度 主讲人：龙良曲 Activation Functions Derivative Sigmoid / Logistic Derivative torch.sigmoid Tanh = 2??????? 2? − 1 Derivative torch.tanh Rectified Linear Unit Derivative F.relu 下一课时 Loss及其梯度

时间序列预测 主讲人：龙良曲 Predict next Sample data Network Train Predict 下一课时 RNN训练难题 Thank You.

常见函数梯度 主讲人：龙良曲 Common Functions ?? + ? ??? + ?? ??? + ?? [? − (?? + ?)]? ?log(?? + ?) 下一课时 什么是激活函数 Thank You.

时间序列表示 主讲人：龙良曲 Spatial Signals Temporal Signals? Sequence http://slazebni.cs.illinois.edu/spring17/lec02_rnn.pdf Sequence representation ▪ [seq_len, feature_len] [100, 1] [28, 28] [words, word_vec]

激活函数与GPU加速 主讲人：龙良曲 Leaky ReLU simply SELU softplus GPU accelerated 下一课时 测试 Thank You.

PYCON CHINA 基于深度学习的多维时间序列 预测在数据机房中的应用 目 录 1 背景介绍 2 研究目标 3 研究内容 4 后续工作 1. 背景介绍 数据机房面临的能耗问题 数据机房面临电量消耗巨大的问题 空调是数据机房中电量消耗最大的设备 空调为什么那么耗电？怎么优化节能？ 低效的 冷却装 置 服务主 机工作 发热 影响空 调耗电 量原因 建筑材料 隔热和散 预测控制 节能调节 3. 研究内容 ⚫ 时间序列预测方法的比较 传统时间序列预测 ⚫ 对单个维度历史信息进行 预测 ⚫ 捕获简单线性关系，模型 简单 ⚫ 代表算法有AR， ARIMA 基于深度学习的 时间序列预测 ⚫ 利用多维时间序列之间的 信息 ⚫ 对变周期序列，多维空间 依赖序列预测较弱 ⚫ 代表算法有RNN，LSTM 混合多维时间序列预测 ⚫ 提取多维序列之间更加复杂 的关系 ⚫ 算法有LSTNet，TPA-LSTM 多维时间序列预测方法解决机房温度预测 对数据包含的信息提取能力越来越强 选择 LSTNet 作为温度预测建模算法 ⚫ Convolutional Layer 捕捉时间维度上的短期依赖和维度之间的空间依赖关系 ⚫ Recurrent and Recurrent-skip layer 捕捉长期宏观依赖和周期性信息 ⚫ Autoregresssive

微博在线机器学习和深度学习实践 黄波 @黄波_WB 资深技术专家 2019.5 目录 1.推荐篇 2.平台篇 3.总结篇 1 目录 • 推荐场景 • 推荐 • 在线机器学习 • 深度学习 • 平台背景 • 平台架构 • 平台效果 • 微博技术里程碑 • 微博业务生态 推荐篇 APPLICATION 推荐场景、在线机器学习和深度学习 11 1 推荐场景 • • 信息流 热门流 视频流 关系流 • 推荐流 图片推荐流 正文推荐流 视频推荐流 1 推荐场景 • 推荐 • 在特定场景下，根据用户行为和特点，向用户推荐感兴趣的对象集 • 模型： • 趋势 • 实时化：在线机器学习 • 深度化：深度学习 • 平台化：机器学习平台 2 推荐 • 实时化 • 特征实时化：更及时反馈用户行为，更细粒度刻画用户 • 模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化 节点异常修复 3 在线机器学习-实时样本生成 • 在线机器学习模型训练：Flink/Blink+WeiPS 样本生成和特征处理 1.配置化 2.多标签样本 3.支持高维HASH 训练预处理 1.标签选择 2.标签UDF 3.样本过滤 4.特征过滤 模型训练 1.支持回归和分类 2.支持LR、FM、 DeepFM等模型 3.支持SGD 、 FTRL 、 Adagrad等优化算法

1 2023年05月 深度学习-自然语言处理和词嵌入 黄海广 副教授 2 03 Word2Vec 04 GloVe 本章目录 01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT − ?woman = −1 0.01 0.03 0.09 − 1 0.02 0.02 0.01 = −2 −0.01 0.01 0.08 ≈ −2 0 0 0 这个结果表示，man和woman主要的差异是gender（性别）上的差异 类似的，假如你用?king减去?queen，最后也会得到一样的结果 12 2.词嵌入 嵌入矩阵 13 2.词嵌入 嵌入矩阵 14 3 000维度的softmax，因为计算成本很高， 而是把它转变为10,000个二分类问题，每个都很容易计算 ，每次迭代我们要做的只是训练它们其中的5个，一般而言 就是? + 1个，其中?个负样本和1个正样本。这也是为什么 这个算法计算成本更低，因为只需更新? + 1个逻辑单元， ? + 1个二分类问题，相对而言每次迭代的成本比更新 10,000维的softmax分类器成本低。 ? ??

入 Facebook AI Research（FAIR）担任研究科 学家。 主要贡献：设计了ResNets 8 国内外知名人工智能企业榜单 编码 企业名称 人工智能技术 应用领域 所属国家 成立时间 资本市场状态 市值/估值/融资额 1 Microsoft（微软） 计算机视觉技术、自然语言处理技术 等 办公 美国 1975年 上市 市值1.21万亿美元 2 Google（谷歌） 计算机视觉技术、自然语言处理技术 特定目标的问题 。 2. 机器学习的类型-强化学习 19 ✓ 机器学习方法 ✓ 模型 ✓ 损失函数 ✓ 优化算法 ✓ 模型评估指标 机器学习的概念 20 机器学习的概念-模型 机器学习首先要考虑使用什么样的模型。 模型的类别，大致有两种：一是概率模型(Probabilistic Model)和非概率模型 (Non-Probabilistic Model)。 在监督学习中，概率模型可被表示为 对于非概率模型而言，可按照判别函数线性与否分成线性模型与非线性模型。 感知机、线性支持向量机、KNN、K-means是线性模型。 核支持向量机、AdaBoost、神经网络属于非线性模型。 机器学习的概念-模型 22 1. 0-1损失函数(0-1 Loss Function) L ?, ? ? = ቊ1, ? ≠ ? ? 0, ? = ? ? 2. 平方损失函数(Quadratic Loss