型可以在相同的算法、模型结构和超参数的设定下，在 49 个游戏上获得人类相当的游戏水 平，呈现出一定程度的通用智能。图 1.14 是 DQN 算法的网络结构，它并不是针对于某个 游戏而设计的，而是可以控制 Atria 游戏平台上的 49 个游戏。 图 1.14 DQN 算法网络结构示意图 [1] 1.4 深度学习应用 深度学习算法已经广泛应用到人们生活的角角落落，例如手机中的语音助手、汽车上 超越多名人类围棋专家；在 Dota2 和星际争霸游戏上，OpenAI 和 DeepMind 开发的智能程 序也在限制规则下战胜了顶级职业队伍。 机器人(Robotics) 在真实环境中，机器人的控制也取得了一定的进展。如 UC Berkeley 实验室在机器人领域的 Imitation Learning、Meta Learning、Few-shot Learning 等方向上取得 了不少进展 方便地实现并行计算加速功能。为了演示 GPU 的加速效果，我们通 过完成多次矩阵?和矩阵?的矩阵相乘运算，并测量其平均运算时间来比对。其中矩阵?的 shape 为[1,?]，矩阵?的 shape 为[?, 1]，通过调节?即可控制矩阵的大小。 首先分别创建使用 CPU 和 GPU 环境运算的 2 个矩阵，代码如下： # 创建在 CPU 上运算的 2 个矩阵 cpu_a = torch.randn([1

分离计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.4 Python控制流的梯度计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 2.6 概率 . . . . . . . . . 开始，智能体接收后续观察，并 选择后续操作，依此类推。强化学习的过程在 图1.3.7 中进行了说明。请注意，强化学习的目标是产生一个好 的策略（policy）。强化学习智能体选择的“动作”受策略控制，即一个从环境观察映射到行动的功能。 30 1. 引言 图1.3.7: 强化学习和环境之间的相互作用 强化学习框架的通用性十分强大。例如，我们可以将任何监督学习问题转化为强化学习问题。假设我们有一 爆发——历史上物种飞速进化的时期。事实上， 最先进的技术不仅仅是将可用资源应用于几十年前的算法的结果。下面列举了帮助研究人员在过去十年中取 得巨大进步的想法（虽然只触及了皮毛）。 • 新的容量控制方法，如dropout (Srivastava et al., 2014)，有助于减轻过拟合的危险。这是通过在整个神 经网络中应用噪声注入 (Bishop, 1995) 来实现的，出于训练目的，用随机变量来代替权重。

制系统 空调缺乏对整个环境 的全面感知 空调对温度的控制 存在延迟 多 维 感 知 温 度 预 测 控 制 2. 研究目标 对数据机房的温度进行预测 ⚫ 根据机房的历史运行数据变化预测未来 XX 分钟机房的温度值，从而实现空调的预测控制。 风机状态 服务负载 天气状况 室外温度 室外湿度 门禁状态 时序数据 温度预测 预测控制 节能调节 3. 研究内容 ⚫ 时间序列预测方法的比较 蓝色线代表真实温度值 测试结果：RMSE：0.3度 R^2：90% 测试结果：RMSE：0.25度 R^2：97% 模型部署和自动更新 4. 后续工作 结合温度预测模型对空调进行节能控制 ⚫ 利用温度预测模型实现强化学习节能控制 • 强化学习探索策略的制定 • 强化学习模拟实验环境 项目数据及源代码地址： http://uee.me/cu9GV THANK YOU momodel.ai

阿里云计算集群 实时计算集群 业务 Storm/Flink Yarn/K8s …… …… …… 调度 Docker 存储 PS/WeiPS 基础/IDE（WeiIDE） 开发套件 控制台 控制中心 算法/模型（WeiFlow） 模型训练/评估 样本库 模型库 模型服务/推荐引擎 数据/特征（WeiData） 数据/特征生成 数据/特征存储 数据/特征服务 2 平台架构 活跃…… 特征数据 数据样本 模型参数求解： 损失函数误差最小： 梯度下降等迭代求解 模型训练 WeiFlow 控制台 实时计算 实时统计，…… 特征计算 微博特征 9点发布，带视频，北 京，奥运，时事新闻 ，高热度…… 批量计算 静态特征，批量统计 ，…… 控制中心 WeiIDE 数据计算 模型 Y=f(x1,x2……,xn) 模型服务 特征服务 微博机器学习平台 灰度系统

API服务 Amazon AI: 新的深度学习服务 Polly Lex Rekognition 深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch 控制力 可用性& 简易性 一键获得的GPU 加速的深度学习 AWS 深度学习AMI 高达 ~40k CUDA cores MXNet TensorFlow Theano Caffe Torch 自动化、精准的文本处理 2. 智能化的且易于理解 3. 将语义加入文本当中 4. 定制化的发音 文章、博客 训练材料 Chatbots (Lex) 公告 第一代: 面向机器的交互 第二代: 面向控制& 翻译 第三代: 意图导向 人-机交互会话的发展 语音 & 文本 “Chatbots” Alexa 应用 在手机、Web以及 设备上的语音交互 在Slack & Messenger 上的文本交互 • 获得人口学以及情感的数 据推荐最佳照片 • 提高在线约会匹配的推荐 • 动态的个性化广告 人脸比对 测量两张图片中同一个人的可能性 • 为应用和设备添加人脸 验证 • 扩展了物理安全控制的 应用领域 • 客人对VIP 设施的使用 • 在线考试以及民意调查 时的用户验证 人脸识别 通过针对存储的面部向量的集合找到输入面部图像的最接近 的匹配来识别图像中的人 • 社交应用、消息类应用

特征选择方法。使用随机策略来进行子集 搜索，并以最终分类器的误差作为特征子 集的评价标准。 ➢ 由于 LVW 算法中每次特征子集评价都需要 训练学习器，计算开销很大，因此它会设 计一个停止条件控制参数 T。但是如果初始 特征数量很多、T 设置较大、以及每一轮训 练的时间较长， 则很可能算法运行很长时 间都不会停止。 1. LVW 包裹式 4. 特征选择 特征集A 子集A1 误差是否更小 吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 在 Lasso 中，λ 参数控制了稀疏性： ➢如果 λ 越小，则稀疏性越小，被选择的特征越多 ➢相反 λ 越大，则稀疏性越大，被选择的特征越少 在 SVM 和 逻辑回归中，参数 C 控制了稀疏性： ➢如果 C 越小，则稀疏性越大，被选择的特征越少 ➢如果 C 越大， 则稀疏性越小，被选择的特征越多

optimizer='sgd', metrics=['accuracy']) 如果需要，你还可以进一步地配置你的优化器。Keras 的核心原则是使事情变得相当简单， 同时又允许用户在需要的时候能够进行完全的控制（终极的控制是源代码的易扩展性）。 model.compile(loss=keras.losses.categorical_crossentropy, optimizer=keras.optimizers 深度方向的可分离 2D 卷积。 可分离的卷积的操作包括，首先执行深度方向的空间卷积（分别作用于每个输入通道），紧 接一个将所得输出通道混合在一起的逐点卷积。depth_multiplier 参数控制深度步骤中每个输 入通道生成多少个输出通道。 直观地说，可分离的卷积可以理解为一种将卷积核分解成两个较小的卷积核的方法，或者 作为 Inception 块的一个极端版本。 参数 关于 KERAS compile(loss='mean_squared_error', optimizer='sgd') 9.2 Keras 优化器的公共参数 参数 clipnorm 和 clipvalue 能在所有的优化器中使用，用于控制梯度裁剪（Gradient Clip- ping）： from keras import optimizers # 所有参数梯度将被裁剪，让其 l2 范数最大为 1：g * 1 / max(1

多路召回 曝光/状态过滤 粗排/精排 策略[类目打散、流量控制、…] 实时采集后端日志 PAI-REC 配置中心 AB实验 实验工具 拉取配置 监控报警 Prometheus Grafana 读取metric 消息队列(datahub/kafka) PAI-REC平台 自动化降级 负载均衡 灰度发布 超时控制 平台支持 日志SLS 在线存储 Hologres/OTS

当样本数量足够大时，根据大数定理，经验风险会近似于模型的期望风险。此时，经验风险最 小化能确保有好的学习性能。然而，当样本数量不足时，单单利用经验风险最小化可能会导致 “过拟合”的问题。 为此，我们再原有基础上加上用于控制模型复杂度的正则项(Regularizer)，得到结构最小化准 则。具体定义是： 其中，?(?)代表对模型复杂度的惩罚。模型越复杂，?(?)越大，模型越简单，?(?)就越小。?是 一个正的常数 ⚫字典(dict) 字典dict也叫做关联数组，用大括号{ }括起来，在其他语言中也称为map，使用键-值（ key-value）存储，具有极快的查找速度，其中key不能重复。 56 Python控制流 ⚫顺序结构 ⚫分支结构 ⚫循环结构 ⚫break、continue和pass ⚫列表生成式 57 Python函数 ⚫调用函数 调用内置函数 ⚫定义函数 def 函数名()：

完善的配套工具，如go test, gofmt, go lint, race-detector Go语言在高性能系统中的实践经验 • Go在开发高性能应用上也有一些不足， 对比C++： - 无法直接控制操作系统线程，CUDA 调用需要特殊处理 - 部分标准库实现依赖reflect，性能较 差 - GC的带来的开销，如在Go Heap上 构建百万以上级别的对象缓存，需要 仔细优化 百倍慢于等价的C实现！