配置中心 AB实验 实验工具 拉取配置 监控报警 Prometheus Grafana 读取metric 消息队列(datahub/kafka) PAI-REC平台 自动化降级 负载均衡 灰度发布 超时控制 平台支持 日志SLS 在线存储 Hologres/OTS BE Redis 读取数据 向量引擎 BE/Hologres/Faiss/Milvus 向量检索

深度学习-深度学习模型训练 • 分布式模型推理框架：WeiServing 异构CPU集群 kubernetes/ol-submit RPC服务框架 LR/GBDT DNN/DeepFM/W&D 负载均衡/统一版本管理/动态加载/批量化机制 特征映射 Embedding 数据处理 异构GPU集群 CNN 业务应用 模型服务 框架 排序模型服务 多媒体分析服务 自然语言分析服务 集群调度层

大 上] [1, 22, 32, 46, 876, 55, 98, 20] 11 1 2 3 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 12 数据不均衡 13 数据不均衡 预处理方法  上采样  下采样  SMOTE  数据增广 集成方法  SMOTEbagging 改损失函数  Focal loss “An Insight 1 动力 外观 内饰 空间 操控 油耗 舒适性 性价比 汽车细粒度情感分析各属性结果 Accuracy F  定制化Loss，单模型多输出  数据标注灵活  结合数据增强，针对不均衡数据做优化 评论 动力 外观 空间 油耗 2.0T涡轮增压发动机动力强，高速120超车没压力；外观是我和老婆都比较喜欢的 款；后排空间有点小；有点费油啊。 20 其他分类案例 客服话题 分类

的核心思想来源于博弈论的纳什均衡。 它设定参与游戏双方分别为一个生成器 (Generator) 和一个判别器(Discriminator)，生成器的目的是尽 量去学习真实的数据分布，而判别器的目的是尽量 正确判别输入数据是来自真实数据还是来自生成器； 为了取得游戏胜利，这两个游戏参与者需要不断优 化， 各自提高自己的生成能力和判别能力，这个学 习优化过程就是寻找二者之间的一个纳什均衡。 GAN的理论与实现模型 的研究进展表明它具有广阔的发展前景。 如WGAN 彻底解决了训练不稳定问题，同时基本解决了崩溃模式现象。未来研究方向 可以是： （1）如何彻底解决崩溃模式并继续优化训练过程 。 （2）关于 GAN 收敛性和均衡点存在性的理论推断。 （3）如何将GAN 与特征学习、模仿学习、强化学习等技术更好地融合 , 开 发新的人工智能应用或者促进这些方法的发展 。 4. GAN的思考与前景 34 参考文献 1

增量提供ACK机制，确保模型正确性 Parameter Server • 模型数据的统一管理  模型结构  模型参数 PS的参数放置策略 • Ps分布式分片的均衡，避免分片大小不一致  NN网络矩阵按行切分，解决请求包不均衡问题  特征按照Hash方式分布式存储 • 模型并行调超参  grid search  random search PS的多模型训练 • 提高内存使用效率

深度学习算法也需要“深度”学习业务需求 - 处理特殊输入，如模糊、黑白照片 - 适配具有不同特征的数据源 - 在严肃应用中，客户追求100%准确率，算法性能提升永无止境 • 深度学习模型需要在准确率和速度上做均衡 - 使用更加精巧的模型和Operator设计 - 使用模型压缩算法，在基本保障准确率的情况下大幅提升速度 - 利用最新的硬件特性，如GPU TensorCore/int8 *示意图来自互联网

用k个模型分别对交叉验证集计算得 出交叉验证误差（代价函数的值） 3. 选取代价函数值最小的模型 4. 用步骤3中选出的模型对测试集计算得出 推广误差（代价函数的值） 6 数据不平衡是指数据集中各类样本数量不均衡的情况. 常用不平衡处理方法有采样和代价敏感学习 采样欠采样、过采样和综合采样的方法 不平衡数据的处理 7 SMOTE(Synthetic Minority Over-sampling Technique)算法是过采样

第 13 章 生成对抗网络 13.1 博弈学习实例 13.2 GAN 原理 13.3 DCGAN 实战 13.4 GAN 变种 预览版202112 13.5 纳什均衡 13.6 GAN 训练难题 13.7 WGAN 原理 13.8 WGAN-GP 实战 13.9 参考文献 第 14 章 强化学习 14.1 先睹为快 14.2 强化学习问题 512，图片细节极其逼真。 图 13.13 BigGAN 生成图片样片 预览版202112 第 13 章 生成对抗网络 16 13.5 纳什均衡 现在我们从理论层面进行分析，通过博弈学习的训练方式，生成器 G 和判别器 D 分别 会达到什么平衡状态。具体地，我们将探索以下两个问题： ❑ 固定 G，D 会收敛到什么最优状态?∗? (∙)时，此时从生成网络中采样的样本非常逼真，判 别器无法区分，即判定为真假样本的概率均等，如图 13.14(d)所示。 这个例子直观地解释了 GAN 网络的训练过程。 图 13.14 纳什均衡点 [1] 13.5.1 判别器状态 现在来推导第一个问题。回顾 GAN 的损失函数： ℒ(?, ?) = ∫?r(?)log(?(?)) ?? ? + ∫? (?) log (1 −

带来的问题：� • ⼿动指定机器很繁琐� • 端⼝冲突� • 机器负载不均� TensorFlow使用现状及痛点 • ⼿动分发训练样本� • ⼿动拉取训练模型� TensorFlow使用现状及痛点 • 多⼈多服务器使用混乱，计算资源如何划分？� • 没有GPUs集群资源管理和调度（内存、CPU、GPU、 端⼝），集群资源负载不均� • 训练数据⼿动分发，训练模型⼿动保存� • 进程遗留问题，需要⼿动杀死�

garbage out.”）此外，糟糕的预测性能甚至会加倍放大事态的严重性。在一些敏 感应用中，如预测性监管、简历筛选和用于贷款的风险模型，我们必须特别警惕垃圾数据带来的后果。一种 常见的问题来自不均衡的数据集，比如在一个有关医疗的训练数据集中，某些人群没有样本表示。想象一下， 假设我们想要训练一个皮肤癌识别模型，但它（在训练数据集中）从未“见过”黑色皮肤的人群，这个模型 就会顿时束手无策。 sum(self.times) def cumsum(self): """返回累计时间""" return np.array(self.times).cumsum().tolist() 现在我们可以对工作负载进行基准测试。 首先，我们使用for循环，每次执行一位的加法。 c = torch.zeros(n) timer = Timer() for i in range(n): c[i] = a[i] 下降和批量梯度下降所需的时间短。 mini1_res = train_sgd(.4, 100) loss: 0.243, 0.003 sec/epoch 将批量大小减少到10，每个迭代轮数的时间都会增加，因为每批工作负载的执行效率变得更低。 mini2_res = train_sgd(.05, 10) loss: 0.243, 0.013 sec/epoch 现在我们可以比较前四个实验的时间与损失。可以看出，