数据过滤 样本拼接 定时轮询 Kafka Hdfs 样本输出 3 在线机器学习-实时样本生成 • 多流拼接 • 曝光，互动，点击，真实阅读等多种数据流接入并多流拼接 • 如何解决日志延时问题 • 延迟等待机制，先到先走 • 定时轮寻，最长N分钟等待 • Kafka 堆积监控，实时报警 • 如何解决内存问题 • 调整内存参数 • 关闭多余的监控点 • 如何异常处理 • 深度学习-深度学习模型训练 • 通信优化 • PS：BSP/SSP/ASP多种通信模式支持 • MPI&RingAllreduce：Horovod，使用 MPI替换grpc，同步通信模式；带宽优化，增加延时； • PS&MPI：DistributionStrategy API，统一分布式语义，解耦分布式架构与模型训练框架 • 使用FP16通信，使用FP32做计算，带宽压力降低一倍 • IO优化

CTR任务特点 Ø CTR预估常用算法 • LR • GBDT • FM • 大量离散特征、高维稀疏 • 特征关联性挖掘 CTR一般流程 业务目标与模型选择 Ø 模型优化目标 • 互动（转发/评论/赞） 点击（图片/视频/文章/链接等） 阅读时长 Ø 模型选择 • 线性模型LR+特征工程 • 多目标预估 • 排序基于pointwise的 learning to rank 互动模型

12.1.3 Sequential的混合式编程 要了解混合式编程的工作原理，最简单的方法是考虑具有多层的深层网络。按照惯例，Python解释器需要执 行所有层的代码来生成一条指令，然后将该指令转发到CPU或GPU。对于单个的（快速的）计算设备，这不会 导致任何重大问题。另一方面，如果我们使用先进的8‐GPU服务器，比如AWS P3dn.24xlarge实例，Python将很 难让所有的G 使用Jupyter Notebook工具，我们可以编辑、运行和为本书做贡献。 • 使用端口转发在远程服务器上运行Jupyter Notebook。 746 16. 附录：深度学习工具 练习 1. 在本地计算机上使用Jupyter Notebook编辑并运行本书中的代码。 2. 使用Jupyter Notebook通过端口转发来远程编辑和运行本书中的代码。 3. 对于两个方矩阵，测量A⊤B与AB在R1 init, 你可能需要执行source~/.bashrc，而不是关闭并重新打开当 前shell。 16.3.4 远程运行Jupyter笔记本 要远程运行Jupyter笔记本，你需要使用SSH端口转发。毕竟，云中的服务器没有显示器或键盘。为此，请从 你的台式机（或笔记本电脑）登录到你的服务器，如下所示： # 此命令必须在本地命令行中运行 ssh -i "/path/to/key.pem"

多输入多输出模型 以下是函数式 API 的一个很好的例子：具有多个输入和输出的模型。函数式 API 使处理大 量交织的数据流变得容易。 来考虑下面的模型。我们试图预测 Twitter 上的一条新闻标题有多少转发和点赞数。模型的 主要输入将是新闻标题本身，即一系列词语，但是为了增添趣味，我们的模型还添加了其他的 辅助输入来接收额外的数据，例如新闻标题的发布的时间等。该模型也将通过两个损失函数进 行监督