深度学习在微博Feed流应用实践 刘博 新浪微博机器学习研发部关系流算法负责人 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 微博Feed流产品介绍—排序场景 Ø 信息获取方式 • 主动获取（关注） Ø 内容形式 • 博文/文章/图片/视频/问答/话题/… • 被动获取（推荐） Ø 微博—社交媒体领跑者 • DAU：1.72亿，MAU：3 72亿，MAU：3.92亿 • 关注流基于关系链接用户与内容 微博Feed流特点介绍—排序原因 Ø 产品特点 • 传播性强 Ø 存在问题 • 信息过载 • 互动性好 • 信噪比低 Ø 排序目标 • 提高用户的信息消费效率 • 提升用户黏性 技术挑战 Ø 规模大 • 用户和Feed内容数量大 Ø 指标量化 • 用户体验 • 内容更新快，实时性要求高 • 内容形式多样、非结构化 内容形式多样、非结构化 • 海量计算、超大规模模型优化 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 CTR概要介绍 数据 特征 目标 模型 效果 Ø CTR任务特点 Ø CTR预估常用算法 • LR • GBDT • FM • 大量离散特征、高维稀疏 • 特征关联性挖掘 CTR一般流程 业务目标与模型选择 Ø 模型优化目标 •

镜像 在 OpenShift Container Platform 中创建和管理镜像及镜像流 Last Updated: 2024-02-23 OpenShift Container Platform 4.14 镜像 在 OpenShift Container Platform 中创建和管理镜像及镜像流 法律通告 法律通告 Copyright © 2024 Red Hat, Inc. The are the property of their respective owners. 摘要 摘要 本文档介绍在 OpenShift Container Platform 中创建和管理镜像及镜像流。另外还介绍如何使用模 板。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 目录 录 第 第 1 章 章 镜 镜像概述 像概述 1.1. 了解容器、镜像和镜像流 1.2. 镜像 1.3. 镜像 REGISTRY 1.4. 镜像存储库 1.5. 镜像标签 1.6. 镜像 ID 1.7. 容器 1.8. 为什么使用镜像流 1.9. 镜像流标签 1.10. 镜像流镜像 1.11. 镜像流触发器 1.12. 如何使用 CLUSTER SAMPLES OPERATOR 1

镜像 在 OpenShift Container Platform 中创建和管理镜像及镜像流 Last Updated: 2023-03-24 OpenShift Container Platform 4.7 镜像 在 OpenShift Container Platform 中创建和管理镜像及镜像流 Enter your first name here. Enter your surname are the property of their respective owners. 摘要 摘要 本文档介绍在 OpenShift Container Platform 中创建和管理镜像及镜像流。另外还介绍如何使用模 板。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 目录 录 第 第 1 章 章 镜 镜像概述 像概述 1.1. 了解容器、镜像和镜像流 1.2. 镜像 1.3. 镜像 REGISTRY 1.4. 镜像存储库 1.5. 镜像标签 1.6. 镜像 ID 1.7. 容器 1.8. 为什么使用镜像流 1.9. 镜像流标签 1.10. 镜像流镜像 1.11. 镜像流触发器 1.12. 如何使用 CLUSTER SAMPLES OPERATOR 1

OpenShift Container Platform 4.2 中创建和管理镜像及镜像流 Last Updated: 2020-08-21 OpenShift Container Platform 4.2 镜像 在 OpenShift Container Platform 4.2 中创建和管理镜像及镜像流 法律通告 法律通告 Copyright © 2020 Red Hat, Inc. the property of their respective owners. 摘要 摘要 本文档介绍在 OpenShift Container Platform 4.2 中创建和管理镜像及镜像流。另外还介绍如何使用 模板。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . REGISTRY 的 SAMPLES OPERATOR 镜像流 第 第 3 章 章 了解容器、 了解容器、镜 镜像和 像和镜 镜像流 像流 3.1. 镜像 3.2. 容器 3.3. 镜像 REGISTRY 3.4. 镜像存储库 3.5. 镜像标签 3.6. 镜像 ID 3.7. 使用镜像流 3.8. 镜像流镜像 3.9. 镜像流触发器 3.10. 其它资源 第 第 4 章 章 创 创建 建镜

OpenShift GitOps 是一个使用 Argo CD 作为声明性 GitOps 引擎的 Operator。它启用了多集群 OpenShift 和 Kubernetes 基础架构的 GitOps 工作流。使用 OpenShift GitOps，管理员可以在集群和开 发生命周期中一致地配置和部署基于 Kubernetes 的基础架构和应用程序。 如需更多信息，请参阅关于 Red Hat OpenShift 构建生成的对象取决于用于创建它的构建器（builder）。对于 docker 和 S2I 构建，生成的对象为可运行 的镜像。对于自定义构建，生成的对象是构建器镜像作者指定的任何事物。 此外，也可利用管道构建策略来实现复杂的工作流： 持续集成 持续部署 2.1.1.1. Docker 构 构建 建 OpenShift Container Platform 使用 Buildah 从 Dockerfile 构建容器镜像。有关使用 策略构建提供 Dockerfile。 2.3.3. 镜像源 您可以使用镜像向构建过程添加其他文件。输入镜像的引用方式与定义 From 和 To 镜像目标的方式相 同。这意味着可以引用容器镜像和镜像流标签。在使用镜像时，必须提供一个或多个路径对，以指示要复 制镜像的文件或目录的路径以及构建上下文中要放置它们的目的地。 源路径可以是指定镜像内的任何绝对路径。目的地必须是相对目录路径。构建时会加载镜像，并将指定的

........................................ 19 Alibaba Cloud MaxCompute 解决方案 3 4.2.4 数据集成及工作流作业迁移................................................................................................ ................................................................. 55 8.1 【场景 1】Hive 数据和 Oozie 工作流任务如何迁移到 MaxCompute 和 Dataworks? ........... 55 Alibaba Cloud MaxCompute 解决方案 5 8.1.1 网络环境检查 ......................................................................... 57 8.1.6 批量迁移 Oozie 工作流和节点任务 ................................................................................... 57

。对于 Docker 和 S2I 构建，生成的对象为可运行 的镜像。对于 Custom 构建，生成的对象是构建器镜像作者指定的任何事物。 此外，也可利用 Pipeline 构建策略来实现复杂的工作流： 持续集成 持续部署 1.1.1. Docker 构建 Docker 构建策略调用 docker build 命令，它需要一个含有 Dockerfile 的存储库并且其中包含所有必要的 工件，从而能生成可运行的镜像。 OpenShift Container Platform 4.4 构 构建（ 建（build） ） 4 速度 使用 S2I 时，汇编过程可以执行大量复杂操作，无需在每一步创建新层，进而能实现快速的流 程。此外，可以编写 S2I 脚本来重复利用应用程序镜像的旧版本，而不必在每次运行构建时下 载或构建它们。 可修补性 如果基础镜像因为安全问题而需要补丁，则 S2I 允许基于新的基础镜像重新构建应用程序。 策略构建提供 Dockerfile。 3.3. 镜像源 您可以使用镜像向构建过程添加其他文件。输入镜像的引用方式与定义 From 和 To 镜像目标的方式相 同。也就是说，可以使用容器镜像和镜像流标签（imagestreamtag）进行引用。在使用镜像时，必须提 供一个或多个路径对，以指示要复制镜像的文件或目录的路径以及构建上下文中要放置它们的目的地。 源路径可以是指定镜像内的任何绝对路径。

Samples Operator 镜像流 openshift 命名空间中大多数由 Cluster Samples Operator 管理的镜像流指向位于 registry.redhat.io 上红 帽容器镜像仓库中的镜像。镜像功能不适用于这些镜像流。 重要 重要 jenkins、jenkins-agent-maven 和 jenkins-agent-nodejs 镜像流的确来自安装有效负 载，并由 Samples Samples Operator 管理，因此这些镜像流不需要进一步的镜像操作。 将 Sample Operator 配置文件中的 samplesRegistry 字段设置为 registry.redhat.io 有很 多冗余，因为它已经定向到 registry.redhat.io，只用于 Jenkins 镜像和镜像流。它还会破坏 Jenkins 镜像流的安装有效负载。 Samples Operator registry 用于 Jenkins 镜像流： docker.io registry.redhat.io registry.access.redhat.com *.quay.io。 注意 注意 cli、installer、must-gather 和 test 镜像流虽然属于安装有效负载的一部分，但不由 Samples Operator 管理。此流程中不涉及这些镜像流。 先决条件 先决条件 使用具有

• 平台效果 • 微博技术里程碑 • 微博业务生态 推荐篇 APPLICATION 推荐场景、在线机器学习和深度学习 11 1 推荐场景 • 信息流 热门流 视频流 关系流 • 推荐流 图片推荐流 正文推荐流 视频推荐流 1 推荐场景 • 推荐 • 在特定场景下，根据用户行为和特点，向用户推荐感兴趣的对象集 • 模型： • 趋势 • 实时化：在线机器学习 • 深度化：深度学习 WeiFlow 工作流 Task 模型训练 Task 模型训练 Task Metrics输出 3 在线机器学习-工作流 互动行为日志 数据处理 点击行为日志 阅读行为日志 曝光行为日志 数据过滤 样本拼接 定时轮询 Kafka Hdfs 样本输出 3 在线机器学习-实时样本生成 • 多流拼接 • 曝光，互动，点击，真实阅读等多种数据流接入并多流拼接 • 如何解决日志延时问题 多目标：点击FM+互动FM 排序损失：DeepFM+Pair-Wise Rank Loss 多目标 融合点击模型和 互动模型 单目标 LR、W&D、 FM和DeepFM 等模型排序 排序损失 针对信息流业务场景，从 点击损失升级到排序损 失，基础模型为 DeepFM，排序损失为 BPR 召 回 排 序 • 深度学习模型训练：WeiLearn 样本库 WeiLearn-深度学习模型训练 CTR样本

扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 • 房价预测模型介绍 • 使用 TensorFlow 实现房价预测模型 • 使用 TensorBoard 可视化模型数据流图 • 实战 TensorFlow 房价预测 第四部分 目录 房价预测模型介绍 前置知识：监督学习（Supervised Learning） 监督学习是机器学习的一种方法，指从训练数据（输入和预期输出）中学到一个模型（函数）， 63757 -0.22368 -0.78305 训练数据： 假设函数： 使用 TensorFlow 实现房价预测模型 使用 TensorFlow 训练模型的工作流 数据读入 数据分析 数据 规范化 创建模型 (数据流图) 创建会话 (运行环境) 训练模型 数据分析库：Pandas Pandas 是一个 BSD 开源协议许可的，面向 Python 用户的高性能和易于上手的数 维数组上实现了线性代数、傅立叶变换和其他丰富的函数运算。 X y 创建线性回归模型（数据流图） 创建会话（运行环境） 使用 TensorBoard 可视化模型数据流图 TensorBoard 可视化工具 在数据处理过程中，用户通常想要可视化地直观查看数据集分布情况。 在模型设计过程中，用户往往需要分析和检查数据流图是否正确实现。 在模型训练过程中，用户也常常需要关注模型参数和超参数变化趋势。