Greenplum 6新特性: 在线扩容工具GPexpand剖析 杜佳伦 (jdu@pivotal.io) 大纲 • Greenplum 集群部署 • GPExpand简介与具体用法 • Greenplum 6中GPExpand的改进与实现 Greenplum 集群部署 Greenplum 集群部署 • gp_segment_configuration 字段名 描述 dbid 初始化时的值，对于一个被promote成primary的mirror节点，role 为’p’，preferred_role为’m’ mode 主从同步状态，’s’同步，’n’不同步 status 运行状态，’u’在线，’d’不在线 port 该节点的运行端口 hostname 节点的hostname address 通常和hostname相同 datadir 该节点的数据目录 Greenplum 集群部署 Greenplum GPExpand简介与具体用法 • 清理 – gpexpand –c – 会将gpexpand schema和下面关于扩容的表都清理掉 Greenplum 6中GPExpand的改进与实现 • 在线不停机 • 数据重分布优化 • 并行的优化 改进与实现 • 如何做到不停机 – 增加新节点只要在gp_segment_configuration里添加新节点信息即可 – 新节点以Maste

微博在线机器学习和深度学习实践 黄波 @黄波_WB 资深技术专家 2019.5 目录 1.推荐篇 2.平台篇 3.总结篇 1 目录 • 推荐场景 • 推荐 • 在线机器学习 • 深度学习 • 平台背景 • 平台架构 • 平台效果 • 微博技术里程碑 • 微博业务生态 推荐篇 APPLICATION 推荐场景、在线机器学习和深度学习 11 1 推荐场景 • 在特定场景下，根据用户行为和特点，向用户推荐感兴趣的对象集 • 模型： • 趋势 • 实时化：在线机器学习 • 深度化：深度学习 • 平台化：机器学习平台 2 推荐 • 实时化 • 特征实时化：更及时反馈用户行为，更细粒度刻画用户 • 模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化 模型推理 预测服务 实时特征 实时数据 3 在线机器学习 实时样本 实时模型训练 实时更新参数 Task 训练预处理 实时样本拼接 Node 在线模型训练 Node 离线样本拼接 Node 在线模型评估 Node 模型上线 Node 实时特征处理 Node 离线特征处理 Task Kafka输入 input process process output WeiFlow 工作流 Task 模型训练 Task 模型训练 Task Metrics输出 3 在线机器学习-工作流 互动行为日志

...................................................................................11 1.5.1 建立 IT 在线服务自动化门户......................................................................11 1.5.2 实现资源运行环境全生命周期管理 .... 18 2.3.3 虚拟机在线申请部署及变更操作管理.........................................................19 2.3.4 云磁盘在线申请部署及操作、变更、回收..................................................22 2.3.5 云安全组在线申请部署及操作、变更、回收..... .......22 2.3.6 云负载均衡在线申请部署及操作、变更、回收.......................................... 22 2.3.7 云 RDS 在线申请部署及操作、变更、回收............................................... 23 2.3.8 云弹性 IP 在线申请部署及操作、变更、回收.........

本文将与大家探讨美团搜索与 NLP 部使用的统一在线预估框架 Augur 的设计思路、 效果、优势与不足，希望对大家有所帮助或者启发。 搜索优化问题，是个典型的 AI 应用问题，而 AI 应用问题首先是个系统问题。经历 近 10 年的技术积累和沉淀，美团搜索系统架构从传统检索引擎升级转变为 AI 搜索引 擎。当前，美团搜索整体架构主要由搜索数据平台、在线检索框架及云搜平台、在线 AI 服务及实验平台三大体系构成。在 服务及实验平台三大体系构成。在 AI 服务及实验平台中，模型训练平台 Poker 和 在线预估框架 Augur 是搜索 AI 化的核心组件，解决了模型从离线训练到在线服务的 一系列系统问题，极大地提升了整个搜索策略迭代效率、在线模型预估的性能以及排 序稳定性，并助力商户、外卖、内容等核心搜索场景业务指标的飞速提升。 算法 2 > 美团 2020 技术年货 首先，让我们看看在美团 App 内的一次完整的搜索行为主要涉及哪些技术模块。如 为了保证良好的用户体验，技术团队对模型预估能力的要求变得越来越高，同时模型 与特征的类型、数量及复杂度也在与日俱增。算法团队如何尽量少地开发和部署上 算法 < 3 线，如何快速进行模型特征的迭代？如何确保良好的预估性能？在线预估框架 Augur 应运而生。经过一段时间的实践，Augur 也有效地满足了算法侧的需求，并成为美团 搜索与 NLP 部通用的解决方案。下面，我们将从解读概念开始，然后再分享一下在 实施过程中我们团队的一些经验和思考。

互联的基础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 引领内核创新 • 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法，保障在线业务对 CPU 的实时抢占 及抖动抑制，创新业务优先级 OOM 内存回收算法，保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， huge page 而不是 base page 来映射内存，改善 TLB 的利用，降低 TLB miss。 • OOM 内存回收算法：在发生 OOM 时，优先对低优先级的进程组进行内存回收，保障在线业务的正常运行。 • 支持 PAC (Pointer Authentication Code）特性：在使用寄存器的值作为指针访问数据或代码之前验证其内容，抵 御 ROP/JOP 攻击。 • 支持 在云业务场景中，交互类延时敏感的在线业务存在潮汐现象，CPU 资源利用率普遍较低 (~15%），在线和离线业务混 合部署是提升资源利用率的有效方式。现有的内核资源分配和管理机制，混部后的在线业务的性能抖动大，服务质量无法 得到有效保障。openEuler 面向云原生业务混部场景，创新 CPU 调度算法和内存回收算法，支撑提升系统的 CPU 利用率 和保证在线业务的服务质量。 QAS（Quality

提供完整而准确的信息。与任何故障排除过程一样，准确及时的解决依赖于准确及时的信息。如果虚 拟机显示异常或崩溃，请运行“vmsupport script”来收集相应的日志文件和系统信息。有关如何在各 种平台上运行此脚本的信息，可以在在线文档中 User Manual 的 Introduction 部分找到，网址为 http://www.vmware.com/support/pubs/。 使配置文件保持最新。我们鼓励您创建并保 提交支持请求 有几种方法可访问 VMware 支持服务。访问方法因许可证类型、支持服务和产品而异。 基于 Web 的支持 如果您有未使用的按事件支持 SR，可以在我们的网站上提出 SR。要请求在线支持，请访问 http://www.vmware.com/support，单击“Submit Support Request”（提交支持请求）后，将显示如下页面： 11 技术指南 全球支持服务 如果没有任何有效协议，则将显示以下消息： 12 技术指南 全球支持服务 — 2007 年 10 月 接下来，单击右侧“Click for Support”（单击获得支持）栏中的某个产品，可以打开在线支持表单。 在必填字段中填写您在“收集信息”部分中收集的信息，提供详细的问题描述并根据需要附上任何 / 全部配置、日志和核心文件。为了最高效地解决您的支持问题，我们需要以下信息： • 严重性

Redis 构建锁 路路线图 ⼀一. Redis 简介 ⼆二. 使⽤用 Redis 构建锁 三. 使⽤用 Redis 构建在线⽤用户统计器器 路路线图 ⼀一. Redis 简介 ⼆二. 使⽤用 Redis 构建锁 三. 使⽤用 Redis 构建在线⽤用户统计器器 四. 使⽤用 Redis 构建⾃自动补完程序 Redis an open source, in-memory 键尚未有值，设置成功 在线⽤用户统计器器 online user counter 示例例 analytics.google.com panda.tv bilibili.com v2ex.com ⽅方法⼀一 —— 使⽤用集合 当⼀一个⽤用户上线时，将它的⽤用户名添加到记录在线⽤用户的集合当中。 ⽅方法⼀一 —— 使⽤用集合 当⼀一个⽤用户上线时，将它的⽤用户名添加到记录在线⽤用户的集合当中。 j a c k 未 上 线 “peter” “tom” ⽅方法⼀一 —— 使⽤用集合 当⼀一个⽤用户上线时，将它的⽤用户名添加到记录在线⽤用户的集合当中。 j a c k 未 上 线 “peter” “tom” “peter” “jack” “tom” j a c k 已 上 线 需要⽤用到的命令 需要⽤用到的命令 SADD set element [element

基于交叉验证降噪的极值点优化模型融合方案： （1）基于交叉验证的降噪，由于在线仅能进行一天一次的提交，并且最终的评测会由 A 榜测试集切到 B 榜测试集，并且由于 A 榜数据集小在线评测指标存在不稳定性， 故而离线迭代验证的方式就显得尤为重要。为了能使离线迭代置信，我们采用两种验 证方式进行辅助，第一种是下一天同时间段验证，我们在训练集最后 M 天上对每一 天都取在线同一时间段的数据集，得到 M 个验证集。第二种是 了当前基于消息传递机制的图神经网络 (GNN: Graph Neural Network) 模型的基本 范式。 近年来，图神经网络逐渐成为学术界的研究热点之一 [5]。在工业界，图神经网络在电 商搜索、推荐、在线广告、金融风控、交通预估等领域也有诸多的落地应用，并带来 了显著收益。 由于图数据特有的稀疏性（图的所有节点对之间只有少量边相连），直接使用通用的深 度学习框架（例如 TensorFlow 和 lick Through Rate, CTR）/ 转化率 （Conversion Rate, CVR）预估技术得到了长足的发展，深度学习技术已经成为业界 的主流方法。美团外卖也通过应用深度模型，在线上取得了显著的收益。预估模型所 做的事情，是建模蕴藏在数据中、在特定场景下用户和商品之间的关联性（即“人 - 货 - 场”）。以点击率预估为例，可以对画像特征、上下文特征、行为特征等进行建 模

合力全人 G@OSE@ 02 TiDB 开源分布式关系型数据库 10 CE 第二章 - TiDB 开源分布式关系型数据库 2.1 产品简介 TiDB 是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的开源分布式关系型数据库产品, 具备水平扩容或者编容、金融级高可用、实时 chester TSpark PingCAP.COM 晤。 一键水平扩容或者纺容 得瘟于 TiDB 存储计算分离的架构的设计，可按需对计算、存储分别进行在线扩容或者缩容，扩 容或者缩容过程中对应用运维人员透明。 金融级高可用 数据采用多副本存储，数据副本通过 Multi-Raft 协议同步事务日志，多数派写入成功事务才能 提交，确保数据强一致性有少 作为知名的开源云原生 HTAP 分布式数据库，TiDB 以标准的开源模式开发和推广，并在全球建立了高度 活跃的开发者及用户社区生态，获得了全球用户的广泛认可。世界各地的开发者及用户通过下载TiDB 社区版及参考丰富的在线技术手册及文档可以非常快捷和低成本地启动对TiDB 的评估测试，并把 TiDB 应用于一些非关键的业务场景。 同时TiDB 在国内外包括银行证券，保险，大型制造，电信，能源，电商等企业级市场上拥有大虽商

内核构建，在此基础上，同时吸收了社区高版本的有益特性及社区 创新特性： • SMT 驱离优先级反转特性：解决混部 SMT 驱离特性的优先级反转问题，减少离线任务对在线任务 QoS 的影响。 • CPU QoS 优先级负载均衡特性：在线、离线混部 CPU QoS 隔离增强 , 支持多核 CPU QoS 负载均衡，进一步降低离线 业务 QoS 干扰。 • 潮汐 affinity 调度特性：感知业务负载动态调整业务 技术白皮书 内核创新 SMT 驱离防止优先级反转特性 目前云场景中，在线业务与离线业务混合部署提升资源利用率的同时，如何保证在线业务的 QoS 是当前亟需解决的问 题。在开启 SMT 场景中，同时运行在同一个物理核上的在离线业务与在线业务之间存在干扰。针对这一诉求，设计混部 SMT 驱离方案，用于隔离离线任务对在线任务的 IPC 干扰。对于 CFS 任务运行策略的改变可能会带来优先级的问题，该特 CONFIG_QOS_SCHED_SMT_EXPELLER 打开。 应用场景 开启混部 SMT 驱离特性后，假设 CPUA 和 CPUB 互为 SMT 核，将在线任务绑在 CPUA 上，离线任务绑在 CPUB 上。 CPUA 上的在线任务长时间 100% 占用 CPU 资源，则 CPUB 上的离线任务因为被驱离无法运行，无法释放临界资源。此时 如果有高优先级任务等待离线任务占有的临界资源，就