Pivotal ## Greenplum 6新特性: 在线扩容工具GPexpand剖析 杜佳伦 (jdu@pivotal.io) ## 大纲 • Greenplum 集群部署 • GPExpand简介与具体用法 • Greenplum 6中GPExpand的改进与实现 ## Greenplum 集群部署 ![Image](/uploads/documents/3/4/f/6/34f6b rred\_role为'm'| |mode|主从同步状态，'s'同步，'n'不同步| |status|运行状态，'u'在线，'d'不在线| |port|该节点的运行端口| |hostname|节点的hostname| |address|通常和hostname相同| |datadir|该节点的数据目录| ## Greenplum GPExpand简介与具体用法 • 清理 - gpexpand -c - 会将gpexpand schema和下面关于扩容的表都清理掉 ## Greenplum 6中GPExpand的改进与实现 在线不停机 • 数据重分布优化 • 并行的优化 ## 改进与实现 ## • 如何做到不停机 - 增加新节点只要在gp_segment_configuration里添加新节点信息即可 - 新节点

# 微博在线机器学习和深度学习实践 黄波 @黄波_WB 资深技术专家 2019.5 ## 极客时间 | 企业服务 ## 想做团队的领跑者 需要迈过这些“槛” 成长型企业，易忽视人才体系化培养企业转型加快，团队能力又跟不上 团队成员技能水平不一， 难以一“敌”百人需求 寻求外部培训，奈何价更高且集中式学习 VS VS VS 学习效果难以统计，产生不良循环 VS 从基础到进阶，超100+一线实战 • 推荐 在线机器学习 深度学习 ## 目录 ### 2. 平台篇 平台背景 平台架构 平台效果 ### 3. 总结篇 微博技术里程碑 微博业务生态 APPLICATION  ## 推荐篇 推荐场景、在线机器学习和深度学习 集 • 模型： $ H_{targets} = f(V_{context}, V_{user}, V_{objects}) $ ## 趋势 • 实时化：在线机器学习 • 深度化：深度学习 • 平台化：机器学习平台 ## 3 在线机器学习 ## · 实时化 • 特征实时化：更及时反馈用户行为，更细粒度刻画用户 - 模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化 !

Go 语言狂热粉 ☐ 主要研究方向为分布式系统，坚信分布式系统才是未来 ● 目前在 PingCAP 就职 ☐ 15 年中旬加入 PingCAP ☐ 主要参与模块为 TiDB 的 online DDL, SQL 优化器, 各种必要的功能改进以及性能提升 之前在京东就职 ☐ 12 年末入职，学习 go 并且开始做云推送项目 ☐ 13 年末开始做存储方面的工作，云存储和弹性块存储项目 ● 联系方式 com/zimulala ## Agenda • A brief introduction of NewSQL • TiDB • Plan optimization • Dist SQL • Online DDL • TiKV • Feelings • Q & A ## A brief introduction of NewSQL RDBMS NoSQL NewSQL 1970s 2010 table  ## Online DDL 现状，锁表（有些数据支持读操作，但是也以消耗大量内存为代价） - 架构师们在设计整个系统的时候都会很慎重的考虑表结构 • DBA 在做此类操作前要做足准备 TiDB解决方案, 参考 Google

MGR实践经验 ## TABLE OF CONTENTS ## 当心secondary节点变成可写节点 ## Group_replication_bootstrap_group参数须谨慎 规避大事务 DDL操作注意事项 ## Secondary节点变成可写节点 正常情况下，Single primary 模式下，secondary节点只读 不管my.cnf的read_only参数是如何设置， 当节点被执行stop 。 ## TABLE OF CONTENTS ## 当心secondary节点变成可写节点 ## group_replication_bootstrap_group参数须谨慎 规避大事务 DDL操作注意事项 ## 谨慎对待group_replication_bootstrap_group参数 因该参数设置为on而导致该节点丢失业务数据的场景 A节点当前gtid_executed aa ？ ## TABLE OF CONTENTS ## 当心secondary节点变成可写节点 ## group_replication_bootstrap_group参数须谨慎 规避大事务 DDL操作注意事项 ## 规避大事务 - 大事务涉及的记录多，冲突检测是一个一个主键做的。因此，冲突检查的时间延长（如果需要做冲突检测时）。 - 大事务产生的binlog量大，直接导致节点间的网络流量

本文将与大家探讨美团搜索与 NLP 部使用的统一在线预估框架 Augur 的设计思路、效果、优势与不足，希望对大家有所帮助或者启发。 搜索优化问题，是个典型的 AI 应用问题，而 AI 应用问题首先是个系统问题。经历近 10 年的技术积累和沉淀，美团搜索系统架构从传统检索引擎升级转变为 AI 搜索引擎。当前，美团搜索整体架构主要由搜索数据平台、在线检索框架及云搜平台、在线 AI 服务及实验平台三大体系构成。在 服务及实验平台三大体系构成。在 AI 服务及实验平台中，模型训练平台 Poker 和在线预估框架 Augur 是搜索 AI 化的核心组件，解决了模型从离线训练到在线服务的一系列系统问题，极大地提升了整个搜索策略迭代效率、在线模型预估的性能以及排序稳定性，并助力商户、外卖、内容等核心搜索场景业务指标的飞速提升。 ![Image](/uploads/documents/4/2/c/4/42c4fbcf187df0f624a5e70022348082/p4_1 为了保证良好的用户体验，技术团队对模型预估能力的要求变得越来越高，同时模型与特征的类型、数量及复杂度也在与日俱增。算法团队如何尽量少地开发和部署上 线，如何快速进行模型特征的迭代？如何确保良好的预估性能？在线预估框架 Augur 应运而生。经过一段时间的实践，Augur 也有效地满足了算法侧的需求，并成为美团搜索与 NLP 部通用的解决方案。下面，我们将从解读概念开始，然后再分享一下在实施过程中我们团队的一些经验和思考。

Feature 46 Solution ..... 46 Other Suggestions ..... 47 Call for feedback ..... 48 Online DDL Scheduler ..... 48 Overview ..... 48 OnlineDDL & VTTablet state manager ..... 48 General and Vitess ..... 468 The various approaches ..... 469 Applying, auditing, and controlling Online DDL ..... 469 Running migrations ..... 469 Tracking migrations ..... 470 Showing migration logs commands for greater control and visibility ..... 482 Online DDL strategies ..... 484 Specifying a DDL strategy ..... 484 Choosing a DDL strategy ..... 485 Vitess functionality comparison ..... 487

for PostgreSQL 未来演进 ## AnalyticDB for PostgreSQL 在线MPP数据仓库服务 简单易用、海量扩展、兼容部分Oracle 语法生态、既支持在线交互分析，也支持离线数据处理。AnalyticDB for PostgreSQL（云Greenplum）低成本，快速构筑在线企业数据仓库。 ![Image](/uploads/documents/c/8/d/a/c8 量检索算法，支持视频/图像检索以图搜图 ## AnalyticDB for PostgreSQL 产品架构 • 水平扩展：Share-Nothing 架构水平扩展，海量数据在线分析 • 行/列存储模型：行存储支持高并发在线分析，列存储支持全表数据高性能关联聚合 - 高可靠架构：支持分布式事务及ACID，双副本、主备切换透明，支持服务高可用 ![Image](/uploads/documen 支持标准SQL，OLAP窗口函数，存储过程• 新一代Cascade框架分布式SQL优化器，复杂查询免调优• MPP多节点全并行计算，PB级数据秒级响应• 基于列存储的高性能大表扫描，及高压缩比| |在线数据探索|• 高并发• 任意维度随机查询• 实时入库更新|• 高吞吐数据写入及更新（INSERT/UPDATE/DELETE）• 行存储及多种索引（Btree,Bitmap 等），点查询毫秒级返回•

[Image](/uploads/documents/a/6/a/b/a6aba639dca31ca6d249138ad2d797c5/p27_2.jpg) ## 系统难点 1. 信息传输的时效性 2. '在线状态' 跟踪 3. Queue（消息队列）+ 送达机制 4. 多并发连接 5. 消息的历史记录 ### 1. 0 Architecture ## System overview browsers

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 63 2.3.5 数据定义语言 (DDL) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 检查集群状态 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 546 5.5.3 登录数据库执行简单 DML/DDL 操作和查询 SQL 语句· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 547 5.6 测试集群性能· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 777 9 8.10 在线修改集群配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·