Pivotal ## Greenplum 6新特性: 在线扩容工具GPexpand剖析 杜佳伦 (jdu@pivotal.io) ## 大纲 • Greenplum 集群部署 • GPExpand简介与具体用法 • Greenplum 6中GPExpand的改进与实现 ## Greenplum 集群部署 ![Image](/uploads/documents/3/4/f/6/34f6b rred\_role为'm'| |mode|主从同步状态，'s'同步，'n'不同步| |status|运行状态，'u'在线，'d'不在线| |port|该节点的运行端口| |hostname|节点的hostname| |address|通常和hostname相同| |datadir|该节点的数据目录| ## Greenplum |numsegments|表分布在多少个节点上| |diskkey|分布列的序号| |distclass|分布列的操作类| ## GPExpand简介与具体用法 - GPExpand是Greenplum的扩容工具，可以为集群增加新的节点来支持更大容量的存储和更高的计算能力。 - 随着Greenplum一起安装发布，在$GPHOME/bin下面，和其他辅助工具，如gpstart, gpstop, gpa

# 微博在线机器学习和深度学习实践 黄波 @黄波_WB 资深技术专家 2019.5 ## 极客时间 | 企业服务 ## 想做团队的领跑者 需要迈过这些“槛” 成长型企业，易忽视人才体系化培养企业转型加快，团队能力又跟不上 团队成员技能水平不一， 难以一“敌”百人需求 寻求外部培训，奈何价更高且集中式学习 VS VS VS 学习效果难以统计，产生不良循环 VS 从基础到进阶，超100+一线实战 • 推荐 在线机器学习 深度学习 ## 目录 ### 2. 平台篇 平台背景 平台架构 平台效果 ### 3. 总结篇 微博技术里程碑 微博业务生态 APPLICATION  ## 推荐篇 推荐场景、在线机器学习和深度学习 集 • 模型： $ H_{targets} = f(V_{context}, V_{user}, V_{objects}) $ ## 趋势 • 实时化：在线机器学习 • 深度化：深度学习 • 平台化：机器学习平台 ## 3 在线机器学习 ## · 实时化 • 特征实时化：更及时反馈用户行为，更细粒度刻画用户 - 模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化 !

支持的特性： ## • 分布式事务 ☐ 2PC(二阶段提交). 参考 Google percolator 的论文 MVCC ☐ 隔离级别（SI + 乐观锁） ☐ 引擎 RocksDB 水平扩容/缩容 ☐ raft 协议 + PlacementDriver 容错 ## TiKV ![Image](/uploads/documents/9/8/f/6/98f6815719e3ff0dc

五年C/C++使用经验，一年Golang ## 内容提要 ## CONTENTS • 程序开发的需求 • GoLang特性 - Go开发mysql中间件 - 整体方案 - 分表路由 - 故障切换 - 平滑扩容 - 系统运维 ## 程序开发的需求 • 语言特性精炼，容易入门 • 开发效率高，代码逻辑清晰 • 运行性能强，节省机器资源 • 部署维护方便 • 生态圈完善 ## Golang特性 • 平滑上下线Mysql。 • 主备自动切换(主-主模式)。 • 分表设计——按照Hash分表 • 分表设计——按照范围分表(年、月、日、整形) • 数据库表在多个mysql实例间平滑扩容 - 大表拆分为多个子表情况下的平滑扩容 ## 系统整体方案 ## • 现存问题 • 数据库访问基本采用直连方式 - 无法满足数据访问平台化要求 • 配置管理方式落后，运维压力大 ## · 为什么采用Go来实现 /e/5/2/3/e5234ad17981322c5e5ac8cc7dfbe9c6/p12_1.jpg) ## 在线平滑扩容 ## • 数据迁移形式 • 表迁移：整张表的数据从一个Mysql迁移到另一个 • 表拆分：数据表的部分数据从一个Mysql迁移到另一个 ## · 扩容流程 • 工作方式：mysqldump 导出存量数据 + 通过 binlog 追增量 • 工作过程 首先，导出存量数据

来自：中国科学院《互联网周刊》 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 ## 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 ## 可用性低   ## 系统扩容难   优化后 ## 系统扩容 北京IDC 合肥IDC 广州IDC 系统能够任意水平扩容 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 应用实践以及经验教训 • 未来规划 ## 未来规划 • 异地多活架构平台化

本文将与大家探讨美团搜索与 NLP 部使用的统一在线预估框架 Augur 的设计思路、效果、优势与不足，希望对大家有所帮助或者启发。 搜索优化问题，是个典型的 AI 应用问题，而 AI 应用问题首先是个系统问题。经历近 10 年的技术积累和沉淀，美团搜索系统架构从传统检索引擎升级转变为 AI 搜索引擎。当前，美团搜索整体架构主要由搜索数据平台、在线检索框架及云搜平台、在线 AI 服务及实验平台三大体系构成。在 服务及实验平台三大体系构成。在 AI 服务及实验平台中，模型训练平台 Poker 和在线预估框架 Augur 是搜索 AI 化的核心组件，解决了模型从离线训练到在线服务的一系列系统问题，极大地提升了整个搜索策略迭代效率、在线模型预估的性能以及排序稳定性，并助力商户、外卖、内容等核心搜索场景业务指标的飞速提升。 ![Image](/uploads/documents/4/2/c/4/42c4fbcf187df0f624a5e70022348082/p4_1 为了保证良好的用户体验，技术团队对模型预估能力的要求变得越来越高，同时模型与特征的类型、数量及复杂度也在与日俱增。算法团队如何尽量少地开发和部署上 线，如何快速进行模型特征的迭代？如何确保良好的预估性能？在线预估框架 Augur 应运而生。经过一段时间的实践，Augur 也有效地满足了算法侧的需求，并成为美团搜索与 NLP 部通用的解决方案。下面，我们将从解读概念开始，然后再分享一下在实施过程中我们团队的一些经验和思考。

for PostgreSQL 未来演进 ## AnalyticDB for PostgreSQL 在线MPP数据仓库服务 简单易用、海量扩展、兼容部分Oracle 语法生态、既支持在线交互分析，也支持离线数据处理。AnalyticDB for PostgreSQL（云Greenplum）低成本，快速构筑在线企业数据仓库。 ![Image](/uploads/documents/c/8/d/a/c8 量检索算法，支持视频/图像检索以图搜图 ## AnalyticDB for PostgreSQL 产品架构 • 水平扩展：Share-Nothing 架构水平扩展，海量数据在线分析 • 行/列存储模型：行存储支持高并发在线分析，列存储支持全表数据高性能关联聚合 - 高可靠架构：支持分布式事务及ACID，双副本、主备切换透明，支持服务高可用 ![Image](/uploads/documen 支持标准SQL，OLAP窗口函数，存储过程• 新一代Cascade框架分布式SQL优化器，复杂查询免调优• MPP多节点全并行计算，PB级数据秒级响应• 基于列存储的高性能大表扫描，及高压缩比| |在线数据探索|• 高并发• 任意维度随机查询• 实时入库更新|• 高吞吐数据写入及更新（INSERT/UPDATE/DELETE）• 行存储及多种索引（Btree,Bitmap 等），点查询毫秒级返回•

[Image](/uploads/documents/a/6/a/b/a6aba639dca31ca6d249138ad2d797c5/p27_2.jpg) ## 系统难点 1. 信息传输的时效性 2. '在线状态' 跟踪 3. Queue（消息队列）+ 送达机制 4. 多并发连接 5. 消息的历史记录 ### 1. 0 Architecture ## System overview browsers