Pivotal ## Greenplum 6新特性: 在线扩容工具GPexpand剖析 杜佳伦 (jdu@pivotal.io) ## 大纲 • Greenplum 集群部署 • GPExpand简介与具体用法 • Greenplum 6中GPExpand的改进与实现 ## Greenplum 集群部署 ![Image](/uploads/documents/3/4/f/6/34f6b rred\_role为'm'| |mode|主从同步状态，'s'同步，'n'不同步| |status|运行状态，'u'在线，'d'不在线| |port|该节点的运行端口| |hostname|节点的hostname| |address|通常和hostname相同| |datadir|该节点的数据目录| ## Greenplum GPExpand简介与具体用法 • 清理 - gpexpand -c - 会将gpexpand schema和下面关于扩容的表都清理掉 ## Greenplum 6中GPExpand的改进与实现 在线不停机 • 数据重分布优化 • 并行的优化 ## 改进与实现 ## • 如何做到不停机 - 增加新节点只要在gp_segment_configuration里添加新节点信息即可 - 新节点

# 微博在线机器学习和深度学习实践 黄波 @黄波_WB 资深技术专家 2019.5 ## 极客时间 | 企业服务 ## 想做团队的领跑者 需要迈过这些“槛” 成长型企业，易忽视人才体系化培养企业转型加快，团队能力又跟不上 团队成员技能水平不一， 难以一“敌”百人需求 寻求外部培训，奈何价更高且集中式学习 VS VS VS 学习效果难以统计，产生不良循环 VS 从基础到进阶，超100+一线实战 • 推荐 在线机器学习 深度学习 ## 目录 ### 2. 平台篇 平台背景 平台架构 平台效果 ### 3. 总结篇 微博技术里程碑 微博业务生态 APPLICATION  ## 推荐篇 推荐场景、在线机器学习和深度学习 集 • 模型： $ H_{targets} = f(V_{context}, V_{user}, V_{objects}) $ ## 趋势 • 实时化：在线机器学习 • 深度化：深度学习 • 平台化：机器学习平台 ## 3 在线机器学习 ## · 实时化 • 特征实时化：更及时反馈用户行为，更细粒度刻画用户 - 模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化 !

本文将与大家探讨美团搜索与 NLP 部使用的统一在线预估框架 Augur 的设计思路、效果、优势与不足，希望对大家有所帮助或者启发。 搜索优化问题，是个典型的 AI 应用问题，而 AI 应用问题首先是个系统问题。经历近 10 年的技术积累和沉淀，美团搜索系统架构从传统检索引擎升级转变为 AI 搜索引擎。当前，美团搜索整体架构主要由搜索数据平台、在线检索框架及云搜平台、在线 AI 服务及实验平台三大体系构成。在 服务及实验平台三大体系构成。在 AI 服务及实验平台中，模型训练平台 Poker 和在线预估框架 Augur 是搜索 AI 化的核心组件，解决了模型从离线训练到在线服务的一系列系统问题，极大地提升了整个搜索策略迭代效率、在线模型预估的性能以及排序稳定性，并助力商户、外卖、内容等核心搜索场景业务指标的飞速提升。 ![Image](/uploads/documents/4/2/c/4/42c4fbcf187df0f624a5e70022348082/p4_1 为了保证良好的用户体验，技术团队对模型预估能力的要求变得越来越高，同时模型与特征的类型、数量及复杂度也在与日俱增。算法团队如何尽量少地开发和部署上 线，如何快速进行模型特征的迭代？如何确保良好的预估性能？在线预估框架 Augur 应运而生。经过一段时间的实践，Augur 也有效地满足了算法侧的需求，并成为美团搜索与 NLP 部通用的解决方案。下面，我们将从解读概念开始，然后再分享一下在实施过程中我们团队的一些经验和思考。

for PostgreSQL 未来演进 ## AnalyticDB for PostgreSQL 在线MPP数据仓库服务 简单易用、海量扩展、兼容部分Oracle 语法生态、既支持在线交互分析，也支持离线数据处理。AnalyticDB for PostgreSQL（云Greenplum）低成本，快速构筑在线企业数据仓库。 ![Image](/uploads/documents/c/8/d/a/c8 量检索算法，支持视频/图像检索以图搜图 ## AnalyticDB for PostgreSQL 产品架构 • 水平扩展：Share-Nothing 架构水平扩展，海量数据在线分析 • 行/列存储模型：行存储支持高并发在线分析，列存储支持全表数据高性能关联聚合 - 高可靠架构：支持分布式事务及ACID，双副本、主备切换透明，支持服务高可用 ![Image](/uploads/documen 支持标准SQL，OLAP窗口函数，存储过程• 新一代Cascade框架分布式SQL优化器，复杂查询免调优• MPP多节点全并行计算，PB级数据秒级响应• 基于列存储的高性能大表扫描，及高压缩比| |在线数据探索|• 高并发• 任意维度随机查询• 实时入库更新|• 高吞吐数据写入及更新（INSERT/UPDATE/DELETE）• 行存储及多种索引（Btree,Bitmap 等），点查询毫秒级返回•

[Image](/uploads/documents/a/6/a/b/a6aba639dca31ca6d249138ad2d797c5/p27_2.jpg) ## 系统难点 1. 信息传输的时效性 2. '在线状态' 跟踪 3. Queue（消息队列）+ 送达机制 4. 多并发连接 5. 消息的历史记录 ### 1. 0 Architecture ## System overview browsers

现状，从而为开源的后来人提供权威的参考。 - 调查对象：覆盖开发者、社区成员、贡献者、学生、政府企业管理人员 - 调查内容：主要涵盖个人信息、工作状况、开源社区以及开发者技术 - 调查方法：以在线问卷方式搜集样本和数据，交叉对比法分析数据 推广方法：线上社交媒体、博客、开源社、开源中国网站 • 问题数量：59 - 问题类型：单选、多选、开放性 • 样本量：236 ## 2、 重要发现 者投入到了文档撰写中； - 开源活动的参与频率相较往年有所上升，这与国内愈发繁荣的开源氛围和逐渐丰富的开源活动也有关系。81% 的开发者认为开源活动对促进和推动开源社区至关重要。而对于更倾向于线上还是线下的会议，结果竟惊人地持平； 在 2020 年 COVID-19 这个大背景下，各行各业都不可避免受到了冲击和影响；82% 的人认为疫情对于参加开源社区的活动产生了影响，但也具有推动作用，11% 的人认为毫无影响，7% 的人认为疫情的负面影响大于正面影响； - 在在线文档协作工具的使用上，石墨文档以黑马的形式由第三名一跃成为第一名，压倒了wiki和Google Doc，国内正在涌现出一批优秀的协作工具，并越来越为大家认可； - 2020 年 9 月 9 日，中国首个开源软件基金会「开放原子开源基金会（OpenAtom Foundation）」官方正式对外发声，大家对此抱有多重期望：推

基于交叉验证降噪的极值点优化模型融合方案： （1）基于交叉验证的降噪，由于在线仅能进行一天一次的提交，并且最终的评测会由A榜测试集切到B榜测试集，并且由于A榜数据集小在线评测指标存在不稳定性，故而离线迭代验证的方式就显得尤为重要。为了能使离线迭代置信，我们采用两种验证方式进行辅助，第一种是下一天同时间段验证，我们在训练集最后M天上对每一天都取在线同一时间段的数据集，得到M个验证集。第二种是N-fold天级采样 制的图神经网络(GNN: Graph Neural Network)模型的基本范式。 近年来，图神经网络逐渐成为学术界的研究热点之一 $ ^{[5]} $ 。在工业界，图神经网络在电商搜索、推荐、在线广告、金融风控、交通预估等领域也有诸多的落地应用，并带来了显著收益。 由于图数据特有的稀疏性（图的所有节点对之间只有少量边相连），直接使用通用的深度学习框架（例如 TensorFlow 和 PyT 点击率（Click Through Rate, CTR）/转化率（Conversion Rate, CVR）预估技术得到了长足的发展，深度学习技术已经成为业界的主流方法。美团外卖也通过应用深度模型，在线上取得了显著的收益。预估模型所做的事情，是建模蕴藏在数据中、在特定场景下用户和商品之间的关联性（即“人－货－场”）。以点击率预估为例，可以对画像特征、上下文特征、行为特征等进行建模，模型能够感知在该场景下用户和商品之间的关联。