# Greenplum上云与优化 — ApsaraDB for Greenplum介绍 主办单位：Alibaba Group 阿里巴巴集团 战略合作伙伴：intel 杭州 张广舟（明虚） 阿里云高级专家 ## 目录 ApsaraDB for GP的定位 ApsaraDB for GP的内核优化 未来的规划 # ApsaraDB for GP的定位 ## ApsaraDB for GP的定位 GP的定位 GP的优势？ 与其他技术的对比？ 为什么上云？ ## ApsaraDB for GP的定位 MPP + 列存压缩 ApsaraDB for GP = 复杂SQL + 查询优化器 本地高效存储 + 高速网络 + 预置稳定资源 = 简单、高效解决大数据分析需求 ### GP vs. RDS? MPP处理举例 ## Select count(*) from customer group Orca优化器 SQL Runtime # >5-30倍的性能优势 本地存储 ### ApsaraDB for GP vs. AWS Redshift? ## “有史以来卖的最好的云服务” |对比项目|ApsaraDB for Greenplum(SSD/SATA)|AWS RedShift| |---|---|---| |外部表|支持OSS外部表|无此设计| |地理信息支持|支持（自带PostGIS）|不支持|

## 阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI ## I nfoQ 企业会员 ## 企业数字化传播一站式服务 · InfoQ 企业会员是为满足企业在中国开发者群体中的品牌曝光需求而推出的一款矩阵化资源包。可为企业提供包括“企业号服务”、“企业动态宣发”、“品牌展示通道”在内的多项专属权益与服务，助力企业高效触达开发者群体，提升数字化时代影响力。 ![Imag 工程优化复杂 2. 模型效果优化困难 深度模型是非线性的： 从FM到DeepFM rt 增加了10倍怎么优化？ x 海量参数 x 海量数据 • 参数很多 挑战 • 不同场景的数据上差异大 • 参数敏感 4. 数据获取困难 x 标注速度慢 ✗ 标注成本高 x 样本分布不均匀 ✗ 隐私保护 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型？ ## 深度学习应用主要的挑战： 工程优化复杂 2. 模型效果优化困难 深度模型是非线性的： 从FM到DeepFM rt 增加了10倍怎么优化？ x 海量参数 x 海量数据 • 参数很多 挑战 • 不同场景的数据上差异大 • 参数敏感 4. 数据获取困难 x 标注速度慢 ✗ 标注成本高 x 样本分布不均匀 ✗ 隐私保护 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型？ ### 1

## 云+社区技术沙龙 ## 冲上云霄—腾讯海量业务上云实践 腾讯云高级工程师 黄宏东 ## 自我介绍 业务开发出身的运维 - 先后在腾讯负责游戏、安全、医疗类业务运维 - 经历数年业务爆量、成本优化、业务上云、智能运维等重点项目 - 目前负责腾讯自研业务的运维与上云工作 ## 目录 01 / 腾讯业务为什么要上云 02 / 业务上云的价值 03 / 如何上云 04 / 上云案例分享 上云案例分享 ## 腾讯业务为什么要上云 ## “烟囱式”的业务支持体系 接入服务 接入服务 接入服务 接入服务 业务 服务框架 业务 服务框架 业务 服务框架 业务 服务框架 <1> KV/RDS KV/RDS KV/RDS KV/RDS CVM/Docker CVM/Docker CVM/Docker CVM/Docker IEG 缺乏维护，越来越多的历史遗留组件 - 没有技术图谱 ## 2018 年930变革 将原有七大事业群（BG）重组整合，新成立云与智慧产业事业群（CSIG）、平台与内容事业群（PCG）。在连接人、连接数字内容、连接服务的基础上，更加彰显了腾讯推动由消费互联网，向产业互联网的升级的决心。 开源协同 代码开源 相互协同 自研上云 基于公有云模式研发 组件框架上云，成为云服务 ## 业务上云价值 ## 业务价值

## Curve核心组件 - SnapShotCloneServer D I G I T A L S A I L 许超杰 网易数帆存储团队 01 CURVE基本架构 Curve各个组成部分以及相互之间的关系 02 快照和克隆的特点 介绍curve的快照和克隆的定义以及特点 03 快照克隆服务器架构 介绍快照克隆服务器的架构和各模块实现的功能 [Image](/uploads/documents/7/7/1/5/7715d792a5d7a53b8118cefee409d717/p3_3.jpg) ## 快照和克隆的特点 ## • 快照的定义 快照是云盘数据在某个时刻完整的只读拷贝，是一种便捷高效的数据容灾手段，常用于数据备份、制作自定义镜像、应用容灾等。 ## • 快照的特点 • 转储到s3对象存储 异步转储快照，底层使用copy-on-write技术，读写不影响转储 |uuid1|file1|快照1| |uuid2|file1|快照2| |uuid3|file1|快照3| |...|...|...| 快照记录 ## 快照在CHUNKSERVER上的数据组织 ☐ 快照chunk和普通chunk，都是ChunkServer上的ext4文件系统中的文件，称为SnapFile和ChunkFile； ☐ SnapFile 与ChunkFile是同构的,都来自ChunkFilePool;

Curve核心组件之ChunkServer DI 查日苏 网易数帆存储团队 ## CURVE CURVE是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟存储底座 - 可扩展存储场景：块存储、对象存储、云原生数据库、EC等 - 当前实现了高性能块存储，对接 openstack 和 k8s 网易内部线上无故障稳定运行500+天 • 已开源 - gi CS3,CS4上，完成迁移后，CS1上的副本迁移到CS2上 ① CS1超时未向MDS上报心跳（默认半小时） ② MDS标记CS1状态为offline ③ MDS的recover scheduler发现copyset1, 2, 3的副本CS1 offline，生成change peer from CS1 to CS2的operator给这三个copyset ④ MDS通过RPC在CS2上创建copyset1 当CS2成功赶上进度时，本次raft成员变更成功完成，CS2成为了复制组的一员，CS1不再属于这个复制组。 ⑦ CS3在下一次心跳中向MDS报告本次raft成员变更已完成 ⑧ MDS在得知CS1上的所有copyset都成功迁移后，把CS1设置为retired，CS1下线完毕。 ## ChunkServer核心模块-CopysetNode 3 Generate new csid and token

## 问题描述 在某些场景下，harbor组件存储卷更换或harbor组件安装报错，需要卸载重新部署。 1. helm ls -a

0 码力 | 3 页 | 33.32 KB | 2 年前

3

OpenShift Dedicated 4 附加组件服务

[Image](/uploads/documents/0/0/1/9/0019b3603967ce7162a719aab077e4c7/p1_1.jpg) ## OpenShift Dedicated 4 ## 附加组件服务 在 OpenShift Dedicated 集群中添加服务 Powered by TCPDF (www.tcpdf.org) 在 OpenShift Dedicated 集群中添加服务 ## 控制台在集群中添加服务 ..... 3 1.1. 在集群中添加附加组件服务 ..... 3 1.2. 访问集群中安装的附加组件服务 ..... 3 1.3. 使用 RED HAT OPENSHIFT CLUSTER MANAGER 删除附加组件服务 ..... 4 第 2 章 适用于 OPENSHIFT DEDICATED 的附加组件服务 ..... 5 2.1. RED HAT OPENSHIFT #### 1.1. 在集群中添加附加组件服务 您可以使用 Red Hat OpenShift Cluster Manager 在现有的 OpenShift Dedicated 集群中添加附加组件服务。 ## 先决条件 - 您已为 OpenShift Dedicated 创建并置备了集群。 ● 您的集群满足您要添加到集群中的服务的所有先决条件。 ● 对于付费附加组件服务，请注意以下注意事项：

0 码力 | 9 页 | 100.47 KB | 2 年前

3

Istio控制平面组件原理解析

# Service Mesh Meetup #3 深圳站 ## I stio控制平面组件原理解析 朱经惠 2018.08.25 ## 关于我 • 朱经惠，ETC车宝平台工程师。 - 喜欢开源，个人开源项目”Jaeger PHP Client”。 - 喜欢研究源码，对NSQ，Jaeger，Istio（控制平面）等go语言开源项目进行过研究。 - 除了代码还喜欢爬山和第二天睡醒后全身酸疼的感觉。

0 码力 | 30 页 | 9.28 MB | 1 年前

3

Curve核心组件之Client - 网易数帆

## Curve核心组件之Client D I G I T A L S A I L 吴汉卿 网易数帆存储团队 ## CURVE CURVE是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟存储底座 - 可扩展存储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接 OpenStack 和 k8s • 网易内部线上无故障稳定运行400+天 • 已开源 MDS：只有主MDS才会监听端口 ● ChunkServer：通过raft维护复制组内的主-从关系 ## CLIENT IO流程 用户下发一个写请求 off: 8M len: 16M 请求落在两个逻辑chunk上，所以请求会被拆分成两个子请求： ● ChunkIdx 1, off: 8M len 8M ● ChunkIdx 2, off: 0 len 8M ![Image](/uploads/docum 用户请求的所有子请求完成后，调用 IOTracker::Done 12. 调用异步请求回调，返回用户 ## CLIENT IO请求重试 IO分发线程将拆分后的子请求通过RPC请求发往指定的Chunkserver上，RPC有可能会失败，一般情况下处理逻辑是sleep一个较短时间后重试，但是存在两种特殊的场景： ## Chunkserver Overload: 这种情况下，对应的RPC Response中返回

0 码力 | 27 页 | 1.57 MB | 1 年前

3

Curve核心组件之mds – 网易数帆

Curve核心组件之 MDS Digital Sal 陈威 网易数帆存储团队 ## 概述 ## Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景：块存储、对象存储、云原生数据库、EC等 - 当前实现了高性能块存储，对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 github主页：https://opencurve tar.gz Notes Downloads v0.1.3 on 30 Jul - f6425ad zip tar.gz Notes Downloads 01 整体架构 02 MDS各组件详细介绍 03 Q&A ## 基本架构 ## • 元数据节点 MDS 管理元数据信息 收集集群状态信息，自动调度 - 数据节点 Chunkserver 数据存储 副本一致性 jpg) ## MDS各个组件 MDS是中心节点，负责元数据管理、集群状态收集与调度。MDS包含以下几个部分： • Topology: 管理集群的 topo 元数据信息。 • Nameserver: 管理文件的元数据信息。 • Copyset: 副本放置策略。 - Heartbeat: 心跳模块。跟chunkserver进行交互，收集chunkserver上的负载信息、copyset信息等。

0 码力 | 23 页 | 1.74 MB | 1 年前

3

共 1000 条

• 1
• 2
• 3
• 4
• 5
• 6
• 100

前往

页

相关搜索词

ApsaraDB for GreenplumAWS RedShiftMPP列存压缩性能优化PAI平台深度学习深度模型特征选择数据获取困难业务上云云原生DevOps组件上云研发模式革新Curve快照克隆转储S3对象存储ChunkServerMDScopysetk8sharbor组件helmdeletepurge存储卷更换OpenShift DedicatedRed Hat OpenShift Cluster Manager附加组件服务API ManagementOpenShift Web控制台Istio控制平面GalleyMixerPilot-AgentClient分布式存储系统Chunkserver元数据管理副本放置策略自动调度

[root@grg-cloudos-01 -]# helm ls -a
NAME	REVISION	UPDATED