Greenplum上云与优化# Greenplum上云与优化 — ApsaraDB for Greenplum介绍 主办单位:Alibaba Group 阿里巴巴集团 战略合作伙伴:intel 杭州 张广舟(明虚) 阿里云高级专家 ## 目录 ApsaraDB for GP的定位 ApsaraDB for GP的内核优化 未来的规划 # ApsaraDB for GP的定位 ## ApsaraDB for GP的定位 GP的定位 GP的优势? 与其他技术的对比? 为什么上云? ## ApsaraDB for GP的定位 MPP + 列存压缩 ApsaraDB for GP = 复杂SQL + 查询优化器 本地高效存储 + 高速网络 + 预置稳定资源 = 简单、高效解决大数据分析需求 ### GP vs. RDS? MPP处理举例 ## Select count(*) from customer group Greenplum(SSD/SATA)|AWS RedShift| |---|---|---| |外部表|支持OSS外部表|无此设计| |地理信息支持|支持(自带PostGIS)|不支持| |分区表支持|支持|不支持| |数据类型|支持所有PostgreSQL 9.0以下类型|支持11个PostgreSQL类型| |横向扩容|支持|支持,需要停机(数分钟)| |索引|支持(B-tree、Bitmap)|不支持| ## 推荐应用架构0 码力 | 26 页 | 1.13 MB | 2 年前3
Tracing in TiDB 浅谈全链路监控:
从应用到数据库到 Runtime## 浅谈全链路监控: 从应用到数据库到 Runtime 黄东旭, Co-founder & CTO, PingCAP  ## 关于我 黄东旭, 联合创始人 & CTO @ PingCAP 做分布式数据库的程序员 ● 的亲爹之一兼首席客服和新功能的第一个用户 冤有头债有主,SQL 慢了来找我。。。 偶尔玩玩音乐 ● 摇滚乐->实验音乐 Go 的粉丝!!! ## 关于 PingCAP 一个有趣的公司 信仰开源,做分布式数据库的,叫 TiDB(好像还蛮火的) TiDB 是分布式的, PingCAP 这个公司也是分布式的(北京、上海、广州、深圳、成都、杭州、新加坡、东京、硅谷) We're hiring! 前端开发:是不是你网络不行 老板:换了个网还是一样 前端开发:找到原因了, 这个 REST API 卡了几秒返回 后端开发: 这个 API 没啥逻辑, 肯定是 TiDB 的问题 DBA: 没有啊,我看数据库响应时间也就几 ms,肯定是你的应用写得😍 后端开发:.....(事后一看果然是) ## Logging / Tracing / Metrics Request-scoped metrics0 码力 | 39 页 | 3.43 MB | 2 年前3
FISCO BCOS 3.6.0 中文文档(www.tcpdf.org) 1 FISCO BCOS 区块链 2 版本信息 3 搭建第一个区块链网络 4 开发第一个区块链应用 5 关键概念 6 网络搭建 7 配置管理 8 网络维护 9 创建和使用账户 10 开发和使用智能合约 11 多种语言SDK 12 区块链功能接口列表 13 使用链上信使 14 开发期问题排查 15 开发部署工具(build_chain 开发部署工具(build_chain.sh) 16 命令行交互控制台 17 WeBASE管理平台 18 区块链浏览器 19 运维部署工具 20 数据治理通用组件 21 多方协作治理组件 22 区块链应用开发组件 23 整体架构 767 24 区块链交易流程 773 25 数据结构与编码协议 779 26 核心模块设计解析 783 27 MVP 867 是一个稳定、高效、安全的区块链底层平台,经过多家机构、多个应用,长时间在生产环境运行的实际检验。 注解:本技术文档适用于FISCO BCOS 2.x版本, FISCO BCOS 3.x技术文档请参考 FISCO BCOS 3.x技术文档(latest) FISCO BCOS 2.x 版本源码位于 master-2.0 分支,请参考 这里 generator 仅支持搭建2.x链,搭建3.x链请参考这里 •0 码力 | 1489 页 | 107.09 MB | 2 年前3
在Solana合约链实现IBC协议跨链互操作 - 苏胤榕2023 第三届中国Rust开发者大会 6.17-6.18 @Shanghai ## SOLANA ## 在Solana合约链 实现IBC协议跨链互操作 @DaviRain ## 简单介绍下IBC协议是什么,及其生态 ## 介绍IBC协议和其在跨链互操作中的作用 ## I nterchain Standards |Number of Trees|Number of 2. 连接 3. 通道 4. 包 4. 中继器 ## 解释为什么选择在Rust合约链中实现IBC协议 - IBC协议的核心已经被协议核心团队用Rust语言实现。 - 对于本身就是使用Rust语言作为智能合约开发的区块链平台来说,支持集成支持IBC协议会很方便。 - 这里优先构想了在Solana链上实现IBC协议,因为Solana平台本身极低的gas消耗,很适合我现在构思的这套实现方案。(后面会做解释) (后面会做解释) ## 引入Solana作为示例平台 - Solana极低的Gas花销。 - Anchor合约开发框架,大大降低了Rust合约开发者在Solana上开发智能合约的难度。 - 以及本人对Solana平台的喜欢,优先考虑了Solana平台,但是这套方案是可以推广到任何的Rust智能合约平台的。 ## < / IBC协议概述 大致讲解下IBC协议的原理,以及参与整个IBC协议活动的不同决策0 码力 | 29 页 | 3.05 MB | 2 年前3
数据迁移## 数据迁移 ## 存量 MySQL 迁移到 TiDB 服务 UDTS 产品支持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移,及增量数据同步。可协助用户在不停机的情况下轻松将业务从 MySQL 切换至 TiDB。 ## 自建 TiDB 迁移到 TiDB 服务 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 服务。用户在源 TiDB 开启 Pump, Drainer 可进行数据增量同步。UDTS 与源端 Pump, Drainer 一起可协助用户在不停机的情况下轻松将业务从自建 TiDB 切换至 TiDB 服务。 ## 为 TiDB 服务建立 MySQL 从库 UDTS 产品支持 TiDB 全量数据迁移至 MySQL 数据库。用户在 TiDB 服务上开启 Binlog 可将数据增量同步至下游 MySQL。UDTS 与 TiDB Binlog Binlog 服务一起可协助用户轻松建立 MySQL 从库。 ## 为 TiDB 服务建立 TiDB 从库 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 数据库。用户在源 TiDB 服务上开启 Binlog 可将数据增量同步至下游 TiDB。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立 TiDB 从 库。0 码力 | 2 页 | 42.01 KB | 1 年前3
OpenShift Container Platform 4.6 在vSphere 上安装/d/a5dd5835148e5121b611ffdea1ac258a/p1_1.jpg) ### OpenShift Container Platform 4.6 ## 在 vSphere 上安装 安装 OpenShift Container Platform vSphere 集群 Powered by TCPDF (www.tcpdf.org) 安装 OpenShift Container their respective owners. ## 摘要 本文档提供在 VMware vSphere 上安装和卸载 OpenShift Container Platform 集群的说明。 ## 目录 第1章 在 VSPHERE 上安装 ..... 7 1.1. 在 VSPHERE 上安装集群 ..... 7 1.1.1. 先决条件 ..... 7 1.1.2. OpenShift 通过下载二进制文件安装 OpenShift CLI ..... 20 1.1.10.1. 在 Linux 上安装 OpenShift CLI ..... 20 1.1.10.2. 在 Windows 上安装 OpenShift CLI ..... 21 1.1.10.3. 在 macOS 上安装 OpenShift CLI ..... 21 1.1.11. 使用 CLI 登录到集群 ...0 码力 | 204 页 | 2.26 MB | 2 年前3
Flutter在腾讯企鹅辅导上的实践之路## Flutter在腾讯企鹅辅导上的实践之路 涂金林 ## 个人简介 - 涂金林   • Dart -> iOS + Android + Web ## Flutter简介 ## 初识Flutter ## Flutter是谷歌的移动UI框架,可以快速在iOS和Android上构建高质量的原生用户界面  快速开发0 码力 | 50 页 | 4.07 MB | 2 年前3
异构系统链路追踪——滴滴 trace 实践## 异构系统链路追踪 ——滴滴trace实践 ## 促进软件开发领域知识与创新的传播  关注InfoQ官方信息 及时获取QCon软件开发者大会演讲视频信息  服务化改造和稳定性改造带来 ·调用链路复杂度增加 ·问题排查难度增加 ## 诉求 诉求  效率&成功率 问题追查诉求 日志数据诉求 子系统和模块间多次转化 多个接口人 转化检索条件 用户=》客服=》技术支持=》模块接口人 问题阻断渠道 处理 漏斗收紧比率 重复不统一的日志数据处理建设灵活多样的日志处理诉求 应用 日志数据检索需求 日志数据计算需求 产品技术框架进化的过程中 如何更好满足两个诉求 ·问题追查诉求 ·日志数据处理应用的诉求 ## 挑战—在滴滴落地面临的挑战 日志数据格式化 规范的落地 各系统架构异构 技术栈不统一 Trace机制落地 5种语言8种框架0 码力 | 19 页 | 3.00 MB | 2 年前3
2.2.6 字节跳动在 Go 网络库上的实践## GCN ## 字节跳动在 Go 网络库上的实践  何晨 字节跳动 基础架构-研发 ## Netpoll - 面向 RPC 场景的网络库 应用层 RPC 框架 KiteX HTTP 框架 Hertz 网络层 Netpoll0 码力 | 42 页 | 3.19 MB | 2 年前3
阿里云上深度学习建模实践-程孟力3. 工程优化复杂 2. 模型效果优化困难 深度模型是非线性的: 从FM到DeepFM rt 增加了10倍怎么优化? x 海量参数 x 海量数据 • 参数很多 挑战 • 不同场景的数据上差异大 • 参数敏感 4. 数据获取困难 x 标注速度慢 ✗ 标注成本高 x 样本分布不均匀 ✗ 隐私保护 手里面只有5张图片, 怎么搞出来一个效果还 不错的模型? ## 3. 工程优化复杂 2. 模型效果优化困难 深度模型是非线性的: 从FM到DeepFM rt 增加了10倍怎么优化? x 海量参数 x 海量数据 • 参数很多 挑战 • 不同场景的数据上差异大 • 参数敏感 4. 数据获取困难 x 标注速度慢 ✗ 标注成本高 x 样本分布不均匀 ✗ 隐私保护 手里面只有5张图片, 怎么搞出来一个效果还 不错的模型? ### Framework MPI Parameter Server Tensorflow PyTorch MapReduce SQL Blink ## 优势: 场景丰富: 图像/视频/推荐/搜索 大数据+大模型: Model Zoo 跨场景+跨模态 开箱即用: 封装复杂性 白盒化, 可扩展性强 积极对接开源系统+模型 ## 标准化: Standard Libraries ## EasyRec:0 码力 | 40 页 | 8.51 MB | 2 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100
相关搜索词
ApsaraDB for GreenplumAWS RedShiftMPP列存压缩性能优化TracingTiDB全链路监控gRPCJaegerFISCO BCOS应用实践节点监控数据上链合约部署IBC协议跨链互操作Solana合约链Rust语言IBC协议实现UDTS数据迁移增量同步MySQLOpenShift Container PlatformvSphere持久性存储vCenterESXiFlutter跨平台页面栈管理Flutter For Web异构系统链路追踪Trace机制日志数据系统架构NetpollGo net优化调度效率性能表现KiteXHertzPAI平台深度学习深度模型特征选择数据获取困难













