Apache ShardingSphere 架构解析与应用实践 孟浩然 2021/12/11 01 孟浩然 SphereEx 高级研发工程师 Apache ShardingSphere PMC 曾就职京东科技，负责数据库产品研发，热爱开源，关注数据库生态，目前就职 SphereEx , 专 注于 Apache ShardingSphere 分布式数据库中间件研发以及开源社区建设 1 1. Apache ShardingSphere 5.0.0 架构解析 2. 5.0.0 应用实践 3. Database Plus 解决方案 目录 产 品 定 位 l 构建异构数据库的上层标准和生态 l 提供精准化和差异化的能力 产 品 定 位 4.X 5.X 定位 分 库 分 表 中 间 件 分 布 式 数 据 库 生 态 系 统 功能 提 供 基 础 功 能 提 供 基 础 品 架 构 部 署 架 构 l ShardingSphere-JDBC 采用无中心化架 构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用； l ShardingSphere-Proxy 提供静态入口 以及异构语言的支持，独立于应用程序 部署，适用于 OLAP 应用以及对分片数 据库进行管理和运维的场景。 整 体 架 构 l L1 内核层：面向数据库内核， 包括数据库事务引擎，查询优

Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com Apache Doris在美团外卖数仓中的应用实践 序言 美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来 的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实 现了低成本生产与高效查询的 引擎百花齐放，但由于业务的复杂性与多样性，目前并没有哪个引擎能够适配所有业务场景，因 此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数 据应用效率最大化，同时兼顾研发、生产与运维成本的最小化，建设持续进步的数仓能力，也欢 迎大家多给我们提出建议。 数仓交互层引擎的应用现状 目前，互联网业务规模变得越来越大，不论是业务生产系统还是日志系统，基本上都是基于Hado o op/Spark分布式大数据技术生态来构建数据仓库，然后对数据进行适当的分层、加工、管理。而 在数据应用交互层面，由于时效性的要求，数据最终的展现查询还是需要通过DBMS（MySQL） 、MOLAP（Kylin）引擎来进行支撑。如下图所示： 如果想及时了 解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop 汇总数据的交互 业务团队日常经营分析

clickhouse数仓应用实践 演讲人：朱元 日期： 2019-10-20 所遇问题 目录 CONTENTS 现状背景 应用实践 01 数据链路长 现状 即席查询性能差 数据压缩率低 需求响应慢 02 数据架构 数据同步ck 01 1，基于公司对数据要求为T+1 2. 基于现有开发人员水平及成本 因此采用可视化同步工具kettle. 先将oracle数据平台维

PostgreSQL 开发最佳实践 digoal 阿里云 2016Postgres中国用户大会 目录 • 规约的重要性 • 命名规约 • 设计规约 • 管理规约 • 稳定性与性能建议 • 云数据库使用建议 2016Postgres中国用户大会 规约的重要性 2016Postgres中国用户大会 目录 • 规约的重要性 • 命名规约 • 设计规约

Postgres Conference China 2016 中国用户大会 PostgreSQL WAL日志解析与应用 王硕 山东瀚高基础软件股份有限公司 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 CONTENTS Part 01 Part 02 Part 03 WAL 日志简介

http://gptext.docs.pivotal.io/ Download GPText 2.0: https://network.pivotal.io/ 阿里云 Pivotal Greenplum 最佳实践分享 陈淼 Pivotal大中华区大数据资深架构师 目录  Greenplum运维常见问题  Greenplum运维常用命令 xid_stop_limit: 1000000000， AGE大于10亿停止工作，等待vacuum执行 数据库对象数上限的最佳实践  GPDB内部的对象：所有的表（包括分区表）、索引、视图等都称为对象  GPDB最佳实践所推荐的对象管理要求是：一个数据库内对象不要超过10 0000个  最佳实践是出于对系统性能和稳定性因素建议对pg_class 所维护的对象数进行约束  减少对象数的方法： gp_resqueue_status 观察到队列的使用情况，逐步调整参数到最优状态。 角色组和权限管理  在GPDB中，对象权限不能从Schema继承，新增的对象需要Grant授权给相应用户。  用户可以属于多个角色组role，用户可以从role继承权限  建议在系统建设时，按照功能、权限划分为较为固定的数个角色组，新增对象时只要把权限Grant到 相应角色组

Postgres Conference China 2016 中国用户大会 HBase最佳实践及优化 陈飚 cb@cloudera.com Cloudera Postgres Conference China 2016 中国用户大会 关于我… 陈飚 Cloudera售前技术经理、资深方案架构师 http://biaobean.pro 原Intel Hadoop发行版核心开发人员, 成功实施并运维多 每行可以有不同的列 – 数据有多个版本（在不同的时间点的快照信息） • 分布式的多层次映射表结构（key-value形式，value有多个） – 固定一个数据模型（固定数据模型能得到高性能，同时满足应用 需求） – 无数据类型 Postgres Conference China 2016 中国用户大会 HBase的实现特性 • 非常高的数据读写速度，为写特别优化 – 高效的随机读取 – 6 Postgres Conference China 2016 中国用户大会 HBase体系结构 7 Postgres Conference China 2016 中国用户大会 场景及应用 8 Postgres Conference China 2016 中国用户大会 9 HBase Sweet Spot 1. 使用主流廉价服务器搭建的单一大规模集群 （服务器数目大于100甚至1000台）

Cassandra在饿了么的应用 主讲人：翟玉勇 时间：2017.06.11 1.Cassandra的基本原理介绍 2.为什么选择Cassandra 3.饿了么Cassandra实践 4.大数据离线平台和Cassandra的整合 概述 Cassandra历史 BigTable Dynamo Cassandra概述 Cassandra最初源自FaceBook，集合了Google BigTable面向列的特 2)我们的业务需求 Cassandra在饿了么的实践 1.生产应用 1)用户画像 2)历史订单 3)dt.api 2.Client选择 3.运维和监控 4.性能调优 1.5 node 2.2.4亿+用户数据 3. 100+用户属性 4.每天5000万+数据更新 5.Scheme变更频繁(加字段) 6.99%读延时3-5ms 生产应用-用户画像 1.Sata盘集群 平均响应时间小于80ms 平均响应时间小于80ms 2.15+ node 生产应用-历史订单 饿了么大数据平台自助化数据接口平台 1.One sql one api 2.50+ Cassandra cql api 生产应用-dt.api 1.Jdbc 2.Thrift api 3.Datastax java driver(推荐使用) Cassandra客户端选择 1.Sync和Async api 2.连接池 3

Kubernetes Operator 实践 —— MySQL 容器化 刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL MySQL Operator 设计实践 4. 小结 搜狗商业平台 技术体系广 服务多迭代快 搜狗产品矩阵 商业平台 信息流广告 搜索广告 品牌广告 代理商 广告主 技术体系 CRM 广告平台 物料展现 审核平台 大数据平台 基础架构 Golang C++ JavaScript Java Python 质量要求高 业务响应快 故障恢复快 Cluster1 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理 有状态服务 服务调度 状态保存 带来的新挑战 服务调度 状态存储 集群管理 成员管理 扩缩容

并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 6 并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 MySQL Cluster 从数据库 • 会话线程：处理来自应用程序的查询 － 将 数据写入主数据库，将关联事件写入二进制 日志 • 转储线程：读取二进制日志中的事件，然后 将其发送到从数据库 • I/O 线程：接收复制事件，并将其存储在从 数据库的中继日志中 • SQL 线程：读取从数据库的中继日志中的复 制事件，然后将其应用到从数据库 MySQL 复制工作流 会话 二进制 日志 和/或其附属公司。保留所有权利。 为何进行复制？ •将数据库从“主服务器”复制到“从服务器” – 数据的冗余副本奠定了高可用性的基础 – 通过在复制场中进行分布式查询来扩展 主 从 Web/应用服务器 写入和读取 读取 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 9 •异步 – MySQL 默认设置 – 并行：主数据库向应 用程序发送确认，在