统行业复杂业务逻辑场景中，以 Oracle 为代表 • 挑战：成本高，随着数据量增加， 只能通过购买更贵更好的服务器 ；无法线性扩容，海量数据下处 理能力大幅下降 单机关系型（SQL） 分布式非关系型（NoSQL） 分布式关系型（NewSQL） • 背景：随着搜索 / 社交的发展，数 据量爆发增长，传统数据库高成 本，无法线性扩容问题日益突显 ；分布式及 NoSQL 开始快速发 展，如 MongoDB • 挑战：擅长简单读写，无法处理 （TiDB + TiKV） ● 基于 2013 年 Google Spanner / F1 论文 ● 基于 2014 年 Stanford 工业级分布式一致性协议实现 Raft 论文 概括： 无限水平线性扩展、高并发高吞吐、跨数据中心多活、MySQL 兼容的真正意义上的分布式数据库 ● 我们是全球仅有的在该领域进行技术创新的两家公司之一（对标美国 CockroachDB） ● 完全从头打造，并非基于 ● 无限线性水平扩展（Scale Out） 无论多大的数据量，都可以轻松通过增加节点来解决，写入和读取时延固定（毫 秒级别），无需分库分表或者搭建复杂的 Hadoop 集群，完整的 MySQL 兼容接 口轻松处理高并发实时写入、实时查询和分析，极大的简化程序设计、应用维护 ，轻松应对大数据存储问题。 ● 高并发、高吞吐、完整的跨行事务支持、强一致性 通过简单的增加节点，提供无上限的、线性扩展的的高并发、高吞吐的处理能力

HBase如何在hdfs这种append- only⽂文件系统上实现, 修改/删除 操作的 系统组成 RegionServer读操作 这⾥里里需要提的⼀一点是, BlockCache⾥里里不不光对数据做了了缓存, 其实在RegionServer启动的时候, 会把所有region的索引信息加载进去. 系统组成 HFile • 整个HFile分为4⼤大部分 • 所有东⻄西都被组织为⼤大⼩小相同

ClickHouse MergeTree原理解析 朱凯@深圳 2019.10 朱 凯 远光软件 大数据事业部/平台开发部 总经理 资深架构师，腾讯云TVP专家 10多年IT从业经验，精通Java、Nodejs等语言方向 著有: 《企业级大数据平台构建：架构与实现》、 《ClickHouse原理解析与开发实战》（连载写作中） 珠海总部园 区占地面积 6 万平方米 珠海、北京、武汉

系统自动监控各节点的健康状态，异常时发起主备切换或重搭只读节点，并更新相应的路由及权 重信息。 读写分离版本采取链式复制架构，可以通过扩展只读实例个数使整体实例性能线性增长；同时基于阿 里云在源码层面对 Redis 复制流程的特定优化，可以最大程度的提升线性复制的系统稳定性。 应用和 Redis 读写分离版建立连接，Proxy 会自动识别客户端发起的读写请求类型，按照权重作负载 均衡，将请求转发 过一定次数以后，会停止异常节点的服务权 利，并具备继续监控后续重新启动节点服务的能力。 高性能 Redis 读写分离版本采取链式复制架构，可以通过扩展只读实例个数使整体实例性能线性增长，充分 利用每一个只读节点的物理资源。 使用场景 读取请求 QPS 压力较大 标准版 Redis 无法支撑较大的 QPS，如果业务类型是偏读多写少类型，需要采用多个只读节点的部署

全球排名第三，实时分 析领域全球排名并列第四。Greenplum 是两个领域中排名前十的产品中的唯一一款开源产品。 Greenplum 基于 MPP（大规模并行处理）架构构建，具有良好的弹性和线性扩展能力，并内置 并行存储、并行通讯、并行计算和优化技术。同时，Greenplum 还兼容 SQL 标准，具备强大、 高效、安全的 PB 级结构化、半结构化和非结构化数据存储、处理和实时分析能力，可部署于企 XML、JSON、KV）还是非结构化， 譬如文本数据、GIS 数据、图数据等。 ● 具有强大内核的平台：Greenplum 具有强大的内核技术，包括数据水平分布、并行查询执 行、专业优化器、线性扩展能力、多态存储、资源管理、高可用、高速数据加载等。 ● 具备强大灵活性和可扩展性的平台： 支持扩展（Extension）、自定义类型和函数、PXF 和外部表技术。可以使用多种语言实现用户自定义函数和聚集，包括

Replica1Replica1 Replica1Replica1 Shard01 Shard02 Shard03 Load Balancing 一切以用户价值为依归 6 部署与监控管理 1 线性平滑扩容： 扩容： 1.安装新部署新的shard分片机器 2.新shard上创建表结构 3.批量修改当前集群的配置文件增加新的分片 4.名字服务添加节点 一切以用户价值为依归 7 部署与监控管理 不能进行多表关联计算 一切以用户价值为依归 21 业务应用实践 iData 2 为什么选择ClickHouse • SQL • OLAP • 超高性能 • 列式存储 • 统计函数 • 线性扩展 • 驱动丰富 0.817 1.883 1.168 1.417 1.15 1.751 2.762 1.474 1.11 2.786 3.47 4.362 3.789

Only GPDB：为大数据存储、计算、挖掘而设计 Ÿ 标准 SQL 数据库：ANSI SQL 2008 标准，OLAP，JDBC/ODBC Ÿ 支持ACID、分布式事务 Ÿ 分布式数据库：线性扩展，支持上百物理节点 Ÿ 企业级数据库：全球大客户超过 1000+ 安装集群 Ÿ 百万行源代码，超过10年的全球研发投入 Ÿ 开源数据库(greenplum.org)，良性生态系统 5 Pivotal 14 Pivotal Confidential–Inter nal Use Only 大规模并行数据加载 • 高速数据导入和导出 – 主节点不是瓶颈 – 10+ TB/小时/Rack – 线性扩展 • 低延迟 – 加载后立刻可用 – 不需要中间存储 – 不需要额外数据处理 • 导入/导出 到&从: – 文件系统 – 任意 ETL 产品 – Hadoop 发行版 外部数据源 Interconnect

Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com 业务模型适配 MOLAP： 当业务分析维度相对固化，并在可以使用历史状态时，按照时间进行增量生产，加工 成本呈线性增长状态，数据加工到更粗的粒度（如组织单元），减少结果数据量，提高交互效率 。如上图所示，由A模型预计算到B模型，使用Kylin是一个不错的选择。 ROLAP： 当业务分析维度灵活多变或者特定到最 - https://www.iteblog.com 可以看到，当使用Bitmap之后，之前的PV计算过程会大幅简化，现场查询时的 IO、CPU、内存，网络资源也会显著减少，并且不再会随着数据规模而线性增加。 总结与思考 在外卖运营分析的业务实践中，由于业务的复杂及应用场景的不同，没有哪一种数据生产方案能 够解决所有业务问题。数据库引擎技术的发展，为我们提供更多手段提升数据建设方案。实践证 明

家》杂志 2018 年发布的“全球 1000 家大银行 排名中，中国光大银行位列第 39 位。 业务挑战 传统集中式数据库受到单点架构的限制，造成处理能力的受限与风险的集中。随着两地三中心的建设，光 太银行计划采用分布式的方案对外提供服务。 数据库作为金融科技的重器，需要匹配银行业务的发展，不 断提升的处理性能，并且满足金融监管的要求。 在分布式数据库技术日渐成熟的背景下，光大银行在关键业务系统引入

的并行文件分发服务(gpfdist)，管理员可以实现最大化 的利用网络带宽资源以实现高速并行装载。 上图展示了 GP 外部表和 gpfdist 是如何配合，以实现高速数据装载的，该模式 的性能是完全线性扩展的，数据直接在 gpfdist 和 Primary 之间并行传输，数据的 重分布直接在 Primary 之间完成，整个架构没有瓶颈点。 管理与监控 对 GP 系统的管理， 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 205 - 定百分比位置的线性插值的结果，MEDIAN和PERCENTILE_CONT返回的结果是线性插 值，PERCENTILE_DISC返回的结果是距离线性插值最近的输入值。例如： =# SELECT MEDIAN(i), PERCENTILE_CONT(0.22) WITHIN float MEDIAN (expression) 例如： SELECT MEDIAN(i) FROM generate_series(0,15) AS i; 返回一个中间 值或者线性插 值。空值被忽 略。 PERCENTILE_CONT (expr) WITHIN GROUP (ORDER BY expr [DESC/ ASC]) timestamp