Global DevOps Summit 全球敏捷运维峰会 基于ClickHouse+StarRocks 构建支撑千亿级数据量的高可用查询引擎 演讲人：蔡岳毅 1. 为什么选择ClickHouse/StarRocks; 2. ClickHouse/StarRocks 的高可用架构； 3. 如何合理的应用ClickHouse的优点，StarRocks如何来补充ClickHouse的短板； 4. ClickHouse的调优，运维介绍； 5. 应用总结； ## 根据实际业务场景需要来选择 1. 不固定的查询条件，不固定的汇总条件； 2. 数据量日益增量，每天要更新的数据量也不断增大； 3. 业务场景不断增多，涉及面越来越广； 4. 需要保证高可用并秒出； 5. 从Sql，Es，CrateDB，Kylin，Ingite，MongoDB，Hbase不断的研究，实践； ## ClickHouse 2. 不支持高并发，可以根据实际情况修改qps相关配置文件；  ## StarRocks的特点 ## 优点： 1. 支持标准的SQL语法，兼容MySQL协议； 2. MPP架构，扩缩容非常简单方便； 3. 支持高并发查询； 4. 跨机房部署，实现最低成本的DR

苏宁如何使用ClickHouse ClickHouse集成Bitmap 用户画像场景实践 ## 3 ## 选择ClickHouse的原因 1. 速度快 2. 特性发布快 3. 软件质量高 4. 物化视图 5. 高基数查询 6. 精确去重计数（count distinct） ## 精确去重计数性能测试 4亿多的数据集上，去重计算出6千万整形数值， 非精确去重函数：unique、uniqueHLL12、uniqueCombined ## ClickHouse在苏宁使用场景 ## OLAP平台存储引擎 -- 存储时序数据、cube加速数据，应用于高基数查询、精确去重场景。 ## 运维监控 -- 实时聚合分析监控数据，主要使用物化视图技术。 ## ➢ 用户画像场景 -- 标签数据的存储、用户画像查询引擎。 苏宁如何使用ClickHouse ClickHouse集成Bitmap 用户画像场景实践 ## 9 ## 详见：http://roaringbitmap.org/ ## 10 ## RoaringBitmap原理介绍 主要原理：将32bit的Integer划分为高16位和低16位(两个short int)，两者之间是Key-Value的关系。高16位存到short[] keys，通过高16位（Key）找到所对应Container，然后把剩余的低16位（Value）放入该Container中，Roar

CHINA CONF 2023 第三届中国 Rust 开发者大会 6.17-6.18 @Shanghai ## PromQL Got a BOOST: 用 Rust 重写 Prometheus 的查询引擎 Ruihang Xia @greptime.com ## I ABOUT ## Ruihang GitHub: waynexia Losing hair at Greptime Wanna

## MYSQL 高可用方案探究 1 前言.....3 2 Lvs+Keepalived+Mysql 单点写入主主同步高可用方案.....3 2.1 方案简介.....3 2.2 方案架构图.....3 2.3 方案优缺点.....4 2.4 方案实战.....4 2.4.1 适用场景.....4 2.4.2 实战环境介绍.....4 2.4.3 Mysql 的安装和配置 backup 的 realserver 的配置.....7 2.4.9 Master 和 backup 的启动.....8 2.4.10 高可用方案测试.....9 3 Lvs+Keepalived+Mysql 单点写入读负载均衡主主同步高可用方案.....9 3.1 方案简介.....9 3.2 方案架构图.....9 3.3 方案优缺点.....9 3.4 适用场景 11 3.5.7 Master 和 backup 的 realserver 的配置.....15 3.5.8 Master 和 backup 的启动.....16 4 Heartbeat 高可用 Mysql 主主同步方案.....16 4.1 方案简介.....16 4.2 方案优缺点.....16 4.3 方案架构图.....17 4.4 适用场景.....17 4

Curve元数据节点高可用 • 1. 需求 • 2. 技术选型 • 3. etcd clientv3的concurrency介绍 • 3.1 etcd clientV3的concurrency模块构成 • 3.2 Campaign的流程 • 3.2.1 代码流程说明 • 3.2.2 举例说明Campagin流程 • 3.3 Observe的流程 4. MDS使用election模块的功能进行选主 异常 4.2.7 各情况汇总 ### 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡等，mds故障可能会导致client端无法写入。 因此，mds需要做高可用。满足多个mds，但同时只有一个mds节点提供服务，称该提供服务的mds节点为主，等待节点为备；主节点的服务挂掉之后，备节点能启动服务，尽量减小服务中断的时间。需要解决的问题就是：如何确定主备节点。 为大家熟知的就是zookeeper和etcd，考虑当前系统中mds有两个外部依赖模块，一是mysql，用于存储集群拓扑的相关信息；二是etcd，用于存储文件的元数据信息。而etcd可以用于实现mds高可用，没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制：TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期，到期后key

2/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • => 索引库 - 规则库写入量大，集群峰值达20K TPS · 要求同步延迟很低，不超过60s - 保持顺序一致性，如果先删后插变成先插后删，数据会不一致 · 数据最终一致 · 系统高可用 规则库 供应商 A 供应商 B DB Sync 供应商 M 索引库 北京 | 上海 成都 | 杭州 广州 | 郑州 南宁 | 天津 ## 报价引擎 — 数据同步 按 表 DataSync Canal Pipeline 解析 拆分 分配 入队 PEK-SHA CAN-NNG ZK Diff 按航线分表 ## 报价引擎 一 同步系统高可用 DB主主DB主 DB备B备备 Canal 主 Canal 土 Canal 备 Canal 备 DataSync DataSync DataSync DataSync ZK

# MySQL協助您搭建全方位的高可用應用 杜修文 甲骨文全球事業部 ## 安全港声明 以下内容旨在阐明产品的整体方向。该内容仅供参考，不可纳入任何合同。该信息不承诺提供任何资料、代码或功能，并且不应该作为制定购买决策的依据。本文档所述的 Oracle 产品的任何特性或功能的开发、发行和时间规划均由 Oracle 自行决定。 ## MySQL 高可用性解决方案  ## 支持高可用性的各个层 并不仅仅是可靠地存储数据 冗余应用服务器 数据的冗余访问路径  数据路由 数据冗余存储 ## 支持高可用性的各个层 并不仅仅是可靠地存储数据 冗余应用服务器 会话线程：处理来自应用程序的查询 — 将数据写入主数据库，将关联事件写入二进制日志 - 转储线程：读取二进制日志中的事件，然后将其发送到从数据库 - I/O 线程：接收复制事件，并将其存储在从数据库的中继日志中 - SQL 线程：读取从数据库的中继日志中的复制事件，然后将其应用到从数据库 ## 为何进行复制？ - 将数据库从 “主服务器” 复制到 “从服务器” – 数据的冗余副本奠定了高可用性的基础

## PostgreSQL “反向代理” Redis 高金芳 平安科技（深圳）有限公司 ## 个人介绍 职务：平安科技数据库技术部数据库架构师 邮箱：gaojinfang498@pingan.com.cn ## 个人简介： 高金芳，中国平安集团旗下平安科技数据库技术部数据库架构师，从事数据库相关工作9年。 2007年毕业，从事oracle ERP开发，数据仓库和数据挖掘相关工作。 p5_5.jpg) Redis是一个有丰富数据类型的Key-Value数据库 ## 当前用户访问过多，请稍候重试~ ## NEWS ## Bang! 高性能 稳定性 安全性 轻量级 高可用 ## 🌸 性能极高，OPS超过100K ## Redis ## 三 支持丰富的数据类型 苗 数据可持久化  Redis在高版本中还增加了保护模式 ## Redis Management Dilemmas ![Image](/uploads/documents/d/6/a/9/d6a9d0f03981bbbc13a69dc8548c570c/p14_1

云原生产品与架构系列讲座·第3讲  高磊 曾任阿里巴巴、华为架构师、深信服云原生产品规划主管 12月1日（周三）晚8点 互动平台：腾讯文档 ![Image](/uploads/documents/a/1/0/a/a10a36a4c 四大件在云原生场景下技术架构有什么创新？ 下单服务 交易支付 MQ 支付网关 下单服务 交易支付 MQ 支付网关 业务异步化|削峰填谷 商品查询 BFF 锁定库存 logging 锁定库存 商品查询 BFF logging 文件存储 业务赋能 文件存储 库存数据库 库存数据库 前台类目 大数据 营销分析 前台类目 商品数据库 大数据营销分析 云数据库HBase是采用云原生和计算存储分离架构的全托管NoSQL服务，兼容HBase、Phoenix、OpenTSDB等多种开源标准接口，适合GB-PB级数据存储、查询和分析等场景，支持SQL分析、二级索引、时序查询、主备双活、不停服扩容等功能，满足用户高吞吐、低成本以及轻运维等业务场景需求。 ![Image](/uploads/documents/a/1/0/a/a10a36a4c01a42e0c11dece9f73ed275/p7_1