Global DevOps Summit 全球敏捷运维峰会 基于ClickHouse+StarRocks 构建支撑千亿级数据量的高可用查询引擎 演讲人：蔡岳毅 1. 为什么选择ClickHouse/StarRocks; 2. ClickHouse/StarRocks 的高可用架构； 3. 如何合理的应用ClickHouse的优点，StarRocks如何来补充ClickHouse的短板； 4. ClickHouse的调优，运维介绍； ClickHouse的调优，运维介绍； 5. 应用总结； ## 根据实际业务场景需要来选择 1. 不固定的查询条件，不固定的汇总条件； 2. 数据量日益增量，每天要更新的数据量也不断增大； 3. 业务场景不断增多，涉及面越来越广； 4. 需要保证高可用并秒出； 5. 从Sql，Es，CrateDB，Kylin，Ingite，MongoDB，Hbase不断的研究，实践； ## ClickHouse 2. 不支持高并发，可以根据实际情况修改qps相关配置文件；  ## StarRocks的特点 ## 优点： 1. 支持标准的SQL语法，兼容MySQL协议； 2. MPP架构，扩缩容非常简单方便； 3. 支持高并发查询； 4. 跨机房部署，实现最低成本的DR

## MYSQL 高可用方案探究 1 前言.....3 2 Lvs+Keepalived+Mysql 单点写入主主同步高可用方案.....3 2.1 方案简介.....3 2.2 方案架构图.....3 2.3 方案优缺点.....4 2.4 方案实战.....4 2.4.1 适用场景.....4 2.4.2 实战环境介绍.....4 2.4.3 Mysql 的安装和配置 backup 的 realserver 的配置.....7 2.4.9 Master 和 backup 的启动.....8 2.4.10 高可用方案测试.....9 3 Lvs+Keepalived+Mysql 单点写入读负载均衡主主同步高可用方案.....9 3.1 方案简介.....9 3.2 方案架构图.....9 3.3 方案优缺点.....9 3.4 适用场景. 11 3.5.7 Master 和 backup 的 realserver 的配置.....15 3.5.8 Master 和 backup 的启动.....16 4 Heartbeat 高可用 Mysql 主主同步方案.....16 4.1 方案简介.....16 4.2 方案优缺点.....16 4.3 方案架构图.....17 4.4 适用场景.....17 4.5

CHINA CONF 2023 第三届中国 Rust 开发者大会 6.17-6.18 @Shanghai ## PromQL Got a BOOST: 用 Rust 重写 Prometheus 的查询引擎 Ruihang Xia @greptime.com ## I ABOUT ## Ruihang GitHub: waynexia Losing hair at Greptime Wanna

Curve元数据节点高可用 • 1. 需求 • 2. 技术选型 • 3. etcd clientv3的concurrency介绍 • 3.1 etcd clientV3的concurrency模块构成 • 3.2 Campaign的流程 • 3.2.1 代码流程说明 • 3.2.2 举例说明Campagin流程 • 3.3 Observe的流程 4. MDS使用election模块的功能进行选主 常 4.2.7 各情况汇总 ### 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡等，mds故障可能会导致client端无法写入。 因此，mds需要做高可用。满足多个mds，但同时只有一个mds节点提供服务，称该提供服务的mds节点为主，等待节点为备；主节点的服务挂掉之后，备节点能启动服务，尽量减小服务中断的时间。需要解决的问题就是：如何确定主备节点。 大家熟知的就是zookeeper和etcd，考虑当前系统中mds有两个外部依赖模块，一是mysql，用于存储集群拓扑的相关信息；二是etcd，用于存储文件的元数据信息。而etcd可以用于实现mds高可用，没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制：TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期，到期后key会

全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • 产品最丰富 • 预定最流畅 ### 去哪儿？ Qunar 异步 无状态 分级缓存 ## 搜索框架 App WWW Touch 分销 应用层 CacheManager PriceMerger Cache 聚合层 MQ MQ 报价引擎 旗舰店 供应商直连 抓取 报价源 航班数据 运价数据 基础数据 ## 搜索框架 · 报价数量多，内存问题 · 报价源多，不稳定 • 响应时间要求苛刻 遇到问题 • 搜索条件有热点 尽量用原生数据类型，编码 • 回数比例，异步搜索更新 解决方案 · 分批回数 ·一致性哈希，负载均衡 • 供应商粒度，主动更新 ## 报价引擎 供应商规则 套餐搭售 + 航司运价 + 低价特惠 商旅优选 头等舱 o o o 航班舱位状态 ## 报价引擎—供应商规则

政策号:

XLB170322182348000102 0 码力 | 26 页 | 1.94 MB | 2 年前 3 如何用 MySQL 构建全方位高可用应用 # MySQL協助您搭建全方位的高可用應用 杜修文 甲骨文全球事業部 ## 安全港声明 以下内容旨在阐明产品的整体方向。该内容仅供参考，不可纳入任何合同。该信息不承诺提供任何资料、代码或功能，并且不应该作为制定购买决策的依据。本文档所述的 Oracle 产品的任何特性或功能的开发、发行和时间规划均由 Oracle 自行决定。 ## MySQL 高可用性解决方案  ## 支持高可用性的各个层 并不仅仅是可靠地存储数据 冗余应用服务器 数据的冗余访问路径  数据路由 数据冗余存储 ## 支持高可用性的各个层 并不仅仅是可靠地存储数据 冗余应用服务器 会话线程：处理来自应用程序的查询 — 将数据写入主数据库，将关联事件写入二进制日志 - 转储线程：读取二进制日志中的事件，然后将其发送到从数据库 - I/O 线程：接收复制事件，并将其存储在从数据库的中继日志中 - SQL 线程：读取从数据库的中继日志中的复制事件，然后将其应用到从数据库 ## 为何进行复制？ - 将数据库从 “主服务器” 复制到 “从服务器” – 数据的冗余副本奠定了高可用性的基础 0 码力 | 40 页 | 2.19 MB | 2 年前 3 在Kubernetes上部署高可用的Service Mesh监控 ## caicloud 才云 ## 在 k8s 上部署高可用的 service mesh 监控 唐鹏程才云科技 pctang@caicloud.io ## TOC • Old-school monitoring • Solving issues in a new way • Monitoring your service mesh ## Prometheus + Kubernetes 0 码力 | 35 页 | 2.98 MB | 1 年前 3 高可用分布式流数据存储设计-李玥 ## 高可用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ## TGO鲲鹏会 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 自我介绍 ## 李玥 京东集团 技术架构部 架构师 负责主导设计新一代京东消息中间件系统，专注于流数据的一致性分发和可靠存储、分布式实时计算和高可用分布式系统架构等技术领域。 从事互联网研发、架构10余年，曾在浪潮集团、当当网等公司从事架构相关工作。2017年加入京东，期间提升京东商城相关系统的性能和吞吐量数倍。 目前致力于推进京东基础架构技术的创新、对外赋能与开源。 ## 存储结构设计 512K 512K 1024K 512K 1024K ## 缓存 堆外内存 异步预加载 读写共页 PLRU淘汰策略 Cache ## File ## 高并发 ≠ 高性能 ## 减少等待 异步: Future, Callback, React框架 流程拆分 减少锁：CAS原语 减少锁等待: 读写锁, 细粒度锁 ## 写入数据流程 Follower 0 码力 | 36 页 | 6.02 MB | 2 年前 3 ShardingSphere 高可用功能详解 & 实战演练-赵锦超 ## Apache ShardingSphere 高可用功能详解 & 实操演练 赵锦超 2022.08.06 ## 赵锦超 Apache ShardingSphere Committer SphereEx 研发工程师 ☐ 从事过电商、金融行业，热爱开源 目前专注于 Apache ShardingSphere 高可用 & 分布式治理的相关研发工作 ## 目录 01 Apache Apache ShardingSphere 高可用介绍 02 Apache ShardingSphere 高可用源码解析 03 Apache ShardingSphere HA & MySQL MGR 实战演练 ## Apache ShardingSphere 高可用介绍 ShardingSphere-Proxy 高可用  ## Apache ShardingSphere 高可用介绍 Apache ShardingSphere 本身不提供数据库高可用的能力，它通过第三方提供的高可用方案感知数据库主从关系的切换。Apache ShardingSphere 提供数据库发现的能力，自动感知数据库主从关系，并修正计算节点对数据库的连接。 目前支持的高可用方案： • MySQL MGR 单主模式 • MySQL 0 码力 | 19 页 | 2.12 MB | 2 年前 3 快速部署高可用的Apache RocketMQ 集群 - Amazon S3 # 快速部署高可用的 Apache RocketMQ 集群 部署手册 顾明 版本：v1.2.0 最后更新时间: 2023 年 11 月  Copyright (c) 2021 by Amazon.com, Inc. or its affiliates Apache 基金会，2017 年成为 Apache 的顶级项目，RocketMQ 具有低延迟，金融级高可用以及厂商中立的特点，目前广泛使用于国内外的互联网公司。针对亚马逊云科技客户需要在亚马逊云科技上使用 RocketMQ 的需求，我们开发了一键部署的方案，帮助客户快速的在自己的账号部署一个基于 EC2 的高可用的 RocketMQ 集群。 ## 架构 Amazon CloudFormation 提供了一种创建和管理相关 Broker 实例，每个 Broker 实例会在三个 Broker Instance 之间形成一个基于 Raft 的高可用 dledger 集群，如果其中一个 Broker 实例因故障无法提供服务，Raft 协议会自动在另外两个 Instance 中选择一个作为 Master 继续提供服务从而达到高可用的效果，下图是部署完的一个架构实例图 ![Image](/uploads/documents/5/8/c/ 0 码力 | 21 页 | 2.57 MB | 2 年前 3 共 1000 条 1 2 3 4 5 6 100 前往 页 相关搜索词 ClickHouseStarRocks高可用查询引擎分布式架构性能优化高可用Lvs+KeepalivedHeartbeatMMMDRBDPrometheusPromQLRust查询引擎性能提升etcd选举机制异常情况lease过期高性能高可用机票实时搜索系统报价引擎供应商规则航班舱位数据同步高可用性MySQL复制冗余副本Group ReplicationKubernetesService MeshIstioThanos高可用分布式流数据存储流数据存储分布式系统Append onlyJournalQJournalKeeperShardingSphere数据库发现MySQL MGR分布式事务Apache RocketMQAmazon S3CloudFormation高可用集群EC2实例类型