全球敏捷运维峰会 广州站 基于ClickHouse+StarRocks 构建支撑千亿级数据量的高可用查询引擎 演讲人：蔡岳毅 全球敏捷运维峰会 广州站 1. 为什么选择ClickHouse/StarRocks； 2. ClickHouse/StarRocks的高可用架构； 3. 如何合理的应用ClickHouse的优点，StarRocks 如何来补充ClickHouse 的短板； 4. ClickHouse的调优，运维介绍； 5. 应用总结； 全球敏捷运维峰会 广州站 根据实际业务场景需要来选择 1. 不固定的查询条件，不固定的汇总条件； 2. 数据量日益增量，每天要更新的数据量也不断增大； 3. 业务场景不断增多，涉及面越来越广； 4. 需要保证高可用并秒出； 5. 从Sql，Es， CrateDB， Kylin，Ingite，MongoDB，Hbase 数据导入之前要评估好分区字段； • 数据导入时根据分区做好Order By； • 左右表join的时候要注意数据量的变化； • 是否采用分布式； • 监控好服务器的cpu/内存波动/`system`.query_log； • 数据存储磁盘尽量采用ssd； • 减少数据中文本信息的冗余存储； • 特别适用于数据量大，查询频次可控的场景，如数据分析，埋点日志系统； 全球敏捷运维峰会 广州站 StarRocks应用小结

运行时间更短；但换到另一台配置不同的计算机中，可能会得到相反的测试结果。这意味着我们需要在各种机 器上展开测试，而这是不现实的。 展开完整测试非常耗费资源。随着输入数据量的大小变化，算法会呈现出不同的效率表现。比如，有可能输入 数据量较小时，算法 A 运行时间短于算法 B ，而在输入数据量较大时，测试结果截然相反。因此，若想要达 到具有说服力的对比结果，那么需要输入各种体量数据，这样的测试需要占用大量计算资源。 理论估算 复杂度分析评估的是算法运行效率随着输入数据量增多时的增长趋势。这句话有些拗口，我们可以将其分为三 个重点来理解： 2. 复杂度分析 hello‑algo.com 13 ‧“算法运行效率”可分为“运行时间”和“占用空间”，进而可将复杂度分为「时间复杂度 Time Complexity」 和「空间复杂度 Space Complexity」。 ‧“随着输入数据量增多时”代表复杂度与输入数据量有关，反映算法运行效率与输入数据量之间的关系； 率与输入数据量之间的关系； ‧“增长趋势”表示复杂度分析不关心算法具体使用了多少时间或占用了多少空间，而是给出一种“趋势性 分析”； 复杂度分析克服了实际测试方法的弊端。一是独立于测试环境，分析结果适用于所有运行平台。二是可以体现 不同数据量下的算法效率，尤其是可以反映大数据量下的算法性能。 如果感觉对复杂度分析的概念一知半解，无需担心，后续章节会展开介绍。 2.1.3. 复杂度分析重要性

运行时间更短；但换到另一台配置不同的计算机中，可能会得到相反的测试结果。这意味着我们需要在各种机 器上展开测试，而这是不现实的。 展开完整测试非常耗费资源。随着输入数据量的大小变化，算法会呈现出不同的效率表现。比如，有可能输入 数据量较小时，算法 A 运行时间短于算法 B ，而在输入数据量较大时，测试结果截然相反。因此，若想要达 到具有说服力的对比结果，那么需要输入各种体量数据，这样的测试需要占用大量计算资源。 理论估算 复杂度分析评估的是算法运行效率随着输入数据量增多时的增长趋势。这句话有些拗口，我们可以将其分为三 个重点来理解： 2. 复杂度分析 hello‑algo.com 13 ‧“算法运行效率”可分为“运行时间”和“占用空间”，进而可将复杂度分为「时间复杂度 Time Complexity」 和「空间复杂度 Space Complexity」。 ‧“随着输入数据量增多时”代表复杂度与输入数据量有关，反映算法运行效率与输入数据量之间的关系； 率与输入数据量之间的关系； ‧“增长趋势”表示复杂度分析不关心算法具体使用了多少时间或占用了多少空间，而是给出一种“趋势性 分析”； 复杂度分析克服了实际测试方法的弊端。一是独立于测试环境，分析结果适用于所有运行平台。二是可以体现 不同数据量下的算法效率，尤其是可以反映大数据量下的算法性能。 如果感觉对复杂度分析的概念一知半解，无需担心，后续章节会展开介绍。 2.1.3. 复杂度分析重要性

运行时间更短；但换到另一台配置不同的计算机中，可能会得到相反的测试结果。这意味着我们需要在各种机 器上展开测试，而这是不现实的。 展开完整测试非常耗费资源。随着输入数据量的大小变化，算法会呈现出不同的效率表现。比如，有可能输入 数据量较小时，算法 A 运行时间短于算法 B ，而在输入数据量较大时，测试结果截然相反。因此，若想要达 到具有说服力的对比结果，那么需要输入各种体量数据，这样的测试需要占用大量计算资源。 理论估算 复杂度分析评估的是算法运行效率随着输入数据量增多时的增长趋势。这句话有些拗口，我们可以将其分为三 个重点来理解： 2. 复杂度分析 hello‑algo.com 13 ‧“算法运行效率”可分为“运行时间”和“占用空间”，进而可将复杂度分为「时间复杂度 Time Complexity」 和「空间复杂度 Space Complexity」。 ‧“随着输入数据量增多时”代表复杂度与输入数据量有关，反映算法运行效率与输入数据量之间的关系； 率与输入数据量之间的关系； ‧“增长趋势”表示复杂度分析不关心算法具体使用了多少时间或占用了多少空间，而是给出一种“趋势性 分析”； 复杂度分析克服了实际测试方法的弊端。一是独立于测试环境，分析结果适用于所有运行平台。二是可以体现 不同数据量下的算法效率，尤其是可以反映大数据量下的算法性能。 如果感觉对复杂度分析的概念一知半解，无需担心，后续章节会展开介绍。 2.1.3. 复杂度分析重要性

运行时间更短；但换到另一台配置不同的计算机中，可能会得到相反的测试结果。这意味着我们需要在各种机 器上展开测试，而这是不现实的。 展开完整测试非常耗费资源。随着输入数据量的大小变化，算法会呈现出不同的效率表现。比如，有可能输入 数据量较小时，算法 A 运行时间短于算法 B ，而在输入数据量较大时，测试结果截然相反。因此，若想要达 到具有说服力的对比结果，那么需要输入各种体量数据，这样的测试需要占用大量计算资源。 理论估算 复杂度分析评估的是算法运行效率随着输入数据量增多时的增长趋势。这句话有些拗口，我们可以将其分为三 个重点来理解： 2. 复杂度分析 hello‑algo.com 13 ‧“算法运行效率”可分为“运行时间”和“占用空间”，进而可将复杂度分为「时间复杂度 Time Complexity」 和「空间复杂度 Space Complexity」。 ‧“随着输入数据量增多时”代表复杂度与输入数据量有关，反映算法运行效率与输入数据量之间的关系； 率与输入数据量之间的关系； ‧“增长趋势”表示复杂度分析不关心算法具体使用了多少时间或占用了多少空间，而是给出一种“趋势性 分析”； 复杂度分析克服了实际测试方法的弊端。一是独立于测试环境，分析结果适用于所有运行平台。二是可以体现 不同数据量下的算法效率，尤其是可以反映大数据量下的算法性能。 如果感觉对复杂度分析的概念一知半解，无需担心，后续章节会展开介绍。 2.1.3. 复杂度分析重要性

运行时间更短；但换到另一台配置不同的计算机中，可能会得到相反的测试结果。这意味着我们需要在各种机 器上展开测试，而这是不现实的。 展开完整测试非常耗费资源。随着输入数据量的大小变化，算法会呈现出不同的效率表现。比如，有可能输入 数据量较小时，算法 A 运行时间短于算法 B ，而在输入数据量较大时，测试结果截然相反。因此，若想要达 到具有说服力的对比结果，那么需要输入各种体量数据，这样的测试需要占用大量计算资源。 理论估算 复杂度分析评估的是算法运行效率随着输入数据量增多时的增长趋势。这句话有些拗口，我们可以将其分为三 个重点来理解： 2. 复杂度分析 hello‑algo.com 13 ‧“算法运行效率”可分为“运行时间”和“占用空间”，进而可将复杂度分为「时间复杂度 Time Complexity」 和「空间复杂度 Space Complexity」。 ‧“随着输入数据量增多时”代表复杂度与输入数据量有关，反映算法运行效率与输入数据量之间的关系； 率与输入数据量之间的关系； ‧“增长趋势”表示复杂度分析不关心算法具体使用了多少时间或占用了多少空间，而是给出一种“趋势性 分析”； 复杂度分析克服了实际测试方法的弊端。一是独立于测试环境，分析结果适用于所有运行平台。二是可以体现 不同数据量下的算法效率，尤其是可以反映大数据量下的算法性能。 如果感觉对复杂度分析的概念一知半解，无需担心，后续章节会展开介绍。 2.1.3. 复杂度分析重要性

运行时间更短；但换到另一台配置不同的计算机中，可能会得到相反的测试结果。这意味着我们需要在各种机 器上展开测试，而这是不现实的。 展开完整测试非常耗费资源。随着输入数据量的大小变化，算法会呈现出不同的效率表现。比如，有可能输入 数据量较小时，算法 A 运行时间短于算法 B ，而在输入数据量较大时，测试结果截然相反。因此，若想要达 到具有说服力的对比结果，那么需要输入各种体量数据，这样的测试需要占用大量计算资源。 理论估算 复杂度分析评估的是算法运行效率随着输入数据量增多时的增长趋势。这句话有些拗口，我们可以将其分为三 个重点来理解： 2. 复杂度分析 hello‑algo.com 13 ‧“算法运行效率”可分为“运行时间”和“占用空间”，进而可将复杂度分为「时间复杂度 Time Complexity」 和「空间复杂度 Space Complexity」。 ‧“随着输入数据量增多时”代表复杂度与输入数据量有关，反映算法运行效率与输入数据量之间的关系； 率与输入数据量之间的关系； ‧“增长趋势”表示复杂度分析不关心算法具体使用了多少时间或占用了多少空间，而是给出一种“趋势性 分析”； 复杂度分析克服了实际测试方法的弊端。一是独立于测试环境，分析结果适用于所有运行平台。二是可以体现 不同数据量下的算法效率，尤其是可以反映大数据量下的算法性能。 如果感觉对复杂度分析的概念一知半解，无需担心，后续章节会展开介绍。 2.1.3. 复杂度分析重要性

运行时间更短；但换到另一台配置不同的计算机中，可能会得到相反的测试结果。这意味着我们需要在各种机 器上展开测试，而这是不现实的。 展开完整测试非常耗费资源。随着输入数据量的大小变化，算法会呈现出不同的效率表现。比如，有可能输入 数据量较小时，算法 A 运行时间短于算法 B ，而在输入数据量较大时，测试结果截然相反。因此，若想要达 到具有说服力的对比结果，那么需要输入各种体量数据，这样的测试需要占用大量计算资源。 理论估算 复杂度分析评估的是算法运行效率随着输入数据量增多时的增长趋势。这句话有些拗口，我们可以将其分为三 个重点来理解： 2. 复杂度分析 hello‑algo.com 13 ‧“算法运行效率”可分为“运行时间”和“占用空间”，进而可将复杂度分为「时间复杂度 Time Complexity」 和「空间复杂度 Space Complexity」。 ‧“随着输入数据量增多时”代表复杂度与输入数据量有关，反映算法运行效率与输入数据量之间的关系； 率与输入数据量之间的关系； ‧“增长趋势”表示复杂度分析不关心算法具体使用了多少时间或占用了多少空间，而是给出一种“趋势性 分析”； 复杂度分析克服了实际测试方法的弊端。一是独立于测试环境，分析结果适用于所有运行平台。二是可以体现 不同数据量下的算法效率，尤其是可以反映大数据量下的算法性能。 如果感觉对复杂度分析的概念一知半解，无需担心，后续章节会展开介绍。 2.1.3. 复杂度分析重要性

运行时间更短；但换到另一台配置不同的计算机中，可能会得到相反的测试结果。这意味着我们需要在各种机 器上展开测试，而这是不现实的。 展开完整测试非常耗费资源。随着输入数据量的大小变化，算法会呈现出不同的效率表现。比如，有可能输入 数据量较小时，算法 A 运行时间短于算法 B ，而在输入数据量较大时，测试结果截然相反。因此，若想要达 到具有说服力的对比结果，那么需要输入各种体量数据，这样的测试需要占用大量计算资源。 理论估算 复杂度分析评估的是算法运行效率随着输入数据量增多时的增长趋势。这句话有些拗口，我们可以将其分为三 个重点来理解： 2. 复杂度分析 hello‑algo.com 13 ‧“算法运行效率”可分为“运行时间”和“占用空间”，进而可将复杂度分为「时间复杂度 Time Complexity」 和「空间复杂度 Space Complexity」。 ‧“随着输入数据量增多时”代表复杂度与输入数据量有关，反映算法运行效率与输入数据量之间的关系； 率与输入数据量之间的关系； ‧“增长趋势”表示复杂度分析不关心算法具体使用了多少时间或占用了多少空间，而是给出一种“趋势性 分析”； 复杂度分析克服了实际测试方法的弊端。一是独立于测试环境，分析结果适用于所有运行平台。二是可以体现 不同数据量下的算法效率，尤其是可以反映大数据量下的算法性能。 如果感觉对复杂度分析的概念一知半解，无需担心，后续章节会展开介绍。 2.1.3. 复杂度分析重要性

运行时间更短；但换到另一台配置不同的计算机中，可能会得到相反的测试结果。这意味着我们需要在各种机 器上展开测试，而这是不现实的。 展开完整测试非常耗费资源。随着输入数据量的大小变化，算法会呈现出不同的效率表现。比如，有可能输入 数据量较小时，算法 A 运行时间短于算法 B ，而在输入数据量较大时，测试结果截然相反。因此，若想要达 到具有说服力的对比结果，那么需要输入各种体量数据，这样的测试需要占用大量计算资源。 理论估算 复杂度分析评估的是算法运行效率随着输入数据量增多时的增长趋势。这句话有些拗口，我们可以将其分为三 个重点来理解： 2. 复杂度分析 hello‑algo.com 13 ‧“算法运行效率”可分为“运行时间”和“占用空间”，进而可将复杂度分为「时间复杂度 Time Complexity」 和「空间复杂度 Space Complexity」。 ‧“随着输入数据量增多时”代表复杂度与输入数据量有关，反映算法运行效率与输入数据量之间的关系； 率与输入数据量之间的关系； ‧“增长趋势”表示复杂度分析不关心算法具体使用了多少时间或占用了多少空间，而是给出一种“趋势性 分析”； 复杂度分析克服了实际测试方法的弊端。一是独立于测试环境，分析结果适用于所有运行平台。二是可以体现 不同数据量下的算法效率，尤其是可以反映大数据量下的算法性能。 如果感觉对复杂度分析的概念一知半解，无需担心，后续章节会展开介绍。 2.1.3. 复杂度分析重要性