## ClickHouse MergeTree原理解析 朱凯@深圳2019.10  ## 朱凯 ## 远光软件 大数据事业部/平台开发部 总经理 资深架构师，腾讯云TVP专家 10多年IT从业经验，精通Java、Node.js等语言方向 数据标记 ## 表引擎 表引擎，是ClickHouse设计实现中的一大特色。可以说正是由表引擎，决定了一张数据表最终的性格，它拥有何种特性、数据以何种形式被存储以及如何被加载。ClickHouse拥有非常庞大的表引擎体系，截至到目前(19.14.6)，共拥有合并树、内存、文件、接口和其他5大类20多种。 ## 合并树 这众多的表引擎中，又属合并树(MergeTree)表引擎及其家族系列( $ *MergeTree *MergeTree $ )最为强大，在生产环境绝大部分场景中都应该使用此系列的表引擎。 只有合并树系列的表引擎才支持主键索引、数据分区、数据副本和数据采样这些特性，同时也只有此系列的表引擎支持ALTER相关操作。 ## 合并树家族 其中MergeTree作为家族中最基础的表引擎，提供了主键索引、数据分区、数据副本和数据采样等所有的基本能力，而家族中其他的表引擎则在MergeTree的基础之上各有所长。

## JavaScript极速入门 —— 内核与引擎 主讲人与课程设计：耕耕 ## 浏览器内核 ## 主流浏览器内核 |主流浏览器|内核| |---|---| |IE -> Edge|trident->EdgeHTML| |Chrome|webkit->blink| |Safari|webkit| |Firefox|Gecko| |Opera|Presto->blink| nk| |Obs|bkgto->pllmk| |Libre办公|Gecko| ## JavaScript 引擎 ## 主流浏览器JavaScript引擎 |主流浏览器|js引擎| |---|---| |IE -> Edge|JScript (IE3.0-IE8.0) / Chakra (IE9+之后，查克拉，微软也看火影么...)| |Chrome|V8 (大名鼎鼎)| |Safari|Nitro (0.0-0.5)| ## 浏览器内核与JavaScript引擎关系 最初内核的概念包括渲染引擎与JS引擎，目前习惯直接称渲染引擎为内核，JS引擎独立。 最初状态 目前状态 浏览器内核 浏览器内核 渲染引擎 JavaScript引擎 渲染引擎 JavaScript引擎 ## 渲染引擎与JavaScript引擎 渲染引擎：Rendering Engine，一般习惯将之称为“浏览器

## 万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉  ## 自我介绍 ●花名：誓嘉 ●真名：王小瑞 ●vintagewang@apache.org ●@阿里巴巴-中间件 ●Apache RocketMQ 创始人， 消息队列秉持开放、共享的原则拥抱开源生态，无技术绑定，2016年阿里巴巴正式宣布将MQ内核引擎RocketMQ捐赠给Apache软件基金会；与此同时，全面融合kafka生态，做到无缝迁移，打造更安全、更可靠、更易运维的kafka企业级消息服务。 立即购买 免费开通 产品价格 阿里巴巴宣布将MQ内核引擎RocketMQ捐赠给Apache软件基金会 Aliware MQTT 移动物联套件 Kafka

## 万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉  ## 自我介绍 ●花名：誓嘉 ●真名：王小瑞 ●vintagewang@apache.org ●@阿里巴巴-中间件 ●Apache RocketMQ 创始人， 消息队列秉持开放、共享的原则拥抱开源生态，无技术绑定，2016年阿里巴巴正式宣布将MQ内核引擎RocketMQ捐赠给Apache软件基金会；与此同时，全面融合kafka生态，做到无缝迁移，打造更安全、更可靠、更易运维的kafka企业级消息服务。 立即购买 免费开通 产品价格 阿里巴巴宣布将MQ内核引擎RocketMQ捐赠给Apache软件基金会 Aliware MQTT 移动物联套件 Kafka

CHINA CONF 2023 第三届中国 Rust 开发者大会 6.17-6.18 @Shanghai ## PromQL Got a BOOST: 用 Rust 重写 Prometheus 的查询引擎 Ruihang Xia @greptime.com ## I ABOUT ## Ruihang GitHub: waynexia Losing hair at Greptime Wanna

第三届中国Rust开发者大会 6.17-6.18 @Shanghai ## Rust在物理引擎研发中的应用 崔汉青 Motphys CEO ## 😍 ## Motphys 驱动虚拟世界的全部运动 体验应用 基础应用： 内容生成工具、 交易市场等 基础硬件： 5G/6G、 半导体、 VR/AR等 基础软件： 渲染引擎、 动作物理引擎等  Rapier ## Motphys 物理引擎的设计目标 保证每个目标平台的极致性能 跨端确定性 - 保证所有目标平台计算结果完全一致 具备分布式能力 - 通过横向扩展突破单机物理算力的上限 ## 为什么选择 Rust ![Image] ts/9/8/c/c/98ccfd2e04d66d38337ed34184790822/p6_1.jpg) #高性能 Rust 的性能和 C/C++ 比肩，支持 SIMD 优化，满足苛求性能的引擎研发需求；Rust 的零开销抽象甩掉了复杂设计的性能包袱 ![Image](/uploads/documents/9/8/c/c/98ccfd2e04d66d38337ed34184790822/p6_2

云时代下多数据计算引擎的设计与实现 郭罡 CTO 拓数派（OpenPie） ## 关于拓数派 - 成立于2021年，以 “Data Computing for New Discoveries” 「数据计算，只为新发现」为使命。 - 核心团队来自于各大厂名校，有丰富的数据库（Greenplum，DB2，ClickHouse等）研发和产业经验. - 产品 πDataCS：多计算引擎，包括自研分布式 数据库PieCloudDB，自研分布式向量数据库等. • PieCloudDB 存储底座是各计算引擎的载体. • 已落地或者正在落地：IoT、金融、新能源、医疗等行业. ## 云时代 多数据模态支持 广泛的生态支持 ## 数据计算 “一份数据，多引擎计算”的述求 让数据流动起来 ## PieCloudDB 简介 ## 一 款云原生分布式 ## 分析型数据库 • 元数据、用户数据、计算完全分离 Parquet ORC ... Storage Access Abstract S3 HDFS Cache ... ## 多计算引擎 |内置计算引擎|向量数据库|Spark|...| |---|---|---|---| |Postgres执行器全新的向量化执行引擎|单机和分布式|客户依赖跑批任务机器学习......|按需增加| ## 产品子功能 太多分支？ ## 抽象和灵活的考虑贯穿所有的设计

[Image](/uploads/documents/a/5/4/5/a5458db7fb86ab4e1f5c1167e010676e/p8_1.jpg) ## 数仓建设-维度表 ### 一 般维度表数据量不大. 目前采用的是引擎Log+字典表(dictionary)  [Image](/uploads/documents/a/5/4/5/a5458db7fb86ab4e1f5c1167e010676e/p9_2.jpg) ## 数仓建设-主题事实清单表 主题事实清单表采用引擎MergeTree. 同步策略: 每日从 oracle 数据平台增量同步到 ck 数仓. create table dw_hr.fct_rpt_dc_shop_vender_day ( stat_year rpt_qty Decimal(18,4), rpt_boxes Decimal(18,4), rpt_cost Decimal(18,4), ); engine = MergeTree PARTITION BY toYYYYMM(stat_day) ORDER BY (stat_day, dc_id) SETTINGS index_granularity = 8192; ##

## Gdevops Global DevOps Summit 全球敏捷运维峰会 基于ClickHouse+StarRocks 构建支撑千亿级数据量的高可用查询引擎 演讲人：蔡岳毅 1. 为什么选择ClickHouse/StarRocks; 2. ClickHouse/StarRocks 的高可用架构； 3. 如何合理的应用ClickHouse的优点，StarRocks如何来补充ClickHouse的短板；

каким образом. • Использование индексов, если есть. • Параметры репликации данных. 1 Семейство MergeTree 2 Семейство Log 3 Движки для интеграции 4 Специализированные движки ## Возможности для интеграции