Sync Clickhouse with MySQL/MongoDB Company: Xiaoxin Tech. Industry: Education Team: Big Data Leader: wangchao@xiaoheiban.cn About 100 billion data this year till now 30 million users We use Clickhouse Possible Solutions 2. MySQL Engine Not suitable for big tables Not suitable for MongoDB Possible Solutions 3. Reinit whole table every day…… Possible Solutions 4. CollapsingMergeTree Listen ● Merge sharding tables ● SolidKey Typical Provider Config { Type: mysql, // mysql, mongodb, redis Listen: binlog, // binlog, kafka DataSource: user:pass@tcp(example.com:3306)/user, Table:

HDFS) › Key-Value Storage (Redis, Aerospike) › Relational DBMS (PostgreSQL, MySQL) › NoSQL DBMS (MongoDB, Couchbase) https://github.com/donnemartin/system-design-primer 7 / 97 Highload Architecture › Aerospike) › Relational DBMS (PostgreSQL, MySQL) › Coordination system (Zookeeper, etcd) › NoSQL DBMS (MongoDB, Couchbase) › OLAP Database (ClickHouse!) https://github.com/donnemartin/system-design-primer 8 47 / 97 External Data in Other DBMS Examples: › PostgreSQL foreign data wrapper (hdfs_fdw) › MongoDB foreign connector to Hadoop stack (mongo-hadoop) › MySQL third party tool (Sqoop) › Apache Druid

мы заслуживаем Про интеграцию С чем интегрируется ClickHouse Внешние системы: › СУБД: MySQL, MongoDB, PostgeSQL, ... › Распределенные системы: Kafka, ZK, HDFS, ... С самим собой: › При распределенных запуски тестов 56 / 77 Тестирование ClickHouse, которого мы заслуживаем CI в open-source СУБД MongoDB › Разработка на GitHub › Изменения через пулл реквесты › Для CI используется Evergreen Понравилось:

数据量日益增量，每天要更新的数据量也不断增大； 3. 业务场景不断增多，涉及面越来越广； 4. 需要保证高可用并秒出； 5. 从Sql，Es， CrateDB， Kylin，Ingite，MongoDB，Hbase 不断的研究，实践； 全球敏捷运维峰会 广州站 ClickHouse 的特点 优点： 1. 数据压缩比高，存储成本相对非常低； 2. 支持常用的SQL语法，写入速度非常快，适用于大量的数据更新；