Sync Clickhouse with MySQL/MongoDB Company: Xiaoxin Tech. Industry: Education Team: Big Data Leader: wangchao@xiaoheiban.cn About 100 billion data this year till now 30 million users We use Clickhouse Possible Solutions 2. MySQL Engine Not suitable for big tables Not suitable for MongoDB Possible Solutions 3. Reinit whole table every day…… Possible Solutions 4. CollapsingMergeTree ● Merge sharding tables ● SolidKey Typical Provider Config { Type: mysql, // mysql, mongodb, redis Listen: binlog, // binlog, kafka DataSource: user:pass@tcp(example.com:3306)/user

China 2016 中国用户大会 MongoDB 分布式架构演进 张友东（林青） 阿里云数据库技术团队 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 MongoDB 核心优势 •文档模型 灵 活 灵 2016 中国用户大会 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 广告时间 • MongoDB中文社区 mongoing.com • 阿里云 MongoDB 数据库目前已支持 3节点复制集，分 片集群即将上线。 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会

Sync Clickhouse with MySQL/MongoDB Company: Xiaoxin Tech. Industry: Education Team: Big Data Leader: wangchao@xiaoheiban.cn About 100 billion data this year till now 30 million users We use Clickhouse Possible Solutions 2. MySQL Engine Not suitable for big tables Not suitable for MongoDB Possible Solutions 3. Reinit whole table every day…… Possible Solutions 4. CollapsingMergeTree Listen ● Merge sharding tables ● SolidKey Typical Provider Config { Type: mysql, // mysql, mongodb, redis Listen: binlog, // binlog, kafka DataSource: user:pass@tcp(example.com:3306)/user, Table:

Go Language MongoDB Mgo/Beego If we had a system that could do the following, we would have something: hHp://docs.mongodb.org/manual/core/da org/manual/core/data-­‐modeling-­‐introduc*on/ WHY MONGODB - DYNAMIC FEED MANAGEMENT Data is stored in “Collec*ons” as individual documents. Rela*onships can be created by data. MongoDB’s schemaless database provides great flexibility. hHp://docs.mongodb.org/manual/core/data-­‐modeling-­‐introduc*on/ WHY MONGODB - DYNAMIC FEED MANAGEMENT

2018年PostgreSQL中国技术大会 为什么我们抛弃MongoDB和 MySQL，选择PgSQL 张启程 qc@aochuang.cn 奥创软件研究院（上海）研发中心 2018年PostgreSQL中国技术大会 任何数据库都很好用 • 我不是一个专业的DBA ，对数据库的理解不够深入，也不 一定准确，在此抛砖引玉，只是结合我们团队业务场景来 分享下我们选择数据库的过程。 • 需求经常改动，每次改需求先改数据库； • 数据量越来越大，越来越不了解这只海豚； 2018年PostgreSQL中国技术大会 MySQL+MongoDB • 迫于无奈，分拆数据，将需要用到事务、调用频繁的数据 继续用MySQL,将IM中聊天记录等数据量大的数据，用 MongoDB存储，减轻MySQL负担； • 这种方式虽然可以暂时解决问题，我们自己用也没有任何 问题，可以结合各自数据库优点，发挥性能。但是我们有 种方式，会为甲方增加很多服务器以及运维成本，可能客 户数据量很少，也需要使用双数据库，更新运维都比较麻 烦。 2018年PostgreSQL中国技术大会 PgSQL≈MySQL+MongoDB • 个人认为，PgSQL结合了MySQL关系型数据库事务处理能力 以及MongoDB的大数据处理能力。稳定性强，高并发，支 持JSON,扩展字段特别方便。 • 我们团队没有大量专业的DBA运维人员，业务迭代也非常 快，需求变更频

Go � TiDB ����� mongodb lixia@pingcap.com @���_go About me ��� PingCAP �� 15 ���� PingCAP ���� TiDB ��������� review ������� 12 ������� go ���������� 13 ������������������������ ���� lixia@pingcap.com Agenda mongodb introduction gonzo with memory engine gonzo with TiKV engine TiDB and TiKV Transaction Q & A mongodb introduction mongodb introduction Docment �� �����key-value����BSON��MongoDB �������������������� ������������ gonzo with memory engine �� mongo ����� �������������������������������� ��������� gonzo with memory engine �� gonzo with

Members 35 Chapter 4 - Connection 37 About Connection 37 General Settings 38 RDBMS 38 MongoDB 40 Redis 41 Advanced Settings 42 Databases / Attached Databases Settings 45 SSL Settings SQLite 73 Databases 73 Tables 74 Views 74 Other Objects 75 Maintain Objects 75 MongoDB 76 Databases 76 Collections 76 3 Views 77 Functions 77 Indexes 78 MapReduce Records 90 Manipulate Raw Data 90 Format Data View 91 View Field Comments 92 MongoDB 93 MongoDB Data Viewer 93 Use Navigation Bar 93 Grid View 94 Tree View 100 JSON View 102

Members 34 Chapter 4 - Connection 36 About Connection 36 General Settings 37 RDBMS 37 MongoDB 39 Redis 40 Advanced Settings 41 Databases Settings 44 SSL Settings 45 SSH Settings SQLite 72 Databases 72 Tables 72 Views 73 Other Objects 73 Maintain Objects 73 MongoDB 74 Databases 74 Collections 74 3 Views 75 Functions 75 Indexes 76 MapReduce Records 88 Manipulate Raw Data 89 Format Data View 89 View Field Comments 90 MongoDB 90 MongoDB Data Viewer 90 Use Navigation Bar 91 Grid View 92 Tree View 97 JSON View 99

Members 34 Chapter 4 - Connection 36 About Connection 36 General Settings 37 RDBMS 37 MongoDB 39 Redis 40 Advanced Settings 41 Databases / Attached Databases Settings 44 SSL Settings SQLite 72 Databases 72 Tables 73 Views 73 Other Objects 74 Maintain Objects 74 MongoDB 74 Databases 74 Collections 75 3 Views 75 Functions 75 Indexes 76 MapReduce Records 88 Manipulate Raw Data 89 Format Data View 89 View Field Comments 91 MongoDB 91 MongoDB Data Viewer 91 Use Navigation Bar 92 Grid View 93 Tree View 98 JSON View 100

Working with NoSQL Technologies Redis Connecting to Redis MongoDB Connecting to a MongoDB Database MongoTemplate Spring Data MongoDB Repositories Embedded Mongo Neo4j Connecting to a Neo4j Database Auto-configured Data JPA Tests Auto-configured JDBC Tests Auto-configured jOOQ Tests Auto-configured Data MongoDB Tests Auto-configured Data Neo4j Tests Auto-configured Data Redis Tests Auto-configured Data LDAP spring-boot-starter- data-mongodb Starter for using MongoDB document-oriented database and Spring Data MongoDB Pom spring-boot-starter- data-mongodb-reactive Starter for using MongoDB document-oriented database