© 2018 Percona. 6 Why Not ? Generating Full Query Logs can be Expensive Logs can Consume a lot of Space Logs can be expensive to query © 2018 Percona. 7 Clickhouse Answers • 10x+ Agent https://github.com/honeycombio/honeytail Nice and Simple Self Contained GoLang Application Query Normalization Built-in Supported Parsers Meet HoneyTail © 2018 Percona. 13 https://github.co clicktail start • To run as a service © 2018 Percona. 15 MySQL Logs Primer General Query Log Binary Log Slow Query Log Audit Log © 2018 Percona. 16 MySQL Audit Logs to ClickHouse © 2018 Percona

配置原则 服务优化 服务优化 公共选项 公共选项 选项 缺省值 推荐值 说明 max_connections 100 1024 MySQL 服务器同时处理的数据库连接的最大 数量 query_cache_size 0 ( 不打开 ） 128M 查询缓存区的最大长度，按照当前需求，一 倍一倍增加，本选项比较重要 sort_buffer_size 512K 128M 每个线程的排序缓存大小，一般按照内存可 里使用了 MySQL MySQL 部分自带函数，索引将失效，同时将无 部分自带函数，索引将失效，同时将无 法 法 使用 使用 MySQL MySQL 的 的 Query Cache Query Cache ，比如 ，比如 LEFT(), SUBSTR(), LEFT(), SUBSTR(), TO_DAYS() TO_DAYS() DATE_FORMAT() 执行情况，是否锁表，查看相应的 执行情况，是否锁表，查看相应的 SQL SQL 语句 语句  设置 设置 my.cnf my.cnf 中的 中的 long-query-time long-query-time 和 和 log-slow-queries log-slow-queries 能 能 够 够 记录服务器那些 记录服务器那些 SQL SQL 执行速度比较慢

Await Tree 的维护 Await Tree 的设计原理与实现 • Select First Poll Await Tree 的维护 Await Tree 的设计原理与实现 • Query 返回 Pending Await Tree 的维护 Await Tree 的设计原理与实现 • Select 返回 Pending Await Tree 的维护 Await Tree 的设计原理与实现 Tree 的设计原理与实现 • Select Ready Await Tree 的维护 Await Tree 的设计原理与实现 • Query Next Poll Await Tree 的维护 Await Tree 的设计原理与实现 • Query -> Handle Ready • 另： Cancellation Await Tree 的维护 Await Tree 的设计原理与实现

New(obj); // 0x9200 -> 0x7800 Sys_Query( ); Handle.Free( ); // Collection occurs. // Copy, compacting, etc. // obj now at 0x6800. // 0x9200 -> 0x6800 Sys_Query(hnd); hnd // Collection occurs occurs. // obj now at 0x7200. // 0x9200 –> 0x???? Sys_Query(hnd); // Collection occurs. // obj now “free”. // 0x9200 -> 0x7200 Sys_Done(hnd); hnd This is only one possible sequence.Memory model – Non-Reference

模式支 持存储计算分离 高性能 基于 Rust 开发的分布式存储引 擎及图计算引擎，精细的内存 管理设计，内置索引系统，支 持毫秒级的并发查询响应速度 易用 AQL(Atlas Graph Query Language) ，类 SQL 的图查询 语言，内置上百种分析函数， 面向分析师友好，拥抱标准， 基于 openCypher 向 ISO GQL 迈进 实时大图 支持万亿节点存储及流式计算 X86/ARM - 基于 RUST 语言保证性能优势 - 分布式架构性能可线性扩展 - 针对大规模图优化的存算引擎 - 配合 Atlas 图平台，实现无代码图分析 - Query 性能分析模块，启发式提示优化 - 内置多种分析函数，面向分析师友好 -MVOCC 保证事务一致性 - 多副本管理保证数据服务高可用 - 在线备份提供容灾保障 高速 易用 可靠 Why AtlasGraph 图数据库关键特性 - 基于 RUST 语言保证性能优势 - 分布式架构性能可线性扩展 - 针对大规模图的优化的存算引擎 - 配合 Atlas 图平台，实现无代码图分析 - Query 性能分析模块，启发式提示优化 - 内置多种分析函数，面向分析师友好 -MVOCC 保证事务一致性 - 多副本管理保证数据服务高可用 - 在线备份提供容灾保障 高速 易用 可靠 Photo

App Open Data App Centralization Centralized Decentralized Performance High High, less than Web2 Query Capability Powerful Powerful, less than Web2 Open Source Code Open or Not, mostly NOT Open Data App Centralization Decentralized Decentralized Underlying Nodes Many Few Performance Low High Query Capability Low High Open Source Code Open Open Hot Data Capacity Low High Data Resiliency High

CollapsingMergeTree ● FINAL is slow ● GROUP BY id HAVING sum(sign)>0 ○ Need to use GROUP BY in every query ○ Not suitable for multi-column primary key Our Solution: PTS Key Features ● Only one config

automatically inferred on INSERT and merge • Data is stored in columnar format: columns and subcolumns • Query nested data naturally Support For Semistructured Data 28 Example: NBA games dataset CREATE TABLE

Tooling NativeScript Tooling Sebastian Witalec Developer Advocate @SebaWita Rob Lauer Sr Manager, Developer Relations @RobLauer What can we cover today? Visual Tooling for {N} NativeScript

systems as they are run, used, and tested”Who said it?Frederick Brooks Jr. • Joined IBM in 1956 • Manager for the development of the IBM System/360 family of computers and the OS/360 software package