Бэкенд Алексей Миловидов ClickHouse: настоящее и будущее Почему ClickHouse — хорошая система Я расскажу 01 Почему ClickHouse — плохая система 02 И что с этим делать 03 3 Impala Spark SQL Presto/Trino jd MariaDB CS Exasol Teradata ClickHouse — хорошая система 4 Это более оптимально ClickHouse не тормозит Доклад «секреты оптимизации производительности ClickHouse» youtube.com/watch?v=ltg8vstuHUU исходя из конкретных сценариев • Внимание к деталям и специализация под сценарии нагрузки ClickHouse — надёжная система 6 • Кросс-ДЦ master-master репликация • Надёжная запись и хранение данных

Бэкенд Алексей Миловидов ClickHouse: настоящее и будущее Почему ClickHouse — хорошая система Я расскажу 01 Почему ClickHouse — плохая система 02 И что с этим делать 03 3 Impala Spark SQL Presto/Trino jd MariaDB CS Exasol Teradata ClickHouse — хорошая система 4 Это более оптимально ClickHouse не тормозит Доклад «секреты оптимизации производительности ClickHouse» youtube.com/watch?v=ltg8vstuHUU исходя из конкретных сценариев • Внимание к деталям и специализация под сценарии нагрузки ClickHouse — надёжная система 6 • Кросс-ДЦ master-master репликация • Надёжная запись и хранение данных

Тестирование ClickHouse которого мы заслуживаем Александр Сапин Про себя › Работаю в Яндексе › Разрабатываю ClickHouse › Иногда пишу тесты 1 / 77 Тестирование ClickHouse, которого мы заслуживаем Про Про ClickHouse ClickHouse: Поколоночная СУБД › Не тормозит. › Масштабируется линейно › Позволяет хранить петабайты данных › Поддерживает гибкий SQL с расширениями › Отказоустойчив при работе в разных разных ДЦ 2 / 77 Тестирование ClickHouse, которого мы заслуживаем ClickHouse: как проект › Открытый исходный код на C++ › Больше 300 тысяч строк кода › Открытый репозиторий на GitHub › Изменения через пулл

Алексей Зателепин Что нужно знать об архитектуре ClickHouse, чтобы его эффективно использовать Алексей Зателепин › 2010—2016 › 2017—… Знакомство Есть поток событий › Действия пользователей на сайте › … Хотим сохранять эти события и делать из них какие-то выводы Задачи, для которых подходит ClickHouse › Интерактивные запросы по данным, обновляемым в реальном времени › Диалект SQL + расширения Стараемся заранее ничего не агрегировать › Нужны очищенные структурированные данные Идеология ClickHouse Считаем для счётчика топ-10 рефереров за неделю. SELECT Referer, count(*) AS count FROM hits

Integrating ClickHouse into Your IT Ecosystem Alexander Sapin, Software Engineer ClickHouse in Production ClickHouse DBMS › Blazing fast › Linearly scalable › Flexible SQL dialect › Store petabytes Fault-tolerant › 1000+ companies using in production › Open-source › Hundreds of contributors 1 / 97 ClickHouse is NOT Good for › Frequent small inserts › Regular updates › Key-value access with high request etcd) › NoSQL DBMS (MongoDB, Couchbase) › OLAP Database (ClickHouse!) https://github.com/donnemartin/system-design-primer 8 / 97 ClickHouse in Production: Yandex.Metrika › Third web analytics service

ClickHouse on Kubernetes! Alexander Zaitsev Altinity Background ● Premier provider of software and services for ClickHouse ● Incorporated in UK with distributed team in US/Canada/Europe ● US/Europe sponsor of ClickHouse community ● Offerings: ○ 24x7 support for ClickHouse deployments ○ Software (Kubernetes, cluster manager, tools & utilities) ○ POCs/Training What is Kubernetes ● allocate machine resources efficiently ● automate application deployment Why run ClickHouse on Kubernetes? Other applications are already there Easier to manage than deployment on hosts

ClickHouse on Kubernetes! Alexander Zaitsev, Altinity Limassol, May 7th 2019 Altinity Background ● Premier provider of software and services for ClickHouse ● Incorporated in UK with with distributed team in US/Canada/Europe ● US/Europe sponsor of ClickHouse community ● Offerings: ○ 24x7 support for ClickHouse deployments ○ Software (Kubernetes, cluster manager, tools & utilities) Why run ClickHouse on Kubernetes? 1. Other applications are already there 2. Portability 3. Bring up data warehouses quickly 4. Easier to manage than deployment on hosts What does ClickHouse look like

wire протокола в ClickHouse Баранов Юрий, 155 Научный руководитель: Миловидов Алексей Николаевич, руководитель группы разработки СУБД ClickHouse Предметная область ClickHouse - это колоночная аналитическая Существующие в ClickHouse интерфейсы Утилита командной строки Нативный интерфейс (TCP) HTTP JDBC Driver ODBC Driver 3 Актуальность задачи Отсутствие необходимости собирать нативный клиент ClickHouse Возможность сервер в ClickHouse Подобрать механизм аутентификации, применимый в ClickHouse Добавить тесты 5 Проблемы при внедрении в ClickHouse Некоторые клиенты использовали поля, недоступные в ClickHouse: https://bugs

Автоматизация управления ClickHouse-кластерами в Kubernetes Владислав Клименко и Валерий Панов K8s? Что это? K8s is the new Linux Это платформа с открытым кодом. позволяющая: • строить системы на развертывание ClickHouse? Что это? ClickHouse - столбцовая система управления базами данных для онлайн обработки аналитических запросов (OLAP), с открытым кодом. Зачем ClickHouse в Kubernetes? • максимальная переносимость. ClickHouse в Kubernetes – это просто? НЕ ОЧЕНЬ! Почему? Потому что ClickHouse + Kubernetes ClickHouse в Kubernetes? Что будем делать? Одна кнопка ClickHouse Оператор? Что это

© 2018 Percona. 1 Peter Zaitsev Analyzing MySQL Logs with ClickHouse CEO, Percona April 27,2018 © 2018 Percona. 2 ClickHouse is my love at the first sight © 2018 Percona. 3 Why ? Fast and Expensive Logs can Consume a lot of Space Logs can be expensive to query © 2018 Percona. 7 Clickhouse Answers • 10x+ times space reduction compared to Raw Text Log Files High Compression MySQL Wire Protocol Compatibility with ProxySQL Extra Bonus © 2018 Percona. 9 Logs to ClickHouse © 2018 Percona. 10 Several Options Logstash (ELK Stack) Kafka Do it yourself © 2018