Clickhouse玩转每天千亿数据 趣头条 王海胜 提纲 • 业务背景 • 集群现状 • 我们遇到的问题 业务背景 基于storm的实时指标的计算存在的问题 1：指标口径(SQL) -> 实时任务 2：数据的回溯 3：稳定性 业务背景 什么是我们需要的? 1：实时指标SQL化 2：数据方便回溯，数据有问题，方便恢复 3：运维需要简单 4：计算要快，在一个周期内，要完成所有的指标的计算 关于机器的配置 早期集群机器配置16核64G 一块1.7T本地SSD 问题： 1：内存限制，对于一些大的查询会出现内存不够问题 2：存储限制，随着表越来多，磁盘报警不断 3：cpu限制 64G对于一些大表(每天600亿+)的处理，很容易报错，虽然有基于磁盘解决方案，但是会影响速度 clickhouse的数据目录还不支持多个数据盘，单块盘的大小限制太大 cpu需要根据实际情况而定 解决： 1：机器的内存推荐128G+

深入浅出排序学习：写给程序员的算法系统开发实践 200 ...................................................................... 每天数百亿用户行为数据，美团点评怎么实现秒级转化分 析？ 220 .................................................................. 已经覆盖了美团点评的外卖、酒旅、出行、金融等核心业务线，几乎已经接入美团点评的所 有核心应用，并在生产环境中大规模地得到使用。 2016 年初至今，CAT 接入的应用增加了400%，机器数增加了 900%，每天处理的消息总量高达 3200 亿，存储消息量近 400TB，高峰期集群 QPS 达 650万/秒。 面对流量的成倍增长，CAT 在通信、计算、存储方面都遇到了前所未有的挑战。整个系统架构也经历了 直连MySQL去Select数据的方式。 3. 对每张ODS表，每天基于存量数据和当天增量产生的Binlog做Merge，从而还原出业务数据。 我们回过头来看看，背景中介绍的批量取数并Load方案遇到的各种问题，为什么用这种方案能解决上面 的问题呢？ 首先，Binlog是流式产生的，通过对Binlog的实时采集，把部分数据处理需求由每天一次的批处理分摊到实时流上。 无论从性能上还是对MySQL的访问压力上，都会有明显地改善。

拥有⼀一百万⽤用户的⽹网站每天需要使⽤用 10 MB 内存去储存在线⽤用户统计信息 • 拥有⼀一千万⽤用户的⽹网站每天需要使⽤用 100 MB 内存去储存在线⽤用户统计信息 问题 集合的体积将随着元素的增加⽽而增加，集合包含的元素越多，每个元素的体积越⼤大，集合的体积也 就越⼤大。 假设平均每个⽤用户的名字⻓长度为 10 字节，那么： • 拥有⼀一百万⽤用户的⽹网站每天需要使⽤用 10 MB MB 内存去储存在线⽤用户统计信息 • 拥有⼀一千万⽤用户的⽹网站每天需要使⽤用 100 MB 内存去储存在线⽤用户统计信息 如果我们把这些信息储存⼀一年年，那么： • 拥有⼀一百万⽤用户的⽹网站每年年需要为此使⽤用 3.65 GB 内存 • 拥有⼀一千万⽤用户的⽹网站每年年需要为此使⽤用 36.5 GB 内存 问题 集合的体积将随着元素的增加⽽而增加，集合包含的元素越多，每个元素的体积越⼤大，集合的体积也 个元素的体积越⼤大，集合的体积也 就越⼤大。 假设平均每个⽤用户的名字⻓长度为 10 字节，那么： • 拥有⼀一百万⽤用户的⽹网站每天需要使⽤用 10 MB 内存去储存在线⽤用户统计信息 • 拥有⼀一千万⽤用户的⽹网站每天需要使⽤用 100 MB 内存去储存在线⽤用户统计信息 如果我们把这些信息储存⼀一年年，那么： • 拥有⼀一百万⽤用户的⽹网站每年年需要为此使⽤用 3.65 GB

自动关注作出贡献的项目，您将在翻译字符串时自动开始关注项 目。默认值取决于 DEFAULT_AUTO_WATCH。 备注 您不会收到有关您自己操作的通知。 提示 发送通知的数量是有限制的，你每天收到的电子邮件不会超过 1000 封。第 1001 封及之后发给你的邮件通知都将被抛弃。 账户 账户 选项卡可让您设置基本账户详细信息、连接可用于登录 Weblate 的各种 服务、完全删除您的账户或下载您的用户数据（请参阅 或术语。 建议 备注 实际权限可能因 Weblate 配置而异。 匿名用户只能（默认情况下）发送建议。如果翻译出现不确定性，登录用户仍 然可以这样做，从而促使其他翻译人员对其进行审阅。 每天都会扫描这些建议，以删除与当前翻译匹配的重复项和建议。 评论 可以发布三种类型的评论：用于译文、源字符串或在使用 启用原文审校 启用 此功能时报告源字符串错误。选择一个适合您要讨论的主题。源字符串注释无 django-rest-framework.org/] 。你可以直接使用或参考 Weblate 客户端。 身份验证和通用参数 公共项目的 API 无需身份验证即可使用，但未经身份验证的请求会受到严格的 限制（默认为每天 100 个请求），所以建议使用身份验证。身份验证使用令 牌，你可以在你的个人资料中获取该令牌。在 Authorization 标头中使用 它： ANY / API 的通用请求行为、标头、状态码和此处的参数也适用于所有端点。

自动关注作出贡献的项目，您将在翻译字符串时自动开始关注项 目。默认值取决于 DEFAULT_AUTO_WATCH。 备注 您不会收到有关您自己操作的通知。 提示 发送通知的数量是有限制的，你每天收到的电子邮件不会超过 1000 封。第 1001 封及之后发给你的邮件通知都将被丢弃。 账户 账户 选项卡可让您设置基本账户详细信息、连接可用于登录 Weblate 的各种 服务、完全删除您的账户或下载您的用户数据（请参阅 或术语。 建议 备注 实际权限可能因 Weblate 配置而异。 匿名用户只能（默认情况下）发送建议。如果翻译出现不确定性，登录用户仍 然可以这样做，从而促使其他翻译人员对其进行审阅。 每天都会扫描这些建议，以删除与当前翻译匹配的重复项和建议。 评论 可以发布三种类型的评论：用于译文、源字符串或在使用 启用原文审校 启用 此功能时报告源字符串错误。选择一个适合您要讨论的主题。源字符串注释无 django-rest-framework.org/] 。你可以直接使用或参考 Weblate 客户端。 身份验证和通用参数 公共项目的 API 无需身份验证即可使用，但未经身份验证的请求会受到严格的 限制（默认为每天 100 个请求），所以建议使用身份验证。身份验证使用令 牌，你可以在你的个人资料中获取该令牌。在 Authorization 标头中使用 它： ANY / API 的通用请求行为、标头、状态码和此处的参数也适用于所有端点。

自动关注作出贡献的项目，您将在翻译字符串时自动开始关注项 目。默认值取决于 DEFAULT_AUTO_WATCH。 备注 您不会收到有关您自己操作的通知。 提示 发送通知的数量是有限制的，你每天收到的电子邮件不会超过 1000 封。第 1001 封及之后发给你的邮件通知都将被丢弃。 账户 账户 选项卡可让您设置基本账户详细信息、连接可用于登录 Weblate 的各种 服务、完全删除您的账户或下载您的用户数据（请参阅 或术语。 建议 备注 实际权限可能因 Weblate 配置而异。 匿名用户只能（默认情况下）发送建议。如果翻译出现不确定性，登录用户仍 然可以这样做，从而促使其他翻译人员对其进行审阅。 每天都会扫描这些建议，以删除与当前翻译匹配的重复项和建议。 评论 可以发布三种类型的评论：用于译文、源字符串或在使用 启用原文审校 启用 此功能时报告源字符串错误。选择一个适合您要讨论的主题。源字符串注释无 django-rest-framework.org/] 。你可以直接使用或参考 Weblate 客户端。 身份验证和通用参数 公共项目的 API 无需身份验证即可使用，但未经身份验证的请求会受到严格的 限制（默认为每天 100 个请求），所以建议使用身份验证。身份验证使用令 牌，你可以在你的个人资料中获取该令牌。在 Authorization 标头中使用 它： ANY / API 的通用请求行为、标头、状态码和此处的参数也适用于所有端点。

自动关注作出贡献的项目，您将在翻译字符串时自动开始关注项 目。默认值取决于 DEFAULT_AUTO_WATCH。 备注 您不会收到有关您自己操作的通知。 提示 发送通知的数量是有限制的，你每天收到的电子邮件不会超过 1000 封。第 1001 封及之后发给你的邮件通知都将被丢弃。 账户 账户 选项卡可让您设置基本账户详细信息、连接可用于登录 Weblate 的各种服 务、完全删除您的账户或下载您的用户数据（请参阅 或术语。 建议 备注 实际权限可能因 Weblate 配置而异。 匿名用户只能（默认情况下）发送建议。如果翻译出现不确定性，登录用户仍 然可以这样做，从而促使其他翻译人员对其进行审阅。 每天都会扫描这些建议，以删除与当前翻译匹配的重复项和建议。 评论 可以发布三种类型的评论：用于译文、源字符串或在使用 启用原文审校 启用 此功能时报告源字符串错误。选择一个适合您要讨论的主题。源字符串注释无 django-rest- framework.org/] 。你可以直接使用或参考 Weblate 客户端。 身份验证和通用参数 公共项目的 API 无需身份验证即可使用，但未经身份验证的请求会受到严格的 限制（默认为每天 100 个请求），所以建议使用身份验证。身份验证使用令 牌，你可以在你的个人资料中获取该令牌。在 Authorization 标头中使用它： ANY / API 的通用请求行为、标头、状态码和此处的参数也适用于所有端点。

如果启用了 自动关注作出贡献的项目，您将在翻译字符串时自动开始关注项目。默认值取决 于DEFAULT_AUTO_WATCH。 备注: 您不会收到有关您自己操作的通知。 提示: 发送通知的数量是有限制的，你每天收到的电子邮件不会超过 1000 封。第 1001 封及之后发给你 的邮件通知都将被丢弃。 6 Chapter 1. 用户文档 The Weblate Manual, 发行版本 4.18 1.2 1.3.3 建议 备注: 实际权限可能因 Weblate 配置而异。 匿名用户只能（默认情况下）发送建议。如果翻译出现不确定性，登录用户仍然可以这样做，从而促使 其他翻译人员对其进行审阅。 每天都会扫描这些建议，以删除与当前翻译匹配的重复项和建议。 12 Chapter 1. 用户文档 The Weblate Manual, 发行版本 4.18 1.3.4 评论 可以发布三种类型的 Django REST 框架 。你可以直接使用或参考Weblate 客户端。 1.12.1 身份验证和通用参数 公共项目的 API 无需身份验证即可使用，但未经身份验证的请求会受到严格的限制（默认为每天 100 个请求），所以建议使用身份验证。身份验证使用令牌，你可以在你的个人资料中获取该令牌。在 Authorization 标头中使用它： ANY / API 的通用请求行为、标头、状态码和此处的参数也适用于所有端点。

自动关注作出贡献的项目，您将在翻译字符串时自动开始关注项 目。默认值取决于 DEFAULT_AUTO_WATCH。 备注 您不会收到有关您自己操作的通知。 提示 发送通知的数量是有限制的，你每天收到的电子邮件不会超过 1000 封。第 1001 封及之后发给你的邮件通知都将被抛弃。 账户 账户 选项卡可让您设置基本账户详细信息、连接可用于登录 Weblate 的各种 服务、完全删除您的账户或下载您的用户数据（请参阅 或术语。 建议 备注 实际权限可能因 Weblate 配置而异。 匿名用户只能（默认情况下）发送建议。如果翻译出现不确定性，登录用户仍 然可以这样做，从而促使其他翻译人员对其进行审阅。 每天都会扫描这些建议，以删除与当前翻译匹配的重复项和建议。 评论 可以发布三种类型的评论：用于译文、源字符串或在使用 启用原文审校 启用 此功能时报告源字符串错误。选择一个适合您要讨论的主题。源字符串注释无 django-rest-framework.org/] 。你可以直接使用或参考 Weblate 客户端。 身份验证和通用参数 公共项目的 API 无需身份验证即可使用，但未经身份验证的请求会受到严格的 限制（默认为每天 100 个请求），所以建议使用身份验证。身份验证使用令 牌，你可以在你的个人资料中获取该令牌。在 Authorization 标头中使用 它： ANY / API 的通用请求行为、标头、状态码和此处的参数也适用于所有端点。

自动关注作出贡献的项目，您将在翻译字符串时自动开始关注项 目。默认值取决于 DEFAULT_AUTO_WATCH。 备注 您不会收到有关您自己操作的通知。 提示 发送通知的数量是有限制的，你每天收到的电子邮件不会超过 1000 封。第 1001 封及之后发给你的邮件通知都将被丢弃。 账户 账户 选项卡可让您设置基本账户详细信息、连接可用于登录 Weblate 的各种 服务、完全删除您的账户或下载您的用户数据（请参阅 或术语。 建议 备注 实际权限可能因 Weblate 配置而异。 匿名用户只能（默认情况下）发送建议。如果翻译出现不确定性，登录用户仍 然可以这样做，从而促使其他翻译人员对其进行审阅。 每天都会扫描这些建议，以删除与当前翻译匹配的重复项和建议。 评论 可以发布三种类型的评论：用于译文、源字符串或在使用 启用原文审校 启用 此功能时报告源字符串错误。选择一个适合您要讨论的主题。源字符串注释无 django-rest-framework.org/] 。你可以直接使用或参考 Weblate 客户端。 身份验证和通用参数 公共项目的 API 无需身份验证即可使用，但未经身份验证的请求会受到严格的 限制（默认为每天 100 个请求），所以建议使用身份验证。身份验证使用令 牌，你可以在你的个人资料中获取该令牌。在 Authorization 标头中使用 它： ANY / API 的通用请求行为、标头、状态码和此处的参数也适用于所有端点。