万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 once 24/7 Support LOG Connector IoT Connector … Connector Hadoop Spark Storm Beam HBase OLAP AWS/Az ure … Real-time Applications Custom apps Analytics Monitoring Open platform IM …

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 once 24/7 Support LOG Connector IoT Connector … Connector Hadoop Spark Storm Beam HBase OLAP AWS/Az ure … Real-time Applications Custom apps Analytics Monitoring Open platform IM …

对于数据存储的高性能、高稳定性、高拓展、资源成本 等等都需要同时满足（和传统CAP相悖） • 接入层需要能够根据规则的路由，以及兼容各类协议接 口以及数据模型，并能根据应用的规模来自动拓展。 • 实现HTAP(OLTP+OLAP)，将在线事务|分析混合计算模型 基础上，实现多模数据模型，使得集成成本经一步降低。 • 计算层，与存储彻底剥离开来，实际是微服务化架构， 可以自由伸缩，并自动故障转移，采用读写分离，适应 高负荷 数字化支撑，这是新时代数字化的核心平台， 唯有数据才是企业的资产。 • 大数据平台大体分成两层：数据应用和数据 工程化引擎 • 在云原生场景下，希望应用能够适应敏态化 的业务场景，数据应用也不例外，目前都在 进行服务化改造和云原生改造 • 大数据引擎早就上云了(IaaS),但是并未云原 生化。 • 但是大数据引擎平台，架构思路过时、组件 众多、体系完整等，以及组织认知和能力、 在线业务的依赖等等，大量的历史包袱导致

MySQL for TAS MySQL ● 高速 - 针对 OLTP 进行优化 ● 网络规模、生产就绪 ● 设置简单易于部署 ● 蓬勃发展的专家社区 Postgres ● 灵活适用于OLTP-OLAP混合工作负载 ● 非常适合复杂的存储过程和复杂的设计 ● 广泛的功能集 ● 以Oracle 迁移为通用目标 © Data Services Manager 数据即服务（data-as-a-service） 是一个分布式消息中间件，由Erlang语言开发， 基于AMQP标准的开源实现，它是由 VMware 支持长期的开源项 目。 • 高性能 ✓ 基于内存的消息； ✓ 极高的吞吐量； ✓ 超轻量级的消息代理引擎； • 可扩展性 ✓ 可扩展的架构； ✓ 高可用的队列； ✓ 支持第三方插件； ✓ 支持多种消息协议； • 高可用性 ✓ 分布式的消息代理服务器； ✓ 灵活的路由机制； ✓ 支持广域网上的多站点灾备模式。

ServerlB化Rs存完H用不上。 4、数a格式q定HF23e，不cF拓展到 +arquet、Avro、Orcn。 t点 A3a/21 Kudu 维护 CDC 数据p 、支持L时更新数据，时效性佳。 2、CK加速，适合OLAP分析。 方案评估 优点 、cedKudup群，a较小众。维护 O本q。 2、H HDFS / S3 / OSS 等D裂。数据c e，且KAO本不如S3 / OSS。 3、Kudud批量P描不如3ar4u1t。 2、无在k服务。l护和运nS本低。 2、D存存储，Ca速O快。 3、方便上S3 OSS，超高性价比。 方案s估 优点 1、增量和全量表割p，时效性不足。 2、r计和l护额外hChang+ S+4表。 3、计算引擎并非原g支UCDC。 4、不支U实时U13+24。 缺点 为何选择 #+ink Iceberg ? #2 Flink 原生支持 C C 数据消费 ebezium 1lHLI W生支持

ClickHouse - столбцовая система управления базами данных для онлайн обработки аналитических запросов (OLAP), с открытым кодом. Зачем ClickHouse в Kubernetes? • Все компоненты системы уже в k8s. • Максимальная

and build community over the world� 2017� 2018� Apache TLP Integrate with ELK, streaming, OLAP systems�� RocketMQ 5.0 Cloud-native, computing storage separating architecture� 典型应⽤用场景 ⾦金金融交易易

encrypt/decrypt5 RoadMap6 Q&A欢迎加入 • 系统部 • 容器，K8S，智能调度，网络，Linux内核.. • 中间件 • 微服务，容器框架，数据，通信，搜索，OLAP..

manage Data Lakehouse with pure SQL for both data processing, e.g. ETL, and online analytics processing(OLAP), e.g. BI. All workloads can be done on one platform, using one copy of data, with one SQL interface workloads. TiSpark is a thin layer built for running Apache Spark on top of TiDB/TiKV to answer complex OLAP queries. It enjoys the merits of both the Spark platform and the distributed clusters of TiKV while

manage Data Lakehouse with pure SQL for both data processing, e.g. ETL, and online analytics processing(OLAP), e.g. BI. All workloads can be done on one platform, using one copy of data, with one SQL interface workloads. TiSpark is a thin layer built for running Apache Spark on top of TiDB/TiKV to answer complex OLAP queries. It enjoys the merits of both the Spark platform and the distributed clusters of TiKV while