Canal Scribe ZeroMQ ActiveMQ Logstash RabbitMQ Jafka RabbitMQ Storm JStrom Samza Heron Spark Flink Ganglia Sqoop zeppelin Saiku Caravel CBoard Nagios 实时数据采集技术选型要求 • 完整 • 低延时 • 不影响业务系统性能 •Uber开源Kafka监控工具--Chaperone Kafka web监控管理界面 流式计算可选方案 仅流处理框架: • Storm • JStorm • Samza • Heron 混合框架: • Spark • Flink Core Storm or Storm Trident？ Storm Trident： • Batch • Exactly-once 选型考虑 ： • 性能 • 状态

从机房 主机房 Service Flume CRSync CRSync Service GSLB 就近接入 就近接入 Flume Flume Consumer Hadoop ES Spark kafka Web Web 专线/公网 容量合理规划 客户端 北京 50% 合肥 50% 广州 50% 1 1 2 冗余机器与其他系统复用，弹性伸缩 配套系统支撑 测试场景覆盖