��! ���! ��! ��! ��! JVM��! ���! ���! ��! ��! ����! ES�mysql,Cassandra,� �! Hbase! ES�H2! mysql,hdfs! 34 Pinpoint��������� • Collector, �����agent��� ������Hbase� • Agent, ����������� ���JVM���Java����� Cache! …! ��! HttpThread �����! ��Call��! ��SQL��! ��Cache� �! …! ��! ThreadContext hdfs! mysql! ����� Receiver! Receiver! Receiver! Queues Analyzer! Analyzer Analyzer � � ����������������������������� • ��������������������������������� • ��������������������hdfs�����������hdfs ����������� • ��������������� ����������� • ��������������� ��������������� ����

如何实现？如何优化？ WHY 为什什么需要流数据存储？ 单体应⽤用 烟筒式 SOA 微服务 那些年年的服务 MySQL ES HDFS KV HBase Hive 这些年年的数据 Services Data MySQL ES HDFS KV HBase Hive 统⼀一的流数据存储平台 我们的愿景 Services Streaming Storage Data

件Mafka和开源消息中间件Kafka，以消息的形式上报上来，方便我们后续的处理，MQ的方式能够让系统更好的解 耦，并且具备更高的吞吐量，还可以指定消费的起始时间点，做到消息的回溯。 2. 历史数据的来源主要是我们的Hive和HDFS，可以方便的做到大数据量的存储和并行计算。 离线计算简介 离线计算简介 在离线处理这块，主要包含了MR模块和Spark模块，我们的一些ETL操作，就是基于MR模块的，一些用 户行为数据的深度 fka2Hive任务成功完成数据传输后，由Camus负责在相应的HDFS 目录下记录该任务的启动时间。Checkdone会扫描前一天的所有时间戳，如果最大的时间戳已经超过了0 点，就说明前一天的Kafka2Hive任务都成功完成了，这样Checkdone就完成了检测。 此外，由于Camus本身只是完成了读Kafka然后写HDFS文件的过程，还必须完成对Hive分区的加载才能 使下游查询到。 binlog库下的一张表中，即 前面图中的original_binlog.*db*，其中存储的是对应到一个MySQL DB的全部Binlog。 上图说明了一个Kafka2Hive完成后，文件在HDFS上的目录结构。假如一个MySQL DB叫做user，对应的 Binlog存储在original_binlog.user表中。ready目录中，按天存储了当天所有成功执行的Kafka2Hive任务

DAG and fault tolerance • Support data exchange • Support different kinds of object stores, like HDFS, S3, Azure, etc • Support data cache and cache aware task scheduling Overview Cluster Setup The

服务应该是无状态的； ž api服务出现瓶颈的时候，直接scale out； ž graceful restart依赖健康检测； ž api质量监控，使用日志来追踪，通过本 地日志+flume+hdfs+hive； ž 实时监控可以考虑flume sink到kafka，再 依赖Spark计算； RPC ž 协议&远程调用的选型； — net/rpc，thrift，grpc等；

Topology Monitor Server Message Notification 实时计算质量保证 实时计算结果正确性如何验证？ 方案一：结果导向 Source Flume HDFS Kafka Storm Mr / Impala Result Result 备 份 比 对 方案二：经验值 w1 w2 current w1 w2 w3 … … w1 w2

分布式存储系统设计的特殊性 • 最基础服务的提供者 - 不可能做成无状态的 • 最底层的仲裁者 - 不能依赖ZooKeeper等系统选主 - 分布式的双主问题只从存储系统解决 这些设计给BFS带来哪些优势? HDFS BFS 名字节点 扩展方式 联邦式 分裂的目录树 分布式 统一的目录树 宕机恢复时间 分钟级 秒级 外部依赖 ZooKeeper & QJM 无 开发语言 Java C++

pulsar-io-flume 3.1.2 org.apache.pulsar pulsar-io-hbase 3.1.2 org.apache.pulsar pulsar-io-hdfs2 3.1.2 org.apache.pulsar pulsar-io-hdfs3 3.1.2 org.apache.pulsar pulsar-io-http 3.1.2 org.apache.pulsar pulsar-io-influxdb

pulsar-io-flume 3.1.3 org.apache.pulsar pulsar-io-hbase 3.1.3 org.apache.pulsar pulsar-io-hdfs2 3.1.3 org.apache.pulsar pulsar-io-hdfs3 3.1.3 org.apache.pulsar pulsar-io-http 3.1.3 org.apache.pulsar pulsar-io-influxdb

pulsar-io-flume 3.1.3 org.apache.pulsar pulsar-io-hbase 3.1.3 org.apache.pulsar pulsar-io-hdfs2 3.1.3 org.apache.pulsar pulsar-io-hdfs3 3.1.3 org.apache.pulsar pulsar-io-http 3.1.3 org.apache.pulsar pulsar-io-influxdb