�! Hbase! ES�H2! mysql,hdfs! 34 Pinpoint��������� • Collector, �����agent��� ������Hbase� • Agent, ����������� ���JVM���Java����� �������JVM����� ���������Collector • Web UI, �hbase������� FBJCe AgeDI 接s层 A22 数据源 AafAa 集 群 实时计算层 4FarA集 群 OpenTSDB Elas-c Search HBase 数据存r层 数据服务层 (aIa 4ervice 数据消费层 y实时监控 (aHhbEard 实时监控 其它应用 FBJCe 5E)4 FBJCe 5EHB Config Center! Service! Registry! ���� ���� ���� ���� ���� Local Proxy! Remote Proxy Cluster! �� ���� ���� ���� • ���Sidecar • ������������� ����� • ������������ �������������

关系型数据库 ● NoSQL ● 中间件 ● NewSQL 1970s 2010 2015 Present MySQL PostgreSQL Oracle DB2 ... Redis HBase Cassandra MongoDB ... Google Spanner Google F1 TiDB RDBMS NoSQL NewSQL NewSQL 是什么 ● 水平扩展 ● 事务 gRPC gRPC gRPC 数据分片 ● Hash Based Partition ○ Redis ○ 不利于范围 Scan ● Range Based Partition ○ Hbase ○ Range 需要足够大且足够小 Storage stack 1/2 ● TiKV is the underlying storage layer ● Physically, data tidb-operator (Inspired by etcd-operator) TiDB with Kubernetes 2/3 kubectl tidb-operator PD TiKV Cluster Delete a tikv node Delete a tikv node Data Movement TiDB with Kubernetes 3/3 ● Create ● Rolling

FDLEe AgeFK 接y层 A22 数据源 CafCa 集 群 实时计算层 4HaIC 集 群 OpenTSDB� Elas-c Search� HBase� 数据存储层 数据服务层 (aKa 4eIMAce 数据消费层 准实时监控 (ashboaId 实时监控 其它应用 FDLEe 5o)4 FDLEe 5oHB Config Center Service Registry ����� ����� ����� ����� ����� Local Proxy Remote Proxy Cluster ��� ����� ����� ����� • ���Sidecar • ������������ ������� • ������������ ������������ Center������ ������� 4eIMAce /esh架构P多语言客户端接y Java App OSP Server Local Proxy Remote Proxy Cluster Local Proxy PHP App C/C++ Node js APP Thrift over tcp JSON over HTTP JSON over

● Middleware & Proxy ● NewSQL 1970s 2010 2015 Present MySQL PostgreSQL Oracle DB2 ... Redis HBase Cassandra MongoDB ... Google Spanner Google F1 TiDB RDBMS NoSQL NewSQL Architecture TiKV TiKV TiKV Cluster PD Node/Region Info Management Command TiKV Client Route Info ● Meta data management ● Load balance management TiKV - Multi-Raft Multiple raft groups in the cluster, one group

区块链实现 作者：yibi-dev 海量存证数据+区块链实现 区块链存证目前存在的挑战 优化实现方案 亦笔科技的存证数据存储实现 为什么使用Phoenix+Hbase Hbase数据模型 Hbase分片基础的Region Hbase在业务实现上存在的不足 Phoenix架构 Phoenix性能对比 Cassandra如何快速、可靠的存储小文件 Cassandra数据的写入 Cassandra数据的读取 的可插拔实现。 亦笔科技的存证数据存储实现 Hbase对于海量文档数据存储有较好的支持，目前hadoop技术体系也相对 成熟稳定。使用Phoenix+Hbase支持海量数据的存储、随机查询。 Cassandra也是一种点对点的分布式nosql数据库，对于小文档数据存储有 良好的表现。支持海量文件数据的读写，节点数据自动同步。 为什么使用Phoenix + Hbase 在存证场景中，许多合作对象所需要存证的数据很难保持高度一致。NoSQL数 据库更适用于高扩展性的数据存储需求。海量存储、高并发同时也是很适合存 证的业务诉求。而稀疏的特性也大大节约了存储空间。 Hbase数据模型 HBase 以表的形式存储数据。表由行和列组成。列划分为若干个列族（row family），如下图所示。 Rowkey的概念和mysql中的主键是完全一样的，Hbase使用Rowkey来唯一的区 分某一行的数据。每个Region负责一小部分Rowkey范围的数据的读写和维

0 Architecture Messenger 2.0 The New Facebook Messages Emails Chats SMS Messages 技术微调 ▪ HBase - Small messages - Message metadata (thread/message indices) - Search index ▪ Haystack (our photo Attachments - Large messages Messenger 3.0 Mobile first - Mobile traffic > Web - VS whatspp, webchat - Hbase Perf issue - Client send pref & reliablity Sync protocol “Queue in memory” - MQTT + HTTPs (SPDY)

如何实现？如何优化？ WHY 为什什么需要流数据存储？ 单体应⽤用 烟筒式 SOA 微服务 那些年年的服务 MySQL ES HDFS KV HBase Hive 这些年年的数据 Services Data MySQL ES HDFS KV HBase Hive 统⼀一的流数据存储平台 我们的愿景 Services Streaming Storage Data 有序 Append

业务保障管理理后台 应⽤用JVM进程 故障动态注⼊入 Attach 故障注⼊入 指标聚合查询 熔断降级计算（Flink） ⽇日志中⼼心 KAFKA 数据采集、计算、存储 指标（HBase） 指标明细（ES） 降级⽇日志（ES） ETL 指标计算（Flink） 脚本引擎 查 询 服 务 ⽇日志数据 指标（Redis） 业务异常数据快照（ES） 熔断降级通知 降级服务管理理 规则表达式 熔断 降级 条件 计算 降级消息 数据 存储 实时告警 规则配置 开发 ⽇日志解析规则 控制中⼼心 ETCD 降级服务 降级处理理 流处理理集群（Flink） HBase ES Redis 落地存储 数据服务 数据平台 实时告警 告警策略略 指标查询 指标脚本开发 指标配置 产品化 开发 复合指标计算如何处理理 ServiceA ServiceB

类型对日志进行分类和聚合，解析为链路日志、节点日志和业务日志。 日志存储：完成日志解析后，日志会按照树状的存储模型进行落地存储，结合存储的 需求分析以及各个存储选项的特点，点评内容平台最终选择 HBase 作为存储选型。 后端 < 639 需求分析 选型优点 OLTP 业务：逻辑链路的实时读写 数据量很大：海量的记录数，且未来会持 续增长 写密集、读较少：日志上报峰值 QPS 较高 业务场景简单：简单读写即可满足需求 存储特性：支持横向扩展、快速扩充字段 查询特性：支持精确和前缀匹配查询，且支持快速随机 的访问 经济成本：存储介质成本低廉 整体而言，log_agent + Kafka + Flink + HBase 的日志上报和存储架构能够很好地 支持复杂的业务系统，天然支持分布式场景下众多应用的日志上报，同时适用于高流 量的数据写入。 (2) 实现众多后端服务的低成本改造 点评内容平台实现了“自定义日志工具包”（即下图 TensorFlow[3] CPU 场景，GPU 架构取得了 2 ～ 4 倍的性价比收益（不同业务模型收益不同）。我们基 于美团外卖某推荐模型，使用单台 GPU 节点（A100 单机八卡）和同成本的 CPU Cluster，分别对比了原生 TensorFlow 1.15 和我们优化后的 TensorFlow 1.15 的 训练性能，具体数据如下： 874 > 2022年美团技术年货 图 12 CPU/GPU

Elasticsearch using REST clients Elasticsearch ships two different REST clients that you can use to query a cluster: the "Low Level" client and the "High Level" client. If you have the org.elasticsearch.client: collecting the dependencies in a convenient way. Connecting to Couchbase You can get a Bucket and Cluster by adding the Couchbase SDK and some configuration. The spring.couchbase.* properties can be used final Cluster cluster; public CouchbaseCacheConfiguration(Cluster cluster) { this.cluster = cluster; } @Bean public Bucket anotherBucket() { return this.cluster.openBucket("another"