Cassandra在饿了么的应用

语言	中文（简体）	格式	.pdf	评分	3
摘要	Cassandra在饿了么的应用主讲人：翟玉勇时间：2017.06.11 1.Cassandra的基本原理介绍 2.为什么选择Cassandra 3.饿了么Cassandra实践 4.大数据离线平台和Cassandra的整合概述 Cassandra历史 BigTable Dynamo Cassandra概述 Cassandra最初源自FaceBook，集合了Google BigTable面向列的特性和Amazon Dynamo分布式哈希(DHT)的P2P特性于一身，具有很高的性能、可扩展性、容错、部署简单等特点。 Cassandra架构关键字 1.Gossip 点对点通信协议，用于集群之间节点交换位置和状态信息 2.Partitioner 决定如何在集群中的节点间分发数据，也就是哪个节点放止数据的第一个replica 3.Replica Strategy 决定在哪些节点放置数据的其他replica 4.Snitch 定义了复制策略用来放置replicas和路由请求所使用的拓扑信息 Gossip-节点的通信 Cassandra使用点对点通信协议Gossip在集群中的节点间交换位置和状态信息。Gossip进程每秒运行一次，与最多3个其他节点交换信息，这样所有的节点可很快的了解集群中其他节点信息。 1.种子节点 2.Cassandra故障探测 3.Cassandra故障恢复 Partitioner Partitioner定义了数据如何在集群中的节点分布，哪个节点应该存放数据的第一份拷贝。基本上，Partitioner就是一个计算分区键token的哈希函数。 1.Partition Key 决定数据在Cassandra哪个节点上 2.Clustering Key 用于在各个分区内的排序 3.Primary Key 主键，决定数据行的唯一性 Partitioner 1.Key_part_one，key_part_two共同构成了primary key 2.key_part_one也就是partition key 3.key_part_two就是cluster key Cassandra如何根据partition key决定数据落在哪个节点？一致性哈希和虚拟节点一致性哈希和虚拟节点 Replica Strategy Cassandra在多个节点中存放replicas以保证可靠性和容错性。Replica Strategy决定放置replicas的节点，replicas的数目由复制因子确定，比如通常设置3表示每行数据有三份拷贝，每份数据存储在不同的节点。当前可用的两种复制策略： 1.SimpleStrategy 仅用于但数据中心 CREATE KEYSPACE dw WITH replication = {'class': 'SimpleStrategy', ‘replication_factor' : 3} 2.NetworkTopologyStrategy 用于多IDC场景，可指定每个IDC有多少replicas CREATE KEYSPACE dw WITH replication = {'class': 'NetworkTopologyStrategy', 'DC-SH' : 2, 'DC-BG' : 2} Cassandra主要的数据结构 1.Memtable 跳表 2.SSTable 3.Bloom filter SSTable Data 真正的数据 Filter bloom filter Index 索引文件，保存key和data数据位置的映射关系 Summary index采样数据 Statistics 存放data中columns和row个数信息 CompressionInfo 存放compression信息 CQL语言 1.Cql类似于SQL 2.DDL操作create table，drop table等等 3.支持DML操作INSERT、UPDATE、DELETE等等 4.查询数据通过select Client请求-写请求 Cassandra写路径 Client请求-读请求 Cassandra读路径 Cassandra一致性保障 1.Hinted Handoff 2.Read Repair 3.Anti-Entropy Node Repair 为什么选择Cassandra 1.运维成本 1)部署简单 2)只需要运维一个组件 3)监控成本低 2.开发成本 1)类似sql的cql语言，对开发友好，低成本上手 2)DataStax公司提供的强大的java client 3)可调节的数据一致性 4)异步接口 3.适用场景 1)Cassandra自带多idc策略 2)我们的业务...
来源	bos.itdks.com