Hadoop 迁移到阿里云MaxCompute 技术方案
............................................................................... 44 7.1.2 解压工具包,并配置 MaxCompute 连接信息 ................................................................. 45 7.1.3 运行 meta-carrier Tunnel 不暴露文件系统,通过 Tunnel 进行批量数据上传下载。 流式接入 Datahub MaxCompute 配套的流式数据接入服务,粗略地类似 kafka,能够通过简单配置归档 topic 数据到 MaxCompute 表 用户接口 CLT/SDK 统一的命令行工具和 JAVA/PYTHON SDK 开发&诊断 Dataworks/Studio/Logview Hive metadata 4. 结果输出 Alibaba Cloud MaxCompute 解决方案 24 说明:①global.json 是一个全局的配置文件,包含了整个迁移过程中的一些配置,例如将要使用的 MaxCompute 的版本,是否打开 hive compatible 开关等。②每一个 database 会有一个独立的目录, 下面会有每一个表的 table0 码力 | 59 页 | 4.33 MB | 1 年前3Curve核心组件之mds – 网易数帆
多个pool,可以选择一个logicalPool独享一个pool。 通过结合curve的用户系统,LogicalPool可以通过配置限定特定user使用的方式,实现多个租户数据物理 隔离(待开发)。TOPOLOGY Topology的实际例子,右侧是topo配置文件: 集群有一个物理pool,由3个zone组成,每个zone有1台server。 在物理pool上,还创建了一个逻辑pool,逻辑pool使用3个zone,采用 间的通信将会非常复杂,例如复制组内Primary给Secondary定期发送心跳进行探活,在256K个复制组的情况 下,心跳的流量将会非常大;而引入CopySet的概念之后,可以以CopySet的粒度进行探活、配置变更,降低 开销。 3. 提高数据可靠性:在数据复制组过度打散的情况下,在发生多个节点同时故障的情况下,数据的可靠性会受 到影响。引入CopySet,可提高分布式存储系统中的数据持久性,降低数据丢失的概率。COPYSET 通过上述信息的定期更新,作为schedule 模块进行均衡及配置变更的依据 • 通过chunkserver定期上报copyset的copyset的epoch, 检测chunkserver的copyset与mds差异,同 步两者的copyset信息 • 支持配置变更功能,在心跳回复报文中下发mds发起的配置变更命令,并在后续心跳中获取配置 变更进度。HEARTBEAT MDS端:mds 端的心跳主要由三个部分组成:0 码力 | 23 页 | 1.74 MB | 5 月前3
共 2 条
- 1