Hadoop 迁移到阿里云MaxCompute 技术方案
.................................................................................... 18 4.2.3 分析任务兼容性分析及转换........................................................................................... ................................................................ 55 8.1 【场景 1】Hive 数据和 Oozie 工作流任务如何迁移到 MaxCompute 和 Dataworks? ........... 55 Alibaba Cloud MaxCompute 解决方案 5 8.1.1 网络环境检查 ..................................................................... 57 8.1.6 批量迁移 Oozie 工作流和节点任务 ................................................................................... 570 码力 | 59 页 | 4.33 MB | 1 年前3Curve核心组件之mds – 网易数帆
chunkserver 上报的 copyset 信息更新拓扑 中的信息。 • ConfGenerator: 将当前上报的 copyset 信息提交给调度模块, 获取该 copyset 上可能需要执行的任务。 • HealthyChecker: 检查集群中的 chunkserver 在当前时间点距 离上一次心跳的时间,根据这个时间差更新chunkserver状态。 Chunkserver端:chunkserver ChunkServerInfo/CopySetInfo: 获取当前 chunkserver 上的 copyset 信息上报给 MDS。 • Order ConfigChange: 将 MDS 下发的任务提交给对应的 对应 模块执行。HEARTBEAT Chunk server的状态更新: • Online: chunk server在线,正常服务。 • Unstable: chunk server一段时间没收到心跳(默认 有配置变更任务执行,如果有任务则下发。 任务计算: 任务计算模块包含了多个定时任务 和 触 发任务。 • 定时任务由调度模块定时触发。 • 触发任务由外部触发,管理员通过工具触发。 • TopoAdapter 用于获取Topology中调度需要使用的数据。 • Common Strategy 是通用的副本添加和移除策略。 任务管理: 任务管理模块用于管理计算模块产生的任务。 • operatorController0 码力 | 23 页 | 1.74 MB | 5 月前3
共 2 条
- 1