Hadoop 迁移到阿里云MaxCompute 技术方案
BI 及 SQL 客户端工具的 连接访问,如 Tableau、帆软 BI、Navicat、SQL Workbench/J 等。 显著提升的查询性能:提升了一定数据规模下的查询性 能,查询结果秒级可见,支持 BI 分析、Ad-hoc、在线服 务等场景。 Alibaba Cloud MaxCompute 解决方案 14 Spark MaxCompute Spark 3:并行测试,割接 迁移完成后,建议基于增量数据与当前系统进行并行测试,待并行一段时间后,对并行测试 结果进行对比验证,符合业务预期即可将业务全部切换至 MaxCompute 平台。 对于规模较小的系统迁移,一般迁移上线周期不超过 2 周。但更多的情况下,我们建议您 根据迁移的技术评估结果、业务规模、企业管理需求等因素制定符合自身需要的迁移方案和计 划。 Alibaba Cloud MaxCompute 其中,bin 目录下是迁移工具所需的可执行文件,libs 目录下是工具所依赖的库,res 目录下是 工具所需的其他依赖,如 odpscmd 等。 3. 获取 Hive metadata 4. 结果输出 Alibaba Cloud MaxCompute 解决方案 24 说明:①global.json 是一个全局的配置文件,包含了整个迁移过程中的一些配置,例如将要使用的0 码力 | 59 页 | 4.33 MB | 1 年前3Curve核心组件之mds – 网易数帆
cs3) copyset-4: (cs6, cs9, cs12)COPYSET client MDS leader Chunk server 1、发起请求 2、查询元数据 5、返回结果 5、返回结果 user 3、查询leader节点 4、向leader cs发起请求 1. 用户发起请求(fd, offset, length) ; 2. Client 向 mds 查询请求的元数据,0 码力 | 23 页 | 1.74 MB | 5 月前3
共 2 条
- 1