Hadoop 迁移到阿里云MaxCompute 技术方案# Hadoop 迁移到阿里云 MaxCompute # 技术方案 (V2.8.5) 编写人：MaxCompute 产品团队 日期：2019.05 ## 目录 1 概要 ..... 6 2 阿里云大数据与开源生态对比 ..... 7 2.1 Hadoop 及开源生态与阿里云大数据生态对比 ..... 7 2.1.1 主流大数据体系架构 ..... 7 2.1.2 开源大数据组件架构 9 2.1.4 阿里云大数据与 Hadoop 生态的产品映射 ..... 9 2.2 MaxCompute 特性介绍 ..... 10 2.2.1 MaxCompute 的逻辑架构 ..... 11 2.2.2 MaxCompute 产品特性 ..... 11 3 MaxCompute 迁移场景分析 ..... 15 3.1 迁移基于 Hadoop 的数据湖/数据仓库业务负载 的数据湖/数据仓库业务负载 ..... 15 3.2 不同的网络环境及部署形态迁移 ..... 17 4 Hadoop 到 MaxCompute 迁移工具介绍 ..... 17 4.1 MMA (MaxCompute Migration Assist) ..... 17 4.1.1 工具覆盖的场景： ..... 17 4.2 MMA 功能介绍 ..... 18 4.2.1 迁移评估分析 .....0 码力 | 59 页 | 4.33 MB | 2 年前3- 阿里云上深度学习建模实践-程孟力A/B流量划分 BE召回/Hologres x2i hot vec 排序 在线流程 粗排 精排 重排 PAI-EAS — 模型推理 model1 model2 推荐日志 MaxCompute Flink Datahub 样本构造  计算引擎(MaxCompute / EMR / Flink) Infrastructure 阿里云容器服务(ACK) 基础硬件（CPU/GPU/FPGA/NPU） ## PAI平台（Platform of Artificial0 码力 | 40 页 | 8.51 MB | 2 年前3
- Kubernetes日志平台建设最佳实践-元乙|仪表盘||Kubernetes Resource Operation Overview||||||||||删除| |LogShipper - 投递导出||Ingress异常检测中心||||||||||删除| |MaxCompute(原ODPS)||||||||||||删除| |OSS||||||||||||| ## 智能分析(1/2) ## 时序函数 资源使用预测 · 制定预算，提前采购机器 ## 数据 · Data Analytics  MaxCompute Tensorflow caffe PAI Batch Processing ![Image](/uploads/documents/b/7/9/c/b79c5459a827b560 码力 | 30 页 | 53.00 MB | 2 年前3
- 阿里云 AnalyticDB for PostgreSQL
- 打造更简单易用的Cloud SQL Data Warehouse数据集成按天/小时 批量同步交易库数据ADBPG MySQL/PG/SQLServer/Oracle ->DataX/OSS ->ADBPG ## 3 ：大数据计算场景 同步MaxCompute/Hadoop数据，ADBPG做在线分析 大数据平台->DataX/OSS/Blink/->ADBPG ## 4 ：数据湖分析场景 数据按冷热分析，支持在线查询DSS分布式云存储上的格式化数据0 码力 | 22 页 | 2.98 MB | 2 年前3
- 202306 ⼈⼈可⽤的开源数据可视化分析⼯具/Elasticsearch/ClickHouse/MongoDB/AWS RedShift/MariaDB/Doris/Hive/DB2数据库/Impala/StarRocks/TiDB/MaxCompute/Presto/Kylin/达梦/API数据源等;支持数据源的高级设置,例如最大连接数、最小连接数、连接超时时间等;支持数据源有效性校验,支持定时检测数据源的连接状态;支持用户自行上传数据库0 码力 | 27 页 | 3.61 MB | 2 年前3
- DataEase 人人可⽤的开源数据可视化分析⼯具 2022 年 12 ⽉Server/PostgreSQL/Elasticsearch/ClickHouse/MongoDB/AWS RedShift/MariaDB/Doris/Hive/DB2数据库/Impala/StarRocks/TiDB/MaxCompute/Presto/Kvlin/达梦/API数据源等;
支持数据源的新建、编辑、删除等;支持数据源的高级设置,如最大连接数、最小连接数、连接超时时间等;支持数据 0 码力 | 27 页 | 3.58 MB | 1 年前3 DataEase 人人可⽤的开源数据可视化分析⼯具 2022 年 06 ⽉Server/PostgreSQL/Elasticsearch/ClickHouse/MongoDB/AWS RedShift/MariaDB/Doris/Hive/DB2数据库/Impala/StarRocks/TiDB/MaxCompute/Presto/API数据源等;支持数据源的新建、编辑、删除等;支持数据源的高级设置,如最大连接数、最小连接数、连接超时时间等;支持数据源有效性校验;支持 0 码力 | 27 页 | 10.32 MB | 1 年前3 DataEase 人人可⽤的开源数据可视化分析⼯具 2023 年 04 ⽉Server/PostgreSQL/Elasticsearch/ClickHouse/MongoDB/AWS RedShift/MariaDB/Doris/Hive/DB2数据库/Impala/StarRocks/TiDB/MaxCompute/Presto/Kvlin/达梦/API数据源等;支持数据源的新建、编辑、删除等;支持数据源的高级设置,如最大连接数、最小连接数、连接超时时间等;支持数据 0 码力 | 27 页 | 3.60 MB | 1 年前3 24-云原生中间件之道-高磊境下落地艰难。那么如何实现大数据云原生化呢？立足满足现在和未来的企业需求进行渐进式改造推进是比较合理的方式。（阿里巴巴甚至根据新时代的诉求，把原先的大数据平台JStorm都给舍弃掉，全面奔向MaxCompute云原生体系） ## 高级能力-云原生大数据|AI-业务赋能的基石-2-架构改造上的问题和困难 弹性扩缩容能力无法满足快速增长的业务需求：随着业务的发展，流量和数据量突增，尤其对于实时计算，0 码力 | 22 页 | 4.39 MB | 1 年前3共 9 条- 1