Hadoop 迁移到阿里云MaxCompute 技术方案Hadoop 在企业构建第一代大数据平台中成为主流的技术框架,但是随着企业信息化的高 速发展,在数字化、智能化的转型过程中,Hadoop 越来越复杂的技术架构和运维成本、平台 的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈,严重阻碍了客户数据业务的发展。随着 云计算技术的发展和普及,越来越多的企业客户选择数据上云,在云上构建数据仓库。以云数 仓、云计算为核心的企业服务架构成为新一代大数据建站的主流趋势。MaxCompute 建站的主流趋势。MaxCompute 作为云数 仓、云计算的核心引擎,承载了越来越多企业客户的数据业务和数据资产,免运维、低成本、高 度安全和稳定性,让客户的资源更加聚焦在业务开发上,加速业务发展。 本文所描述的解决方案主要解决 Hadoop 客户如何快速、平滑的迁移到 MaxComute 大数 据生态,快速完成数据和业务的迁移以及生态系统的对接。 Alibaba Cloud MaxCompute 解决方案 8  实时消息采集:用于实时数据采集,可扩展、高吞吐、可靠的消息服务。如 Kafka。  流处理:对实时数据进行低延迟流式计算的服务。如 Flink、Spark Streaming、Storm 等。  机器学习:满足机器学习工作负载的服务。如当前流行的 Spark MLib/ML、Tensorflow 等。 0 码力 | 59 页 | 4.33 MB | 1 年前3
 Curve核心组件之mds – 网易数帆有配置变更任务执行,如果有任务则下发。 任务计算: 任务计算模块包含了多个定时任务 和 触 发任务。 • 定时任务由调度模块定时触发。 • 触发任务由外部触发,管理员通过工具触发。 • TopoAdapter 用于获取Topology中调度需要使用的数据。 • Common Strategy 是通用的副本添加和移除策略。 任务管理: 任务管理模块用于管理计算模块产生的任务。 • operatorController0 码力 | 23 页 | 1.74 MB | 6 月前3
 PlantUML 1.2019.1 Guía de Referencia del Lenguaje的 東 西 B --> A: 請 求 創 建 deactivate B A --> 使用 者 : 做完 deactivate A @enduml @startuml (*) --> " 膩 平台 " --> === S1 === --> 鞠 躬 向 公 眾 --> === S2 === --> 這 傢 伙 波 武 器 --> (*) skinparam backgroundColor #AAFFFF0 码力 | 147 页 | 1.85 MB | 1 年前3
 PlantUML 1.2019.4 Guía de Referencia del Lenguajedestroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.4) 149 / 165 20.1 Examples 20 UNICODE0 码力 | 166 页 | 1.82 MB | 1 年前3
 PlantUML 1.2019.3 Guía de Referencia del Lenguajedestroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.3) 142 / 157 18.1 Examples 18 UNICODE0 码力 | 158 页 | 1.72 MB | 1 年前3
 PlantUML 1.2019.2 Guía de Referencia del Lenguajedestroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.2) 142 / 157 18.1 Examples 18 UNICODE0 码力 | 158 页 | 1.72 MB | 1 年前3
 PlantUML 1.2019.6 Guía de Referencia del Lenguajedestroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.6) 155 / 171 20.1 Examples 20 UNICODE0 码力 | 172 页 | 1.91 MB | 1 年前3
 PlantUML 1.2019.9 Guía de Referencia del Lenguajedestroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.9) 155 / 171 20.1 Examples 20 UNICODE0 码力 | 172 页 | 1.93 MB | 1 年前3
 PlantUML 1.2020.23 Guía de Referencia del Lenguajedestroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2020.23) 282 / 304 21.1 Examples 21 UNICODE0 码力 | 305 页 | 3.11 MB | 1 年前3
 PlantUML 1.2020.22 Guía de Referencia del Lenguajedestroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2020.22) 270 / 292 21.1 Examples 21 UNICODE0 码力 | 293 页 | 3.02 MB | 1 年前3
共 14 条
- 1
 - 2
 













