Hadoop 迁移到阿里云MaxCompute 技术方案
越来越复杂的技术架构和运维成本、平台 的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈,严重阻碍了客户数据业务的发展。随着 云计算技术的发展和普及,越来越多的企业客户选择数据上云,在云上构建数据仓库。以云数 仓、云计算为核心的企业服务架构成为新一代大数据建站的主流趋势。MaxCompute 作为云数 仓、云计算的核心引擎,承载了越来越多企业客户的数据业务和数据资产,免运维、低成本、高 度安全和稳定性,让客户的资源更加聚焦在业务开发上,加速业务发展。 度安全和稳定性,让客户的资源更加聚焦在业务开发上,加速业务发展。 本文所描述的解决方案主要解决 Hadoop 客户如何快速、平滑的迁移到 MaxComute 大数 据生态,快速完成数据和业务的迁移以及生态系统的对接。 Alibaba Cloud MaxCompute 解决方案 7 2 阿里云大数据与开源生态对比 2.1 Hadoop 及开源生态与阿里云大数据生态对比 MaxCompute 产品特性 MaxCompute 提供了云原生、多租户的服务架构,在底层大规模计算、存储资源之上预先构建 好了 MaxCompute 计算服务、服务接口,提供了配套的安全管控手段和开发工具管理工具,产 品开箱即用。 功能 MaxCompute 产品组件 特性介绍 数据存储 MaxCompute 表 (基于盘古分布式存储) MaxCompute 支持大规模计算存储,适用于0 码力 | 59 页 | 4.33 MB | 1 年前3Curve核心组件之mds – 网易数帆
curve在上物理pool之上又引入逻辑pool的概念,以实现统一存储系统的需求,即在单个存储系统中多副 本PageFile支持块设备、三副本AppendFile(待开发)支持在线对象存储、AppendECFile(待开发)支持 近线对象存储可以共存。 如上所示LogicalPool与pool为多对一的关系,一个物理pool可以存放各种类型的file。当然由于curve支持 多个poo 多个pool,可以选择一个logicalPool独享一个pool。 通过结合curve的用户系统,LogicalPool可以通过配置限定特定user使用的方式,实现多个租户数据物理 隔离(待开发)。TOPOLOGY Topology的实际例子,右侧是topo配置文件: 集群有一个物理pool,由3个zone组成,每个zone有1台server。 在物理pool上,还创建了一个逻辑pool,逻辑pool使用3个zone,采用0 码力 | 23 页 | 1.74 MB | 5 月前3PlantUML 1.2021.2 Guía de Referencia del Lenguaje
"Data Access" as DA DA - [First Component] [First Component] ..> HTTP : use note left of HTTP : Web Service only note right of [First Component] A note can also be on several lines end note @enduml individuales Puedes especificar un color despues de la definición del componente. @startuml component [Web Server] #Yellow @enduml 7.12 Using Sprite in Stereotype You can use sprites within stereotype components #777777 } () "Data Access" as DA DA - [First Component] [First Component] ..> () HTTP : use HTTP - [Web Server] << Apache >> @enduml @startuml [AA] <> Guía de Referencia del Lenguaje PlantUML 0 码力 | 389 页 | 4.12 MB | 1 年前3PlantUML 1.2021.1 Guía de Referencia del Lenguaje
"Data Access" as DA DA - [First Component] [First Component] ..> HTTP : use note left of HTTP : Web Service only note right of [First Component] A note can also be on several lines end note @enduml individuales Puedes especificar un color despues de la definición del componente. @startuml component [Web Server] #Yellow @enduml 7.12 Using Sprite in Stereotype You can use sprites within stereotype components #777777 } () "Data Access" as DA DA - [First Component] [First Component] ..> () HTTP : use HTTP - [Web Server] << Apache >> @enduml @startuml [AA] <> Guía de Referencia del Lenguaje PlantUML 0 码力 | 384 页 | 4.07 MB | 1 年前3PlantUML 1.2023.11 Guía de Referencia del Lenguaje
"Data Access" as DA DA - [First Component] [First Component] ..> HTTP : use note left of HTTP : Web Service only note right of [First Component] A note can also be on several lines end note @enduml individuales Puedes especificar un color despues de la definición del componente. @startuml component [Web Server] #Yellow @enduml 7.12 Using Sprite in Stereotype You can use sprites within stereotype components ArrowFontName Impact ArrowColor #FF6655 ArrowFontColor #777777 } () "Data Access" as DA Component "Web Server" as WS << Apache >> DA - [First Component] [First Component] ..> () HTTP : use HTTP - WS @enduml0 码力 | 531 页 | 7.53 MB | 1 年前3PlantUML 1.2021.3 Guía de Referencia del Lenguaje
"Data Access" as DA DA - [First Component] [First Component] ..> HTTP : use note left of HTTP : Web Service only note right of [First Component] A note can also be on several lines end note @enduml individuales Puedes especificar un color despues de la definición del componente. @startuml component [Web Server] #Yellow @enduml 7.12 Using Sprite in Stereotype You can use sprites within stereotype components #777777 } () "Data Access" as DA DA - [First Component] [First Component] ..> () HTTP : use HTTP - [Web Server] << Apache >> @enduml @startuml [AA] <> Guía de Referencia del Lenguaje PlantUML 0 码力 | 407 页 | 4.28 MB | 1 年前3PlantUML 1.2020.23 Guía de Referencia del Lenguaje
"Data Access" as DA DA - [First Component] [First Component] ..> HTTP : use note left of HTTP : Web Service only note right of [First Component] A note can also be on several lines end note @enduml individuales Puedes especificar un color despues de la definición del componente. @startuml component [Web Server] #Yellow @enduml 6.12 Using Sprite in Stereotype You can use sprites within stereotype components #777777 } () "Data Access" as DA DA - [First Component] [First Component] ..> () HTTP : use HTTP - [Web Server] << Apache >> Guía de Referencia del Lenguaje PlantUML (1.2020.23) 111 / 304 6.13 Personalización0 码力 | 305 页 | 3.11 MB | 1 年前3PlantUML 1.2020.22 Guía de Referencia del Lenguaje
"Data Access" as DA DA - [First Component] [First Component] ..> HTTP : use note left of HTTP : Web Service only note right of [First Component] A note can also be on several lines end note @enduml individuales Puedes especificar un color despues de la definición del componente. @startuml component [Web Server] #Yellow @enduml 6.12 Using Sprite in Stereotype You can use sprites within stereotype components #777777 } () "Data Access" as DA DA - [First Component] [First Component] ..> () HTTP : use HTTP - [Web Server] << Apache >> Guía de Referencia del Lenguaje PlantUML (1.2020.22) 100 / 292 6.13 Personalización0 码力 | 293 页 | 3.02 MB | 1 年前3PlantUML 1.2019.4 Guía de Referencia del Lenguaje
"Data Access" as DA DA - [First Component] [First Component] ..> HTTP : use note left of HTTP : Web Service only note right of [First Component] A note can also be on several lines end note @enduml individuales Puedes especificar un color despues de la definición del componente. @startuml component [Web Server] #Yellow @enduml 6.10 Using Sprite in Stereotype You can use sprites within stereotype components PlantUML (1.2019.4) 81 / 165 6.11 Personalización (Skinparam) 6 DIAGRAMA DE COMPONENTES HTTP - [Web Server] << Apache >> @enduml @startuml [AA] <> [BB] < > [CC] < > 0 码力 | 166 页 | 1.82 MB | 1 年前3PlantUML 1.2019.3 Guía de Referencia del Lenguaje
"Data Access" as DA DA - [First Component] [First Component] ..> HTTP : use note left of HTTP : Web Service only note right of [First Component] A note can also be on several lines end note @enduml individuales Puedes especificar un color despues de la definición del componente. @startuml component [Web Server] #Yellow @enduml 6.10 Using Sprite in Stereotype You can use sprites within stereotype components PlantUML (1.2019.3) 81 / 157 6.11 Personalización (Skinparam) 6 DIAGRAMA DE COMPONENTES HTTP - [Web Server] << Apache >> @enduml @startuml [AA] <> [BB] < > [CC] < > 0 码力 | 158 页 | 1.72 MB | 1 年前3
共 18 条
- 1
- 2