Hadoop 迁移到阿里云MaxCompute 技术方案................................................................. 44 7.1.2 解压工具包,并配置 MaxCompute 连接信息 ................................................................. 45 7.1.3 运行 meta-carrier 收集 PostgreSQL:兼容 PostgreSQL 协议的 JDBC/ODBC 接口,所有支持 PostgreSQL 数据库的工 具或应用使用默认驱动都可以轻松地连接到 MaxCompute 项目。支持主流 BI 及 SQL 客户端工具的 连接访问,如 Tableau、帆软 BI、Navicat、SQL Workbench/J 等。 显著提升的查询性能:提升了一定数据规模下的查询性 能,查询结果秒级可见,支持 Agent 的工作流程主要分为四个步骤: Alibaba Cloud MaxCompute 解决方案 22 6.2.1 Metadata 抓取 Meta carrier 连接用户的 Hive metastore 服务,抓取用户的 Hive metadata 并在指定目录 生成一个目录,包含搬站所需的 metadata。用户可自行修改该目录下的文件来自定义搬站工 具的一些行为。0 码力 | 59 页 | 4.33 MB | 1 年前3
Curve核心组件之mds – 网易数帆MDS 管理元数据信息 收集集群状态信息,自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 • 快照克隆服务器MDS各个组件 MDS是中心节点,负责元数据管理、集群状态收集与调度。MDS包含以下几个部分: • Topology: 管理集群的 topo 元数据信息。 • Nameserver: 管理文件的元数据信息。 故障隔离的基本单元,一般来说属于不同zone的机 器至少是部署在不同的机架,一个server必须归属于一个 zone。 • server: 用于抽象描述一台物理服务器,chunkserver必须 归属一个于server。 • Chunkserver: 用于抽象描述物理服务器上的一块物理磁盘 (SSD),chunkserver以一块磁盘作为最小的服务单元。TOPOLOGY curve在上物理pool之上又引入逻0 码力 | 23 页 | 1.74 MB | 6 月前3
共 2 条
- 1













