.................................................................... 22 6.2.2 MaxCompute DDL 与 Hive UDTF 生成 .......................................................................... 22 6.2.3 MaxCompute ..................................................................................... 22 6.2.4 Hive 数据迁移 ............................................................................................ .............................................. 42 Alibaba Cloud MaxCompute 解决方案 4 6.5.1 Hive SQL -> MaxCompute SQL 自动转换 ..................................................................... 42

(HDFS)，但是提供多種玩法 (YARN)！ 希望把 Hadoop 從 Batch 應用變成 Data Operating System： 透過 MapReduce 進行 Batch Processing 透過 Hive 與 Tez 進行 Interactive SQL Query ... 15 / 74 MapReduce 改造前 Hadoop 原來的架構，MapReduce 是一切應用的基礎 所有 Job YARN 上頭另外發展 Tez、Storm、Giraph、Spark、 OpenMPI、... 18 / 74 MapReduce 改造 Phase 3 把原先跑在 MapReduce 上的應用 (Hive、Pig)，搬到更適合的 Computing Framework (比方說 Tez) 19 / 74 HDFS 也變強了： High Availability 可以有多個 Namespace (2010-05 成為 Top-Level Project) Pig：High Level Language for Data Analysis (2010-09 成為 Top-Level Project) Hive：Data Warehousing and SQL-Like Query (2010-09 成為 Top-Level Project) Sqoop：Data Migration Tool Between

/root/ #hive scp -r root@master_ip:/home/hadoop/hive /root/ #修改hive-site.xml jar包相对路径 sed -i 's/home\/hadoop/root/g' /root/hive/conf/hive-site.xml sed -i 's/home\/hadoop/root/g' /root/hive/conf/hive-env OOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop # Hive export HIVE_HOME=/root/hive export HIVE_CONF_DIR=$HIVE_HOME/conf # HBase export HBASE_HOME=/root/hbase export HBASE_CONF_ export PIG_CLASSPATH=$HADOOP_HOME/conf export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SPARK_HOME/bin:$PIG_HOME/bin:$PATH export LD_LIBRARY_PATH=$HADOOP_HOME

Hadoop 概述 本章内容提要 ● Hadoop 的组件 ● HDFS、MapReduce、YARN、ZooKeeper 和 Hive 的角色 ● Hadoop 与其他系统的集成 ● 数据集成与 Hadoop Hadoop 是一种用于管理大数据的基本工具。这种工具满足了企 业在大型数据库(在 Hadoop 中亦称为数据湖)管理方面日益增长的 需求。当 选举、配置管理以及其他。所有这些协调服务都可以通过 ZooKeeper 进行管理。 1.3 Hive 是什么 Hive 在设计之初是 Hadoop 的一部分，但现在它是一个独立的 组件。之所以在这里简单提及，是因为有些用户发现在标准的 Hadoop Stack 之外，它还是很有用处。 我们可以这样简单总结 Hive：它是建立在 Hadoop 顶层之上的 数据仓库基础设施，用于提供对数据的汇总、查询以及分析。如果 统的数据库或数据结构进行对比。它也不能取代现有的 RDBMS 环 Hadoop 大数据解决方案 8 境。Hive 提供了一种为数据赋予结构的渠道，并且通过一种名为 HiveQL 的类 SQL 语言进行数据查询。 Hive Thrift 服务器 驱动程序 解析器 执行 Hive Web 接口 计划器 优化器 MS 客户端 元存储 图 1-3 1.4 与其他系统集成

优化的大数据处理软件栈 稳定的企业级hadoop发行版 利用硬件新技术迚行优化 HBase改迚和创新，为Hadoop提供实时数据处理能力 针对行业的功能增强，应对丌同行业的大数据挑戓 Hive 0.9.0 交互式数据仓库 Sqoop 1.4.1 关系数据ETL工具 Flume 1.1.0 日志收集工具 Intel Hadoop Manager 2.2 安装、部署、配置、监控、告警和访问控制 3X的Scan性能 • 接近直接写入HDFS性能 Interactive Hive over HBase 可通过Hive来访问HBase，迚行SQL查询 • 使用MapReduce来实现 • 比Hive访问HDFS慢3~5倍 IDH引入了Interactive Hive over HBase • 完全的Hive支持：常用功能（select, group-by等）用HBase coprocessor released to open source under Apache License 2.0 at https://github.com/intel-hadoop/hibench – (Hive) Join – (Hive) Aggregation 19 HiBench典型测试: Microbenchmarks Workload Description Rationale Sort

视频、ppt等（非结构化数据） Sqoop数据传递 Flume日志收集 Kafka消息队列 HDFS文件存储 HBase非关系型数据库 YARN资源管理 MapReduce离线计算 Spark Core内存计算 Hive 数据查询 Spark Mlib 数据挖掘 Spark Streaming 实时计算 Spark Sql 数据查询 Oozie任务调度 Azkaban任务调度 业务模型、数据可视化、业务应用 资源管理层 数据计算层 任务调度层 业务模型层 Storm实时计算 Flink 图中涉及的技术名词解释如下： 1）Sqoop：Sqoop 是一款开源的工具，主要用于在 Hadoop、Hive 与传统的数据库（MySQL） 间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进 到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。 作业（job）的工作流程调度管理系统。 7）Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库， 它是一个适合于非结构化数据存储的数据库。 8）Hive：Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张 数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运 行。其优点是学习成本低，可以通过类

2009 2010 2011 2006 2013 2014 2015 2016 2003 Hadoop从 Nutch分离 Google GFS & MapReduce Paper HBase Hive Cloudera创立 Hortonworks创立 Hadoop 1.0发布 Hadoop 2.0 GA Spark成为顶级顷目 Hadoop 3.0 2017 Hadoop生态系统