/root/ #hive scp -r root@master_ip:/home/hadoop/hive /root/ #修改hive-site.xml jar包相对路径 sed -i 's/home\/hadoop/root/g' /root/hive/conf/hive-site.xml sed -i 's/home\/hadoop/root/g' /root/hive/conf/hive-env OOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop # Hive export HIVE_HOME=/root/hive export HIVE_CONF_DIR=$HIVE_HOME/conf # HBase export HBASE_HOME=/root/hbase export HBASE_CONF_ export PIG_CLASSPATH=$HADOOP_HOME/conf export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SPARK_HOME/bin:$PIG_HOME/bin:$PATH export LD_LIBRARY_PATH=$HADOOP_HOME

Hadoop 概述 本章内容提要 ● Hadoop 的组件 ● HDFS、MapReduce、YARN、ZooKeeper 和 Hive 的角色 ● Hadoop 与其他系统的集成 ● 数据集成与 Hadoop Hadoop 是一种用于管理大数据的基本工具。这种工具满足了企 业在大型数据库(在 Hadoop 中亦称为数据湖)管理方面日益增长的 需求。当 选举、配置管理以及其他。所有这些协调服务都可以通过 ZooKeeper 进行管理。 1.3 Hive 是什么 Hive 在设计之初是 Hadoop 的一部分，但现在它是一个独立的 组件。之所以在这里简单提及，是因为有些用户发现在标准的 Hadoop Stack 之外，它还是很有用处。 我们可以这样简单总结 Hive：它是建立在 Hadoop 顶层之上的 数据仓库基础设施，用于提供对数据的汇总、查询以及分析。如果 统的数据库或数据结构进行对比。它也不能取代现有的 RDBMS 环 Hadoop 大数据解决方案 8 境。Hive 提供了一种为数据赋予结构的渠道，并且通过一种名为 HiveQL 的类 SQL 语言进行数据查询。 Hive Thrift 服务器 驱动程序 解析器 执行 Hive Web 接口 计划器 优化器 MS 客户端 元存储 图 1-3 1.4 与其他系统集成

做到消息的回溯。 2. 历史数据的来源主要是我们的Hive和HDFS，可以方便的做到大数据量的存储和并行计算。 离线计算简介 离线计算简介 在离线处理这块，主要包含了MR模块和Spark模块，我们的一些ETL操作，就是基于MR模块的，一些用 户行为数据的深度分析，会基于Spark去做，其中我们还有一个XT平台，是美团点评内部基于Hive搭建的 ETL平台，它主要用来开发数据处理任务和数据 聚合，这样比较通用灵活一些，上层应用可以按照自己的 业务需求，进行一些其他时间段的聚合。 在数据的导入中，我们也有不同的策略： 1. 比如用户的行为路径分析中，我们在Hive中计算好的结果，数据量是非常庞大的，但是Hive本身的设 计无法满足我们的查询时效性要求，为了后台系统有比较好的体验，我们会把数据导入到ES中，这里 我们无需全量导入，只要抽样导入即可，这样在满足我们的查询要求的同时也能提高我们的查询效 置，之前需要几人日才能做到的用户行为数据分发和处 理，现在从配置到验证上线只需要几分钟左右。 近实时处理 近实时处理 在近线计算中，我们会把经过流量网关的数据，通过Kafka2Hive的流程，写入到我们的Hive中，整个过 程的时延不超过15分钟，我们的算法同学，可以利用这样一些近实时的数据，再结合其他的海量数据，进 行整体的加工、存储，主要针对的是一些时效性要求不高的场景。 通过上面

194 196 198 198 198 200 201 201 202 202 202 203 203 203 203 203 204 205 206 访问 Hive 访问 HBase 使⽤ 使⽤ pg_dump 迁移数据 迁移数据 安装 greenplum-db-clients 使⽤ pg_dump 导出数据 使⽤ psql 重建数据 利⽤ 利⽤ hdfs pxf 可读表 4. 从 hdfs 外部表中读取数据并写⼊⽬的 greenplum 集群 FAQs 创建好数据仓库之后怎么连接到UDW？ UDW⽀持从mysql导⼊数据吗？ HDFS/Hive与UDW之间可以导⼊导出数据吗？ UDW中怎么kill掉正在执⾏的SQL语句？ 如何通过外⽹访问UDW？ 节点扩容时数量有没有什么限制？ 数据仓库价格 数据仓库价格 ⽬录 Greenplum数据仓库 w 从 从hdfs加载数据 加载数据 为了⽅便udw和hdfs之间的数据导⼊和导出，我们提供个两种⽅案： 1. ⽤sqoop实现hdfs和udw直接的数据导⼊导出，使⽤⽅法请参考：hdfs和hive中数据导⼊导出到udw 2. 创建hdfs外部表，使⽤⽅法请参考：创建hdfs外部表 从 从mysql中导⼊数据 中导⼊数据 为了⽅便mysql数据导⼊到udw，我们提供了mysql导⼊数据

大数据离线平台和Cassandra的整合 两大数据推送Cassandra工具 1. Hive Integrate Cassandra Native Protocol 2. Hive Integrate Cassandra Bulkload 大数据离线平台和Cassandra的整合 Hive Integrate Cassandra Native Protocol 1.Hive外部表映射到Cassandra表 2.Insert 简单快捷 3.跨机房推送限流/限速 4.异步写 大数据离线平台和Cassandra的整合 Hive Integrate Cassandra Native Protocol 大数据离线平台和Cassandra的整合 Hive Integrate Cassandra Bulkload 1.hive生成Cassandra底层的SSTable文件直接load到Cassandra 2.适用于数据快速初始化 适用于数据快速初始化 3.需要控制生成的SSTable大小避免Compact耗时多久 大数据离线平台和Cassandra的整合 Hive Integrate Cassandra Bulkload Q&A THANKS !

优化的大数据处理软件栈 稳定的企业级hadoop发行版 利用硬件新技术迚行优化 HBase改迚和创新，为Hadoop提供实时数据处理能力 针对行业的功能增强，应对丌同行业的大数据挑戓 Hive 0.9.0 交互式数据仓库 Sqoop 1.4.1 关系数据ETL工具 Flume 1.1.0 日志收集工具 Intel Hadoop Manager 2.2 安装、部署、配置、监控、告警和访问控制 3X的Scan性能 • 接近直接写入HDFS性能 Interactive Hive over HBase 可通过Hive来访问HBase，迚行SQL查询 • 使用MapReduce来实现 • 比Hive访问HDFS慢3~5倍 IDH引入了Interactive Hive over HBase • 完全的Hive支持：常用功能（select, group-by等）用HBase coprocessor released to open source under Apache License 2.0 at https://github.com/intel-hadoop/hibench – (Hive) Join – (Hive) Aggregation 19 HiBench典型测试: Microbenchmarks Workload Description Rationale Sort

视频、ppt等（非结构化数据） Sqoop数据传递 Flume日志收集 Kafka消息队列 HDFS文件存储 HBase非关系型数据库 YARN资源管理 MapReduce离线计算 Spark Core内存计算 Hive 数据查询 Spark Mlib 数据挖掘 Spark Streaming 实时计算 Spark Sql 数据查询 Oozie任务调度 Azkaban任务调度 业务模型、数据可视化、业务应用 资源管理层 数据计算层 任务调度层 业务模型层 Storm实时计算 Flink 图中涉及的技术名词解释如下： 1）Sqoop：Sqoop 是一款开源的工具，主要用于在 Hadoop、Hive 与传统的数据库（MySQL） 间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进 到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。 作业（job）的工作流程调度管理系统。 7）Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库， 它是一个适合于非结构化数据存储的数据库。 8）Hive：Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张 数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运 行。其优点是学习成本低，可以通过类

和Hadoop生态的互操作性 Ozone 可以被 Hadoop 生态中的应用，如 Apache Hive、Apache Spark 和 Mapreduce 无缝对接。Ozone 支持 Hadoop Compatible FileSystem API (aka OzoneFS)。通过 OzoneFS， Hive，Spark 等应用不需要做任何修改，就可以运行在 Ozone上 。Ozone 同时支持 Data 生态的结合 Ozone 同时支持 Hadoop 2.x 和 Hadoop 3.x 集群，能够和运行其上的Hive，Spark 等应用无缝集成。 结束语 Apache Ozone 是一个开发迭代非常活跃的社区，在 2018 年发布了版本 0.2.1 和 0.3.0，支持 OzoneFS, YARN, HIVE and Spark on OzoneFS, S3 协议接口。2019年发布了版本0.4.0，0

ShardingSphere document – org.apache.shardingsphere:shardingsphere-infra-database-hive, Adapta‐ tion of jdbcURL for JDBC support of Hive, and metadata loading implementation – org.apache.shardingsphere:shardi House dialect implementation of SQL parsing – org.apache.shardingsphere:shardingsphere-parser-sql-hive，Hive dialect implementation of SQL parsing In addition to the above optional plugins, ShardingSphere when integrating some third‐party dependencies. A typical example is related to the org.apache.hive:hive-jdbc:4.0.0 HiveServer2 JDBC Driver, which uses AWT‐ related classes. GraalVM CE only supports AWT

高速计数器aggregation类型的任务 – HBase强一致性(Strongly consistent)读写保证 • 其他适用Hadoop的NoSQL场景 – HBase基于HDFS存储，和 MapReduce/Hive/Spark等紧密结合 11 Postgres Conference China 2016 中国用户大会 HBase现存缺点 • SQL(传统BI)不友好，不支持很多传统DBMS 功能，如外键，约束… 他组件构成 清帐单 原始数据 3台FTP 服务器 Hadoop集群 Hadoop分布式计 算引擎 MapReduce Hadoop分布式数 据库HBase Hadoop分布式 SQL查询框架 Hive 清单 BOSS 导入 账单 CXBILL 导入 HBase Thrift 服务 器 清单查询接口 帐单查询接口 用户账单批量 生成 清单统计业务 冲销支持 生产数据提取 采用全国集中的一级架构方案进行建 设 • 主要包含数据采集子系统、数据入库 子系统、数据存储子系统、数据查询 与分析子系统 • 采用Hadoop/HBase作为上网记录存储 方案 • 采用MapReduce/Hive作用统计分析和 数据挖掘工具 【关键性能指标】 – 每日入库>5TB数据 – 上网记录入库时间：一般小于30分钟， 实际约10分钟 – 存储全国移动用户不小于6个月的原始 上网记录，统计分析中间报表数据保存