3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 1.2 Hadoop 发展历史（了解） Hadoop发展历史 1）Hadoop创始人Doug Cutting，为了实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优 化升级，查询引擎和索引引擎。 Hadoop创始人Doug Cutting 2）2001年年底Lucene成为Apache基金会的一个子项目。 3）对于 5）修改 windows 的主机映射文件（hosts 文件） （1）如果操作系统是 window7，可以直接修改 （a）进入 C:\Windows\System32\drivers\etc 路径 （b）打开 hosts 文件并添加如下内容，然后保存 192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 168.10.108 hadoop108 （2）如果操作系统是 window10，先拷贝出来，修改保存以后，再覆盖即可 （a）进入 C:\Windows\System32\drivers\etc 路径 （b）拷贝 hosts 文件到桌面 （c）打开桌面 hosts 文件并添加如下内容 192.168.10.100 hadoop100 192.168.10.101 hadoop101

操作系统。 ZooKeeper 是另一个 Hadoop Stack 组件，它能通过共享层次名 称空间的数据寄存器(称为 znode)，使得分布式进程相互协调工作。 每个 znode 都由一个路径来标识，路径元素由斜杠(/)分隔。 还有其他一些系统能与 Hadoop 进行集成并从其基础架构中受 益。虽然 Hadoop 并不被认为是一种关系型数据库管理系统 (RDBMS)，但其仍能与 Oracle、MySQL 台交付的统一服务，Cloudera 开启了处理和分析多种不同数据类型 的大门(见图 1-5)。 处理、分析和服务 安全 文件系统 (HDFS) 关系型 非结构化 批处理 流 搜索 统一服务 资源管理(YARN) 存储 结构化 集成 图 1-5 1.4.2 数据集成与 Hadoop 数据集成是 Hadoop 解决方案架构的关键步骤。许多供应商利

fs.trash.interval 1 4）查看回收站 回收站目录在 HDFS 集群中的路径：/user/atguigu/.Trash/…. 5）注意：通过网页上直接删除的文件也不会走回收站。 6）通过程序删除的文件不会经过回收站，需要调用 moveToTrash()才进入回收站 单元还是校验单元，只要总数= 2），就可以得到原始数据。每个单元的大小是 1024k=1024*1024=1048576。 5.1.2 纠删码案例实操 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。 默认只开启对 RS-6-3-1024k 策略的支持，如要使用别的策略需要提前启用。 1）需求：将/input 目录设置为 RS-3-2-1024k 策略 hadoop-3.1.3]$ hdfs dfs -put web.log /input 注：你所上传的文件需要大于 2M 才能看出效果。（低于 2M，只有一个数据单元和两 个校验单元） （4）查看存储路径的数据单元和校验单元，并作破坏实验 5.2 异构存储（冷热数据分离） 异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 RAM_DISK：（内存镜像文件系统）

versions/hadoop- /root/ #hive scp -r root@master_ip:/home/hadoop/hive /root/ #修改hive-site.xml jar包相对路径 sed -i 's/home\/hadoop/root/g' /root/hive/conf/hive-site.xml sed -i 's/home\/hadoop/root/g' /roo export HADOOP_HOME_WARN_SUPPRESS=true export HADOOP_HOME=/root/hadoop- #请将改成指定路径 export HADOOP_PREFIX=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_YARN_HOME=$HADOOP_HOME

Hadoop生态系统 文件存储层 HDFS 资源／任务调度 YARN 计算引擎MapReduce 计算引擎Spark NoSQL HBase 数据仓 库SQL 机器/深 度学习 Batch 任务 流处理 搜索 … Kafka Hadoop 3介绍 • Common  JDK 8+ 升级  Classpath隔离  Shell脚本的重构 • HDFS • YARN • MapReduce

odps-data-carrier/bin/hive_udtf_sql_runner.py --input_all processed/ 在 input_single_file 模式下，我们给一个 hive sql 文件路径， odps_hive_udtf_runner 会从该文件中读取 hive sql 并执行。例如： python3 odps-data-carrier/bin/hive_udtf_sql_runner