的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈，严重阻碍了客户数据业务的发展。随着 云计算技术的发展和普及，越来越多的企业客户选择数据上云，在云上构建数据仓库。以云数 仓、云计算为核心的企业服务架构成为新一代大数据建站的主流趋势。MaxCompute 作为云数 仓、云计算的核心引擎，承载了越来越多企业客户的数据业务和数据资产，免运维、低成本、高 度安全和稳定性，让客户的资源更加聚焦在业务开发上，加速业务发展。 r Alibaba Cloud MaxCompute 解决方案 12 续将提供兼容 ORC 的 Ali-ORC 存储格式 支持外表，将存储在 OSS 对象存储、OTS 表格存储的数 据映射为二维表 支持 Partition、Bucket 的分区、分桶存储 更底层不是 HDFS，是阿里自研的盘古文件系统，但可借 助 HDFS 理解对应的表之下文件的体系结构、任务并发 Alibaba Cloud MaxCompute 解决方案 13 Defined Type、GROUPING SET(CUBE/rollup/GROUPING SET)、脚本运行模式、参 数化视图 * 支持外表(外部数据源+StorageHandler 支持非结构化 数据） MapReduce MaxCompute MR 支持 MapReduce 编程接口(提供优化增强的

1.0发布 Hadoop 2.0 GA Spark成为顶级顷目 Hadoop 3.0 2017 Hadoop生态系统 文件存储层 HDFS 资源／任务调度 YARN 计算引擎MapReduce 计算引擎Spark NoSQL HBase 数据仓 库SQL 机器/深 度学习 Batch 任务 流处理 搜索 … Kafka Hadoop 3介绍 • Common  JDK

出高安全性、高可用性、高效数据 处理、虚拟化等关键技术优势，针对关键业务构建的丰富高效、安全可靠的功能 特性，兼容适配长城、联想、浪潮、华为、曙光等国内主流厂商的服务器整机产 品，以及达梦、金仓、神通等主要国产数据库和中创、金蝶、东方通等国产中间 件，满足虚拟化、云计算和大数据时代，服务器业务对操作系统在性能、安全性 及可扩展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主 放宽了（relax）POSIX 的要求， 可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop 的框架最核心的设计就是：HDFS 和 MapReduce。HDFS 为海量的数 据提供了存储，而 MapReduce 则为海量的数据提供了计算。 1.4 HDFS 架构原理 HDFS 是 Hadoop 分布式文件系统（Hadoop Distributed File System）的缩写，

Sql 数据查询 Oozie任务调度 Azkaban任务调度 业务模型、数据可视化、业务应用 Z o o k e e p e r 数 据 平 台 配 置 和 调 度 数据来源层 数据传输层 数据存储层 资源管理层 数据计算层 任务调度层 业务模型层 Storm实时计算 Flink 图中涉及的技术名词解释如下： 1）Sqoop：Sqoop 是一款开源的工具，主要用于在 Streaming 实时计算 Spark Sql 数据查询 Oozie任务调度 Azkaban任务调度 Z o o k e e p e r 数 据 平 台 配 置 和 调 度 数据来源层 数据传输层 数据存储层 资源管理层 数据计算层 任务调度层 Storm实时计算 Ss购买海狗人参丸 Nginx Tomcat 收集访 问日志 Tomcat 收集访 问日志 Tomcat 推荐业务 生成密钥对 公钥（A） 授权key Authorized_keys 2）拷贝 3）ssh 访问B（数 据用私钥A加密） A服务器 B服务器 4）接收到数据后，去授 权key中查找A的公钥， 并解密数据。 5）采用A公钥加 密的数据返回给A 6 接收到数 据后，用A的 私钥解密数 据 （2）生成公钥和私钥 [atguigu@hadoop102 .ssh]$ pwd /home/atguigu/

其他软件栈一样，这些支持文件是一款成功实现的必要条件。而众 所周知的文件系统，Hadoop 分布式文件系统，或者说 HDFS，则是 Hadoop 的核心，然而它并不会威胁到你的预算。如果要分析一组数 据，你可以使用 MapReduce 中包含的编程逻辑，它提供了在 Hadoop 群集上横跨多台服务器的可扩展性。为实现资源管理，可考虑将 Hadoop YARN 加入到软件栈中，它是面向大数据应用程序的分布式 数据存储。所有这些数据存储都会随着诸如查询和庞大用户基数等 活动事件而呈现出指数增长。Hadoop 的组件可以帮助你处理这些大 型数据存储。 类似 Google 这样的商业公司可使用 Hadoop 来操作、管理其数 据存储并从中产生出有意义的结果。通常用于商业分析的传统工具 并不旨在处理或分析超大规模数据集，但 Hadoop 是一个适用于这 些商业模型的解决方案。 1.1.1 Hadoop 的组件 硬件之上。它提供对应用程序数据的高吞吐量访问，适合于面向大 型数据集的应用程序。 在任何环境中，硬件故障都是不可避免的。有了 HDFS，你的 数据可以跨越数千台服务器，而每台服务器上均包含一部分基础数 据。这就是容错功能发挥作用的地方。现实情况是，这么多服务器 总会遇到一台或者多台无法正常工作的风险。HDFS 具备检测故障 和快速执行自动恢复的功能。 HDFS 的设计针对批处理做了优化，它提供高吞吐量的数据访

Oracle 表中，之后才能在 SQL 查询中访问这些数据的过程。 甲骨文（中国）软件系统有限公司 北京远洋光华中心办公室 地址：北京市朝阳区景华南街5号远洋光华中心C座21层 邮编：100020 电话：(86.10) 6535-6688 传真：(86.10) 6515-1015 北京上地6号办公室 地址：北京市海淀区上地信息产业基地，上地西路8号，上地六号大厦D座702室 室 邮编：100085 电话：(86.10) 8278-7300 传真：(86.10) 8278-7373 上海分公司 地址：上海市黄浦区天津路155号名人商业大厦12层 邮编：200021 电话：(86.21) 2302-3000 传真：(86.21) 6340-6055 广州分公司 地址：广州市天河区珠江新城华夏路8号合景国际金融广场18楼 邮编：510623 电话：(86.20) 8513-2000 传真：(86.20) 8513-2380 成都分公司（川信大厦办公室） 地址：成都市人民南路二段18号四川川信大厦20层A&D座 邮编：610016 电话：(86.28) 8619-7200 传真：(86.28) 8619-9573 成都分公司（高新国际广场办公室） 地址：成都市高新区天韵

21 企业经验：dfs.namenode.handler.count=20 × ??????????? ????，比如集群规模（DataNode 台 数）为 3 台时，此参数设置为 21。可通过简单的 python 代码计算该值，代码如下。 [atguigu@hadoop102 ~]$ sudo yum install -y python [atguigu@hadoop102 TestDFSIO: 注意：nrFiles n 为生成 mapTask 的数量，生产环境一般可通过 hadoop103:8088 查看 CPU 核数，设置为（CPU 核数 - 1） ➢ Number of files：生成 mapTask 数量，一般是集群中（CPU 核数-1），我们测试虚 拟机就按照实际的物理内存-1 分配即可 ➢ Total MBytes processed：单个 map 处理的文件大小 min.datanodes:最小可用 datanode 数量，默认 0 dfs.namenode.safemode.threshold-pct:副本数达到最小要求的 block 占系统总 block 数的 百分比，默认 0.999f。（只允许丢一个块） dfs.namenode.safemode.extension:稳定时间，默认值 30000 毫秒，即 30 秒 4）基本语法 集群处

2011年每天处理的数据超 过： 24 PB 2011年6月乊前， Facebook平台每天分享资 料： 40亿 智慧城市数据 中国某一线城市: 200PB/季度 中国一线城市健康档案数 据： 5.5 million 传统的数据处理技术 大数据时代的数据 速度 数据量 多样化 传统数据 大数据 GB -> TB TB -> PB以上 数据量稳定，增长不快 60000 70000 80000 90000 Open Source HBase (0.90.3) Advanced Region Balancing 25000 82000 查询数/秒 揑入记录数/秒 HBase写入性能讨论 写入时的性能瓶颈： • 客户端 • 使用Write buffer减少RPC • 避免频繁创建HTable对象 • 如果可以，关闭WAL 一个region server活跃，总体性能会很差 • “加盐” • 过多的compaction和compaction丌及时 • 尽量避免：比方说增加compaction thread数，防止阻塞写入 • 过多的split • 预分配region 大对象的高效存储（IDH2.3） 在交通、金融等领域，要求存储大量的图片 • 将图片存入HBase，引起大量的compaction

久而久之，这些供应商陆续集中关注4个常见的软件架构特征， 以便为实现海量数据可扩展性提供支持，如图2所示。 IBM软件 5 图2. 海量数据可扩展性的4大特征。 大部分商业数据集成软件平台在设计时从未考虑过支持海量数 据可扩展性，这意味着在设计之初，并未考虑利用非共享大规模 并行架构。它们依靠共享的内存多线程，而非软件数据流。 此外，有些供应商不支持将大数据集分散在多个节点间，无法对 独立数据分区并行运行单一数据集成作业，也无法实现设计一 • 支持各种数据集成范式，包括批量处理、联盟、更改数 据捕获、为数据集成任务启用SOA、与事务完整性实时 集成和/或企业用户自助数据集成 另外，还可以建立世界级的数据治理工作，包括数据管理、数 据沿袭和跨工具影响分析。 最佳实践3：可在需要运行海量可扩展数据集成的任何位置提 供该功能 Hadoop能以极低的成本对数据集成工作负载实施大规模 分布式处理。但是，客户需要的是海量可扩展数据集成解决方 工具的神话。流行的说法似乎是，组合使用任意不可扩展的 ETL 工具与Hadoop均可提供全部所需的海量可扩展数据 集成处理。事实上，MapReduce在处理大规模数据集成工 作负载方面有着很多限制： • 并 非 所 有 数 据 集 成 逻 辑 均 可 使 用 E T L 工 具 推 送 到 MapReduce。根据与广大客户的合作经验，IBM估计 约有半数的数据集成逻辑无法推送到MapReduce。 • 用户不得