Alibaba Cloud MaxCompute 解决方案 8  实时消息采集：用于实时数据采集，可扩展、高吞吐、可靠的消息服务。如 Kafka。  流处理：对实时数据进行低延迟流式计算的服务。如 Flink、Spark Streaming、Storm 等。  机器学习：满足机器学习工作负载的服务。如当前流行的 Spark MLib/ML、Tensorflow 等。 分析型数据存储：对数据进行处理加工后，面向应用场景，将数据以结构化的方式进行存储， 以便分析工具或分析应用能够获取数据。如利用 MPP 数据仓库、Spark SQL 等支持 BI 工具 访问，利用 Hbase 实现低延迟的在线服务等  分析与报表：对数据进行分析和展现以获取洞察。如 BI 工具、jupyter 等。  数据作业编排：将多个数据处理动作（数据移动、处理转换等）编排成为工作流并周期性地

据。这就是容错功能发挥作用的地方。现实情况是，这么多服务器 总会遇到一台或者多台无法正常工作的风险。HDFS 具备检测故障 和快速执行自动恢复的功能。 HDFS 的设计针对批处理做了优化，它提供高吞吐量的数据访 问，而非低延迟的数据访问。运行在 HDFS 上的应用程序有着大型 数据集。在 HDFS 中一个典型的文件大小可以达到数百 GB 或更大， 所以 HDFS 显然支持大文件。它提供高效集成数据带宽，并且单个 群集可以扩展至数百节点。

- 顺序读/写 : 2.0/1.0 GB/s - 随机读/写: 180/75 KIOPS - 读/写延迟 : 65/65µs • 高耐久技术(HET)的25nm MLC - 写入次数提升10倍 - 相对传统MLC寿命提升30倍t Intel® SSD 910系列 降低延迟，大幅提升IOPS 新的存储架构— NVM 软件存储加速：Intel® CAS • Microsoft

互联网、社交网络的普及，全社会的数字化转型，数据规模向PB级发展 ▪ Variety - 数据种类 ，数据种类繁多 结构化数据，半结构化数据，非结构化数据 ▪ Value - 数据价值，数据价值密度低 价值密度的高低与数据总量的大小成反比 ▪ Velocity - 数据处理速度，数据处理速度需要快速 数据处理速度是决定大数据应用的关键 4 大数据带来的挑战 ▪ 传统的工具和方法不能有效工作

• 处理异构数据源（未存储到 数据库中） • ETL服务器可以较快地执行某 些流程 缺点 • ETL服务器在执行某些流程时 速度较慢（数据已经存储到 关系表中） • 可能需要额外的硬件（低成 本硬件） 优点 • 利用数据库MPP引擎 • 将数据移动降至最低限度 • 利用数据库执行加入/聚合 • 清除数据后效果最佳 • 释放ETL服务器上的计算周期 • 利用RDBMS服务器的多余容量

是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张 数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运 行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开 发专门的 MapReduce 应用，十分适合数据仓库的统计分析。 9）ZooKeeper：它是一个针对大型分布式系统的