大数据时代的Intel之Hadoop- 顺序读/写 : 2.0/1.0 GB/s - 随机读/写: 180/75 KIOPS - 读/写延迟 : 65/65µs • 高耐久技术(HET)的25nm MLC - 写入次数提升10倍 - 相对传统MLC寿命提升30倍t Intel® SSD 910系列 降低延迟,大幅提升IOPS 新的存储架构— NVM 软件存储加速:Intel® CAS • Microsoft0 码力 | 36 页 | 2.50 MB | 1 年前3
Hadoop 迁移到阿里云MaxCompute 技术方案Alibaba Cloud MaxCompute 解决方案 8 实时消息采集:用于实时数据采集,可扩展、高吞吐、可靠的消息服务。如 Kafka。 流处理:对实时数据进行低延迟流式计算的服务。如 Flink、Spark Streaming、Storm 等。 机器学习:满足机器学习工作负载的服务。如当前流行的 Spark MLib/ML、Tensorflow 等。 分析型数据存储:对数据进行处理加工后,面向应用场景,将数据以结构化的方式进行存储, 以便分析工具或分析应用能够获取数据。如利用 MPP 数据仓库、Spark SQL 等支持 BI 工具 访问,利用 Hbase 实现低延迟的在线服务等 分析与报表:对数据进行分析和展现以获取洞察。如 BI 工具、jupyter 等。 数据作业编排:将多个数据处理动作(数据移动、处理转换等)编排成为工作流并周期性地0 码力 | 59 页 | 4.33 MB | 1 年前3
Hadoop 概述据。这就是容错功能发挥作用的地方。现实情况是,这么多服务器 总会遇到一台或者多台无法正常工作的风险。HDFS 具备检测故障 和快速执行自动恢复的功能。 HDFS 的设计针对批处理做了优化,它提供高吞吐量的数据访 问,而非低延迟的数据访问。运行在 HDFS 上的应用程序有着大型 数据集。在 HDFS 中一个典型的文件大小可以达到数百 GB 或更大, 所以 HDFS 显然支持大文件。它提供高效集成数据带宽,并且单个 群集可以扩展至数百节点。0 码力 | 17 页 | 583.90 KB | 1 年前3
共 3 条
- 1













