Greenplum 精粹文集了解决易用性的问题,近年来 SQL-0N-HADOOP 技术大量涌现 出来,几乎成为当前 Hadoop 开发使用的一个技术热点趋势。 这 些 技 术 包 括:Hive、Pivotal HAWQ、SPARK SQL、Impala、 Prest、Drill、Tajo 等等很多,这些技术有些是在 Mapreduce 上做 了优化。例如 Spark 采用内存中的 Mapreduce 技术,号称性能比 基于文件的的 Mapreduce 倍;有的则采用 C/C++ 语言替 代 Java 语言重构 Hadoop 和 Mapreuce(如 MapR 公司及国内某 知名电商的大数据平台);而有些则直接绕开了 Mapreduce 另起 炉灶,如 Impala、hawq 采用借鉴 MPP 计算思想来做查询优化和 内存数据 Pipeline 计算,以此来提高性能。 虽然 SQL-On-Hadoop 比原始的 Mapreduce 虽然在易用上有所提 高,但在 SQL,如 SQL 2003 OLAPWINDOW 函数,几乎都不支持。以 TPC-DS 测试(用于评测决策支持系统(大数据或数据仓库)的标准 SQL 测试集 ,99 个 SQL)为例,包括 SPARK、Impala、Hive,只能支 持其中的 1/3 左右。 Big Date2.indd 15 16-11-22 下午3:38 16 由于 HADOOP 本身 Append-only 的特性,SQL-On-Hadoop0 码力 | 64 页 | 2.73 MB | 1 年前3
共 1 条
- 1













