MATLAB与Spark/Hadoop相集成:实现大数据的处理和价值挖
Processing ▪ Parallel-for loops ▪ GPU Arrays ▪ SPMD and Distributed Arrays ▪ MapReduce ▪ MapReduce (MDCS/PCT) ▪ MATLAB API for Spark API ▪ Tall Arrays ▪ 计算 ▪ Desktop (Multicore, GPU) ▪ Clusters ▪ Memory Mapped Variables ▪ Disk Variables ▪ Databases ▪ Datastore ▪ ImageDatastore 6 tall arrays ▪ tall array – 一种新的数据类型,专门用于处理大数据. – 用于处理数据规模超过单个机器或群集的内存承载能力的数据集合 ▪ 使用方式等同于MATLAB 数组(array) … – 支持众多基本的数学函数、统计函数、索引函数等. – 支持机器学习算法包括分类、聚类和回归 7 tall array Single Machine Memory tall arrays ▪ 自动将数据分解成适合内存的小 “块”(chunk) ▪ 计算过程中,一次处理一个“块”(chunk) 的数据 ▪ 对tall数组(tall array)的编程方式与MATLAB 标准数组0 码力 | 17 页 | 1.64 MB | 1 年前3
通过Oracle 并行处理集成 Hadoop 数据//import oracle.jdbc.*; //import oracle.sql.*; import oracle.jdbc.pool.*; //import java.util.Arrays; //import oracle.sql.ARRAY; //import oracle.sql.ArrayDescriptor; 150 码力 | 21 页 | 1.03 MB | 1 年前3
共 2 条
- 1













