Big Data 的好朋友 7 / 74 Hadoop + Big Data 的預測 然後就可以寄更精準的型錄給你(女兒)！ 8 / 74 Hadoop + Big Data 的分析 然後一堆書(作者)就被打臉了！ 9 / 74 1. Submit Job 2. JT 分派 Task 給 TT 3. TT 執行 Task 4. TT 向 JT 回報 Hadoop 1.x 架構 - MapReduce Service 讓各種不同技術，不需要知道資料真實存放的位置，也能夠很方便 地存取資料 31 / 74 Yahoo! 做出了 Pig，把 PigLatin 翻成一堆 MapReduce Job Facebook 做出了 Hive，把 HiveQL 翻成一堆 MapReduce Job Hive 與 Pig 大家都想用 Hadoop 處理 Big Data，但不是每個人都會寫 MapReduce / Java，於是： operational operating systems with its distributions (RedHat, Ubuntu, Fedora, Debian etc.) 所以，市面上就有了一堆大同小異的 Hadoop Distribution： Cloudera 有 Cloudera Distribution for Hadoop (CDH) Oracle 有 Oracle Big Data

8）mapreduce.map.cpu.vcores 默认MapTask的CPU核数1。计算密集型任 务可以增加CPU核数 7）mapreduce.map.java.opts：控制MapTask堆内存大小。（如果内存不够， 报：java.lang.OutOfMemoryError） 尚硅谷大数据技术之 Hadoop（生产调优手册） —————— 例达到该值后才会为ReduceTask申请资源。默认是0.05。 10）如果可以不用Reduce，尽可能不用 5）mapreduce.reduce.java.opts：控制ReduceTask堆内存大小。（如果内 存不够，报：java.lang.OutOfMemoryError） 8.3 MapReduce 数据倾斜问题 1）数据倾斜现象 数据频率倾斜——某一个区域的数据量要远远大于其他区域。 mapreduce.task.io.sort.factor 10 mapreduce.map.memory.mb -1