只有一個 JobTracker (Master)，可是要管理多個 TaskTracker (Slave)！ 10 / 74 Hadoop 1.x 架構與限制 比較基本的模組： Hadoop HDFS (Storage) Hadoop MapReduce (Computing Engine + Resource Management + Job Scheduling / Monitoring + .) 比較明顯的限制： 每個 Cluster 大概就是 4,000 - 4,500 個 Node JobTracker 是架構瓶頸，Concurrent Task 大概是 40,000 上下 HDFS 只能有一個 Namespace，沒辦法分開管控 /sales、/accounting、... 只能執行 MapReduce Job ... 弱弱的問一下：台灣有多少企業 Cluster 有這麼大？Task I/O Overhead 太高，但是彼此之間又沒有交集 Hadoop 掌握所有資料 (HDFS)，但是只有一種玩法 (MapReduce)？ 12 / 74 改造好呢？還是放棄好呢？ 13 / 74 進擊的 Hadoop 14 / 74 改造 MapReduce Hadoop 掌握所有資料 (HDFS)，但是提供多種玩法 (YARN)！ 希望把 Hadoop 從 Batch 應用變成