0. 前情提要 1. 進擊的 Hadoop 2. Hadoop 家族 3. Hadoop 戰隊 4. Hadoop 富二代 5. Hadoop 小圈圈 6. 喝咖啡騎大象建議 因為這個題目其實包山包海，所以我們今天只把焦點放在 Hadoop 身上。 3 / 74 前情提要 4 / 74 由創建 Lucene 與 Nutch 的 Doug Cutting 主導開發 Lucene Query Real-Time Processing Graph Processing Iterative Modeling 人心不足蛇吞象 Hadoop 的體質 (Batch Processing) 問題： 每次就是一個 Batch Job，一個接著一個 每個 Batch Job 做的事就是讀入所有資料、處理、寫出結果 Job 與 Job 之間的 I/O Overhead 太高，但是彼此之間又沒有交集 / 74 MapReduce (MRv2) 分工優點 ResourceManager 其實是 Resource Arbitrator，要考量到 Capacity、Fairness、 SLA 等問題，也提供 Pluggable Interface 實作不同想法。 ApplicationMaster 其實是 MRv1 與 MRv2 最大的不同，負責與中央的 ResourceManager 與各地的