這些年，我們一起追的 Hadoop Hadoop, the Apple of Our Eyes 蘇國鈞 monster.supreme@gmail.com 資訊工業策進會 數位教育研究所 資訊技術訓練中心 1 / 74 在 Java SE 與 Java EE 領域有十多 年的講師教學經驗，熟悉 SOAP/RESTful Services、Design Patterns、EJB/JPA PS. 除了我的照片之外，投影片裡頭 所有的圖片都來自於 Google Search，版權歸原來各網站與企業所 有，謝謝。 Bio 2 / 74 Agenda 0. 前情提要 1. 進擊的 Hadoop 2. Hadoop 家族 3. Hadoop 戰隊 4. Hadoop 富二代 5. Hadoop 小圈圈 6. 喝咖啡騎大象建議 因為這個題目其實包山包海，所以我們今天只把焦點放在 Namespace，沒辦法分開管控 /sales、/accounting、... 只能執行 MapReduce Job ... 弱弱的問一下：台灣有多少企業 Cluster 有這麼大？Task 有這麼 多？ 11 / 74 我們對 Hadoop 的期許： Batch Job Interactive Query Real-Time Processing Graph Processing Iterative Modeling

作者：靳宇棟（@krahets） 程式碼審閱：謝發 (@justin‑tse) Release 1.2.0 2024‑12‑06 序 兩年前，我在力扣上分享了“劍指 Offer”系列題解，受到了許多讀者的鼓勵與支持。在與讀者交流期間，我 最常被問到的一個問題是“如何入門演算法”。漸漸地，我對這個問題產生了濃厚的興趣。 兩眼一抹黑地刷題似乎是最受歡迎的方法，簡單、直接且有效。然而刷題就如同玩“踩地雷”遊戲，自學能 如果你也面臨類似的困擾，那麼很幸運這本書“找”到了你。本書是我對這個問題給出的答案，即使不是最 佳解，也至少是一種積極的嘗試。本書雖然不足以讓你直接拿到 Offer，但會引導你探索資料結構與演算法 的“知識地圖”，帶你了解不同“地雷”的形狀、大小與分布位置，讓你掌握各種“排雷方法”。有了這些本 領，相信你可以更加自如地刷題與閱讀文獻，逐步構建起完整的知識體系。 我深深認同費曼教授所言：“Knowledge isn’t isn’t free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於 github.com/krahets/hello‑algo

作者：靳宇棟（@krahets） 程式碼審閱：陳東輝（@curtishd） Release 1.2.0 2024‑12‑06 序 兩年前，我在力扣上分享了“劍指 Offer”系列題解，受到了許多讀者的鼓勵與支持。在與讀者交流期間，我 最常被問到的一個問題是“如何入門演算法”。漸漸地，我對這個問題產生了濃厚的興趣。 兩眼一抹黑地刷題似乎是最受歡迎的方法，簡單、直接且有效。然而刷題就如同玩“踩地雷”遊戲，自學能 如果你也面臨類似的困擾，那麼很幸運這本書“找”到了你。本書是我對這個問題給出的答案，即使不是最 佳解，也至少是一種積極的嘗試。本書雖然不足以讓你直接拿到 Offer，但會引導你探索資料結構與演算法 的“知識地圖”，帶你了解不同“地雷”的形狀、大小與分布位置，讓你掌握各種“排雷方法”。有了這些本 領，相信你可以更加自如地刷題與閱讀文獻，逐步構建起完整的知識體系。 我深深認同費曼教授所言：“Knowledge isn’t isn’t free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於 github.com/krahets/hello‑algo

作者：靳宇棟（@krahets） 程式碼審閱：謝發 (@justin‑tse) Release 1.2.0 2024‑12‑06 序 兩年前，我在力扣上分享了“劍指 Offer”系列題解，受到了許多讀者的鼓勵與支持。在與讀者交流期間，我 最常被問到的一個問題是“如何入門演算法”。漸漸地，我對這個問題產生了濃厚的興趣。 兩眼一抹黑地刷題似乎是最受歡迎的方法，簡單、直接且有效。然而刷題就如同玩“踩地雷”遊戲，自學能 如果你也面臨類似的困擾，那麼很幸運這本書“找”到了你。本書是我對這個問題給出的答案，即使不是最 佳解，也至少是一種積極的嘗試。本書雖然不足以讓你直接拿到 Offer，但會引導你探索資料結構與演算法 的“知識地圖”，帶你了解不同“地雷”的形狀、大小與分布位置，讓你掌握各種“排雷方法”。有了這些本 領，相信你可以更加自如地刷題與閱讀文獻，逐步構建起完整的知識體系。 我深深認同費曼教授所言：“Knowledge isn’t isn’t free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於 github.com/krahets/hello‑algo

作者：靳宇棟（@krahets） 程式碼審閱：靳宇棟（@krahets） Release 1.2.0 2024‑12‑06 序 兩年前，我在力扣上分享了“劍指 Offer”系列題解，受到了許多讀者的鼓勵與支持。在與讀者交流期間，我 最常被問到的一個問題是“如何入門演算法”。漸漸地，我對這個問題產生了濃厚的興趣。 兩眼一抹黑地刷題似乎是最受歡迎的方法，簡單、直接且有效。然而刷題就如同玩“踩地雷”遊戲，自學能 如果你也面臨類似的困擾，那麼很幸運這本書“找”到了你。本書是我對這個問題給出的答案，即使不是最 佳解，也至少是一種積極的嘗試。本書雖然不足以讓你直接拿到 Offer，但會引導你探索資料結構與演算法 的“知識地圖”，帶你了解不同“地雷”的形狀、大小與分布位置，讓你掌握各種“排雷方法”。有了這些本 領，相信你可以更加自如地刷題與閱讀文獻，逐步構建起完整的知識體系。 我深深認同費曼教授所言：“Knowledge isn’t isn’t free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於 github.com/krahets/hello‑algo

作者：靳宇棟（@krahets） 程式碼審閱：阮春科秀（@khoaxuantu） Release 1.2.0 2024‑12‑06 序 兩年前，我在力扣上分享了“劍指 Offer”系列題解，受到了許多讀者的鼓勵與支持。在與讀者交流期間，我 最常被問到的一個問題是“如何入門演算法”。漸漸地，我對這個問題產生了濃厚的興趣。 兩眼一抹黑地刷題似乎是最受歡迎的方法，簡單、直接且有效。然而刷題就如同玩“踩地雷”遊戲，自學能 如果你也面臨類似的困擾，那麼很幸運這本書“找”到了你。本書是我對這個問題給出的答案，即使不是最 佳解，也至少是一種積極的嘗試。本書雖然不足以讓你直接拿到 Offer，但會引導你探索資料結構與演算法 的“知識地圖”，帶你了解不同“地雷”的形狀、大小與分布位置，讓你掌握各種“排雷方法”。有了這些本 領，相信你可以更加自如地刷題與閱讀文獻，逐步構建起完整的知識體系。 我深深認同費曼教授所言：“Knowledge isn’t isn’t free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於 github.com/krahets/hello‑algo

作者：靳宇棟（@krahets） 程式碼審閱：靳宇棟（@krahets） Release 1.2.0 2024‑12‑06 序 兩年前，我在力扣上分享了“劍指 Offer”系列題解，受到了許多讀者的鼓勵與支持。在與讀者交流期間，我 最常被問到的一個問題是“如何入門演算法”。漸漸地，我對這個問題產生了濃厚的興趣。 兩眼一抹黑地刷題似乎是最受歡迎的方法，簡單、直接且有效。然而刷題就如同玩“踩地雷”遊戲，自學能 如果你也面臨類似的困擾，那麼很幸運這本書“找”到了你。本書是我對這個問題給出的答案，即使不是最 佳解，也至少是一種積極的嘗試。本書雖然不足以讓你直接拿到 Offer，但會引導你探索資料結構與演算法 的“知識地圖”，帶你了解不同“地雷”的形狀、大小與分布位置，讓你掌握各種“排雷方法”。有了這些本 領，相信你可以更加自如地刷題與閱讀文獻，逐步構建起完整的知識體系。 我深深認同費曼教授所言：“Knowledge isn’t isn’t free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於 github.com/krahets/hello‑algo

作者：靳宇棟（@krahets） 程式碼審閱：宮蘭景（@Gonglja） Release 1.2.0 2024‑12‑06 序 兩年前，我在力扣上分享了“劍指 Offer”系列題解，受到了許多讀者的鼓勵與支持。在與讀者交流期間，我 最常被問到的一個問題是“如何入門演算法”。漸漸地，我對這個問題產生了濃厚的興趣。 兩眼一抹黑地刷題似乎是最受歡迎的方法，簡單、直接且有效。然而刷題就如同玩“踩地雷”遊戲，自學能 如果你也面臨類似的困擾，那麼很幸運這本書“找”到了你。本書是我對這個問題給出的答案，即使不是最 佳解，也至少是一種積極的嘗試。本書雖然不足以讓你直接拿到 Offer，但會引導你探索資料結構與演算法 的“知識地圖”，帶你了解不同“地雷”的形狀、大小與分布位置，讓你掌握各種“排雷方法”。有了這些本 領，相信你可以更加自如地刷題與閱讀文獻，逐步構建起完整的知識體系。 我深深認同費曼教授所言：“Knowledge isn’t isn’t free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於 github.com/krahets/hello‑algo

作者：靳宇棟（@krahets） 程式碼審閱：劉代富（@Reanon） Release 1.2.0 2024‑12‑06 序 兩年前，我在力扣上分享了“劍指 Offer”系列題解，受到了許多讀者的鼓勵與支持。在與讀者交流期間，我 最常被問到的一個問題是“如何入門演算法”。漸漸地，我對這個問題產生了濃厚的興趣。 兩眼一抹黑地刷題似乎是最受歡迎的方法，簡單、直接且有效。然而刷題就如同玩“踩地雷”遊戲，自學能 如果你也面臨類似的困擾，那麼很幸運這本書“找”到了你。本書是我對這個問題給出的答案，即使不是最 佳解，也至少是一種積極的嘗試。本書雖然不足以讓你直接拿到 Offer，但會引導你探索資料結構與演算法 的“知識地圖”，帶你了解不同“地雷”的形狀、大小與分布位置，讓你掌握各種“排雷方法”。有了這些本 領，相信你可以更加自如地刷題與閱讀文獻，逐步構建起完整的知識體系。 我深深認同費曼教授所言：“Knowledge isn’t isn’t free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於 github.com/krahets/hello‑algo

作者：靳宇棟（@krahets） 程式碼審閱：@nuomi1 Release 1.2.0 2024‑12‑06 序 兩年前，我在力扣上分享了“劍指 Offer”系列題解，受到了許多讀者的鼓勵與支持。在與讀者交流期間，我 最常被問到的一個問題是“如何入門演算法”。漸漸地，我對這個問題產生了濃厚的興趣。 兩眼一抹黑地刷題似乎是最受歡迎的方法，簡單、直接且有效。然而刷題就如同玩“踩地雷”遊戲，自學能 如果你也面臨類似的困擾，那麼很幸運這本書“找”到了你。本書是我對這個問題給出的答案，即使不是最 佳解，也至少是一種積極的嘗試。本書雖然不足以讓你直接拿到 Offer，但會引導你探索資料結構與演算法 的“知識地圖”，帶你了解不同“地雷”的形狀、大小與分布位置，讓你掌握各種“排雷方法”。有了這些本 領，相信你可以更加自如地刷題與閱讀文獻，逐步構建起完整的知識體系。 我深深認同費曼教授所言：“Knowledge isn’t isn’t free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於 github.com/krahets/hello‑algo