這些年，我們一起追的 Hadoop Hadoop, the Apple of Our Eyes 蘇國鈞 monster.supreme@gmail.com 資訊工業策進會 數位教育研究所 資訊技術訓練中心 1 / 74 在 Java SE 與 Java EE 領域有十多 年的講師教學經驗，熟悉 SOAP/RESTful Services、Design Patterns、EJB/JPA Agenda 0. 前情提要 1. 進擊的 Hadoop 2. Hadoop 家族 3. Hadoop 戰隊 4. Hadoop 富二代 5. Hadoop 小圈圈 6. 喝咖啡騎大象建議 因為這個題目其實包山包海，所以我們今天只把焦點放在 Hadoop 身上。 3 / 74 前情提要 4 / 74 由創建 Lucene 與 Nutch 的 Doug Cutting 主導開發 Lucene 只能有一個 Namespace，沒辦法分開管控 /sales、/accounting、... 只能執行 MapReduce Job ... 弱弱的問一下：台灣有多少企業 Cluster 有這麼大？Task 有這麼 多？ 11 / 74 我們對 Hadoop 的期許： Batch Job Interactive Query Real-Time Processing Graph Processing

⼀些简单的读书分享 By Xargin 我出版的书 • 我是作者之⼀ • 这本书在写的时候国内的 Go 语⾔书很少 • 现在销量约 2w+ • 直到现在，CGO 和 plan9 汇 编的内容依然是独⼀份 ⽬ 录 为什么要读书 01 带着问题读书 02 怎么样读书 03 应该读哪些书 04 为什么要读书 第⼀部分 • 完整的知识和上下⽂ • 帮助⾃⼰建⽴领域内的知识体系 出版物有较严格的⻔槛 • 向技术领域的巨⼈学习 为什么要读书 带着问题读书 第⼆部分 带着问题读书 宏观： • 为什么公司的系统总是在同⼀个环节出故障，有没有成熟的⼯具和流程能够避免这 些故障？ • 为什么让⼤家升级⼀个 sdk 这么难？ 微观： • 为什么这⾥不加锁也是安全的？ • 怎么样减少 valiation 的⼯作量？ ⾃身 • 要做⼀个有好奇⼼的⼈ • 与有好奇⼼的⼯程师多交流

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229 Abstract 這本書是自由且免費的；你可以在與 Debian 自由軟體引導方針（DFSG）兼容的任意版本的 GNU 通用公共許可證的 條款下重新發布和/或修改本書。 Debian 參考手冊 xxiii 序 Debian 當前穩定系統安裝指南 • Debian GNU/Linux 當前測試系統安裝指南 免責聲明 所有擔保條款具有免責效力。所有商標均爲其各自商標所有者的財產。 Debian 系統本身是一個變化的事物。這導致其文件難於及時更新並且正確。雖然是以 Debian 系統當前的 測試版作為 寫作該文件的基礎，但當你閱讀本文的時候，部分內容仍然可能已經過時。 請把本文檔作爲第二參考。本文檔不能夠代替任何官方指 指令例子的簡要方式來提供資訊。 # command-in-root-account $ command-in-user-account 這些 shell 提示字元區分了所使用的帳戶。爲了可讀性，在本手冊中 shell 提示字元相關的環境變數被設置爲“PS1=’\$’” 和“PS2=’ ’。這與實際安裝的系統所使用的 shell 提示字元很有可能會不同。 所有指令範例都運行在英語語言環境下”LANG=en_US

org/doc/devel-manuals#debmake-doc) 文件，其中 包含了更新的內容與更多實際例子。請使用新的教程作為主要的教程文件。 這篇文檔試圖爲普通 Debian 用戶，和希望對 Debian 軟件包有所瞭解的開發人員講述如何製作 Debian 軟件包。在這裏， 我們儘可能使用通俗的語言，並輔以大量實例來直觀地展示每一個細節。正如一句古羅馬諺語說得好：一例勝千言！ 該文件在 Debian Buster 被打包成 Debian 的格 式，但有時還是需要安裝一些不是這一格式的軟件。可能你正爲如何製作自己的軟件包而感到迷惑，也可能正認爲這 麼做很難。如果你是一個剛剛接觸 Debian 的初學者，那麼是的，它的確很難；不過假如你真的只是一個初入此門的新 手，現在大概也不會來讀這篇文檔了。:-) 你的確需要對 Unix 編程有所瞭解，但顯然沒必要是這方面的天才。2 對於 Debian 軟件包維護人員來說，有一件事是非常明確的：創建並維護一個 同時也需要十分勤奮，這樣才能保證我們的系統 正常運行而不出現問題。 如果你在軟體包製作方面需要他人幫助，請閱讀節 1.4。 本文的最新版隨時都可以在 http://www.debian.org/doc/maint-guide/ 上和 maint-guide 軟件包裏找到。文檔的簡體中 文翻譯可以在 maint-guide-zh-cn 軟件包裏找到。還有一點需要注意的是，這篇文檔的內容相對於當前的開發情

contributors 303 stars 28k 這個免費的 Rust 課程是由 Google 的 Android 團隊負責開發。本課程涵蓋 Rust 的全部內容，從基礎語 法到進階主題 (泛型和錯誤處理等)，應有盡有。 如需最新版課程，請造訪 https://google.github.io/comprehensive-rust/。假如您是在其他 網址閱讀課程資料，別忘了查看這個連結的內容是否有更新。 The 慣用語法。 We call the first four course days Rust Fundamentals. 在此基礎上，我們將誠摯邀請您深入探討一或多個專題： • Android：這是半天的課程，會說明如何針對 Android 平台開發作業 (Android 開放原始碼計畫) 使用 Rust，並介紹與 C、C++ 和 Java 的互通性。 • Chromium: a half-day and how to include third-party crates in Chromium. • Bare-metal：這是半天的課程，會說明如何使用 Rust 在 bare-metal (嵌入式系統) 上台開發。課程 內容包含微控制器和處理器。 • 並行：這個全天課程著重於 Rust 中的並行問題。我們將探討傳統並行 (使用執行緒和互斥鎖進行先 占式排程) 以及 async/await

contributors 287 stars 27k 這個免費的 Rust 課程是由 Google 的 Android 團隊負責開發。本課程涵蓋 Rust 的全部內容，從基礎語 法到進階主題 (泛型和錯誤處理等)，應有盡有。 如需最新版課程，請造訪 https://google.github.io/comprehensive-rust/。假如您是在其他 網址閱讀課程資料，別忘了查看這個連結的內容是否有更新。 The 慣用語法。 We call the first four course days Rust Fundamentals. 在此基礎上，我們將誠摯邀請您深入探討一或多個專題： • Android：這是半天的課程，會說明如何針對 Android 平台開發作業 (Android 開放原始碼計畫) 使用 Rust，並介紹與 C、C++ 和 Java 的互通性。 • Chromium: a half-day and how to include third-party crates in Chromium. • Bare-metal：這是半天的課程，會說明如何使用 Rust 在 bare-metal (嵌入式系統) 上台開發。課程 內容包含微控制器和處理器。 • 並行：這個全天課程著重於 Rust 中的並行問題。我們將探討傳統並行 (使用執行緒和互斥鎖進行先 占式排程) 以及 async/await

2.0 2024‑12‑06 序 兩年前，我在力扣上分享了“劍指 Offer”系列題解，受到了許多讀者的鼓勵與支持。在與讀者交流期間，我 最常被問到的一個問題是“如何入門演算法”。漸漸地，我對這個問題產生了濃厚的興趣。 兩眼一抹黑地刷題似乎是最受歡迎的方法，簡單、直接且有效。然而刷題就如同玩“踩地雷”遊戲，自學能 力強的人能夠順利將地雷逐個排掉，而基礎不足的人很可能被炸得焦頭爛額，並在挫折中步步退縮。通讀教 精力，啃厚重的書往往變成了一項艱鉅的挑戰。 如果你也面臨類似的困擾，那麼很幸運這本書“找”到了你。本書是我對這個問題給出的答案，即使不是最 佳解，也至少是一種積極的嘗試。本書雖然不足以讓你直接拿到 Offer，但會引導你探索資料結構與演算法 的“知識地圖”，帶你了解不同“地雷”的形狀、大小與分布位置，讓你掌握各種“排雷方法”。有了這些本 領，相信你可以更加自如地刷題與閱讀文獻，逐步構建起完整的知識體系。 。 我深深認同費曼教授所言：“Knowledge isn’t free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於

2.0 2024‑12‑06 序 兩年前，我在力扣上分享了“劍指 Offer”系列題解，受到了許多讀者的鼓勵與支持。在與讀者交流期間，我 最常被問到的一個問題是“如何入門演算法”。漸漸地，我對這個問題產生了濃厚的興趣。 兩眼一抹黑地刷題似乎是最受歡迎的方法，簡單、直接且有效。然而刷題就如同玩“踩地雷”遊戲，自學能 力強的人能夠順利將地雷逐個排掉，而基礎不足的人很可能被炸得焦頭爛額，並在挫折中步步退縮。通讀教 精力，啃厚重的書往往變成了一項艱鉅的挑戰。 如果你也面臨類似的困擾，那麼很幸運這本書“找”到了你。本書是我對這個問題給出的答案，即使不是最 佳解，也至少是一種積極的嘗試。本書雖然不足以讓你直接拿到 Offer，但會引導你探索資料結構與演算法 的“知識地圖”，帶你了解不同“地雷”的形狀、大小與分布位置，讓你掌握各種“排雷方法”。有了這些本 領，相信你可以更加自如地刷題與閱讀文獻，逐步構建起完整的知識體系。 。 我深深認同費曼教授所言：“Knowledge isn’t free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於

2.0 2024‑12‑06 序 兩年前，我在力扣上分享了“劍指 Offer”系列題解，受到了許多讀者的鼓勵與支持。在與讀者交流期間，我 最常被問到的一個問題是“如何入門演算法”。漸漸地，我對這個問題產生了濃厚的興趣。 兩眼一抹黑地刷題似乎是最受歡迎的方法，簡單、直接且有效。然而刷題就如同玩“踩地雷”遊戲，自學能 力強的人能夠順利將地雷逐個排掉，而基礎不足的人很可能被炸得焦頭爛額，並在挫折中步步退縮。通讀教 精力，啃厚重的書往往變成了一項艱鉅的挑戰。 如果你也面臨類似的困擾，那麼很幸運這本書“找”到了你。本書是我對這個問題給出的答案，即使不是最 佳解，也至少是一種積極的嘗試。本書雖然不足以讓你直接拿到 Offer，但會引導你探索資料結構與演算法 的“知識地圖”，帶你了解不同“地雷”的形狀、大小與分布位置，讓你掌握各種“排雷方法”。有了這些本 領，相信你可以更加自如地刷題與閱讀文獻，逐步構建起完整的知識體系。 。 我深深認同費曼教授所言：“Knowledge isn’t free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於

2.0 2024‑12‑06 序 兩年前，我在力扣上分享了“劍指 Offer”系列題解，受到了許多讀者的鼓勵與支持。在與讀者交流期間，我 最常被問到的一個問題是“如何入門演算法”。漸漸地，我對這個問題產生了濃厚的興趣。 兩眼一抹黑地刷題似乎是最受歡迎的方法，簡單、直接且有效。然而刷題就如同玩“踩地雷”遊戲，自學能 力強的人能夠順利將地雷逐個排掉，而基礎不足的人很可能被炸得焦頭爛額，並在挫折中步步退縮。通讀教 精力，啃厚重的書往往變成了一項艱鉅的挑戰。 如果你也面臨類似的困擾，那麼很幸運這本書“找”到了你。本書是我對這個問題給出的答案，即使不是最 佳解，也至少是一種積極的嘗試。本書雖然不足以讓你直接拿到 Offer，但會引導你探索資料結構與演算法 的“知識地圖”，帶你了解不同“地雷”的形狀、大小與分布位置，讓你掌握各種“排雷方法”。有了這些本 領，相信你可以更加自如地刷題與閱讀文獻，逐步構建起完整的知識體系。 。 我深深認同費曼教授所言：“Knowledge isn’t free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於