efficiently ○ copy files efficiently ● Part 2: ○ psutil ● 第1部分 ○基础的 Unix 概念 ○基础的 Socket 操作 ○高效的传输文件 ○高效的复制文件 ● 第2部分 ○ psutil UNIX concepts (oversimplified) [简单聊聊 Unix 的相关概念] System call / 系统调用 ● A way 系统调用 I/O ● open() ● read() ● write() Processes / 进程 ● fork() ● kill() ● wait() Filesystem / 文件系统 ● chmod() ● mkdir() ● getcwd() Communication / 通信 ● pipe() ● splice() ● mmap() Kernel / 内核 sys 0m1,099s File descriptors 文件描述符 File descriptors / 文件描述符 ● it's a reference to "something" (usually a file) ● it can be mixed with system calls ● 是对文件/套接字等资源的引用 ● 可以和系统调用连用 Print >>> import

现代编程思想 哈希表与闭包 Hongbo Zhang 1 回顾 表 键值对的集合，其中键不重复 简单实现：⼆元组列表 添加时向队⾸添加 查询时从队⾸遍历 树实现：⼆叉平衡树 基于第五节课介绍的⼆叉平衡树，每个节点的数据为键值对 对树操作时⽐较第⼀个参数 2 哈希表 哈希函数/散列函数 Hash function 将任意⻓度的数据映射到某⼀固定⻓度的数据 在⽉兔的 Hash Hash 接⼝中，数据被映射到整数范围内 trait Hash { hash(Self) -> Int } "这是⼀个⾮常⾮常⻓的字符串".hash() == -900478401 哈希表 利⽤哈希函数，将数据映射到数组索引中，进⾏快速的添加、查询、修改 1. // 对于 a: Array[(Key, Value)], key: Key, value: Value 2. let index 解决哈希表的冲突 直接寻址（分离链接）：同⼀索引下⽤另⼀数据结构存储 列表 ⼆叉平衡搜索树等 开放寻址 线性探查：当发现冲突后，索引递增，直到查找空位放⼊ ⼆次探查（索引递增 ）等 4 哈希表：直接寻址 当发⽣哈希/索引冲突时，将相同索引的数据装进⼀个数据结构中 例：添加0、5（哈希值分别为0、5）⾄⻓度为5的数组中时： 0 5 5 哈希表：直接寻址 哈希表结构 1

搜索基础架构 从百度文件系统 看大型分布式系统设计 自我介绍 • 颜世光, 专注于大规模分布式系统 • 代表作品 - 百度第三代Spider系统 - 百度文件系统BFS - 万亿量级实时数据库Tera - 集群调度系统Galaxy • 个人主页&Blog - https://github.com/bluebore - http://bluebore.cn 提纲 • 百度文件系统简介 • 分布式系统设计实践 单个集群通常几千台机器 • 百度文件系统(BFS)、集群调度系统（Galaxy）、分布式协 调服务（Nexus）是核心服务 • 实时任务与批量任务混合部署 Galaxy master BFS master Nexus lock service 分布式软件栈中的BFS The Baidu Stack 网络通信框架Sofa-pbrpc 分布式文件系统 BFS 集群调度系统 Galaxy 数据中心操作系统(DCOS) • 进程调度&内存管理 - Galaxy - 应用部署和任务调度 • 锁和信号量 - Nexus - 分布式锁 - 分布式通知 • 文件系统 - The Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 • 数据与计算的分片 • 分区故障容忍 • 数据一致性 • 系统扩展性 • 延迟与吞吐 • 成本与资源利用率 • …

一个 个 个区 区 区块 块 块链 链 链网 网 网络 络 络 23 4 开 开 开发 发 发第 第 第一 一 一个 个 个区 区 区块 块 块链 链 链应 应 应用 用 用 33 5 关 关 关键 键 键概 概 概念 念 念 59 6 网 网 网络 络 络搭 搭 搭建 建 建 67 7 配 配 配置 置 置管 管 管理 理 理 131 8 网 网 网络 络 络维 维 维护 护 护 177 智能 能 能合 合 合约 约 约 211 11 多 多 多种 种 种语 语 语言 言 言SDK 253 12 区 区 区块 块 块链 链 链功 功 功能 能 能接 接 接口 口 口列 列 列表 表 表 479 13 使 使 使用 用 用链 链 链上 上 上信 信 信使 使 使 517 14 开 开 开发 发 发期 期 期问 问 问题 题 题排 排 排查 查 查 521 15 开 开 开发 发 胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网 网 网络 络 络：支持网络压缩功能，并基于负载均衡的思想实现了良好的分布式网络分发机制，最大化降 低带宽开销。 1.4 性 性 性能 能 能 为提升系统性能，FISCO BCOS从提升交易执行效率

第 第一 一 一个 个 个区 区 区块 块 块链 链 链网 网 网络 络 络 21 4 开 开 开发 发 发第 第 第一 一 一个 个 个区 区 区块 块 块链 链 链应 应 应用 用 用 31 5 高 高 高阶 阶 阶教 教 教程 程 程 57 6 关 关 关键 键 键概 概 概念 念 念 93 7 区 区 区块 块 块链 链 链网 网 网络 络 络搭 搭 搭建 建 建 101 8 区 区 胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网 网 网络 络 络：支持网络压缩功能，并基于负载均衡的思想实现了良好的分布式网络分发机制，最大化降 低带宽开销。 1.4 性 性 性能 能 能 为提升系统性能，FISCO BCOS从提升交易执行效率 并行处理。 1.5 安 安 安全 全 全性 性 性 考虑到联盟链的高安全性需求，除了节点之间、节点与客户端之间通信采用TLS安全协议外，FISCO BCOS还实现了一整套安全解决方案： • 网 网 网络 络 络准 准 准入 入 入机 机 机制 制 制：限制节点加入、退出联盟链，可将指定群组的作恶节点从群组中删除，保障了系 统安全性。 • 黑 黑 黑白 白 白名 名 名单 单 单机 机 机制

一个 个 个区 区 区块 块 块链 链 链网 网 网络 络 络 23 4 开 开 开发 发 发第 第 第一 一 一个 个 个区 区 区块 块 块链 链 链应 应 应用 用 用 33 5 关 关 关键 键 键概 概 概念 念 念 57 6 网 网 网络 络 络搭 搭 搭建 建 建 65 7 配 配 配置 置 置管 管 管理 理 理 137 8 网 网 网络 络 络维 维 维护 护 护 183 智能 能 能合 合 合约 约 约 219 11 多 多 多种 种 种语 语 语言 言 言SDK 263 12 区 区 区块 块 块链 链 链功 功 功能 能 能接 接 接口 口 口列 列 列表 表 表 489 13 使 使 使用 用 用链 链 链上 上 上信 信 信使 使 使 529 14 开 开 开发 发 发期 期 期问 问 问题 题 题排 排 排查 查 查 533 15 开 开 开发 发 胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网 网 网络 络 络：支持网络压缩功能，并基于负载均衡的思想实现了良好的分布式网络分发机制，最大化降 低带宽开销。 1.4 性 性 性能 能 能 为提升系统性能，FISCO BCOS从提升交易执行效率

一个 个 个区 区 区块 块 块链 链 链网 网 网络 络 络 23 4 开 开 开发 发 发第 第 第一 一 一个 个 个区 区 区块 块 块链 链 链应 应 应用 用 用 33 5 关 关 关键 键 键概 概 概念 念 念 57 6 网 网 网络 络 络搭 搭 搭建 建 建 65 7 配 配 配置 置 置管 管 管理 理 理 135 8 网 网 网络 络 络维 维 维护 护 护 181 智能 能 能合 合 合约 约 约 217 11 多 多 多种 种 种语 语 语言 言 言SDK 261 12 区 区 区块 块 块链 链 链功 功 功能 能 能接 接 接口 口 口列 列 列表 表 表 487 13 使 使 使用 用 用链 链 链上 上 上信 信 信使 使 使 525 14 开 开 开发 发 发期 期 期问 问 问题 题 题排 排 排查 查 查 529 15 开 开 开发 发 胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网 网 网络 络 络：支持网络压缩功能，并基于负载均衡的思想实现了良好的分布式网络分发机制，最大化降 低带宽开销。 1.4 性 性 性能 能 能 为提升系统性能，FISCO BCOS从提升交易执行效率

一个 个 个区 区 区块 块 块链 链 链网 网 网络 络 络 23 4 开 开 开发 发 发第 第 第一 一 一个 个 个区 区 区块 块 块链 链 链应 应 应用 用 用 33 5 关 关 关键 键 键概 概 概念 念 念 59 6 网 网 网络 络 络搭 搭 搭建 建 建 67 7 配 配 配置 置 置管 管 管理 理 理 137 8 网 网 网络 络 络维 维 维护 护 护 183 智能 能 能合 合 合约 约 约 219 11 多 多 多种 种 种语 语 语言 言 言SDK 263 12 区 区 区块 块 块链 链 链功 功 功能 能 能接 接 接口 口 口列 列 列表 表 表 489 13 使 使 使用 用 用链 链 链上 上 上信 信 信使 使 使 527 14 开 开 开发 发 发期 期 期问 问 问题 题 题排 排 排查 查 查 531 15 开 开 开发 发 胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网 网 网络 络 络：支持网络压缩功能，并基于负载均衡的思想实现了良好的分布式网络分发机制，最大化降 低带宽开销。 1.4 性 性 性能 能 能 为提升系统性能，FISCO BCOS从提升交易执行效率

一个 个 个区 区 区块 块 块链 链 链网 网 网络 络 络 23 4 开 开 开发 发 发第 第 第一 一 一个 个 个区 区 区块 块 块链 链 链应 应 应用 用 用 33 5 关 关 关键 键 键概 概 概念 念 念 59 6 网 网 网络 络 络搭 搭 搭建 建 建 67 7 配 配 配置 置 置管 管 管理 理 理 137 8 网 网 网络 络 络维 维 维护 护 护 183 智能 能 能合 合 合约 约 约 219 11 多 多 多种 种 种语 语 语言 言 言SDK 263 12 区 区 区块 块 块链 链 链功 功 功能 能 能接 接 接口 口 口列 列 列表 表 表 489 13 使 使 使用 用 用链 链 链上 上 上信 信 信使 使 使 527 14 开 开 开发 发 发期 期 期问 问 问题 题 题排 排 排查 查 查 531 15 开 开 开发 发 胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网 网 网络 络 络：支持网络压缩功能，并基于负载均衡的思想实现了良好的分布式网络分发机制，最大化降 低带宽开销。 1.4 性 性 性能 能 能 为提升系统性能，FISCO BCOS从提升交易执行效率

一个 个 个区 区 区块 块 块链 链 链网 网 网络 络 络 23 4 开 开 开发 发 发第 第 第一 一 一个 个 个区 区 区块 块 块链 链 链应 应 应用 用 用 33 5 关 关 关键 键 键概 概 概念 念 念 59 6 网 网 网络 络 络搭 搭 搭建 建 建 67 7 配 配 配置 置 置管 管 管理 理 理 137 8 网 网 网络 络 络维 维 维护 护 护 183 智能 能 能合 合 合约 约 约 219 11 多 多 多种 种 种语 语 语言 言 言SDK 263 12 区 区 区块 块 块链 链 链功 功 功能 能 能接 接 接口 口 口列 列 列表 表 表 489 13 使 使 使用 用 用链 链 链上 上 上信 信 信使 使 使 527 14 开 开 开发 发 发期 期 期问 问 问题 题 题排 排 排查 查 查 531 15 开 开 开发 发 胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网 网 网络 络 络：支持网络压缩功能，并基于负载均衡的思想实现了良好的分布式网络分发机制，最大化降 低带宽开销。 1.4 性 性 性能 能 能 为提升系统性能，FISCO BCOS从提升交易执行效率