数据存储方式简单，使用 数据存储方式简单，使用 B+ Tree B+ Tree 进行索引 进行索引 • 使用三个文件定义一个表： 使用三个文件定义一个表： .MYI .MYD .frm .MYI .MYD .frm • 少碎片、支持大文件、能够进行索引压缩 少碎片、支持大文件、能够进行索引压缩 • 二进制层次的文件可以移植 二进制层次的文件可以移植 (Linux (Linux level lock , 读写性能都非常优秀 读写性能都非常优秀 • 能够承载大数据量的存储和访问 能够承载大数据量的存储和访问 • 拥有自己独立的缓冲池，能够缓存数据和索引 拥有自己独立的缓冲池，能够缓存数据和索引 MySQL 架构设计—应用架构 强一致性 对读一致性的权衡，如果是对读写实时性要求非常高的话， 就将读写都放在 M1 上面， M2 只是作为 standby 。 比如 对每个唯一打开的表需要 2 个文件描述符。 服务优化 服务优化 MyISAM MyISAM 选项 选项 选项 缺省值 推荐值 说明 key_buffer_size 8M 512M 用来存放索引区块的缓存值 , 建议 128M 以上，不要大于内存的 30% read_buffer_size 128K 64M 用来做 MyISAM 表全表扫描的缓冲大 小 . 为从数据表顺序读取数据的读操 作保留的缓存区的长度

内部是 SOA ，而外部仍是一个 vector 的 AOS—— 这种内存布局称为 AOSOA 。 • 缺点是必须保证数量是 1024 的整数倍， 而且因为要两次指标索引，随机访问比较 烦。 • 这里的 1024 并非随意选取，而是要让每 个属性 SOA 数组的大小为一个页 （ 4KB ）才能最高效，原因稍后会说明。 AOSOA ：注意，内部 SOA 的尺寸不宜太小 SOA 分开存”是没问题的。 • 而且 SOA 在遇到存储不是 vector ，而是稀疏的哈希网格之类索引有一定 开销的数据结构，可能就不适合了。这就是为什么王鑫磊最喜欢 AOSOA ：在高层保持 AOS 的统一索引，底层又享受 SOA 带来的矢量化 和缓存行预取等好处……就是随机索引比较麻烦。 结构体剥离： https://blog.csdn.net/qq_36287943/artic 其实操作系统惰性分配的特性，也是 SPGrid （ Sparsely-Paged-Grid ）得以实现的基础 ，他利用 mmap 分配比机器大得多的内存（比如 2048*2028*1024 的三维网格），然后 在里面索引，这样就相当于利用硬件的分页机制实现了稀疏数据结构，既能高效利用内存 ，随机访问和插桩又特别高效。有兴趣可以研究一下他们的论文，也用了莫顿序增强 TLB 和缓存的局域性，非常精彩。 vector

运算符是安全的，且不能和写入的 push_back 等一起用，否则需要用读写锁 保护。 不建议通过索引随机访问 • 因为 tbb::concurrent_vector 内存不连续 的特点，通过索引访问，比通过迭代器访 问的效率低一些。 • 因此不推荐像 a[i] 这样通过索引随机访问 其中的元素， *(it + i) 这样需要迭代器跨步 访问的也不推荐。 推荐通过迭代器顺序访问 std::shared_mutex 。 https://www.zhihu.com/question/38857029 并行筛选 7 彻底避免了互斥量，完全通过预先准备好的大小，配合 atomic 递增索引批量写入。同时用小彭老师拍脑袋想到的 pod 模板类，使得 vector 的 resize 不会零初始化其中的 值。 加速比： 6.26 倍 并行筛选 8 （不推荐） 而是用 std::vector ： 一、算出每个元素需要往 vector 推送数据的数量（本例中只有 0 和 1 两种可 能） 二、对刚刚算出的数据进行并行扫描（ scan ），得出每个 i 要写入的索引。 三、再次对每个元素并行 for 循环，根据刚刚生成写入的索引，依次写入数据。 加速比： 4.50 倍（考虑到这里 ind 只有 0 和 1 ，应该大有优化空间） 第 8 章：分治与排序 斐波那契数列第 n 项 斐波那契数列第

2021 年 CCF 科 学技术奖科技进步卓越奖”。 伴随市场对于知识图谱应用的不断深入，图数据规模和应用性能之间的矛盾愈 加凸显，海致针对以上背景展开了系统性的技术攻关，解决了图数据的高效存 储、索引及复制难题，提出了基于图缩减的高效分析方法，并孵化出了一个大 规模图数据分析平台 AtlasGraph 。 5 获得 2022 年中国电子学会科学技术奖科技进步一等奖 中国电子学会发布的《 2022 Processing 架构，大规模集群 分布式存储及并行计 算， Shared Nothing 模式支 持存储计算分离 高性能 基于 Rust 开发的分布式存储引 擎及图计算引擎，精细的内存 管理设计，内置索引系统，支 持毫秒级的并发查询响应速度 易用 AQL(Atlas Graph Query Language) ，类 SQL 的图查询 语言，内置上百种分析函数， 面向分析师友好，拥抱标准， 基于 存储层 副本管理 CRAQ 图原生存储 索引 LSM-Tree 容灾保障 （ BR ） 元数据层 事务管理 MVOCC 计算层 Cypher AST 优化器 图计算 内存加速引 擎 服务接口 HTTP/RPC Spark 连接器 Python UDF 执行器 索引管理 一致性存储 RAFT 分片管理 元数据 集群管理 用户权限

&operator[](size_t i) const noexcept; vector 容器： operator[] • 值得注意的是， [] 运算符在索引超出数组大 小时并不会直接报错，这是为了性能的考虑。 • 如果你不小心用 [] 访问了越界的索引，可能 会覆盖掉别的变量导致程序行为异常，或是访 问到操作系统未映射的区域导致奔溃。 • int &operator[](size_t i) noexcept; &operator[](size_t i) const noexcept; vector 容器： at • 为了防止不小心越界，可以用 a.at(i) 替代 a[i] ， at 函数会检测索引 i 是否越界，如果他 发现索引 i >= a.size() 则会抛出异常 std::out_of_range 让程序提前终止（或者被 try-catch 捕获），配合任意一款调试器，就可 以很快速地定位到出错点。

因为这种线性变换在地址索引 中很常见，所以被 x86 做成 了单独一个指令。这里尽管不 是地址，但同样可以利用 lea 指令简化生成的代码大小。 eax = rdi + rsi * 8 指针访问对象：线性访问地址 rsi = (int64_t)esi eax = *(int *)(rdi + rsi * 4) 为什么乘以 4 ？因为访问的 对象， int 的大小是 4 。 指针的索引：尽量用 size_t 位系统上相当于 uint32_t 从而不需要用 movslq 从 32 位符号扩展 到 64 位，更高效。而且也能处理数组大 小超过 INT_MAX 的情况，推荐始终用 size_t 表示数组大小和索引。 浮点作为参数和返回： xmm 系列寄存器 xmm0 = xmm0 + xmm1 参数分别通过 xmm0 ， xmm1 传入。 返回值通过 xmm0 传出。 什么是 xmm 系列寄存器？

元素从小到大排序，而 vector 会保持插入时的顺序。 • 区别 2 ： set 会把重复的元素 去除，只保留一个，即去重。 • 区别 3 ： vector 中的元素在内 存中是连续的，可以高效地按 索引随机访问， set 则不行。 • 区别 4 ： set 中的元素可以高 效地按值查找，而 vector 则 低效。 set 的排序： string 会按“字典序”来排 • set 会从小到大排序，对 ， O(1) unordered_multiset × ，因为是无序的 √ ， O(1) √ ， O(1) 查找方面各容器适合的领域 • vector 适合：按索引查找。通过运算符 [] 。 • set 适合：按值相等查找，按值大于 / 小于查找。分别通过 函数 find 、 lower_bound 、 upper_bound 。 • unordered_set

std::dynamic_pointer_cast 8. 运算符重载 9. 右值引用 && 10. std::shared_ptr 和 std::any • 只提供了关键字，详细信息请善用搜索引擎： bing.com 。（不要用 baidu.com ，那个是搜广告用的） • 如果感兴趣，我可以增添一节专门讲动态多态。 回家作业！ • 已经发布到： https://github.com/parallel101/hw02 的拷贝构造函数能正常工作，且内存能够安全释放。 • 通过 pull request 提交你的作业，这样我可以通过 diff 页面清楚地看到你的改动。 • 什么事 pull request ？还是善用搜索引擎，这是作业的一部分（ x 感谢观看！ by 彭于斌（ github@archibate ） 录播： https://space.bilibili.com/ 263032155 课件： https://github

所以不用纠结性能，你觉得哪种写起来可 读性强，容易维护，你就怎么写。 无分支优化的方法：查表法 • 如果每个判断的值是连续的，这种情况一般 会建立一个表（数组）。 • 这个表里每个元素就是原来要返回的一个个 值，索引就是要判断的参数 x 。 • 因为查表只需要一个指针的加法和读取操作 ，复杂度是 O(1) 的；运算量远远小于最坏 需要 n 次判断的一堆 if-else ，复杂度是 O(n) 的。因此用查表法去优化有很多次连

fetch_add(val) • 除了会导致 atm 的值增加 val 外，还会 返回 atm 增加前的值，存储到 old 。 • 这个特点使得他可以用于并行地往一个列 表里追加数据：追加写入的索引就是 fetch_add 返回的旧值。 • 当然这里也可以 counter++ ，不过要追加 多个的话还是得用到 counter.fetch_add(n) 。 exchange ：读取的同时写入