第三届中国 Rust 开发者大会 安全高效的二进制序列化 Daniel Wang @ NEAR Borsh • 运行、编码效率 • 确定性 • 跨平台兼容性 二进制序列化的问题 Binary Object Representation Serializer for Hashing • 字节级别确定性 • 执行速度快 Borsh • 轻量级 • 每一个对象与其二进制表示之间都存在一个双射映射

，其中 n 是元素个数 改进的并行缩并（ GPU ） • 刚才那种方式对 c 比较大的情况不友好， 最后一个串行的 for 还是会消耗很多时间 。 • 因此可以用递归的模式，每次只使数据缩 小一半，这样基本每次都可以看做并行的 for ，只需 log2(n) 次并行 for 即可完成 缩并。 • 这种常用于核心数量很多，比如 GPU 上 的缩并。 结论：改进后的并行缩并的时间复杂度为 ，工作复杂度为 O(n+c) ，其中 n 是元素个数 改进的并行扫描（ GPU ） 第一步、 4 个线程，每个处理 2 个元素的扫描，花了 1 秒 第而步、 4 个线程，每个处理 2 个元素的扫描，花了 1 秒 第三步、 4 个线程，每个处理 2 个元素的扫描，花了 1 秒 用电量： 3*4=12 度电 总用时： 1*3=3 秒 结论：改进后的并行扫描的时间复杂度为 O(logn) ，工作复杂度为 完毕后才去认领下一个任务，从而即使每个任务 工作量不一也能自动适应。 • 这种技术又称为线程池（ thread pool ），避免了 线程需要保存上下文的开销。但是需要我们管理 一个任务队列，而且要是线程安全的队列。 struct Task { int x0, y0; int nx, ny; }; std::queue q; 1 2 3 4 解决 3 ：每个线程一个任务队

代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 xN 部署生产环境 xN 部署 / 灰度上线 xN 监控 / 多业务联调艰难，诊断耗时多 • 出现问题诊断耗时多 • 流程割裂协作痛苦，响应慢 调试自测免打扰：本地 / 子环境免打扰，独立完成验证工作 自助验证更高效：自动化工作流 + 云上环境，高效验证调试 安全发布有信心： 一个平台完成日常 90% 工作，开发自助发布 需求研发总耗时降低 30% 需求迭代周期缩短 1-5 倍 解放开发，专注编码 更多的架构和技术提升 测试 效率和质量难以平衡： 验证有效性提升 100% 解放测试，全面自动化 提升效率，建设质量体系 安全 安全建设被动： • 安全建设缺乏时机和抓手 • 出现问题，影响业务进度 前置安全服务：全流程嵌入安全检测，避免流入业务环节。 全流程安全门禁：关键环节设置安全门禁，快速反馈研发改进 故障拦截率提升 1-3 倍 业务响应效率提升 3-5 倍 全流程安全建设 更多价值体现 组织 靠流程和个人，效率越来越低 • 低人效

当读和写创建的新条目过多，缓存快要塞不下时，他会把 最不常用的那个条目移除，这个现象称为失效（ invalid ）。 如果那个条目是被标记为脏的，则说明是当时打算写入的 数据，那就需要向主内存发送写入请求，等他写入成功， 才能安全移除这个条目。 • 如有多级缓存，则一级缓存失效后会丢给二级缓存。 连续访问与跨步访问 • 如果访问数组时，按一定的间距跨步访问，则效率如何？ • 从 1 到 16 都是一样快的， 32 开始才按 ？原来现在操作系统管理内存是用分页 （ page ），程序的内存是一页一页贴在地址空间中的， 有些地方可能不可访问，或者还没有分配，则把这个页设 为不可用状态，访问他就会出错，进入内核模式。 • 因此硬件出于安全，预取不能跨越页边界，否则可能会触 发不必要的 page fault 。所以我们选用页的大小，因为本 来就不能跨页顺序预取，所以被我们切断掉也无所谓。 • 另外，我们可以用 _mm_alloc nx*nblur 需要缓存： blockSize*nx*nblur 改进：只对 X 循环做分块 BM_y_blur_tiled BM_y_blur_tiled_only_x 因此，可以只对 X 循环分块，并且把外 层改成 XY 序，形成 XYx 序。 需要缓存： blockSize*nx*nblur 需要缓存： blockSize*nblur 改进：只对 X 循环做分块 • 反而变慢了，是怎么回事？

long 的大小应该和系统架构位数一样， 32 位系统上就 32 位， 64 位系统上就 64 位。 Windows 认为 long 不论 32 位系统还是 64 位系统都一样应该为 32 位，认为这样安全。 因此我们在编写 C 语言程序时，应该避免使用 long 类型，他会导致你的程序难以跨平台。 除了 long 之外的其他类型则没有区别，可以放心使用。 无符号整数： unsigned 修饰 有符号版本 用途举例：假如一个参数类 Params 非常复杂 ，然后函数是 func(Params *pars) ，这样只要 给 pars 传一个空指针，就表示“用户不想指定 这个参数”的意思。 C++ 可以用更安全的 func(std::optional pars) 来替代。 NULL 的定义为什么是这样的？ • 如果你看过标准库的头文件内容，会看到 NULL 的 本质无非是一个宏。那为什么要这样定义呢？ 意类型的指针。 • 这样总算可以区分 func(int*) 和 func(int) 的重载了。 • 在现代 C++ 中，建议始终用 nullptr ，不 要再用 NULL 和 0 表示空指针了，不安全 。 来看看 GLIBC 的源码 数组的本质究竟是什么？ 数组就是一堆在内存中紧密排列在一起的数 • 例如一个由 4 个字节组成的 char 数组，在内存中就是： 实验： char 类型数组

是一个模板类，则 CRTP 的那个参数应包含派生类的模板参数，例 如： • template • struct Derived : Base> {}; CRTP 的改进：如果基类还想基于另一个类 • 现在我们的需求有变，需要新增一个“超狗 (superdog)” 类，他继承自普通狗 (dog) 。 • 这时我们可以给 IObjectClone 新增一个模板参数 的对象，如果类型不是 T ，则出错。 NumericObject 的定义 • NumericObject 是基于 std::variant 的。 • 注意他的 get 成员函数，这和 std::get 相 比更安全，例如 value 是 int 类型，但用 户却调用了 get 。则这里 is_constructible 是 true ，不会出错，而是 会自动把 float 转换成 int

ivdep C/C++ 的缺点：指针的自由度过高，允许多个 immutable reference 指向同一个对象，而 Rust 从语法层面禁止，从而让编译器放心大胆 优化。 为什么标准委员会不改进一下？因为一旦放弃 兼容，就等于抛弃所有历史遗产的全新语言， 就和 Rust 无异，从而没有任何理由再学习 C++ 。 std::vector ：也能实现 SOA ！ 优化前 (AOS) 优化后 总之，请勿用全局的数学函数，他们是 C 语言 的遗产。始终用 std::sin, std::pow 等。 abs(1.4f) = 1 ，因为 abs 是个参数类型为 int 的函数。 为了避免这种麻烦，请用安全的 std::abs(1.4f) = 1.4f 开启前： sqrt 矢量化失败 开启后： sqrt 矢量化成功 嵌套循环：直接累加，有指针别名问题 编译器担心 c 和 a 可能会指向同一个 地址，而连续判断三个指针是否有重合

边界条件：仅在第一层额外判断边界条件 进一步改进 VDB 导出：支持导出多个网格，并指定名称 进一步改进 VDB 导出： P-IMPL 模式 进一步改进 VDB 导出： F-IMPL 模式 Blender 渲染结果 改进 改进边界条件：外部边界流出而不是反弹，内部边界可以流出速度 Blender 中调整一下材质 Blender 中调整一下材质 改进对流：让烟雾随时间逐渐褪色 改进对流：让烟雾随时间逐渐褪色 改进对流：让烟雾随时间逐渐褪色 改进褪色：不是褪色 density ，而是褪色 temperature 改进褪色：不是褪色 density ，而是褪色 temperature 改进褪色：不是单纯地乘以 decayRate ，还和周围环境温度求平均值 改进温度：高温气体往上浮（作为外力来看待） 结果：更像火焰了 改进颜色场：让 clr 作为尘埃密度，密度越高越有向下坠落的趋势 问题：上面的尘埃无止境的飘下来 解决：纹理对象指定为 解决：纹理对象指定为 cudaAddressModeBorder 让越界访问自动变 0 即可 结果：小球加回来 改进温度：只有达到一定温度才会上升，否则（视为冷空气）下降 改进褪色：尘埃密度也会褪色

mylib.cpp 里的 say_hello 函数 改进： mylib 作为一个静态库 改进： mylib 作为一个动态库 改进： mylib 作为一个对象库 https://www.scivision.dev/cmake-object-libraries/ 对象库类似于静态库，但不生成 .a 文件，只由 CMake 记住该库生成了哪些对象文件 改进： mylib 作为一个对象库 https://www

DATE_FORMAT(), 等，如果使用了 等，如果使用了 OR OR 或 或 IN IN ，索引也将失效 ，索引也将失效  使用 使用 Explain Explain 语句来帮助改进我们的 语句来帮助改进我们的 SQL SQL 语句 语句 应用优化 应用优化 编写高效的 编写高效的 SQL SQL （二） （二）  不要在 不要在 where where 子句中的 子句中的““==””