第三届中国 Rust 开发者大会 基于 Rust Arrow Flight 的物联网和时序数据传输及 转换工具 霍琳贺 涛思数据 Rust China Conf 2023 CONTENTS 自 我 介 绍 T D e n g i n e t a o s X R u s t 使 用 TDengine Rust • OOXML - Excel 解析库 • xlsx2csv - github.com/taosdata/TDengine 全球 50 多个国家安装实例超 270k ｜ GitHub 全球趋势排行榜多次排名第一 TDengine - 数据模型 1. 设备 ID 及关联属性（ Tags ） 2. 时间戳 3. 结构化采集量 STable 超级表 Table 子表 CREATE STABLE `meters` ( `ts` TIMESTAMP, `current`

* * * * 结构体的内存布局： AOS 与 SOA • AOS （ Array of Struct ）单个对象的属性紧挨着存 • xyzxyzxyzxyz • SOA （ Struct of Array ）属性分离存储在多个数组 • xxxxyyyyzzzz • AOS 必须对齐到 2 的幂才高效， SOA 就不需要。 • AOS 符合直觉，不一定要存储在数组这种线性结构， float ，大小仅为 12 字节。 • 所以当修改 MyClass 的 x 属性时，必须读取整个 MyClass ，仅仅 修改其中的 x 属性，然后写回。这就浪费了： y 的写、 z 的写、 z 的读。实际用上的只有： x 的读， y 的读， x 的写。浪费了 50% 带宽。 • 而 SOA 把三个属性分开存，每个属性作为独立的数组，稠密存储。 这样当用不到 z 的时候， z 数组就完全不会被读取，不会占用内 并非随意选取，而是要让每 个属性 SOA 数组的大小为一个页 （ 4KB ）才能最高效，原因稍后会说明。 AOSOA ：注意，内部 SOA 的尺寸不宜太小 如果内部 SOA 太小，内部循环只有 16 次连续的读 取， 16 次结束后就会跳跃一段，然后继续连续的 读取。这会导致 CPU 预取机制失效，无法预测下 一次要读哪里，等发现跳跃时已经来不及了，从而 计算的延迟无法隐藏。 如果每个属性都要访问到，那还是

自定义构造函数：单个参数 自定义构造函数：单个参数（陷阱） 自定义构造函数：单个参数（避免陷阱） 避免陷阱体现在哪里？ • 加了 explicit 表示必须用 () 强制转换。 • 否则 show(80) 也能编译通过！ • 所以，如果你不希望这种隐式转换， • 请给单参数的构造函数加上 explicit 。 • 比如 std::vector 的构造函数 vector(size_t n) 也是 explicit 14f} 会出错，因为 {} 是非强制转换。 2. Pig(“ 佩奇” , 3.14f) 不会出错，但是 Pig{“ 佩奇” , 3.14f} 会出错，原因同上，更安全。 3. 可读性： Pig(1, 2) 则 Pig 有可能是个函数， Pig{1, 2} 看起来更明确。 • 其实谷歌在其 Code Style 中也明确提出别再通过 () 调用构造函数，需要类型转换时应该 用： 1. static_cast(3 static_cast(3.14f) 而不是 int(3.14f) 2. reinterpret_cast(0xb8000) 而不是 (void *)0xb8000 • 更加明确用的哪一种类型转换（ cast ），从而避免一些像是 static_cast(ptr) 的错误 。 • 虽然作者也经常会忍不住在 zeno 中用 编译器默认生成的构造函数：无参数（小心 POD 陷阱！）

也可以只针对一个库，只对他启用位置无关的代码 (PIC) 第 4 章：对象的属性 除了 POSITION_INDEPENDENT_CODE 还有哪些这样的属性？ 另一种方式： set_target_properties 批量设置多个属性 另一种方式：通过全局的变量，让之后创建的所有对象都享有同样的属性 相当于改变了各个属性的初始默认值。 要注意此时 set(CMAKE_xxx) 必须在 add_executable xx_OUTPUT_DIRECTORY 系列属性 • 所以，可以设置 mylib 的这些属性，让 mylib.dll 文件输出到 PROJECT_BINARY_DIR ，也就是项目根目录（ main 所在的位置）。这样 main.exe 在 运行时就能找到 mylib.dll 了。 • 是的，为了伺候这睿智的 Wendous 系统，需要设置全部 6 个属性，是不是非常繁琐？ 不懂就问，为什么说 这样改了别人如果装在不同地方就出错了。 顺便一提， CMake 的路径分割符始终是 / 。即使在 Windows 上，也 要把所有的 \ 改成 / ，这是出于跨平台的考虑。请放心， CMake 会自 动在调用 MSVC 的时候转换成 \ ，你可以放心的用 ${x}/bin 来实现和 Python 的 os.path.join(x, ‘bin’) 一样的效果。 毕竟大多数操作系统都是 Unix-like 嘛……就 Windows

寄存器里同时运算，很像数学中矢量的逐元 素加法。因此 SIMD 又被称为矢量，而原始的一次只能处理 1 个 float 的方式，则称为 标量。 • 在一定条件下，编译器能够把一个处理标量 float 的代码，转换成一个利用 SIMD 指令的 ，处理矢量 float 的代码，从而增强你程序的吞吐能力！ • 通常认为利用同时处理 4 个 float 的 SIMD 指令可以加速 4 倍。但是如果你的算法不 适合 对缓存的占用等一系列连锁反应，总之，要根据实际情况选择优化方案。 结构体的内存布局： AOS 与 SOA • AOS （ Array of Struct ）单个对象的属性紧挨着存 • xyzxyzxyzxyz • SOA （ Struct of Array ）属性分离存储在多个数组 • xxxxyyyyzzzz • AOS 必须对齐到 2 的幂才高效， SOA 就不需要。 • AOS 符合直觉，不一定要存储在数组这种线性结构， 符合直觉，不一定要存储在数组这种线性结构， 而 SOA 可能无法保证多个数组大小一致。 • SOA 不符合直觉，但通常是更高效的！ AOS ：紧凑存储多个属性 SIMD 矢量化失败！ 符合一般面向对象编程 (OOP) 的习惯，但常常不利于性能 SOA ：分离存储多个属性 SIMD 矢量化成功！ 不符合面向对象编程 (OOP) 的习惯，但常常有利于性能。 又称之为面向数据编程 (DOP) 。 AOSOA

即可，他会自动和已有的模板 twice(T) 之间相互重载。 模板函数：特化的重载（续） • 但是这样也有一个问题，那就是如果我用 twice(“hello”) 这样去调用，他不会自动隐 式转换到 std::string 并调用那个特化函数 ，而是会去调用模板函数 twice(“hello”) ，从而出错。 • 可能的解决方案： SFINAE 。 模板函数：默认参数类型 完全让参数类型取决于调用者 。 2. func(vector t) 这样则可以限定仅仅 为 vector 类型的参数。 • 这里用了 const & 避免不必要的的拷贝。 • 不过，这种部分特化也不支持隐式转换。 为什么要支持整数作为模板参数：因为是编译期常量 • 你可能会想，模板只需要支持 class T 不就行了？反正 int N 可以作为函数的 参数传入，模板还不支持浮点。 • template 入的。 • 因此 int const & 无非是另一个类型 int const 的引用罢了。这个引用不可写入。 • 唯一特殊之处，就在于 C++ 规定 int && 能自动转换成 int const & ，但不能转换成 int & 。 • 例如，尽管 3 是右值 int && ，但却能传到类型为 int const & 的参数上： • void func(int const &i);

在多文件编译章中，说到了需要在 main.cpp 声明 hello() 才能引用。为什么？ 1. 因为需要知道函数的参数和返回值类型：这样才能支持重载，隐式类型转换等特性。例 如 show(3) ，如果声明了 void show(float x) ，那么编译器知道把 3 转换成 3.0f 才能 调用。 2. 让编译器知道 hello 这个名字是一个函数，不是一个变量或者类的名字：这样当我写下 hello() 的时候，他知道我是想调用 表示当前路径，因为子目录里的路径是相对路径，类似还有 .. 表示上一层目 录。 • 此外，如果不希望让引用 hellolib 的可执行文件自动添加这个路径，把 PUBLIC 改成 PRIVATE 即可。这就是他们的用途：决定一个属性要不要在被 link 的时候传播。 目标的一些其他选项 • 除了头文件搜索目录以外，还有这些选项， PUBLIC 和 PRIVATE 对他们同理： • target_include_directories(myapp

的形式来强制把任意类型的 x 转换为 short 类型。 • 如果源类型比目的类型小，那么会根据目的类型是有 符号还是无符号的，自动扩展他的符号位。 • 例如 char 类型的 -128 是 10000000 • 强制转换为 short 后是 11111111 10000000 • 可见符号位被完全填充到了 short 的前一个字节，这 是为了转换后的 short ，根据补码的规则仍是 011111111 • 强制转换为 short 后是 00000000 011111111 • 可见符号位还是被完全填充到了 short 的前一个字节 ，这次因为符号位是 0 ，所以 short 的高位也全部 填满了 0 ，对值没有影响，根据补码的规则仍是 127 。 • s 实验：不同大小之间的整数互转 • 例如 char 类型的 -128 是 10000000 • 强制转换为 short 后是 (float)abs((int)x) • 所以被 x 被隐式转换（不会产生错误）成了 int 之后才调用 abs ，相当于调用了 x = abs(- 3) 。 fabs 函数：取出浮点的绝对值 • abs 是整数的绝对值函数，而这里我们其实是 需要浮点的绝对值函数，他叫做 fabs ： • double fabs(double x); • float 会被自动转换成 double ，是“以小转大” 没有问题。所以现在答案是正确的，因为

• 如果 b 是常数且为 2 的幂次方，编译器会检测到， 并替换为更高效的位运算，反而减少了计算量。 • 此外如果 b 一定是 2 的幂次方，那么 (unsigned)a % b 也可以（先转换成无符号的取模）。 高效的解决：位运算 & • 如果 b 是 2 的幂次方，即： 2, 4, 8, 16, 32 等 。 • 则： a % b = a & (b - 1) • 比如 a % 量就变小，从而内存带宽也可以减小！ • 对于右边这种内存瓶颈的循环体，从 4 字节的 int 改成 int8_t ，理论上可以增加 4 倍速度！ • 这就是量化数据类型的思想，把占空间大的数据 类型转换成较小的（损失一定精度，换来性能） 。 • 因此如果你的程序不需要那么高精度，可以考虑 用小点的数据类型。 8 个 bit 合并进一个 int8_t ：每个占据 1/8 字节 • 考虑到我们的 （指数）。 • 而定点数则没有指数位。而是规定好一个固定的系数，比如 100 。 • 那么 123.4 就存储为 12340 （底数），而指数是事先规定好的 2 。 • 要把浮点数转换成定点数，只需乘以 100 ，然后转换成 int 即可。 • 要从定点数中获取原来的浮点数，只需把定点数除以 100 即可。 • 注意：定点数的表示范围比较小，比如 0 到 99999 ，但精度均匀。 • 而浮点数表示范围很大，如

） 。 • iscntrl(c) 判断是否为控制字符（ 0 <= c && c <= 31 或 c == 127 ）。 • toupper(c) 把小写字母转换为大写字母，如果不是则原封不动返回。 • tolower(c) 把大写字母转换为小写字母，如果不是则原封不动返回。 帮手函数大全 http://c.biancheng.net/ref/ctype_h/ 关于 char 类型的一个冷知识 的接口，例如 begin/end/size/resize…… • string 有一系列成员函数，例如 find/replace/substr…… • string 可以通过 s.c_str() 重新转换回古板的 const char * 。 • string 在离开作用域时自动释放内存 (RAII) ，不用手动 free 。 C++ 字符串和 C 字符串的不同 • C 语言字符串是单独一个 name); // 超级追求性能的极客 c_str 和 data 的区别 • const char * 可以隐式转换为 string （为了方便） • string 不可以隐式转换为 const char * （安全起见） • 如果确实需要从 string 转换为 const char * ，请调用 .c_str() 这个成员函数 。 字符串的连接（ + 运算符） • C 语言规定，双引号包裹的字符串是