## TokuDB索引结构 网易杭州研究院---胡争（博客：openinx.github.io） ## TokuDB简介 - 基于分形树实现的MySQL存储引擎 • Tokutek公司2007年研发，2013年开源 • 2015年Percona公司收购Tokutek公司 • TokuDB内部的K-V存储引擎为ft-index • TokuMx: ft-index + MongoDB Server层代码 插入性能大大高于InnoDB（分形树vs B+树） • 查询性能略低于InnoDB - 在线执行DDL操作（不阻塞写操作） • 超高压缩率（TokuDB 4M vs InnoDB 16K） 更高性能，更低成本！ ## 分形树索引结构（一）  ## 分形树结构（二）

Curve文件系统空间分配方案（基于块的方案，已实现） - 背景 - 本地文件系统空间分配相关特性 - 局部性 - 延迟分配/Allocate-on-flush - Inline file/data - 空间分配 - 整体设计 - 空间分配流程 - 特殊情况 - 空间回收 - 小文件处理 - 并发问题 - 文件系统扩容 - 接口设计 接口设计 - RPC接口 - 空间分配器接口 ## 背景 根据CurveFS方案设计（总体设计，只实现了部分），文件系统基于当前的块进行实现，所以需要设计基于块的空间分配器，用于分配并存储文件数据。 ## 本地文件系统空间分配相关特性 局部性 尽量分配连续的磁盘空间，存储文件的数据。这一特性主要是针对HDD进行的优化，降低磁盘寻道时间。 延迟分配/Allocate-on-flush 在sync/flush之前，尽可能多的积累更多的文件数据块才进行空间分配，一方面可以提高局部性，另一方面可以降低磁盘碎片。 Inline file/data 几百字节的小文件不单独分配磁盘空间，直接把数据存放到文件的元数据中。 针对上述的本地文件系统特性，Curve文件系统分配需要着重考虑局部性。 虽然Curve是一个分布式文件系统，但是单个文件系统的容量可能会比较大，如果在空间分配时，不考虑局部性，inode中记录

## PyTorch ## 索引与切片 主讲人：龙良曲 ## I ndexing - dim 0 first ☐ ☐ ☐ 1 In [130]: 2 a=torch.rand(4,3,28,28) 3 In [131]: a[0].shape 4 Out[131]: torch.Size([3, 28, 28]) 5 6 In [138]: a[0,0].shape 7 Out[138]:

### 9. 创建工作空间与功能包 主讲人：古月 ## • 工作空间 工作空间（workspace）是一个存放工程开发相关文件的文件夹。 src: 代码空间（Source Space） build: 编译空间（Build Space） • devel: 开发空间（Development Space） • install: 安装空间（Install Space） workspace_folder/ bash setup.bash setup.sh ... catkin编译系统下的工作空间结构 ## • 创建工作空间 $ mkdir -p ~/catkin_ws/src ## 创建工作空间 $ cd ~/catkin_ws/src $ catkin_init_workspace ## 编译工作空间 $ cd ~/catkin_ws/ $ catkin_make ## 设置环境变量 roscpp ## 编译功能包 $ cd ~/catkin_ws $ catkin_make $ source ~/catkin_ws/devel/setup.bash 同一个工作空间下，不允许存在同名功能包 不同工作空间下，允许存在同名功能包 ## • 创建功能包 ![Image](/uploads/documents/3/e/8/9/3e891f3581ca2b

3d2e02e281193cf40fb810773/p6_9.jpg) 专业的数据资源管理 洞察 预警 消息 交互 ## Agenda 01 / 数据分区 02 / 一级索引&二级索引 03 / 数据存储 04 / 数据标记 ## 表引擎 表引擎，是ClickHouse设计实现中的一大特色。可以说正是由表引擎，决定了一张数据表最终的性格，它拥有何种特 *MergeTree $ )最为强大，在生产环境绝大部分场景中都应该使用此系列的表引擎。 只有合并树系列的表引擎才支持主键索引、数据分区、数据副本和数据采样这些特性，同时也只有此系列的表引擎支持ALTER相关操作。 ## 合并树家族 其中MergeTree作为家族中最基础的表引擎，提供了主键索引、数据分区、数据副本和数据采样等所有的基本能力，而家族中其他的表引擎则在MergeTree的基础之上各有所长。 排序键 [PRIMARY KEY expr] 主键 [SAMPLE BY expr] [Settings name=value, 省略...] index granularity = 8192 索引粒度 ## MergeTree的存储结构 table\_name partition_1 数据以分区的形式被组织，PARTITION BY ![Image](/uploads/document

说明 database db 数据库 table collection 表/集合 row document 行/文档 column field 字段 index index 索引 primaryId _id 主键 lock lock 锁 下面对以上基本概念进行简单说明，详情的后续博文会补上 1. 数据库 数据库可以理解为collection的聚集体，每个mon nt时，集合被创建； document 文档，也就是具体的数据；bson结构，kv方式 最大的特点是不要求所有的document的结构一致，相同的field的数据类型可以不一致 index 索引，同样是用来提高查询效率，避免全盘扫描 lock支持读写锁，document加读锁时，其他读操作ok，写操作禁止；加写锁时，其他读写操作禁止 6. 事务 MongoDB 4.0 事务实现解析 版本 capped: true，表示创建固定大小的集合，需要指定size；超过数量之后，覆盖最早的文档 size: 固定集合时配套使用，KB为单位 autoIndexId: 自动为 _id 添加索引，默认true max: 固定集合时，文档的最大数量 一个简单的实例 创建一个名为 to.insert 的集合 db.createCollection(‘to.insert’) 除此之外，新