## TokuDB索引结构 网易杭州研究院---胡争（博客：openinx.github.io） ## TokuDB简介 - 基于分形树实现的MySQL存储引擎 • Tokutek公司2007年研发，2013年开源 • 2015年Percona公司收购Tokutek公司 • TokuDB内部的K-V存储引擎为ft-index • TokuMx: ft-index + MongoDB Server层代码 插入性能大大高于InnoDB（分形树vs B+树） • 查询性能略低于InnoDB - 在线执行DDL操作（不阻塞写操作） • 超高压缩率（TokuDB 4M vs InnoDB 16K） 更高性能，更低成本！ ## 分形树索引结构（一）  ## 分形树结构（二）

3d2e02e281193cf40fb810773/p6_9.jpg) 专业的数据资源管理 洞察 预警 消息 交互 ## Agenda 01 / 数据分区 02 / 一级索引&二级索引 03 / 数据存储 04 / 数据标记 ## 表引擎 表引擎，是ClickHouse设计实现中的一大特色。可以说正是由表引擎，决定了一张数据表最终的性格，它拥有何种特 *MergeTree $ )最为强大，在生产环境绝大部分场景中都应该使用此系列的表引擎。 只有合并树系列的表引擎才支持主键索引、数据分区、数据副本和数据采样这些特性，同时也只有此系列的表引擎支持ALTER相关操作。 ## 合并树家族 其中MergeTree作为家族中最基础的表引擎，提供了主键索引、数据分区、数据副本和数据采样等所有的基本能力，而家族中其他的表引擎则在MergeTree的基础之上各有所长。 [PARTITION BY expr] 分区键 [ORDER BY expr] 排序键 [PRIMARY KEY expr] 主键 [SAMPLE BY expr] [Settings name=value, 省略...] index granularity = 8192 索引粒度 ## MergeTree的存储结构 table\_name partition_1 数据以分区的形式被组织，PARTITION

## PyTorch ## 索引与切片 主讲人：龙良曲 ## I ndexing - dim 0 first ☐ ☐ ☐ 1 In [130]: 2 a=torch.rand(4,3,28,28) 3 In [131]: a[0].shape 4 Out[131]: torch.Size([3, 28, 28]) 5 6 In [138]: a[0,0].shape 7 Out[138]:

database db 数据库 table collection 表/集合 row document 行/文档 column field 字段 index index 索引 primaryId _id 主键 lock lock 锁 下面对以上基本概念进行简单说明，详情的后续博文会补上 1. 数据库 数据库可以理解为collection的聚集体，每个mongodb实例可以有多 nt时，集合被创建； document 文档，也就是具体的数据；bson结构，kv方式 最大的特点是不要求所有的document的结构一致，相同的field的数据类型可以不一致 index 索引，同样是用来提高查询效率，避免全盘扫描 lock支持读写锁，document加读锁时，其他读操作ok，写操作禁止；加写锁时，其他读写操作禁止 6. 事务 MongoDB 4.0 事务实现解析 版本 capped: true，表示创建固定大小的集合，需要指定size；超过数量之后，覆盖最早的文档 size: 固定集合时配套使用，KB为单位 autoIndexId: 自动为 _id 添加索引，默认true max: 固定集合时，文档的最大数量 一个简单的实例 创建一个名为 to.insert 的集合 db.createCollection(‘to.insert’) 除此之外，新

兼容性变更 37 2.2.3 改进提升 56 2.2.4 错误修复 57 2.3 TiDB 基本功能 58 2.3.1 数据类型，函数和操作符 58 2.3.2 索引和约束 59 2.3.3 SQL 语句 59 2.3.4 高级 SQL 功能 60 2.3.5 数据定义语言 (DDL) 60 2.3.6 事务 60 94 3.3.1 分类 ··· 94 3.3.2 查看、创建和删除数据库 ··· 94 3.3.3 创建、查看和删除表 ··· 95 3.3.4 创建、查看和删除索引 ··· 96 3.3.5 记录的增删改 ··· 96 3.3.6 查询数据 ··· 97 3.3.7 创建、授权和删除用户 ··· 97 3.4 HTAP 深入探索指南 连接池与连接参数 ··· 231 4.5 数据库模式设计 ··· 236 4.5.1 概述 ··· 236 4.5.2 创建数据库 ··· 239 4.5.3 创建表 ··· 241 4.5.4 创建二级索引 ··· 250 4.6 数据写入 ··· 254 4.6.1 插入数据 ··· 254 4.6.2 更新数据 ··· 260 4.6.3 删除数据 ··· 269 4.6.4 预处理语句

改进提升 59 2.2.8 错误修复 61 2.2.9 贡献者 62 2.3 TiDB 功能概览 63 2.3.1 数据类型，函数和操作符 63 2.3.2 索引和约束 64 2.3.3 SQL 语句 64 2.3.4 高级 SQL 功能 65 2.3.5 数据定义语言 (DDL) 65 ![OCR图片](/uploads/do 3 SQL 基本操作 ··· 92 3.3.1 分类 ··· 92 3.3.2 查看、创建和删除数据库 ··· 93 3.3.3 创建、查看和删除表 ··· 93 3.3.4 创建、查看和删除索引 ··· 94 3.3.5 记录的增删改 ··· 94 3.3.6 查询数据 ··· 95 3.3.7 创建、授权和删除用户 ··· 95 3.4 HTAP 深入探索指南 ··· 96 3 连接池与连接参数 ··· 244 4.5 数据库模式设计 ··· 250 4.5.1 概述 ··· 250 4.5.2 创建数据库 ··· 251 4.5.3 创建表 ··· 253 4.5.4 创建二级索引 ··· 263 4.6 数据写入 ··· 267 4.6.1 插入数据 ··· 267 4.6.2 更新数据 ··· 272 4.6.3 删除数据 ··· 281 4.6.4 使用 TTL

改进提升 54 2.2.5 错误修复 56 2.2.6 贡献者 60 2.3 TiDB 功能概览 60 2.3.1 数据类型，函数和操作符 61 2.3.2 索引和约束 61 2.3.3 SQL 语句 62 2.3.4 高级 SQL 功能 62 2.3.5 数据定义语言 (DDL) 63 2.3.6 事务 63 3 SQL 基本操作 ··· 88 3.3.1 分类 ··· 88 3.3.2 查看、创建和删除数据库 ··· 89 3.3.3 创建、查看和删除表 ··· 89 3.3.4 创建、查看和删除索引 ··· 90 3.3.5 记录的增删改 ··· 90 3.3.6 查询数据 ··· 91 3.3.7 创建、授权和删除用户 ··· 91 3.4 HTAP 深入探索指南 ··· 92 3 连接池与连接参数 ··· 239 4.5 数据库模式设计 ··· 245 4.5.1 概述 ··· 245 4.5.2 创建数据库 ··· 246 4.5.3 创建表 ··· 248 4.5.4 创建二级索引 ··· 258 4.6 数据写入 ··· 261 4.6.1 插入数据 ··· 261 4.6.2 更新数据 ··· 267 4.6.3 删除数据 ··· 276 4.6.4 使用 TTL

错误修复 43 2.2.6 性能测试 45 2.2.7 贡献者 45 2.3 TiDB 功能概览 46 2.3.1 数据类型，函数和操作符 46 2.3.2 索引和约束 47 2.3.3 SQL 语句 47 2.3.4 高级 SQL 功能 48 2.3.5 数据定义语言 (DDL) 48 2.3.6 事务 49 3 SQL 基本操作 ··· 74 3.3.1 分类 ··· 74 3.3.2 查看、创建和删除数据库 ··· 74 3.3.3 创建、查看和删除表 ··· 75 3.3.4 创建、查看和删除索引 ··· 75 3.3.5 记录的增删改 ··· 76 3.3.6 查询数据 ··· 76 3.3.7 创建、授权和删除用户 ··· 77 3.4 HTAP 深入探索指南 ··· 77 3 连接池与连接参数 ··· 224 4.5 数据库模式设计 ··· 230 4.5.1 概述 ··· 230 4.5.2 创建数据库 ··· 231 4.5.3 创建表 ··· 233 4.5.4 创建二级索引 ··· 243 4.6 数据写入 ··· 246 4.6.1 插入数据 ··· 246 4.6.2 更新数据 ··· 252 4.6.3 删除数据 ··· 261 4.6.4 使用 TTL