## TokuDB索引结构 网易杭州研究院---胡争（博客：openinx.github.io） ## TokuDB简介 - 基于分形树实现的MySQL存储引擎 • Tokutek公司2007年研发，2013年开源 • 2015年Percona公司收购Tokutek公司 • TokuDB内部的K-V存储引擎为ft-index • TokuMx: ft-index + MongoDB Server层代码 • 超高压缩率（TokuDB 4M vs InnoDB 16K） 更高性能，更低成本！ ## 分形树索引结构（一）  ## 分形树结构（二） • msg buffer - 先进先出队列 • BasementNode (OMT) - - 弱平衡二叉树 – 增删改查期望复杂度 $ O(\log N) $ • 页大小默认4M。 - 扇出fanout默认 $$ 4,16 $$ 区间。 ## 分形树结构（三） ## • 叶子节点 - 数据量维持在 $$ 1M,4M $$ 区间 - 数据量小于1M则合并 - 数据量大于4M则分裂。 ## • 非叶子节点 - 扇出（fanout）维持在 $$ 4,16 $$ 区间 - 扇出小于4则合并

## PyTorch ## 索引与切片 主讲人：龙良曲 ## I ndexing - dim 0 first ☐ ☐ ☐ 1 In [130]: 2 a=torch.rand(4,3,28,28) 3 In [131]: a[0].shape 4 Out[131]: torch.Size([3, 28, 28]) 5 6 In [138]: a[0,0].shape 7 Out[138]:

# Java 应用与开发 Java EE 体系结构 王晓东 wangxiaodong@ouc.edu.cn 计算机科学与技术系 November 6, 2018  ## 参考书目 1. 吕海东，张坤编著，Java EE 企业级应用开发实例教程，清华大学出版社，2010 软件系统是由许多小的组件构建和装配起来的 采用标准规范开发 J2EE, MS.NET 全面采用框架技术 Struts、Spring、Hibernate、AJAX、WebWork 软件系统采用分层结构和设计模式 MVC 工厂化流水线开发模式 CVS 可视化软件建模 UML、RUP、ROSE ## 软件开发现状 面向 Internet 开发企业级 Web 应用 面向对象 OOA/OOD/OOP，Java、C# 软件系统是由许多小的组件构建和装配起来的 采用标准规范开发 J2EE、MS.NET 全面采用框架技术 Struts、Spring、Hibernate、AJAX、 WebWork 软件系统采用分层结构和设计模式 MVC 工厂化流水线开发模式 CVS 可视化软件建模 UML、RUP、ROSE ## 软件开发现状 面向 Internet 开发企业级 Web 应用 面向对象 OOA/OOD/OOP，Java、C#

jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2018 # 《基于深度学习的视频结构化实践》 # 七牛云 AI实验室首席架构师 / 姚唐仁 主办方 Geekbang > InfoQ 极客邦科技  视频存储 ## 结构化策略  ## 主题分类 ![I

# 现代编程思想 多元组，结构体与枚举类型 Hongbo Zhang 基础数据类型：多元组与结构体 ## 回顾：多元组 • 多元组：固定长度的不同类型数据的集合 ☐ 定义： $ (\leq $ 表达式 $ \gt $ , $ \leq $ 表达式 $ \gt $ , $ \geq $ ) ☐ 类型：(<表达式类型>，<表达式类型>，...) ○ 例如： ■ 身份信息：("Bob" 身份信息：("Bob", 2023, 10, 24): (String, Int, Int, Int) ☐ 成员访问： ☑ <多元组>.<索引>：（2023，10，24）.0 == 2023 • 列表：任意长度的相同类型数据的集合 ○ 例如： ■ 字符的序列：Cons('H', Cons('i', Cons(' 3)\quad(\clubsuit,3)\\&\quad\vdots\end{aligned} $$ : Int : (Suit, Int) ## 结构体 - 元组的问题在于，难以理解其所代表的数据 （String, Int）：一个人的姓名和年龄？姓名和手机号？地址和邮编？ - 结构体允许我们赋予名称 o struct PersonalInfo { name: String; age: Int } o struct

区间内的正数，非常方便。  ## 对稀疏数据结构造成的问题 - 如果这里的 x 是负数，则 x % B 也是负数，会造成对 m block 的越界访问。 - 因此 % 会返回负数对 CFD 用户来说是个很大的坑点，很多人想当然地用 % 做循环边界，然而这对负方向会不起作用。 的整除运算 a // b 的值始终是向下取整，非常方便。 >>> -7 // 4 -2 >>> 7 // 4 1 >>> ## 对稀疏数据结构造成的问题 - 也就是说，如果 x 是 [-3,0] 则 x/B 会是 0，如果 x 是 [0,3] 则 x/B 也是 0。导致两个同时跑到一个 block 上去，会出错。 void write(int unordered_map） • pointer 指针（本例中的 Block1） • dense 稠密（本例中的 Block） • 他们之间可以相互组合，形成更复杂的稀疏数据结构。 - 下面这个例子中的稀疏数据结构，用这种语言可以表示为 hash().pointer(11).dense(8)。 ![Image](/uploads/documents/9/b/e/8/9be89f354424

赋值操作是一个命令 - 在月兔中，结构体的字段默认不可变，我们也允许可变的字段，需要用 mut 标识 1. struct Ref[T] { mut val : T } 2. 3. fn init { 4. let ref: Ref[Int] = { val: 1 } // ref 本身只是一个数据绑定 5. ref.val = 10 // 我们可以修改结构体的字段 6. println(ref println(ref.val.to_string() // 输出 10 7. } ## 变量 • 我们可以将带有可变字段的结构体看作是引用 $$ var x=1 $$ $$ \begin{array}{r|r}x&1\\\hline x=2\end{array} $$ $$ let ref=\{val:1\} $$ $$ ref.val=10 $$ $$ mut  ## 别名 - 指向相同的可变数据结构的两个标识符可以看作是别名 1. fn alter(a: Ref[Int], b: Ref[Int]) { 2. a.val = 10 3. b.val = 20 4. } 5. 6

3d2e02e281193cf40fb810773/p6_9.jpg) 专业的数据资源管理 洞察 预警 消息 交互 ## Agenda 01 / 数据分区 02 / 一级索引&二级索引 03 / 数据存储 04 / 数据标记 ## 表引擎 表引擎，是ClickHouse设计实现中的一大特色。可以说正是由表引擎，决定了一张数据表最终的性格，它拥有何种特 *MergeTree $ )最为强大，在生产环境绝大部分场景中都应该使用此系列的表引擎。 只有合并树系列的表引擎才支持主键索引、数据分区、数据副本和数据采样这些特性，同时也只有此系列的表引擎支持ALTER相关操作。 ## 合并树家族 其中MergeTree作为家族中最基础的表引擎，提供了主键索引、数据分区、数据副本和数据采样等所有的基本能力，而家族中其他的表引擎则在MergeTree的基础之上各有所长。 [PRIMARY KEY expr] 主键 [SAMPLE BY expr] [Settings name=value, 省略...] index granularity = 8192 索引粒度 ## MergeTree的存储结构 table\_name partition_1 数据以分区的形式被组织，PARTITION BY ![Image](/uploads/documents/4/d/c/2/

说明 database db 数据库 table collection 表/集合 row document 行/文档 column field 字段 index index 索引 primaryId _id 主键 lock lock 锁 下面对以上基本概念进行简单说明，详情的后续博文会补上 1. 数据库 数据库可以理解为collection的聚集体，每个mon 显示所有db 2. 集合 document的集合，与table最大的区别是它的结构不是固定的，不需要事先定义字段、类型首次新增document时，集合被创建； document 文档，也就是具体的数据；bson结构，kv方式 最大的特点是不要求所有的document的结构一致，相同的field的数据类型可以不一致 index 索引，同样是用来提高查询效率，避免全盘扫描 lock支持读写锁，docu 8年一线大厂经验（百度/小米/美团） 你好呀，我是楼仔，8年一线大厂开发/架构经验，项目管理经验丰富。微信搜楼仔关注我的原创公众号，回复 110获取10本校招/社招必刷八股文，包括但不限于操作系统、计算机网络、数据结构与算法、Java、MySQL、Redis、Spring、架构、源码等硬核内容。 扫一扫/长按识别，关注我深入计算机基础，拿大厂Offer做同事！ 连接 后续的所有文章的基础，都是需要先连上mongodb，然后才能执行各种命令操作；