TokuDB索引结构## TokuDB索引结构 网易杭州研究院---胡争(博客:openinx.github.io) ## TokuDB简介 - 基于分形树实现的MySQL存储引擎 • Tokutek公司2007年研发,2013年开源 • 2015年Percona公司收购Tokutek公司 • TokuDB内部的K-V存储引擎为ft-index • TokuMx: ft-index + MongoDB Server层代码 • 超高压缩率(TokuDB 4M vs InnoDB 16K) 更高性能,更低成本! ## 分形树索引结构(一)  ## 分形树结构(二) • msg buffer - 先进先出队列 • BasementNode (OMT) - 弱平衡二叉树 弱平衡二叉树 – 增删改查期望复杂度 $ O(\log N) $ • 页大小默认4M。 - 扇出fanout默认 $$ 4,16 $$ 区间。 ## 分形树结构(三) ## • 叶子节点 - 数据量维持在 $$ 1M,4M $$ 区间 - 数据量小于1M则合并 - 数据量大于4M则分裂。 ## • 非叶子节点 - 扇出(fanout)维持在 $$ 4,16 $$ 区间 - 扇出小于4则合并0 码力 | 19 页 | 1.97 MB | 2 年前3
Java 应用与开发 - Java EE 体系结构# Java 应用与开发 Java EE 体系结构 王晓东 wangxiaodong@ouc.edu.cn 计算机科学与技术系 November 6, 2018  ## 参考书目 1. 吕海东,张坤编著,Java EE 企业级应用开发实例教程,清华大学出版社,2010 软件系统是由许多小的组件构建和装配起来的 采用标准规范开发 J2EE, MS.NET 全面采用框架技术 Struts、Spring、Hibernate、AJAX、WebWork 软件系统采用分层结构和设计模式 MVC 工厂化流水线开发模式 CVS 可视化软件建模 UML、RUP、ROSE ## 软件开发现状 面向 Internet 开发企业级 Web 应用 面向对象 OOA/OOD/OOP,Java、C# 软件系统是由许多小的组件构建和装配起来的 采用标准规范开发 J2EE、MS.NET 全面采用框架技术 Struts、Spring、Hibernate、AJAX、 WebWork 软件系统采用分层结构和设计模式 MVC 工厂化流水线开发模式 CVS 可视化软件建模 UML、RUP、ROSE ## 软件开发现状 面向 Internet 开发企业级 Web 应用 面向对象 OOA/OOD/OOP,Java、C#0 码力 | 40 页 | 1.89 MB | 2 年前3
01 Structure of Scientific Papers - Introduction to Scientific Writing WS2021/220 码力 | 36 页 | 1.12 MB | 2 年前3
QCon2018北京-基于深度学习的视频结构化实践-姚唐仁jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2018 # 《基于深度学习的视频结构化实践》 # 七牛云 AI实验室首席架构师 / 姚唐仁 主办方 Geekbang > InfoQ 极客邦科技  视频存储 ## 结构化策略  ## 主题分类  ## 对稀疏数据结构造成的问题 - 如果这里的 x 是负数,则 x % B 也是负数,会造成对 m block 的越界访问。 - 因此 % 会返回负数对 CFD 用户来说是个很大的坑点,很多人想当然地用 % 做循环边界,然而这对负方向会不起作用。 的整除运算 a // b 的值始终是向下取整,非常方便。 >>> -7 // 4 -2 >>> 7 // 4 1 >>> ## 对稀疏数据结构造成的问题 - 也就是说,如果 x 是 [-3,0] 则 x/B 会是 0,如果 x 是 [0,3] 则 x/B 也是 0。导致两个同时跑到一个 block 上去,会出错。 void write(int unordered_map) • pointer 指针(本例中的 Block1) • dense 稠密(本例中的 Block) • 他们之间可以相互组合,形成更复杂的稀疏数据结构。 - 下面这个例子中的稀疏数据结构,用这种语言可以表示为 hash().pointer(11).dense(8)。  // 输出 10 7. } ## 变量 • 我们可以将带有可变字段的结构体看作是引用 $$ var x=1 $$ $$ \begin{array}{r|r}x&1\\\hline x=2\end{array} $$ $$ let ref=\{val:1\} $$ $$ ref.val=10 $$ $$ mut  ## 别名 - 指向相同的可变数据结构的两个标识符可以看作是别名 1. fn alter(a: Ref[Int], b: Ref[Int]) { 2. a.val = 10 3. b.val = 20 4. } 5. 60 码力 | 23 页 | 780.46 KB | 2 年前3
2020美团技术年货 算法篇KDD Cup 2020 多模态召回比赛亚军方案与搜索业务应用 161 CIKM 2020 | 一文详解美团 6 篇精选论文 179 MT-BERT 在文本检索任务中的实践 192 美团无人车引擎在仿真中的实践 204 美团无人配送 CVPR2020 论文 CenterMask 解读 215 WSDM Cup 2020 检索排序评测任务第一名经验总结 225 美团内部讲座 | 清华大学莫一林:信息物理系统中的安全控制算法 235 KDD Cup 2020 多模态召回比赛季军方案与搜索业务应用 252 对话任务中的“语言-视觉”信息融合研究 267 ICDM 论文:探索跨会话信息感知的推荐模型 278 自然场景人脸检测技术实践 289 技术解析 | 横纵一体的无人车控制方案 304 ## 算法 # 智能搜索模型预估框架 Augur 的建设与实践 作者:朱敏 OP、使用表达式的方式去表现,但特征还可能需要经过 Transformer 的变换。为此,我们同样为模型构建一套可解释的 JSON 表达模板,模型中每一个特征可以通过一个 JSON 对象进行配置,以一个输入到 TF 模型里的特征结构为例: // 一个的特征的 JSON 配置 { "tf_input_config": { "otherconfig" }, "tf_input_name":0 码力 | 317 页 | 16.57 MB | 2 年前3
FISCO BCOS 3.6.0 中文文档区块链浏览器 19 运维部署工具 20 数据治理通用组件 21 多方协作治理组件 22 区块链应用开发组件 23 整体架构 767 24 区块链交易流程 773 25 数据结构与编码协议 779 26 核心模块设计解析 783 27 MVP 867 28 贡献者 871 29 合作伙伴 879 30 深入浅出 FISCO BCOS 共识机制:可插拔的共识机制,支持PBFT、Raft和rPBFT共识算法,交易确认时延低、吞吐量高,并具有最终一致性。其中PBFT和rPBFT可解决拜占庭问题,安全性更高。 - 存储:世界状态的存储从原来的MPT存储结构转为分布式存储,避免了世界状态急剧膨胀导致性能下降的问题;引入可插拔的存储引擎,支持LevelDB、RocksDB、MySQL等多种后端存储,支持数据简便快速扩容的同时,将计算与数据隔离,降低了节点故障对节点数据的影响。 在很多场景中非常有意义; • 分布式存储不仅支持Key-Value形式,还支持SQL方式,使得业务开发更为简便; - 世界状态的存储从原来的MPT存储结构转为分布式存储,避免了世界状态急剧膨胀导致性能下降的问题; • 优化了数据存储的结构,更节约存储空间。 同时,2.0版本仍然兼容1.0版本的本地存储模式。更多关于存储介绍,请参考分布式存储操作手册 #### 2.1.3 并行计算模型 20 码力 | 1489 页 | 107.09 MB | 2 年前3
2022年美团技术年货 合辑大规模异构图召回在美团到店推荐广告的应用 美团搜索粗排优化的探索与实践 美团外卖推荐情境化智能流量分发的实践与探索 大众点评搜索相关性技术探索与实践 美团 SemEval2022 结构化情感分析跨语言赛道冠军方法总结 检索式对话系统在美团客服场景的探索与实践 端智能在大众点评搜索重排序的应用实践 对话摘要技术在美团的探索(SIGIR) 异构广告混排在美团到店业务的探索与实践 DSTC10 开放领域对话评估比赛冠军方法总结 368 KDD 2022 | 美团技术团队精选论文解读 382 ACM SIGIR 2022 | 美团技术团队精选论文解读 391 CVPR 2022 | 美团技术团队精选论文解读 404 ACM MM & ECCV 2022 | 美团视觉 8 篇论文揭秘内容领域的智能科技 413 前端 知识图谱可视化技术在美团的实践与探索 427 在速度和精度方面仍有很大的提升的空间。基于此,我们通过研究并借鉴了业界已有的先进技术,开发了一套新的目标检测框架——YOLOv6。该框架支持模型训练、推理及多平台部署等全链条的工业应用需求,并在网络结构、训练策略等算法层面进行了多项改进和优化,在 COCO 数据集上,YOLOv6 在精度和速度方面均超越其他同体量算法,相关结果如下图 1 所示: 












