2 Sharding-JDBC入门使用sphere.version} ## 基于Java编码的规则配置 Sharding-JDBC的分库分表通过规则配置描述,以下例子是根据user_id取模分库,且根据order_id取模分表的两库两表的配置。 // 配置真实数据源 MapdataSourceMap = new HashMap<>(); setUsername("root"); dataSource2.setPassword(); dataSourceMap.put("ds1", dataSource2); // 配置Order表规则 TableRuleConfiguration orderTableRuleConfig = new TableRuleConfiguration(); orderTableRuleConfig der"); orderTableRuleConfig.setActualDataNodes("ds${0..1}.t_order${0..1}"); // 配置分库 + 分表策略 orderTableRuleConfig.setDatabaseShardingStrategyConfig(new InlineShardingStrategyConfiguration("user_id"0 码力 | 12 页 | 325.38 KB | 2 年前3
PyConChina2022-深圳-python分析alpha vaults策略-代少飞## Python for Good >>> PyCon China 2022 Python分析alpha vaults策略 主讲人:代少飞-量化开发 Python  HELLO WORLD ## 个人简介 主要从事量化开发相关工作 8.6 days ## 大纲 一、策略介绍 二、部署开发 三、使用说明 四、策略回测 ## 策略介绍 资金量有一定规模,进出中心化交易所,比较费力 第一个上线的 Uniswap v3 LP 策略 Uniswap v3 在 2021 年 5 月 5 日发布后两天,Charm 部署了其第三款产品:Uniswap v3 LP 操作策略——Alpha Vault,并且已经被证明是非常成功的产品:利润比 76%)(2156-p0)/p0 1912 - 2156 价差 gap0: 12.76% 价差四分之一 gap0_alter: 12.76%/4 = 3.19% 2021-06-23 17:30 调整时 当时价格 p1 = 1995 大区间 1391 - 2875 小区间 2006 - 2262 调仓频次 每12小时 调仓条件(简化版) 当时价格百分比 $ p_{gap} = \frac{(p_{1}-p_{0})}{p_{0}}0 码力 | 18 页 | 2.12 MB | 2 年前3
《玩转webpack》第五章 进阶篇: webpack 构建速度和体积优化策略基础篇:webpack 基础用法 03 | 基础篇:webpack 进阶用法 04 | 进阶篇:编写可维护的webpack 构建配置 05 | 进阶篇:webpack 构建速度和体积优化策略 06 | 原理篇:通过源码掌握webpack 打包原理 07 | 原理篇:编写 Loader 和插件 08 | 实战篇:React 全家桶 和webpack 开发商城项目 ## //huayang.qq.com/polyfill_service/v2/polyfill.min.js?unknown=polyfill&features=Promise,Map,Set ## 体积优化策略总结 Scope Hoisting Tree-shaking 公共资源分离 图片压缩 动态 Polyfill ## ☐ ☐ ☐ ☐ ## 扫码试看/订阅 《玩转webpack》0 码力 | 36 页 | 8.13 MB | 2 年前3
MoonBit月兔编程语言 现代编程思想 第十课 哈希表与闭包现代编程思想 哈希表与闭包 Hongbo Zhang ## 回顾 ## · 表 键值对的集合,其中键不重复 简单实现:二元组列表 - 添加时向队首添加 - 查询时从队首遍历 树实现:二叉平衡树 - 基于第五节课介绍的二叉平衡树,每个节点的数据为键值对 - 对树操作时比较第一个参数 ## 哈希表 - 哈希函数/散列函数 Hash function ◦ 接口中,数据被映射到整数范围内 trait Hash { hash(Self) -> Int } ■ "这是一个非常非常长的字符串".hash() == -900478401 ## · 哈希表 ◦ 利用哈希函数,将数据映射到数组索引中,进行快速的添加、查询、修改 1. // 对于 a: Array[(Key, Value)], key: Key, value: Value 2. let 不同数据的哈希可能相同 不同的哈希映射为数组索引时可能相同 - 解决哈希表的冲突 ◦ 直接寻址(分离链接):同一索引下用另一数据结构存储 列表 二叉平衡搜索树等 ☐ 开放寻址 ■ 线性探查:当发现冲突后,索引递增,直到查找空位放入 ■ 二次探查(索引递增 $ 1^{2}2^{2}3^{2} $ )等 ## 哈希表:直接寻址 - 当发生哈希/索引冲突时,将相同索引的数据装进一个数据结构中0 码力 | 27 页 | 448.83 KB | 2 年前3
Go在数据库中间件的应用两年通信设备开发经验,四年互联网 • 五年C/C++使用经验,一年Golang ## 内容提要 ## CONTENTS • 程序开发的需求 • GoLang特性 - Go开发mysql中间件 - 整体方案 - 分表路由 - 故障切换 - 平滑扩容 - 系统运维 ## 程序开发的需求 • 语言特性精炼,容易入门 • 开发效率高,代码逻辑清晰 • 运行性能强,节省机器资源 • 部署维护方便 • 生态圈完善 ## 系统整体方案 ## • 系统功能 • 读写分离。 • 平滑上下线Mysql。 • 主备自动切换(主-主模式)。 • 分表设计——按照Hash分表 • 分表设计——按照范围分表(年、月、日、整形) • 数据库表在多个mysql实例间平滑扩容 - 大表拆分为多个子表情况下的平滑扩容 ## 系统整体方案 ## • 现存问题 • 数据库访问基本采用直连方式 - 无法满足数据访问平台化要求 为什么采用Go来实现 go诸多优点,可用性高 go处理mysql的binlog有知识积累 • 公司大规模推广使用go ## 分表路由逻辑 ## · 分表规则 - 哈希分表:shardkey通过Hash函数分表 • 分段分表:按照年、月、日或者整形范围分表 本质上哈希分表与分段分表都是一样,只是其Hash方式不同,使得看起来有两种不同的数据组织方式。 ## 故障主备切换 ## • 故障情形 •0 码力 | 17 页 | 4.02 MB | 2 年前3
TokuDB索引结构## TokuDB索引结构 网易杭州研究院---胡争(博客:openinx.github.io) ## TokuDB简介 - 基于分形树实现的MySQL存储引擎 • Tokutek公司2007年研发,2013年开源 • 2015年Percona公司收购Tokutek公司 • TokuDB内部的K-V存储引擎为ft-index • TokuMx: ft-index + MongoDB Server层代码 插入性能大大高于InnoDB(分形树vs B+树) • 查询性能略低于InnoDB - 在线执行DDL操作(不阻塞写操作) • 超高压缩率(TokuDB 4M vs InnoDB 16K) 更高性能,更低成本! ## 分形树索引结构(一)  ## 分形树结构(二) BasementNode (OMT) - 弱平衡二叉树 – 增删改查期望复杂度 $ O(\log N) $ • 页大小默认4M。 - 扇出fanout默认 $$ 4,16 $$ 区间。 ## 分形树结构(三) ## • 叶子节点 - 数据量维持在 $$ 1M,4M $$ 区间 - 数据量小于1M则合并 - 数据量大于4M则分裂。 ## • 非叶子节点 - 扇出(fanout)维持在0 码力 | 19 页 | 1.97 MB | 2 年前3
Greenplum 分布式数据库内核揭秘了基本的分布式数据存储,还提供了更高级更灵活的特性,譬如多种分布策略、多级分区以及多态存储。  ## 数据分布策略 Greenplum 6 提供了以下 3 种数据分布策略: 哈希分布 (Hash Distribution) 随机分布 哈希分布是分布式数据库最为常用的数据分布方式。根据用户自定义的分布键计算哈希值,然后将哈希结果映射到某个 Segment 上。在 Greenplum 6 中,默认采用一致性哈希(Jump Consistent Hash)分布策略。 当增加一个新的节点时,需要对原有数据进行重新映射。一致性哈希则保证了在重新映射的过程中,tuple 要么保留在原有节点中,要么迁移至新的节点中,从而实现最小数据迁移。  ## 随机分布与复制分布 随机分布则采用随机的方式将数据存储到不同的节点。当不确定一张表的哈希分布键,或者是不存在合理的避免数据倾斜的分布键时,即可采用随机分布的方式。 复制分布则表示整张表在每个节点上都有一份完整的拷贝,假设我们有 100 个节点,复制表则会将数据保存 100 份。复制表可避免生成分布式查询计划,而是生成本地计划,从而避免数据在集群的不同节点间移动。0 码力 | 31 页 | 3.95 MB | 2 年前3
美团点评旅游推荐系统的演进·2011年 百度电子商务事业部 ·有啊商城的开发 ·2010年毕业于中科院计算所 ## 美国点评 技术团队 ## Outline ·美团点评酒旅业务简介 ·基于用户画像的召回策略演进 ·基于L2R的排序策略优化 ·从海量大数据的离线计算到高并发在线服务的推荐引擎架构设计 ·推荐在美团点评酒旅的应用实践 ## 人工智能应用 |CriticalDigital World|CriticalPhysical 故宫博物院(5A) ★★★★★ 4.8分  票 跟团 套餐 小汤山镇 | 22.7km 150827人消费 颐和园(5A) 王府井/东单 | 12.7km ★★★★★ 4.6分  需求个性化 故宫博物院(5A) 12.6km 4.8分 | 25546人评价 门票、套餐、线路游等优惠 ¥5 起 已售150856 ## 本异地差异大 中国联通 上午11:55 北京 第五届北京农业嘉年华 第五届北京农业嘉年华 一 猜你喜欢0 码力 | 49 页 | 5.97 MB | 2 年前3
聊聊 Node.js 构建部署时我们要关心的数据框架版本 前端构建工具 / 版本 红黑榜 ☑构建产物大小 ☑构建成功率 ☑构建耗时 ▶ 应用健康分  ## 应用健康分 ▶ 应用稳定性 ▶ 页面加载时长 ▶ 可用时长 应用稳定性 用戶感知层 apm ▶ 基线健康度 代码质量 代码质量  ## 应用健康分 ▶ 应用稳定性 ▶ 页面加载时长 ▶ 可用时长 apm ▶ 基线健康度 框架视角:Node.js 版本 依赖视角:有风险的、落 构建部署质量 构建:成功率、时长、产部署启动:成功率、时长0 码力 | 47 页 | 5.80 MB | 2 年前3
通过Oracle 并行处理集成 Hadoop 数据作为示例,但这里的策略同样适用于其他分布式存储机制。本文中介绍了各种访问方法,还通过一个具体示例说明了其中一种访问方法的实现。 ## 外部 Hadoop 数据的访问方法 要从 Oracle 数据库里访问某个文件系统中的外部文件或外部数据,最简单的方法莫过于使用外部表。请参阅这里了解外部表。 外部表以表的形式展示存储在文件系统中的数据,并且可在 SQL 查询中完全透明地使用。因此,可以考虑用外部表从 Oracle 文件系统)中存储的数据。遗憾的是,常规的操作系统无法调用外部表驱动直接访问 HDFS 文件。FUSE(File System in Userspace)项目针对这种情况提供了解决方法。有多种 FUSE 驱动程序支持用户挂载 HDFS 存储,并将其作为常规文件系统处理。通过使用一个此类驱动程序,并在数据库实例上挂载 HDFS(如果是 RAC 数据库,则在其所有实例上挂载 HDFS),即可使用外部表基础架构轻松访问 HDFS 文件。 用数据库内置的 MapReduce 通过外部表进行访问 在图 1 中,我们利用 Oracle Database 11g 实现本文所述的数据库内的 mapreduce。通常情况下,Oracle Database 11g 中的并行执行框架足以满足针对外部表大多数的并行操作。 在有些情况下(例如,如果 FUSE 不可用),外部表方法可能不适用。Oracle 表函数提供了从 Hadoop 中获取数据的替0 码力 | 21 页 | 1.03 MB | 2 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100
相关搜索词
Sharding-JDBC分库分表数据源配置分表策略规则配置量化投资Uniswap v3alpha Vaults策略无常损失流动性池WebpackBundleAnalyzerPluginspeed-measure-webpack-pluginTree-shakingScope Hoisting哈希表闭包哈希函数键值对散列函数数据库中间件分表路由故障切换平滑扩容Go语言TokuDB分形树InnoDB事务ACID索引结构分布式数据库数据分布策略哈希分布分区表Greenplum用户画像召回策略排序策略推荐引擎数据仓库Node.js构建数据部署结果CI 覆盖率应用健康分HadoopOracle Database外部表表函数并行处理













