-
方面全面提升北京银行的金融服务能力:
*。 提升系统性能: 选择微服务架构与分布式数据库,通过分离处理功能、分散处理压力、扩展处理能
力等措施,保障海唱数据、高并发的业务场景对接,大幅提升交易处理效率。
。 满足安全需求: 基于一致性算法保证交易数据的强一致性,依托数据日志的备份恢复能力,提升数
据可追溯性,满足监管要求,提高自动化运维能力。
*。 具备在线横向扩展能力: 在网联支付与线上贷款两个业务服务集群中,5 COM
VIPKID
TiDB 在公有云亿级数据场景下的应用实践
VIPKID 是全球增长速度最快的在线青少儿英语教育品牌, 提供北美外教一对一的互联网授课服务。VIPKID
目前在全球设立 9 个办公室, 付费学员数量突破 50 万。
业务挑战
VIPKID 采用阿里云与 AWS 双云架构提供业务服务, 随着业务数据量的暴增, MYSQL 单机杠颈的问题逐
渐暴露, 经过多次业务调优和 SQL MongoDB 不能实时从 Binlog 同步数据, 不适合使用 SQL 语义;
*。 ”Hive 不便于做增量更新;
*。 Phoenix on HBase 的索引变更与维护比较困难, 聚合查询的效率不高;
*。 CRDB 兼容 PostgreSQL 协议, 线上数据迁移需做协议的转化, 成本较高。
经过以上一些列方案的评估和验证之后, 网易互娱决定在核心业务场景引入 TiDB。
解决方案
0 码力 |
58 页 |
9.51 MB
| 1 年前 3
-
和 Php、网页平面设计工程师的培训 北京市昌平区建材城西路金燕龙办公楼一层 电话:400-618-9090 Mybatis 框架课程第二天 第1章 回顾 1.1 自定义流程再分析 传智播客——专注于 Java、.Net 和 Php、网页平面设计工程师的培训 北京市昌平区建材城西路金燕龙办公楼一层 电话:400-618-9090 1.2 mybatis 属性: 用于指定结果集的类型。 parameterType 属性: 传智播客——专注于 Java、.Net 和 Php、网页平面设计工程师的培训 北京市昌平区建材城西路金燕龙办公楼一层 电话:400-618-9090 用于指定传入参数的类型。 sql 语句中使用#{}字符: 它代表占位符,相当于原来 jdbc 部分所学的?,都是用于执行语句时替换实际的数据。 session.getMapper(IUserDao.class); } 传智播客——专注于 Java、.Net 和 Php、网页平面设计工程师的培训 北京市昌平区建材城西路金燕龙办公楼一层 电话:400-618-9090 @After//在测试方法执行完成之后执行 public void destroy() throws Exception{ session
0 码力 |
27 页 |
1.21 MB
| 1 年前 3
-
我们拥有一支优秀的软件工程师团队生产高品质的软件, 以提供出色的客户支持而闻名。
地址:香港九龙旺角太子道西193 号新世纪广场
第一期十六楼 1605-1607 室
电话:+02134617361
办公时间: 930- 1830(GMT+ 人
电子邮件。 salesBnavicatcom cn
网站 wwwnavicatcom
0 码力 |
4 页 |
4.23 MB
| 1 年前 3
-
TiDB 版本:5.1 在 5.1 版本中,你可以获得以下关键特性: • 支持 MySQL 8 中的公共表表达式 (Common Table Expression),提高了 SQL 语句的可读性与执行效率。 • 支持对数据表列类型的在线变更,提高了业务开发的灵活性。 • 引入一种新的统计信息类型,默认作为实验特性启用,提升查询稳定性。 • 支持 MySQL 8 中的动态权限 (Dynamic Privileges) • 从本地磁盘恢复备份数据(推荐测试环境试用) 推荐使用网络盘来进行备份和恢复操作,这样可以省去收集备份数据文件的繁琐步骤。尤其在 TiKV 集群规模 较大的情况下,使用网络盘可以大幅提升操作效率。 在使用 BR 进行备份或恢复操作前,需要先进行如下准备工作. 备份前的准备工作 BR 工具已支持自适应 GC,会自动将 backupTS(默认是最新的 PD timestamp)注册到 PD 冲突等。 6.5.1.9 GC 状态面板 图 42: GC 状态面板 以上面板展示最后 GC(垃圾清理)的时间,观察 GC 是否正常。如果 GC 发生异常,可能会造成历史数据存留 过多,影响访问效率。 203 6.6 TiFlash 集群运维 本文介绍TiFlash 集群运维的一些常见操作,包括查看 TiFlash 版本,以及 TiFlash 重要日志及系统表。 6.6.1 查看 TiFlash
0 码力 |
2189 页 |
47.96 MB
| 1 年前 3
-
• 从本地磁盘恢复备份数据(推荐测试环境试用) 推荐使用网络盘来进行备份和恢复操作,这样可以省去收集备份数据文件的繁琐步骤。尤其在 TiKV 集群规模 较大的情况下,使用网络盘可以大幅提升操作效率。 在使用 BR 进行备份或恢复操作前,需要先进行如下准备工作。 备份前的准备工作 BR 工具已支持自适应 GC,会自动将 backupTS(默认是最新的 PD timestamp)注册到 PD 冲突等。 6.5.1.9 GC 状态面板 图 42: GC 状态面板 以上面板展示最后 GC(垃圾清理)的时间,观察 GC 是否正常。如果 GC 发生异常,可能会造成历史数据存留 过多,影响访问效率。 211 6.6 TiFlash 集群运维 本文介绍TiFlash 集群运维的一些常见操作,包括查看 TiFlash 版本,以及 TiFlash 重要日志及系统表。 6.6.1 查看 TiFlash �→ ... ## Disk_max: 229974016 ... 8.2.2.3.3 做了笛卡尔积的 Join 做笛卡尔积的 Join 会产生 左边孩子行数 * 右边孩子行数 这么多数据,效率较低,应该尽量避免; 目前对于产生笛卡尔积的 Join 会在执行计划中显示的标明 CARTESIAN,如下: mysql> explain select * from t t1, t t2 where
0 码力 |
2259 页 |
48.16 MB
| 1 年前 3
-
DM 同步性能,实现以更低的延迟将数据从 MySQL 同步数据到 TiDB 26 • 支持 TiDB Lightning 分布式并行导入,提升全量数据迁移效率 • 支持 “一键” 保存和恢复现场问题的相关信息,提升查询计划问题诊断的效率 • 支持持续性能分析 (Continuous Profiling) 实验特性,提高数据库性能的可观测性 • 持续优化存储和计算引擎,提升系统性能和稳定性 经测试,使用 10 台 TiDB Lightning,20 TB 规模的 MySQL 数据可以在 8 小时内导入到 TiDB,单台 TiDB Lightning 可以支持 250 GiB/h 的导入速度,整体效率提升了 8 倍。 用户文档 • TiDB Lightning 执行任务前的检查项 TiDB Lightning 增加了执行前检查配置的功能。默认开启。该功能会自动进行一些磁盘空间和执行配置的 用户文档 2.2.2.6 问题诊断效率 • 保存和恢复集群现场信息 在定位排查 TiDB 集群问题时,用户经常需要提供系统和查询计划相关的信息。为了帮助用户更方便地 获取相关信息,更高效地排查集群问题,TiDB 在 v5.3.0 中引入了 PLAN REPLAYER 命令,用于 “一键” 保 存和恢复现场问题的相关信息,提升查询计划问题诊断的效率,同时方便将问题归档管理。 PLAN REPLAYER
0 码力 |
2374 页 |
49.52 MB
| 1 年前 3
-
real)、 SUBDATE(string, real)、QUARTER() – 引入弹性线程池,提升资源利用率(实验特性) – 提升从 TiKV 同步数据时,由行存格式到列存格式的数据转换效率,整体的数据同步性能提升 50% – 调整一些配置项的默认值,提升 TiFlash 的性能和稳定性。HTAP 混合负载下,单表简单查询的性能 最高提升 20% 用户文档:TiFlash 支持的计算下推,TiFlash 用户文档 • TiDB 正式发布索引合并功能 索引合并 (Index Merge) 是在 TiDB v4.0 版本中作为实验特性引入的一种查询执行方式的优化,可以大幅提 高查询在扫描多列数据时条件过滤的效率。例如对以下的查询,若 WHERE 子句中两个 OR 连接的过滤条 件在各自包含的 key1 与 key2 两个列上都存在索引,则索引合并可以同时利用 key1 与 key2 上的索引分别 进行过滤,然后合并出最终的结果。 Engine 可以减少至多 40% 的 TiKV I/O 写流量和 10% 的 CPU 使用,同时在特定负载下提升 5% 左右前台吞吐,减少 20% 尾延迟。此外,Raft Engine 提升了日志回收效率,修复了极端条件下日志堆积的问题。 Raft Engine 目前仍属于实验特性,并默认关闭。另外请注意 v5.4.0 版本的 Raft Engine 数据格式与之前版本 不兼容,对集群做升级操作之前,需要确保所有
0 码力 |
2852 页 |
52.59 MB
| 1 年前 3
-
bucket 概念,即将每个 Region 划分为更小 的区间 bucket。使用 bucket 作为并发查询单位能够优化 Region 调大时的查询性能,动态调整热点 Region 的大小来保证热点调度效率和负载均衡。该特性目前属于实验特性,不建议在生产环境使用。 用户文档,#11515 • Raft Engine 存储引擎 GA TiDB 从 v6.1.0 开始默认使用引擎 Raft Engine 等待时长与长事务的关系,提升集群的稳定性。 用户文档 • 支持设置统计信息自动采集任务的最长执行时间 通过采集统计信息,数据库可以有效掌握数据的分布情况,从而生成合理的执行计划,提升 SQL 的执行 效率。TiDB 在后台会定期对频繁变更的数据对象进行统计信息采集,但在业务高峰期时进行统计信息 采集可能会对集群资源造成挤压,影响业务的稳定运行。TiDB 从 v6.1.0 开始提供系统变量tidb_max_auto rewriteBatchedStatements = true (下面参数配置章节有详细介绍)。 4.4.3.2.4 使用 StreamingResult 流式获取执行结果 一般情况下,为提升执行效率,JDBC 会默认提前获取查询结果并将其保存在客户端内存中。但在查询返回超 大结果集的场景中,客户端会希望数据库服务器减少向客户端一次返回的记录数,等客户端在有限内存处理 完一部分后再去向服务器要下一批。
0 码力 |
3572 页 |
84.36 MB
| 1 年前 3
-