Go在数据库中间件的应用 基础架构组/刘延允 liuyun827@foxmail.com 2017年9月 1 关于我 • 刘延允——酷狗音乐，基础架构组 • 数据库变更通知服务 • 酷狗消息队列 • 酷狗数据库中间件 • 主要工作：分布式存储、高可用、数据库 • 两年通信设备开发经验，四年互联网 • 五年C/C++使用经验，一年Golang 2 CONTENTS • 程序开发的需求 平滑上下线Mysql。 • 主备自动切换(主-主模式)。 • 分表设计——按照Hash分表 • 分表设计——按照范围分表(年、月、日、整形) • 数据库表在多个mysql实例间平滑扩容 • 大表拆分为多个子表情况下的平滑扩容 7 系统整体方案 • 现存问题 • 数据库访问基本采用直连方式 • 无法满足数据访问平台化要求 • 配置管理方式落后，运维压力大 • 为什么采用Go来实现 • go诸多优点，可用性高

GPT 与数据库的生态整合 王琦智 PingCAP TiDB 开发者生态高级工程师 目 录 自然语言到 SQL 01 自然语言到图表 02 GPTs 调用数据库 API 03 总结 04 自然语言到SQL OSS Insight 自然语言到图表 Thoughts to insights made easy(with AI) GPTs 调用数据库 API Thank You

第三届中国Rust开发者大会 CnosDB时序数据库的Rust实践 Yongtao Liu CnosDB 研发工程师 Rust China Conf 2023 CnosDB 是一款基于 Rust 开发的 开源的分布式时序数据库 1. CnosDB 架构与选型 2. 为何从 Go 切换到 Rust 3. 使用 Rust 经验分享 4. 反哺社区

Go 搭建大型开源分布式数据库技术内幕 shenli@PingCAP 关于我 ● 申砾 (Shen Li) ● TiDB 技术负责人 ● 网易有道 / 360搜索 / PingCAP ● Infrastructure software engineer 为什么需要一个新的数据库？ 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL Processing) ● 24/7 availability, even in case of datacenter outages ● Open source, of course 如何构建分布式数据库？ 原则 ● 分层 ● Make it right and make it fast. ● 测试很重要 ● 简单易用 ● 和社区结合 架构 TiKV TiKV TiKV TiKV Raft

新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 操作 生活中无处不在的图 图分析技术分类 图查询 • 使用图数据库的查询语言进行点边搜索 图算法 • 中心性算法 • 社区算法 • 路径算法 • … 图深度学习 • 图嵌入 • 图卷积 • 图注意力网络 • 图自编码器 图查询及其应用场景 图查询 • 使用图数据库的查询语言进行点边的关联查询，可以快速完成传统数据库难以完成的 多度点边关 联 当前图的典型应用场景 路径识别 群体挖掘

构建强⼀一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ⾃自我介绍 ⾃自我介绍 • 沈泰宁 • R&D Engineer @ PingCAP • Maintainer • rust-prometheus • grpc-rs • … ⽬目录 • What is TiDB? • How to test? What is TiDB? Single

. . . . . . . . . . . . . . . . . . . . . . 136 11.2.6 事件适配器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 11.2.7 事件适配器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 11.2 GUI 事件及相应监听器接口 . . . . . . . . . . . . . . . . . . . . . . . . . . 136 11.3 常用的 GUI 事件适配器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 22.1 Java EE 监听器接口和监听器事件 . . . . . 应用与开发课程的教学体系如图1所示，包括了 Java SE 和 Java EE 两个部分， 每部分都涉及一些验证性实验，另外，会开展两次稍微大一点的集成开发项目。同时， 在学习的过程中会穿插一些开发工具、设计模式、应用服务器和数据库的基本应用。 在课程学习的过程中，希望同学们要有足够的求知欲，养成良好的学习态度，具 备不断探索的精神，多尝新、多实践、多总结。我想这是计算机专业人士应该具备的 基本素养。 1 � 0 �

password: '' } } 配置值即可以是一个简单的字符串，也可以是一个复杂的对象。具体是什么类型根据具体的需求 来决定。 多环境配置 有些配置需要在不同的环境下配置不同的值，如：数据库的配置在开发环境和生产环境是不一样 的。此时可以通过环境下对应不同的配置文件来完成。 多环境配置文件格式为： [name].[env].js ，如： config.development.js ， 置的方式。 const redis = ctx.config('redis'); //获取 redis 配置 动态设置配置 除了获取配置，有时候需要动态设置配置，如：将有些配置保存在数据库中，项目启动时将配置 从数据库中读取出来，然后设置上去。 框架也提供了动态设置配置的方式，如： think.config(key, value) // src/bootstrap/worker.js //HTTP { const config = await think.model('config').select(); think.config('userConfig', config); //从数据库中将配置读取出来，然后设置 }) 常见问题 能否将请求中跟用户相关的值设置到配置中？ 不不能 。配置设置是全局的，会在所有请求中生效。如果将请求中跟用户相关的值设置到配置中， 那么多个用户同时请求时会相互干扰。

MySQL等 InfluxData stack (TICK) • Telegraf + InfluxDB + Chronograf + Kapacitor • InfluxDB：⾼高性能的时序数据库。 • vs ES: 8X写⼊入，少4X磁盘占⽤用，3~7响应速度 • Telegraf：⽀支持200+数据渠道 • 开源免费版本缺少集群、安全、管理理等功能 • Chronograf：不不如Grafana强⼤大灵活 Elasticsearch核⼼能⼒ • 简单，易易扩展，功能集丰富，⽣生态活跃 • NoSQL，schema灵活 • 全⽂文索引查询强，过滤快、聚集功能强⼤大 • 不不⽀支持外部关联，有SQL适配器器 • 缺点： • 企业特性需要商业License • 内存管理理挑战较⼤大，复杂统计易易失控 • 超过百TB规模后运维成本⾼高 • 存储压缩效率偏低 Kibana核⼼能⼒ • 其他OLAP选择: Druid • 性能优越： • PB级别规模 • 亚秒级OLAP系统 • 实时写⼊入与查询 • 组件⻆角⾊色较多，搭建较为复杂 • Json-QL（有SQL适配器器） • 不不⽀支持外Join、窗⼝口等 其他OLAP选择: Clickhouse • 性能优越： • 10亿+条规模⽐比商业软件快5倍 • ⽐比MySQL快⼏几百倍 • 稳定可靠，⾮非Hadoop体系，

Oracle Nginx keepalived 数据库双机 网络分发层 业务处理 渠道适配器 交易预处理 交易预检查 交易风控 交易路由 通知 响应 查询 通道 交易拆分 业务2.0痛点 BUSINESS 2.0 PAIN POINTS 业务野蛮发展 交易量高速增加 并发请求增加 交易响应速度过慢 数据库单表 数据量剧增 模块耦合度高 开发效率低下 … 线上环境突发事故，第一时间如何决策减少事故影响范围？ 开发人员排查问题速度过慢？ 随着业务的增长，问题越来越多，第一优先级需要解决什么？ 系统突然CPU、内存利用率暴增，如何定位代码？ 数据库连接数被耗尽，怎么办？ 各种OOM如何预防？ 随着系统交易量的增加，高可用系统的设计点很多，如何快速抓住建设要点？ 有哪些困惑 WHAT IS THE CONFUSION 需求设计阶段- 首次拦截 APP3 APP1 APP2 APP3 APP1 APP2 APP3 DB 快速响应故障 QUICK RESPONSE FAILURE DB 我们解决了以下系统自身问题 线程数 数据库连接 数- mysql,redis 内存 慢SQL 最后的问题是什么？ Java系统常见问题 JAVA SYSTEM FAQ CPU DO NOT FORGET THE BEGINNING