Go在数据库中间件的应用 基础架构组/刘延允 liuyun827@foxmail.com 2017年9月 1 关于我 • 刘延允——酷狗音乐，基础架构组 • 数据库变更通知服务 • 酷狗消息队列 • 酷狗数据库中间件 • 主要工作：分布式存储、高可用、数据库 • 两年通信设备开发经验，四年互联网 • 五年C/C++使用经验，一年Golang 2 CONTENTS • 程序开发的需求 平滑上下线Mysql。 • 主备自动切换(主-主模式)。 • 分表设计——按照Hash分表 • 分表设计——按照范围分表(年、月、日、整形) • 数据库表在多个mysql实例间平滑扩容 • 大表拆分为多个子表情况下的平滑扩容 7 系统整体方案 • 现存问题 • 数据库访问基本采用直连方式 • 无法满足数据访问平台化要求 • 配置管理方式落后，运维压力大 • 为什么采用Go来实现 • go诸多优点，可用性高

GPT 与数据库的生态整合 王琦智 PingCAP TiDB 开发者生态高级工程师 目 录 自然语言到 SQL 01 自然语言到图表 02 GPTs 调用数据库 API 03 总结 04 自然语言到SQL OSS Insight 自然语言到图表 Thoughts to insights made easy(with AI) GPTs 调用数据库 API Thank You

Go 搭建大型开源分布式数据库技术内幕 shenli@PingCAP 关于我 ● 申砾 (Shen Li) ● TiDB 技术负责人 ● 网易有道 / 360搜索 / PingCAP ● Infrastructure software engineer 为什么需要一个新的数据库？ 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL Processing) ● 24/7 availability, even in case of datacenter outages ● Open source, of course 如何构建分布式数据库？ 原则 ● 分层 ● Make it right and make it fast. ● 测试很重要 ● 简单易用 ● 和社区结合 架构 TiKV TiKV TiKV TiKV Raft

程序编译时间短 像动态语言一样灵活 内置并发支持 上面所有提到的优点使得Go成为一个出众的编程语言。 对于很多项目来说，Go是一 个相当不错的选择。 目前，Go主要用于网络开发、系统工具开发、数据库开发和区 块链开发。 随着从Go 1.18开始支持自定义泛型，预期Go会在更多开发领域流行起 来，比如图形界面、游戏、大数据和人工智能等。 第2章：Go语言简介 10 最后，我们应该知道， 则其必须为并且总是被视为十进制形式。 一些例子： 1.23i 1.i .23i 123i 0123i // == 123i（兼容性使然。见下） 1.23E2i // == 123i 1e-1i 011i // == 11i（兼容性使然。见下） 00011i // == 11i（兼容性使然。见下） // 下面这几行从Go 1.13开始才能编译通过。 0o11i // == 9i 0x11i 的UTF-8编码只需要一个字节；每个中文字符的UTF-8编码需要三个字节。 直白反引号风格的字面表示中是不支持转义字符的。 除了首尾两个反引号，直白反 引号风格的字面表示中不能包含反引号。 为了跨平台兼容性，直白反引号风格的字 面表示中的回车符（Unicode码点为0x0D） 将被忽略掉。 字符串类型的零值在代码里用 ""或``表示。 基本数值类型字面量的适用范围 一个数值型的字面量只有在不需要

从存储空间的角度看，使用 UTF‑8 表示英文字符非常高效，因为它仅需 1 个字节；使用 UTF‑16 编码某些非 英文字符（例如中文）会更加高效，因为它只需要 2 个字节，而 UTF‑8 可能需要 3 个字节。从兼容性的角度 看，UTF‑8 的通用性最佳，许多工具和库都优先支持 UTF‑8 。 3. 数据结构 hello‑algo.com 49 3.4.5. 编程语言的字符编码 对于以往的大多数编程语言，程序运行中的字符串都采用 需要注意的是，以上讨论的都是字符串在编程语言中的存储方式，这和字符串如何在文件中存储或在网络中 传输是两个不同的问题。在文件存储或网络传输中，我们一般会将字符串编码为 UTF‑8 格式，以达到最优的 兼容性和空间效率。 3.5. 小结 数据结构分类 3. 数据结构 hello‑algo.com 50 ‧ 数据结构可以从逻辑结构和物理结构两个角度进行分类。逻辑结构描述了数据元素之间的逻辑关系，而 Table」通过建立键 key 与值 value 之间的映射，实现高效的元素查询。具体而言，我们向哈 希表输入一个 key ，则可以在 ?(1) 时间内获取对应的 value 。 以一个包含 ? 个学生的数据库为例，每个学生都有“姓名”和“学号”两项数据。假如我们希望实现“输入 一个学号，返回对应的姓名”的查询功能，则可以采用哈希表来实现。 Figure 6‑1. 哈希表的抽象表示 除哈希表外，我们

编程语言的爱好者来说，这本书无疑是最适合你的一本书籍，这里包含了当前最全面的学习 资源。本书通过对官方的在线文档、名人博客、书籍、相关文章以及演讲的资料收集和整理，并结合我自 身在软件工程、编程语言和数据库开发的授课经验，将这些零碎的知识点组织成系统化的概念和技术分类 来进行讲解。 随着软件规模的不断扩大，诸多的学者和谷歌的开发者们在公司内部的软件开发过程中开始经历大量的挫 折，在诸多问题上都不能给出令人满意的解决方案，尤其是在使用 解锁一个加锁的资源 mu.Lock() defer mu.Unlock() （详见第 9.3 节） 3. 打印最终报告 printHeader() defer printFooter() 4. 关闭数据库链接 // open a database connection defer disconnectFromDB() 合理使用 defer 语句能够使得代码更加简洁。 以下代码模拟了上面描述的第 更新到新版本的 Go 之后本地安装包的二进制文件将全被删除。如果你想更新，重编译、重安装所有的go 安装包可以使用： go install -a 。 go 的版本发布的很频繁，所以需要注意发布版本和包的兼容性。go1 之后都是自己编译自己了。 go install 同样可以使用 go install 编译链接并安装本地自己的包（详见第 9.8.2 节）。 更多信息可以在 官方网站 找到。 9.8 自定义包的目录结构、go

面量，则其必须为并且总是被视为十进制形式。 一些例子： 1.23i 1.i .23i 123i 0123i // == 123i（兼容性使然。见下） 1.23E2i // == 123i 1e-1i 011i // == 11i（兼容性使然。见下） 00011i // == 11i（兼容性使然。见下） // 下面这几行从Go 1.13开始才能编译通过。 0o11i // == 9i 0x11i 字母的UTF-8编码只需要一个字节；每个中文字符的UTF-8编码需要三个字节。 直白反引号风格的字面表示中是不支持转义字符的。 除了首尾两个反引号，直 白反引号风格的字面表示中不能包含反引号。 为了跨平台兼容性，直白反引号 风格的字面表示中的回车符（Unicode码点为0x0D） 将被忽略掉。 字符串类型的零值在代码里用 ""或``表示。 基本数值类型字面量的适用范围 一个数值型的字面量只有在不需要舍入时，才能用来表示一个整数基本类型的 gotv :tip run forrange2.go [Run]: $HOME/.cache/gotv/bra_master/bin/go run forrange2.go 6 因此，这是一个破坏了向后兼容性的语义改变。 但是新的语义更符合人们的直 觉；并且从理论上，到目前还没有发现旧的在逻辑上正确的代码因为此改变而 导致行为变化的情况。 把数组指针当做数组来使用 对于某些情形，我们可以把数组指针当做数组来使用。

字面量，则其必须为并且总是被视为十进制形式。 一些例子： 1.23i 1.i .23i 123i 0123i // == 123i（兼容性使然。见下） 1.23E2i // == 123i 1e-1i 011i // == 11i（兼容性使然。见下） 00011i // == 11i（兼容性使然。见下） // 下面这几行从Go 1.13开始才能编译通过。 0o11i // == 9i 0x11i 字母的UTF-8编码只需要一个字节；每个中文字符的UTF-8编码需要三个字 节。 直白反引号风格的字面表示中是不支持转义字符的。 除了首尾两个反引号， 直白反引号风格的字面表示中不能包含反引号。 为了跨平台兼容性，直白反 引号风格的字面表示中的回车符（Unicode码点为0x0D） 将被忽略掉。 字符串类型的零值在代码里用 ""或``表示。 基本数值类型字面量的适用范围 一个数值型的字面量只有在不需要舍入时，才能用来表示一个整数基本类型的 run forrange2.go 5| [Run]: $HOME/.cache/gotv/bra_master/bin/go run forrange2.go 6| 6 因此，这是一个破坏了向后兼容性的语义改变。 但是新的语义更符合人们的 直觉；并且从理论上，到目前还没有发现旧的在逻辑上正确的代码因为此改变 而导致行为变化的情况。 把数组指针当做数组来使用 对于某些情形，我们可以把数组指针当做数组来使用。

编程语言的爱好者来说，这本书无疑是最适合你的一本书籍，这里包含了当前最全面的学习资源。本书 通过对官方的在线文档、名人博客、书籍、相关文章以及演讲的资料收集和整理，并结合我自身在软件工程、编程语 言和数据库开发的授课经验，将这些零碎的知识点组织成系统化的概念和技术分类来进行讲解。 随着软件规模的不断扩大，诸多的学者和谷歌的开发者们在公司内部的软件开发过程中开始经历大量的挫折，在诸多 问题上都不能给出令人满意的解决方案，尤其是在使用 1. mu.Lock() 2. defer mu.Unlock() 1. 打印最终报告 1. printHeader() 2. defer printFooter() 1. 关闭数据库链接 1. // open a database connection 2. defer disconnectFromDB() 合理使用 defer 语句能够使得代码更加简洁。 以下代码模拟了上面描述的第 更新到新版本的 Go 之后本地安装包的二进制文件将全被删除。如果你想更新，重编译、重安装所有的go安装包可以 使用： go install -a 。 go 的版本发布的很频繁，所以需要注意发布版本和包的兼容性。go1 之后都是自己编译自己了。 go install 同样可以使用 go install 编译链接并安装本地自己的包（详见第 9.8.2 节）。 更多信息可以在 官方网站 找到。 9.7 使用

从存储空间的角度看，使用 UTF‑8 表示英文字符非常高效，因为它仅需 1 个字节；使用 UTF‑16 编码某些非 英文字符（例如中文）会更加高效，因为它只需要 2 个字节，而 UTF‑8 可能需要 3 个字节。 从兼容性的角度看，UTF‑8 的通用性最佳，许多工具和库都优先支持 UTF‑8 。 3.4.5 编程语言的字符编码 对于以往的大多数编程语言，程序运行中的字符串都采用 UTF‑16 或 UTF‑32 这类等长的编码。在等长编码 需要注意的是，以上讨论的都是字符串在编程语言中的存储方式，这和字符串如何在文件中存储或在网络中 传输是两个不同的问题。在文件存储或网络传输中，我们通常会将字符串编码为 UTF‑8 格式，以达到最优的 兼容性和空间效率。 第 3 章 数据结构 hello‑algo.com 62 3.5 小结 1. 重点回顾 ‧ 数据结构可以从逻辑结构和物理结构两个角度进行分类。逻辑结构描述了数据元素之间的逻辑关系，而 node } 3. 查找节点 AVL 树的节点查找操作与二叉搜索树一致，在此不再赘述。 7.5.4 AVL 树典型应用 ‧ 组织和存储大型数据，适用于高频查找、低频增删的场景。 ‧ 用于构建数据库中的索引系统。 ‧ 红黑树在许多应用中比 AVL 树更受欢迎。这是因为红黑树的平衡条件相对宽松，在红黑树中插入与删 除节点所需的旋转操作相对较少，其节点增删操作的平均效率更高。 7.6 小结