## Go在数据库中间件的应用 基础架构组/刘延允 liuyun827@foxmail.com 2017年9月 K 酷狗音乐 ## 关于我 • 刘延允——酷狗音乐，基础架构组 • 数据库变更通知服务 • 酷狗消息队列 • 酷狗数据库中间件 • 主要工作：分布式存储、高可用、数据库 • 两年通信设备开发经验，四年互联网 • 五年C/C++使用经验，一年Golang ## 内容提要 内容提要 ## CONTENTS • 程序开发的需求 • GoLang特性 - Go开发mysql中间件 - 整体方案 - 分表路由 - 故障切换 - 平滑扩容 - 系统运维 ## 程序开发的需求 • 语言特性精炼，容易入门 • 开发效率高，代码逻辑清晰 • 运行性能强，节省机器资源 • 部署维护方便 • 生态圈完善 ## Golang特性 • Go语法简练；没有学习压力

prepared 事物回查 producer 端 redolog 这个队列其实标记消费到哪了，事物状态的恢复根本上是有 commitlog 来做的 ## 第二章 consumer 有别于其他消息中间件由 broker 做负载均衡并主动向 consumer 投递消息，RocketMq 是基于拉模式拉取消息，consumer 做负载均衡并通过长轮询向 broker 拉消息。 Consumer 消费拉取的消息的方式有两种

## 云原生中间件之道 ## 云原生产品与架构系列讲座·第3讲  高磊 曾任阿里巴巴、华为架构师、深信服云原生产品规划主管 12月1日（周三）晚8点 互动平台：腾讯文档 ![Image](/uploads/documents/a ，克服了Calico SDN安全和性能方面的不足|应用透明，全局管理视角，细粒度安全策略，针对Node层面构建安全，端到端安全需要和以上安全方案集成。|| 说说应用基本依赖的四大件：数据库、存储、中间件和大数据 典型微服务应用 交易数据库 云原生应用 四大件在云原生场景下带来什么客户价值？ - 四大件在云原生场景下带来什么客户价值？ 交易数据库 四大件在云原生场景下技术架构有什么创新？ / Flexvolume 驱动将应用服务与底层存储进行衔接，其设计之初即为 Kubernetes 生态所服务，对容器化应用的适配非常友好。 ## 高级能力-云原生中间件-应用的基石-MQ为例 云原生消息服务是云原生的通信基础设施 消息中间件在云原生的应用场景，主要是为微服务和EDA架构提供核心的解耦、异步和削峰的能力，在云原生体系架构中消息服务还发挥着数据通道、事件驱动、集成与被集成等重要作用。云

用Go构建高性能数据库中间件 徐成选 小米商城 xuchengxuan@xiaomi.com 探探 Gopher China 2019 自我介绍 15年初开始使用Go，被Go的生产力、性能所吸引 微服务 数据库、缓存中间件 其他一些偏业务基础服务，例如：库存代理、人群服务、ID生成器等 ’ alt=‘OCR图片’/> Agenda Go in XiaoMi Gaea简介 Gaea Tests ’ alt=‘OCR图片’/> Go in XiaoMi 14年引入Go，最初解决日志收集问题，后来开发了大秒 商城、有品、金融、IoT、电视、云平台等部门 中间件、微服务体系、云计算、运维平台、业务系统等等 基于koala的微服务数百个，商城的后端系统都有Go的身影，包括订单、活动等非常核心的系统。 ’ alt=‘OCR图片’/> Gaea背景 alt=‘OCR图片’/> 存储层 mysql实例 gaea-agent mysql实例 gaea-agent ’ alt=‘OCR图片’/> 成果 18年11月份上线、2套集群、16个非分片业务、2个分片业务 QPS提升25% 并发优秀，不再被短连接打爆 服务平台化，业务申请=>DBA分配=>租户生效 prometheus+grafana监控 ’ alt=‘OCR图片’/>

## 从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫（kimmking） 2020-12-04 20:00 ## 1 摩尔定律失效 ## 分布式崛起  数据库中间件  数据网格 1. 水平扩展性 容量 (6.x+) Level 5: Sharding-Sidecar (5.x+) Level 4: Sharding-Scaling (4.x+) Level 3: Sharding-Proxy中间件 (3.x+) Level 2: Sharding-JDBC框架（1.x+） Level 1: MySQL数据库提供的能力 ## We're Here Now 云原生社区

完全开源 Apache的首个分布式数据库中间件 京东主导，多公司参与 ☑ 应用广泛，已知70+公司的应用案例 ## 发展历程  ## ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 增量持续革新 接入与运维成本低 ## 数据库中间件应具备的能力 分片化 弹性化  数据一致性 治理能力 可观测 1 2 3 4 数据分片 分布式事务 数据库治理 弹性伸缩 ## 数据分片  ## 引入中间件  ## 拆分策略定制化 ## 哈希

完全开源 Apache的首个分布式数据库中间件 京东主导，多公司参与 ☑ 应用广泛，已知70+公司的应用案例 ## 发展历程  ## ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 互联网数据库需求发展 MySQL Oracle PostgreSQL SQLServer …… RDBMS 键值数据库 文档数据库 列族数据库 图数据库 ··· 分布式数据库 分布式数据库中间件 云数据库 NoSQL NewSQL ## 分布式数据库中间优势 ___ ## 2018 年PostgreSQL中国技术大会 ## DB-Engines Ranking The DB-Engines 620c0f37e48/p6_11.jpg) 接入与运维成本低 ## 数据库中间件应具备的能力 ## 分片化 ## 弹性化 ## 数据一致性 治理能力 ___ 可观测 1 数据分片 2 分布式事务 3 数据库治理 4 弹性伸缩 App1 App2 App3 读写分离 DB 水平分片 S App1 App2 App3 read sync App1

2.jpg) 多副本 弹性化 ## 数据分片 App1 App2 App3 App1 App2 App3  DB DB1 DB2 DB3 ## 数据分片：引入中间件  ## 数据分片 + 读写分离  ## 数据分片 + 读写分离：引入中间件 京东金融 JD Finance ![Image](/uploads/document ## Sharding-Sphere 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 实现方案 Sharding-JDBC Sharding-Proxy Sharding-Sidecar Sharding -Sphere ↓↓ 云原生（无中心）零侵入 ## Sharding-Sphere：数据分片 SQL解析 查询优化 SQL路由 SQL改写