## Kubernetes Operator 实践 —— MySQL 容器化 刘林 搜狗资深工程师 ## 关于我  刘林 ## 搜狗商业平台研发部资深开发工程师 - 主要从事商业平台研发工作，在构建高性能、高可用大规模系统方面有丰富的实践经验 大数据平台 基础架构 品牌广告 ## 商业云平台 BizCloud SaaS  搜狗商业平台业务系统 搜狗商业平台基础平台 搜索推广 信息流 品牌 账户 CI&CD 物料 计费 模板管理 管理界面 自动化测试 BizNginx [Image](/uploads/documents/4/7/d/d/47dd11b40241e0917f8cd627e1bdc741/p6_8.jpg) elasticsearch ## 有状态服务容器化 ## TABLE OF CONTENTS 大纲 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 ## 带来的新挑战 无状态服务

## Greenplum on Kubernetes 容器化MPP数据库 ## AGENDA ## 云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 ## 云数据库背景 ## 云数据库背景 ● 资源变化 ☐ 本地资源 → 云 ☐ 静态资源 → 弹性需求 ## ● 数据变化 ☐ 内部数据 → 多数据源 多数据源 ☐ 数据规模 → 不易预测 ☐ 数据格式 → 半结构化/无模式 ☐ 数据隔离 → 数据共享 # Gartner Says the Future of the Database Market Is the Cloud On-Premises DBMS Revenue Continues to Decrease as DBMS Market Shifts to the Cloud By - DBasS - 自动化运维 - 自动化调优 - 弹性资源管理 - 存储资源 - 计算资源 - 安全 - 用户数据 - 临时文件 - 网络传输 - 权限控制 - 跨云 - 公有云 - 私有云 ## 云数据库实现方案 全新数据库 ○ Snowflake 原有数据库架构升级 ☐ Vertica Eon

## 微服务的容器化实践 灵雀云 邢海涛 DDCHINA 议程 01 微服务容器化实践 02 用户案例 ## 微服务容器化实践 ■ 镜像管理 ■ Docker Registry, Harbor, JHipster ■ 容器编排 ■ Kubernetes, Mesos, Docker Swarm ## 用户案例 开发环境，桌面微服务访问K8s集群内依赖，WireMock？ 测试环境，k8s集群内微服务互访 测试环境，k8s集群内微服务互访 ## 用户案例 - 根本问题 主机网络和容器网络可能不通 因为Kubernetes只定义规范，导致网络方案太多 因为跨节点的容器网络不通： 容器地址重复 ☐ 容器地址不可达 ## 方案 - Networking (1) ||Overlay|L3 Routing|Underlay| |---|---|---|---| |描述|把二层报文封装在IP报文之上 Kernel 升级到 4.2 ■ IpVlan 可能的 IPv6 问题：可能会自动生成相同的 IPv6 地址（静态分配或禁用 SLAAC） VMWare Vsphere 需要开放混杂模式 ■ 容器网络安全（Network Policy）没有提供，需要依赖外部网络 ## 方案 - Networking (4) L3 Routing: Funnel – HostGateway 集群可以跨 V

监控维度更多，除了传统物理集群的监控，还包括核心服务监控（API server，Etcd等）、容器监控、Pod监控、Namespace监控等 ● 监控对象动态可变，在集群中容器的销毁创建十分频繁，无法提前预置 监控指标随着容器规模爆炸式增长，如何处理及展示大量监控数据 随着集群动态增长，监控系统必须具备动态扩缩的能力 ## 监控遇上 Kubernetes 目前容器云平台提供的k8s集群包括： 10+集群（云+物理机房+边缘） 10+集群（云+物理机房+边缘） 1000+机器 2W+ Pod ## 监控系统架构 • kubernetes_sd_config 自动发现服务 通过remote_write协议将数据写至kafka，容器云平台通过消费kafka topic获取容器基础监控数据。容器云平台定制告警规则发送给相应的服务负责人 ● prometheus通过定期执行集群级别的告警规则，将触发告警的信息发送至alertmanger，aler tmanager通过webhook将告警信息发送至YYMS • grafana 可视化展现  ## 存在的问题 无法横向扩展，数据无法长时间保存，大内存问题导致OOM ● 单点故障 无法聚合查询 维护成本太高 ## 内存优化 |

## 多云管下的自动化运维架构 刘宇 Bespin 高级研发总监 ## TGO鲲鹏会 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 多云下运维的挑战 ## 业务架构不断演变 LVS LVS Nginx Nginx Nginx DB DB LVS LVS LVS LVS Ngx Ngx Ngx Ngx Ngx Ngx DB DB

## 演进式架构的平台落地 ThoughtWorks 首席咨询师 姚安峰 DDCHINA ## 关于讲师 ## 精益系列 [英] Jez Humble [加] Joanne Molesky 著 [爱尔兰] Barry O'Reilly 姚安峰 韩锴 译 # 精益企业 ## LEAN ENTERPRISE How High Performance Organizations Innovate 探索、产品与服务设计、演进式架构、敏捷开发、持续交付、数据运营等端到端数字化业务的方法与实践及其规模化应用有深入研究和丰富实践经验。 目前致力于帮助各行业客户实现数字化转型，建立数字时代的精益研发体系，提升规模化创新能力。近两年来，研究的重点放在数字化业务管理的组织治理与动态投资组合管理，最大化投资成效。 2016年翻译出版了著作《精益企业》。 演进式架构 让架构可以快速跟上业务发展与技术生态变化，并保持稳定 requirements data legality scalability ## 演进式架构 ## An evolutionary architecture supports guided, incremental change across multiple dimensions 演进式架构支持 在各个架构设计维度上， 沿着特定方向进行频繁增量式变更。 ![Image](/uploads/

## 演进式架构：数字化世界"进化论 肖然 ThoughtWorks $ ^{®} $ # SUPPORT CONSTANT CHANGE with the new book by NEAL FORD, DR. REBECCA PARSONS & PATRICK KUA Building Evolutionary Architectures SUPPORT CONSTANT c/a/b/bcabc948732eea402ff6f566295e1b9f/p2_1.jpg) Neal Ford, Rebecca Parsons & Patrick Kua ## 架构到底什么？  classes ## 耦合关系 lighten the ## 消息中间件  ## 架构管理 我们现实的演进  我们期望的演进

2.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2018 # 《MySQL 容器化部署实践》 演讲者 / 王晓波  ## ## MySQL数据库为何要Docker化 1. MySQL数据库迅速爆炸式增长后，服务器规模不断增大，快速部署是个问题。 2.随着业务的发展，扩容数据库的不方便不快捷，也是个问题。 3. 大量数据量小的数据库系统也单独部署在物理机，浪费问题突出。 4.DBA的数据库自动化标准化运维的需求。 5.Docker在同程的大规模使用，应用部署环境100%容器化，有Docker丰富的经验 ## + 配置 DB架构 硬件选型 机房 2核4G 4核4G 一主一从 SATA-SSD A机房 4核8G 8核8G 一主多从 PCIE-SSD B机房 8核16G 16核16G 分片集群 大容量磁盘SAS C机房 16核64G 32核64G D机房 32核128G 过载保护机制 数据库及实例迁移 扩容缩容 集群节点管理 高可用切换 资源池管理 自动化备份 便捷的告警管理

## 云原生图数据库解谜、容器化实践与 Serverless 应用实操 Graph DB on K8s Demystified and its Serverless applicaiton in actions. 古思为 DEVELOPER ADVOCATE @ 💱 vesoft 方阗 MAINTAINER OF OPEN FUNCTION KCD China 2021 Kubernetes 计算平台搭建实践：OpenFunction ■ K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应用 ■ 上手 K8s 上的云原生图数据库、从零到一构建 Serverless 架构的智能问答助手 Iaminar.fun/talks/2021-KCD ## Serverless 简介 什么是 Serverless？Serverless / FaaS 领域开源现状如何？Serverless /a/a/3/3/aa3302e6e1f3d795507a6bc1af25792d/p15_2.jpg) ## OpenFunction 新一代开源函数计算平台 ## OpenFunction 架构图 core.openfunction.io Functions | Servings | Builders ▶ events.openfunction.io EventSources | Triggers

## 架构工作在国际化项目中的应用实例 贺钢 2016-12-17  ## 个人简介 · 深信服科技 · 腾讯 ·联想深圳中国开发实验室 ## 前言 · 国际化项目的一些不同点导致架构工作的一些不同 • 应用实例体现这些不同点 _1.jpg) 官方驱动 安全保障 ☑ 立即下载 ## 国际化项目的一些不同点 ## · 目标客户不同: 文化习俗, 客户需求, 用户体验... ## ·要求不同: 各国法律法规(版权,协议,第三方,accessibility),安全性和隐私... ## • 地域不同: 服务器的部署, 用户的访问, 组织架构, 团队沟通... ## 项目实例 -- XA项目背景及需求 · 多设备协作 d6ecc8ec49a41/p9_1.jpg) ## 项目实例 -- 项目开发团队 |项目|备注| |---|---| |项目名称|XA| |支持国家|160| |多语言支持|27种语言| |架构师|5-8人| |开发人员|中国,美国,日本,印度| |三方合作伙伴|6-7家| ## 系统组件设计 XA Cloud Storage Assistant Interface Input XA