## 微服务容灾治理 ### 1. go-zero 稳定性能力概览 经过这么多年大流量服务端架构设计的沉淀，go-zero 在保护服务的稳定性上下足了功夫，不管是 CPU 密集型还是 IO 密集型服务，go-zero 都能很好的保护服务在如下场景不被拖垮或卡死： 远超服务容量的突发大流量 CPU 打满 • 上下游故障或者超时 • MySQL、MongoDB、Redis 等中间件故障或者超负载（典型的是

• 原生支持数据治理，三权分离 统一数据格式 | 一份数据多引擎计算 | 兼容主流云存储格式和协议 - 全面支持 HTAP 湖仓一体和向量计算 - 全新云原生架构「一份数据，多引擎计算」弹性扩缩容，打破数据孤岛 - 支持大语言基础模型和私域数据结合开发垂直应用 CMU战略合作大模型基础理论，训练合作一事一议 ## 阿里云 ## 腾讯云 ## 私有云 vmware openstack 成各种复杂场景的数据处理，业务开发周期短，现存的代码基本可以无缝迁移和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容，属于信创产业。支持公有云，可充分利用云资源的弹性能力。组件少，提供可视化管理平台，运维管理简单，通过短暂学习即可掌握，无论是原厂商还是生态合作伙伴都可以直接提供技术服务，7 * 24的安心保障。 ## hadoop 是一个存储系统+计算框架的 以很好地完成各种业务场景的数据处理需求。但是对于开发的要求比较高，需要掌握多种组件的不同使用方法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也无法直接利用云资源的弹性能力。组件太多，导致集群部署和后期运维管理很麻烦，市场上相关人才储备量不多，技术兜底依赖于Cloudera，国内第三方公司主要是基础运维和开发为主。 ## πDataCS优势2：全面支持大语言基础模型和私域数据结合做垂直应用

数据库等，只需关注业务开发 Serverless ≈ CaaS + BaaS CaaS (Compute as a Service) 资源申请 玻璃罐建 虚探伞 防搭器 容灾 扩缩容 负载均衡 BaaS (Backend as a Service) 补丁升级 监控告警 权限控制 网络 数据库 存储 ## Serverless 介绍 ##### 52950f3f5420f8f9bcf289/p17_2.jpg) ☐ mvm: 租户级别最强隔离，更低的延时 docker: 进程级别隔离 ☐ 更细粒度的资源分配，更低的成本 实时计算扩缩容 ### Serverless vs. IaaS 运维能力对比 基本运维能力   弹性扩缩 O 故障恢复 $ ^{1} $ 性能调优 ☐ 安全保障 ### Serverless vs. IaaS 运维能力 资源创建 - IaaS ![Image](/uploads/

infrastructure implementation ## Why Serverless + Container? Container Serverless 执行部署一致性 • 快速交付 • 免运维 • 高弹性 • 敏捷化 • 按需付费 ## A short history of Serverless Container |产品名称|厂商|发布日期|Kubernetes API支持| |---|---|---|---| Serverless addon混合集群 容器调度与编排 Node-1 Node-2 Node-N Pod Pod 虚拟节点 Pod Pod Pod Pod ECI Provider • 无限弹性，敏捷扩容 • 支持pod之间互联互通 Pod Pod Pod Elastic Container Instance (ECI) ## 无需管理服务器 Without managing servers 用户只需关注容器应用 • Zero server ops • 配置网络 • Focus on application • 操作系统选择 • 系统软件升级、安全补丁更新 • 系统监控和长期维护 ## 极致弹性 Scale your pods elastically - 直接基于pod扩容，而不是node，不再受限于node数量 • 无需预留计算容量 scale in seconds “unlimited”

用户专注于使用，运维等工作交给 IaaS/SaaS 厂商 IvorySQL开源数据库社区 ## 上云≠云原生 多租户 弹性计算 智能化云原生平台 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 ## I VORYSQL OpenPie ## 传统分布式 MPP 架构痛点 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 需分享。  计算：云上计算资源可以弹性分配。有查询计算任务的时候按需启动，按照使用时间和规模计算成本，而不是购买大量服务器静置为不确定的使用额外支付成本。  - 多集群共享一份数据集 • 秒级扩缩容 • 用户只需为存储和计算付费 ## 虚拟化技术创新为行业高质量发展注入加速度 云计算时代的到来 服务器整合，降低服务器硬件成本 云计算平台统一运维降低成本 服务器资源池可用空间增大

数据库解决方案迎来了一系列的瓶颈： 传统数据仓库的计算和存储是紧密耦合的，计算资源和存储资源按某一比例强绑定，因此用户在扩容时，必须同时扩容计算资源和存储资源，在扩缩容、运维、迁移上都存在一定的挑战。当企业遇到负载高峰时刻或需要紧急得到某个报表结果时，传统数据仓库无法及时扩资源，导致大数据系统无法弹性、快速地分析业务数据，错失了充分挖掘数据价值所带来的商业机会。 传统数据仓库价格高昂的软硬件、开发运维人员的高昂薪资需要企业进行巨 每周有一个中等计算任务，需要数十个节点 • 每月有一个大的计算任务，需要数千个节点 面对这些不断变化的业务需求和计算任务，企业产生了更高的需求： • 无限空间：能够提供无限存储空间， • 灵活伸缩：随时根据业务需求弹性增加集群和工作节点 • 资源回收：在集群完成计算任务时，可以进行资源回收，节省成本 充分结合云计算、大规模并行处理技术的云原生虚拟数仓 PieCloudDB 应运而生，PieCloudDB 帮助企业摆脱了 抽象思考和设计原则复用为技术路线，可将物理数仓整合到云原生数据计算平台，根据数据授权动态创建虚拟数仓，按需灵活计算，打破数据孤岛，支撑更大模型所需的数据和计算。在云上，数据计算资源按需扩缩容，提升数仓的敏捷性和弹性，助力企业降低数仓管理复杂度，实现数量级增加可计算数据空间的同时，数量级降低数仓成本，打开无限数据计算空间，推进AI/BI到下一个精度。PieCloudDB在eMPP分布式专利技术、服务

[Image](/uploads/documents/c/d/1/1/cd11ba0b707be61cb140b86841b53505/p1_1.jpg) BEIJING 2017 # 构建基于富媒体大数据的弹性深度学习计算平台 SPEAKER / 土土@七牛 AtLab ## 促进软件开发领域知识与创新的传播  ## AVA 弹性深度学习平 △ Iterative training Incremental training Semi-supervised Labeling Model comparison

Namespace监控等 ● 监控对象动态可变，在集群中容器的销毁创建十分频繁，无法提前预置 监控指标随着容器规模爆炸式增长，如何处理及展示大量监控数据 随着集群动态增长，监控系统必须具备动态扩缩的能力 ## 监控遇上 Kubernetes 目前容器云平台提供的k8s集群包括： 10+集群（云+物理机房+边缘） 1000+机器 2W+ Pod ## 监控系统架构 • kubernetes_sd_config Kvass ## Kvass是一个Prometheus横向扩缩容解决方案 他使用Sidecar动态得根据Coordinator分配下来的target列表来为每个Prometheus生成只含特定target的配置文件，从而将采集任务分散到各个Prometheus分片。 Coordinator用于服务发现，target分配和分片扩缩容管理 配置管理简单：无需针对配置文件做任何特殊工作，单一小集群时候怎么用，现在就怎么用。 负载可控：由于Kvass在向分片配置target的时候，会根据target的实际规模来，而不是通过hashmod来，所以每个分片的总负载会被控制在一个阈值以下，不会出现某个分片OOM的情况。 ● 自动扩缩容：Kvass会根据当前集群的规模，动态调整分片个数 ![Image](/uploads/documents/b/2/d/7/b2d703128539524d374d63151f676cb3/p13_1

949f1bd9e8b70596a9382/p10_7.jpg) Mundo元数据管理系统 统一Catalog • 原生支持数据治理，三权分离 - 全新云原生架构「一份数据，多引擎计算」弹性扩缩容，打破数据孤岛  ## 自研简墨存储 成各种复杂场景的数据处理，业务开发周期短，现存的代码基本可以无缝迁移和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容，属于信创产业。支持公有云，可充分利用云资源的弹性能力。组件少，提供可视化管理平台，运维管理简单，通过短暂学习即可掌握，无论是原厂商还是生态合作伙伴都可以直接提供技术服务，7*24的安心保障。 ## hadoop 是一个存储系统+计算框架的软件 以很好地完成各种业务场景的数据处理需求。但是对于开发的要求比较高，需要掌握多种组件的不同使用方法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也无法直接利用云资源的弹性能力。组件太多，导致集群部署和后期运维管理很麻烦，市场上相关人才储备量不多，技术兜底依赖于Cloudera，国内第三方公司主要是基础运维和开发为主。 ## PieCloudVector与LLM在私域知识库领域的应用实践路径

p7_2.jpg)  ## 云原生弹性 采用计算和存储分离架构，支持计算资源和存储资源独立、不停服扩容。 ## 高性价比 集群版顺序写33万行/秒，随机读12万行/秒；提供HDD/SSD多种存储类型，支持冷热数据分离存储。 ## 云原生数据库其特点，使得应用场景会更加广泛 集群版架构高可用，数据三副本存储；支持跨可用区容灾和表级别数据备份与恢复。 |项目|传统数据库Oracle|云原生数据一体机| |---|---|---| |存储架构|存算一体：调整困难、只能满足一定的吞吐量要求|存算分离：自动调整、拓展能力强，满足更大吞吐量| |存储自动扩缩容|手工填加机器，手工同步|完全自动化| |高性能|存在性能瓶颈|类似日志方式的顺序写，性能高| 36a4c01a42e0c11dece9f73ed275/p8_1.jpg) Scale Up Scale Down 云原生的本质在于为云这种弹性资源下能够为应用提供稳定的基础架构，所以云原生数据库相对于传统数据库最大的不同也在这个方面：弹性 对于数据存储的高性能、高稳定性、高拓展、资源成本等等都需要同时满足（和传统CAP相悖） - 接入层需要能够根据规则的路由，以及兼容各类协议接