运维上海2017-分布式数据库系统TiDB在Kubernetes平台的自动化运维实践-邓栓0 码力 | 32 页 | 3.47 MB | 1 年前3
第29 期| 2023 年9 月- 技术雷达大语言模型的各个方面,包括自托管式大语言 模型,相较云托管的大语言模型,它支持更多的定制和管控。随着大语言模型日益复杂,我们正在深思如何在 小型设备上运行大语言模型,特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程,以及利用大语言模型驱动的自主代理开发远超简单的问答交互的动态应用。我们也提到一些向量数据库 (包括 Pinecone)由于大语言模型而重新流 完全远程或混合工作演进的趋势。在本期技术雷达中,我们讨论了远程软件开发实践和工具的成熟,和团队们 如何继续以有效协作为重点,不断突破界限,在一个更加分散和动态的环境中进行工作。一些团队利用新的协 作工具不断提出创新解决方案。其他团队则继续调整和改进现有的面对面实践,例如实时结对编程或集体编程、 分布式工作坊(例如 远程事件风暴)以及异步和同步沟通。远程工作提供了许多好处(包括更多样化的人才储 备),但面对面交流的价值是显而易 队相关的决策中使用 RFCs 来推动更好的沟通和协作。它通常被 用作架构决策记录的审查和批准过程。即让受决策影响的人有机会在决策获得批准之前,参与讨论并提供意见, 这一个透明的协作过程。快节奏的环境往往会导致设计决策的推理过程丢失,从而让负责实施决策的团队感到 困惑。RFCs 提供了一个决策审计记录,有利于未来的团队成员查看,与此同时记录了组织技术和业务的演进过 程。RFCs 可以成为促进0 码力 | 43 页 | 2.76 MB | 1 年前3
Kubernetes全栈容器技术剖析网络(VPC/EIP) 开源原生 商业增强:控制面HA、跨AZ高可用、滚动升级、裸金属容器 云容器引擎 CCE 微服务引擎 CSE 开源原生 企业级 中间件 分布式 缓存 DCS 分布式 消息 DMS 分布式 数据库 DDM 应用编排引擎 AOS App/PaaS/IaaS 资源一键式创建 应用运维 AOM 应用性能管理 APM 应用拓扑 调用链 SLA指标 IaaS 开发测试 统一编排 自动化部署、微服务注册发现与治理、中间件运行环境 智能运维 开放网关APIG 应用 函数计算 FunctionStage FunctionGraph 4 什么是容器技术? • 对比虚机的优势: • 通过共享操作系统内核,细粒度资源隔离。(降低资源成本) • 定义了环境无关的标准的交付、部署规范(提高交付效率) • 秒级快速启动和停止(适合敏捷扩缩容场景) 将旧的加速计算应用程序容器化,并部署 在较新的系统或者云环境中。 • 将特定的 GPU 资源分配给容器,以获得 更好的隔离效果和性能。 • 轻松地跨不同的环境共享应用程序、协同 工作和测试应用程序。 主流DL框架 13 iCAN容器网络:实现高性能容器网络和大规模高效部署 14 Fuxi容器存储:实现有状态应用和分布式中间件容器化部署 15 全球首发云容器实例服务CCI :更快的弹性,更高的资源利用率0 码力 | 26 页 | 3.29 MB | 1 年前3
KubeCon2020/微服务技术与实践论坛/Spring Cloud Alibaba 在 Kubernetes 下的微服务治理最佳实践-方剑monoliths-to-microservices 微服务拆分原则 DevOps 服务框架 Dubbo 可观测性 混沌工程 服务治理 Spring Cloud 多语言微服务 API管理 服务压测 分布式事务 分布式调度 API网关 服务注册发现 负载均衡 服务配置 无损下线 服务容错 服务路由 服务鉴权 限流降级 服务元数据 服务测试 服务mock 持续集成 IDE插件 应用监控 链路追踪 1. 新增 Dubbo Spring Cloud 模块 让 Spring Cloud 与 Dubbo 可以互相调用 2. 新增 Seata 模块,让 Spring Cloud 的服务调用拥有分布式事务能力 2019.4 1. 发布 GA 版本 2. Sentinel 成为官方推荐的 Circuit Breaker 实现 2019.7 Spring Cloud Alibaba 毕业 https://spring.io/projects/spring-cloud-alibaba 5000+ 项目使用 Spring Cloud Alibaba构建微服务体系 300 + 公司生产环境上线 Spring Cloud Alibaba 现状 https://start.aliyun.com/bootstrap.html • 业务高可用、多可用区部署 • 同城/异地容灾,业务多活0 码力 | 27 页 | 7.10 MB | 1 年前3
云计算白皮书年,我国云计算市场规模达 4,550 亿元, 较 2021 年增长 40.91%。相比于全球 19%的增速,我国云计算市场 仍处于快速发展期,预计 2025 年我国云计算整体市场规模将超万亿 元。 三是云计算产业环境日益激烈,新一轮竞争全面开启。全球各 国将云计算看作抢占新一轮科技革命制高点的关键环节。云计算巨 头厂商在全球化布局基础上,纷纷调整发展重心,并聚焦热点区域、 热点领域和热点方向,试图在市场上抢得先机。 工程化运作成为平台产品,平台产品随着组织变化而演进,其各个 组件可根据实际使用情况来升级扩展。这类集成产品通常被称为内 部开发者平台,是工程团队已经部署的技术和工具之上的全新一层。 演进路线方面,容器云平台为开发者构建和运行分布式应用带来了 便利,但同时将复杂资源暴露给了开发者,知识门槛高,并且开发 者难以从众多资源中定位业务故障。而容器云平台及传统 PaaS 等经 过平台工程化,可演进为面向开发者的一站式平台,灵活组合 赋能用云企业,满足企业多样性场景需求,提升企业云管理与优化 治理成效。 稳定性层面,云上系统稳定性挑战持续存在,系统稳定性保障 云计算白皮书(2023 年) 20 体系不断完善、技术不断创新。云上系统自带“分布式”属性,各 模块之间依赖关系错综复杂,给服务性能分析、故障定位、根因分 析等带来了诸多困难;云上系统故障率随设备数量的增加而呈指数 级增长,单一节点问题可能会被无限放大,日常运行过程中一定会0 码力 | 47 页 | 1.22 MB | 1 年前3
运维上海2017-Kubernetes与AI相结合架构、落地解析-赵慧智Kubernetes 介绍 LXC (Linux Container) 介绍 在单一系统的内核层通过一套 API 在应用层提供硬件及软 件环境隔离的 Linux 环境(containers 。在内核层,通过 cgroup 来提供硬件环境的隔离(例如 CPU,Memory, Block I/O,网络等等 和通过 namespace 来提供软件层面 的隔离(例如 process tree,网络,user 由于采用系统当前的内核,Container会启动加载更快,更 轻量,并且更省资源。 Container Image 用来将需要容器化的应用程序及其环境进行打包后存储的镜像。 • 通常会有一个 Image 管理仓库来存储 Image。 • 同一个 Image 会有版本记录。 • 只包含软件环境的配置 • 硬件配置需要运行时去指定 OCI (Open Container Initiative) • 可以是一台物理服务器或者虚拟机。一个 Node 的作 用是用来运行 pods 的环境,并且被 Master 组件所管理。一个 Node 包含如下组件: • Docker/rkt • kubelet • kube-proxy Kubernetes 基本概念 - Master Master 节点是 Kubernetes 环境中的管理节点,负责整个集群 的资源管理/分配,容器编排。一个 Master0 码力 | 77 页 | 14.48 MB | 1 年前3
sealos 以 kubernetes 为内核的云操作系统CRI CSI DNS Backup Restore 交付类场景 01 整个集群或者分布式应用整 体打包,一键交付 标准化交付产物,而不是靠 操作文档协作 交付者无需关心业务逻辑,一条命令 完成任意分布式高可用应用交付 支持完全离线场景,小白操 作 20min 自动化完成 全国多个 02 交付环境: 各大公有云 不同版本liux发行版 裸金属 AMD ARM ······ 数月 消息队列 对象存储 计算 储存 网络 kubernetes SaaS服务 30min 1人 一键打包 整体交付 一次建构 到处运行 使用sealos 技术实现 行业 痛点 在公网不可信的环境中提供多 租户共享一个kubernetes集群 的能力, ,如etcd存储, k8s apiserver,对象存储,数 据库等 技术 方案 优势 利用 等技术可做到计算安 全隔离,存储隔离且获得本地 terraform 某些底层 driver 写的不好 云驱动层 01 对接 firecracker cilium openebs 等技术 无性能损失的网络层计量 与隔离 rust 自研分布式文件系统 sealfs 直接对接 rustvmm 绕 开 fuse 02 client manger manger metadata data data metadata metadata0 码力 | 29 页 | 7.64 MB | 9 月前3
高性能 Kubernetes 元数据存储 KubeBrain 的设计思路和落地效果-许辰KubeBrain 架构 Kine KubeBrain KubeBrain 架构 • 主从架构 • 主负责写和事件分发 • 从负责读 • 底层对接分布式强一致性存储 • CAS 事务写 • 快照读 实现架构图 存储层 存储层 – 分布式 KV Store ByteKV • Multi Raft Goup • 全局有序 Range 分区 • 强一致性 • 支持多 key 事务 raft range 分片,增大写并发 Brain 层无磁盘 io,只有网络 io 写优化 - 3 事务优化 精心设计 key 格式 一个 k8s 对象的索引和数据在同一分区内 跨分区分布式事务 -> 分区内单机事务 读优化 - 1 Range 读 Unary -> Stream 代替分页,降低延迟 内存高效复用,避免 OOM 读优化 - 2 多分片并发读 通过并发,大大减少读时延 apiserver 不会使用,减少一次读 压测数据 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 落地效果 压测环境 • 配合 apiserver 优化手段,规模达 5w 节点 200w Pod 生产环境 • 2 W 节点 100w Pod 超大集群,有效降低资源碎片率 落地效果 读写 QPS > 1w • 背景介绍 • 设计思路 • 性能优化0 码力 | 60 页 | 8.02 MB | 1 年前3
涂小刚-基于k8s的微服务实践镜像安全 k8s tcp负载 https-http 虚拟主机 服务路由 traefik ingress-nginx nginx 流 量 入 口 k8s平台组件 k8s平台接入流程 k8s环境空间和应用名规范 k8s-namespace k8s-service k8s-app-name app-name ai-test ai-dc-server ai-dc-server ai-dc-servedr ai-dc-api ai-dc-api ai-dc-api 业务线名称 ai dt ad 现有环境名 test preview prod 统一规划环境名和业务应用名,适配标准自动化运维。 业务线名称采用拼音首字母缩写 k8s-namespaces 环境名称定义采用业务线缩写名加环境名组成 k8s-service名称、app名称和应用名称包名保持一致 k8s-api配置对象 作用 作用 k8s-namespace 通过配置文件关键字dev/test/prod等声明应用所属的环境,隔离不同环境业务,通过特定标识来识别业务线。 k8s-service k8s-dns注册服务名,通过配置文件关键字关联业务线应用名称,保持应用和k8s之间的关联。 k8s-app-name 容器host应用名称,deployment 名,通过配置文件关键字关联业务线应用名称,保持应用和k8s之间的关联。0 码力 | 19 页 | 1.34 MB | 1 年前3
DaoCloud Enterprise 5.0
产品介绍© 2023 DaoCloud 第 3 页 简介 DaoCloud Enterprise 5.0(DCE 5.0)是一款高性能、可扩展的云原生操作系统。 它能够在任何基础设施和任意环境中提供一致、稳定的体验,支持异构云、边 缘云和多云编排。 DCE 5.0 集成了最新的服务网格和微服务技术,能够跟踪每 一个流量的生发始终, 帮助您洞察集群、节点、应用和服务的详细指标,并通 过动态 涉及的模块:全局管理、容器管理、云原生网络、云原生存储、信创异构 中间件服务 专为有状态应用设计的云原生本地存储能力,满足中间件高 I/O 的存储需求,提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件,提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力,实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块:全局管理、容器管理、云原生网络、云原生存储、精选中间件 采用信创云原生技术架构,兼容国产芯片及服务器,支持信创操作系统及信创应用生 态体系,屏蔽底层异构基础设施的复杂性,把传统操作系统从需要长期积累的软件生 态兼容适配中解放出来,实现混合异构集群的灵活调度,保证信创应用运行环境的稳 定高可靠,助力信创进程进一步提速。 涉及的模块:全局管理、容器管理、集群生命周期管理](community/kubean.md)、信创 中间件、云原生网络、云原生存储 云边协同0 码力 | 18 页 | 1.32 MB | 1 年前3
共 41 条
- 1
- 2
- 3
- 4
- 5













