运维上海2017-分布式数据库系统TiDB在Kubernetes平台的自动化运维实践-邓栓0 码力 | 32 页 | 3.47 MB | 1 年前3
第29 期| 2023 年9 月- 技术雷达成为了强大的工具库,被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面,包括自托管式大语言 模型,相较云托管的大语言模型,它支持更多的定制和管控。随着大语言模型日益复杂,我们正在深思如何在 小型设备上运行大语言模型,特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程,以及利用大语言模型驱动的自主代理开发远超简单的问答交互的动态应用。我们也提到一些向量数据库 (包括 随着应用开发变得越来越动态和复杂,交付风格一致且好用的产品成为了一项挑战,尤其是在有多个团队参与 不同产品开发的大型组织中。设计系统定义了一系列的设计模式、组件库以及良好的设计和工程实践,以确保 数字产品的一致性。设计系统从过去的企业风格指南演变而来,提供易于查找和使用的共享组件库和文档。通 常,设计系统的风格指南以代码的形式记录并进行版本控制,比简单的文档记录更加清晰且易于维护。设计系 统已经成为跨团队和学科进 此能够集中精力,专注解决产品本身的种种挑战。 我们的经验表明,团队在构建设计系统时很少采用产品为中心的思维方式。共享组件库和文档的主要消费者是 产品开发团队。在使用产品为中心的思维方式时,设计系统所有者应该与消费者(开发团队)合作,建立共情。 我们发现,许多组件库之所以受到批评,是因为所有者团队无法快速响应消费者的需求,并且无法接受来自外 部的贡献。产品为中心的思维方式还要求组织思考是0 码力 | 43 页 | 2.76 MB | 1 年前3
开课吧基于混合云的Kubernetes平台落地实践-程亮service2 service3 … … … … … service1 service2 service3 … jenkins 用户中心数据库 API网关数据库 应用中心数据库 基础服务数据库 基础服务数据库 … … … • 多环境资源互不影响 微服务 • 全链路服务全部属 • 注册中心独立部署 流量隔离 • 多域名,泛域名解析匹配 数据 • 全量同步线上脱敏数据 Autoscaler Horizontal Pod Autoscaler 获取metrics CPU Mem已经支持指标自定 义metrics(用户自定义指标) 获取metrics CPU Mem已经支持指标自定 义metrics(用户自定义指标) metric上报 metric上报 • 基于有状态服务链路的扩缩容 Redis后端管理平台 应用1 get key1 set key10 码力 | 22 页 | 7.42 MB | 9 月前3
Kubernetes全栈容器技术剖析商业增强:控制面HA、跨AZ高可用、滚动升级、裸金属容器 云容器引擎 CCE 微服务引擎 CSE 开源原生 企业级 中间件 分布式 缓存 DCS 分布式 消息 DMS 分布式 数据库 DDM 应用编排引擎 AOS App/PaaS/IaaS 资源一键式创建 应用运维 AOM 应用性能管理 APM 应用拓扑 调用链 SLA指标 日志关联分析 异常预警 故障回溯 第三方代码库对接 多租户、多用户权限隔离 17 案例:高性能容器服务,助力图灵生物Pipeline灵活编排和复用,自定义基因测序SaaS 服务效率提升60% 陕西图灵生物主要面向医院、研究机构等提供基因测 序,人体健康监测,大数据分析等生物健康产品及解决 方案。 挑战: • 全基因测序原始数据约100GB/人,数据分析性能要 求高 • 测序需求多样,测序流程难以灵活自定义 基于容器的生物信息分析平台 基于容器的生物信息分析平台 • 结合FPGA加速计算可进一 步压缩成本 基因测序(测序仪) 数据上传 源数据 存储 基因拼接/对比/注释 数据 分类 存储 核心数据 取回本地 自动化部署 数据库 SFS/OBS 计算 BMS/ECS/FPGA 应用编码服务 AOS 容器服务 CCE/CCI • 应用与资源编排模板化 • 容器化测序算子部署 基因测序业务流 基于容器的应用流 •0 码力 | 26 页 | 3.29 MB | 1 年前3
腾讯基于 Kubernetes 的企业级容器云实践-罗韩梅计算节点挂掉:跨机迁移 • 健康探针 ① 存活探针 ② 就绪探针 • 负载均衡 • 重启机制 ① 区分异常原因 ② 本地重启/跨机重启 • 黑名单机制 • 集群核心数据的备份和恢复 ① Etcd ② 核心数据库 • 云盘机制保护应用数据 • 举例:1.4升级1.9版本 • Pod Hash发生变化 • Container名称发生变化,点分隔改为了下划线分隔 • 容器标签发生变化 pause容器的标签io 后,根据socket的owner process来确定cgroup ◼报文决策: 令牌桶 + 共享令牌池 + 显式借令牌 ◼限速方式: ECN标记 + TCP滑窗 + 丢包 可靠 短信 Email 微信 自定义渠道 4种告警方式——可随时修改 158项告警 87项指标采集 通用 • 不同的应用可以选择不同的网络模式 • 同一主机的不同容器可以选择不同的网络模式 自研容器网络解决方案Galaxy(CN controller prometheus Metrics-server APP弹性伸缩: • 主动扩缩容 • 扩容可以指定新版本 • 缩容可以定点裁撤 自动扩缩容 • 资源阈值 • 自定义指标阈值 • 实例个数范围 • 周期性自动伸缩 Autoscaler controller Apiserver cluster-agent Cloud API 集群弹性伸缩: • 监控节点资源使用率0 码力 | 28 页 | 3.92 MB | 1 年前3
DaoCloud Enterprise 5.0
产品介绍帮助您洞察集群、节点、应用和服务的详细指标,并通 过动态仪表盘和拓扑大图可视化掌握应用健康状态。 DCE 5.0 原生支持 DevOps 开发运维模式,可以实现应用交付的全流程标准化 和自动化,并集成各类精选数据库和中间件,使运维治理更加高效。各个产品 模块独立解耦,支持灵活升级,对业务没有影响,并且能够与众多云原生生态 产品对接,提供完整的解决方案体系。 它经过了近千家行业客户的生产场景检 验,构建了坚实、可 涉及的模块:全局管理、容器管理、云原生网络、云原生存储、信创异构 中间件服务 专为有状态应用设计的云原生本地存储能力,满足中间件高 I/O 的存储需求,提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件,提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力,实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块:全局管理、容器管理、云原生网络、云原生存储、精选中间件 并支持流水线高效并发执行流转,自动化完成应用的构建、部署,创新性引入 Gitops、渐进式交付能力体系,实现应用更精细的管理运维。 涉及的模块:全局管理、容器管理、应用工作台、云原生网络、云原生存储、镜像仓 库 版权 © 2023 DaoCloud 第 7 页 信创异构 采用信创云原生技术架构,兼容国产芯片及服务器,支持信创操作系统及信创应用生 态体系,屏蔽底层异构基础设施的复杂0 码力 | 18 页 | 1.32 MB | 1 年前3
从Mesos到KubernetesPaaS DCOS DCBrain 体系架构 Mesos时代 容器网络 方案演进:MACVLAN(DHCP)->Flannel(HostGW) DEMO过:MACVLAN(自定义CNI插件)、Calico、Culim 网络性能、架构可靠性的最佳折中 存储架构 根分区 /home分区 DeviceMapper Docker Volumn LVM 容器退出后延迟回收 日志目录规范+自发现 行检索的挑战 免密安全登录 基于服务树节点授权 每登录认证凭据 动态服务安全 仅需Server端嵌入SDK和配置 数据库,DB-Proxy简化接入 IP+JOBNAME共同生效,防 御ZK故障 监控 Push采集,与动态 环境更亲和 促成自动发现能力 监控 节点内增加主机或容器 翻译为Marathon/Mesos API 代理Events 有效裁剪 可靠 性能 Service Ingress 部分机制适配 磁盘资源 CRD自定义资源 Flexvolume插件支持LVM Node异步回收 改造发布策略 新建Deployment 新旧版本Deployment扩缩 健康检查探针适配0 码力 | 30 页 | 2.12 MB | 1 年前3
云计算白皮书Serverless(服务器无感知)、低/无代码为代表的技术能够 屏蔽复杂的底层基础设施,让用户以最低学习成本、最小使用代价 最大化释放云的生产力,实现快速创新。AWS 贯彻全面 Serverless 化战略,提供计算、存储、数据库等全领域的 Serverless 服务。微软 发力低/无代码领域,其发布的 Power Platform 已经与 Office 365、 Dynamics 365 以及 Azure 三大生态充分打通,形成完整的技术生态。 飞腾、鲲鹏、 龙芯、海光等芯片兼容,还包含不同指令集架构的 CPU,以及除 CPU 以外的专有芯片的兼容,如 GPU、DPU 等。软件应用方面,一云多 芯能够适配各种操作系统、虚拟机、容器数据库、中间件等,同时 还能够支撑虚拟化和云原生应用形态。性能调优方面,一云多芯可 以对不同芯片进行调优适配,提升平台整体性能。通过虚拟化产品 性能调优、内核调优和部署架构优化,将性能指标差异控制在有效 费用情况进行智能化预测,通过机器学习、AI 等技术生成可供企业 参考的云成本优化建议,帮助企业提前规划并控制云成本支出。第 三,在云成本计量计费场景下,虚拟计费技术能够帮助企业对自建 私有云等资源进行虚拟计费,通过自定义计费策略及支出模式,为 企业内部规划统一完整的云成本体系架构。目前,阿里云、腾讯云 等企业已开展 FinOps 理念落地实践,并通过云成本优化技术和工具 赋能用云企业,满足企业多样性场景需求,提升企业云管理与优化0 码力 | 47 页 | 1.22 MB | 1 年前3
k8s操作手册 2.3urn,导致不通,也得 放开,具体得看下iptables规则),以下操作目的为 在系统启动后等待60秒待 k8s把iptables规则设置完毕再在以下几个chain里放通所有流量,如果对防火墙 有自定义规则或对安全性要求较高场景无需配置以下这段,防火墙相关操作自 行按需处理! # cat >> /etc/rc.d/rc.local <库依赖,于是 和系统弱相关,8或9系列的系统也直接可用这些rpm软件) # cat >> /etc/yum.repos.d/k8s-ali.repo < 库地址 # kubectl apply -f ingress-nginx-controller-v1.2.0.yaml #创建ingress-controller服 务 #是以Deploym 0 码力 | 126 页 | 4.33 MB | 1 年前3
Kubernetes + OAM 让开发者更简单Kubernetes 控制器 各种各样的控制器(Controller) 容器 虚拟机 负载均衡 数据库 安全服务 网络 存储 Pod Deployment Service Node Custom Resource 一组容器 一组 Pod 副本 Pod 的访问入口 节点 自定义对象 声明式 API 对象 基础设施层能力 业务运维 平台工程师 业务研发 扩容策略 发布策略 分批策略0 码力 | 22 页 | 10.58 MB | 1 年前3
共 29 条
- 1
- 2
- 3













