运维上海2017-机器学习模型训练的Kubernetes实践-袁晓沛
0 码力 | 39 页 | 5.82 MB | 1 年前3运维上海2017-分布式数据库系统TiDB在Kubernetes平台的自动化运维实践-邓栓
0 码力 | 32 页 | 3.47 MB | 1 年前3第29 期| 2023 年9 月- 技术雷达
7 众多大语言模型 大语言模型(LLMs)为现今人工智能的许多重要突破奠定了基础。目前的应用多使用类似聊天的界面进行交 互,例如 ChatGPT 或 Google Bard。生态中的主要竞争者(例如 OpenAI 的 ChatGPT,Google Bard,Meta 的 LLaMA 以及亚马逊的 Bedrock 等)在我们的讨论中占据重要地位。更广泛来说,大语言模型可以应用于从 内容 。通过自然语言的抽象层,这些大模型 成为了强大的工具库,被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面,包括自托管式大语言 模型,相较云托管的大语言模型,它支持更多的定制和管控。随着大语言模型日益复杂,我们正在深思如何在 小型设备上运行大语言模型,特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程,以及利用大语言模型驱动的自主代理开发远超简单的问 答交互的动态应用。我们也提到一些向量数据库 (包括 Pinecone)由于大语言模型而重新流行起来。大语言模型的底层能力,包括更专业化和自行托管的能力, 将继续呈爆发性增长。 远程交付解决方案日臻成熟 尽管远程软件开发团队多年来利用技术克服地理限制,但疫情的影响进一步推动了这一领域的创新,巩固了向 完全远程或混合工作演进的趋势。在本期技术雷达中,我们讨论了远程软件开发实践和工具的成熟,和团队们0 码力 | 43 页 | 2.76 MB | 1 年前3Operator Pattern 用 Go 扩展 Kubernetes 的最佳实践
Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生(ApeCloud)是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks 基于 K8s 的多云、混合云DBPaaS管理平台 ,支持MySQL、 PostgreSQL、Redis、MongoDB、Kafka等开源数据库的自动化 运维。 云猿生于2022年5月份成立,总部坐落于杭州,并同期设立 云猿生于2022年5月份成立,总部坐落于杭州,并同期设立 北京分公司。公司是云原生计算基金会(CNCF)会员企业, 信通院数据库应用创新实验室成员,并入选杭州市2023准 独角兽企业榜单。 我是谁 毕业即创(shi)业 从被收购到卷王(si) 回到初(qi)心(dian) KubeBlocks Maintainer & 研发总监 free6om 什么是 Operator 第一部分 Operator 前世今生 小版本升级、大版本升级、安全漏洞修复等等。 Data Migrations 迁移、同步、清洗、跨地域、灾备、多活等等。 DB Operator Day-2 Operations Operator 基础模型 第二部分 K8s 架构 Cache Informer 机制 Cache 如何获取到本地(内存中) Informer 启动后会通过 reflector 的 list & watch 机制获取某种资源的0 码力 | 21 页 | 3.06 MB | 9 月前3云计算白皮书
深度挖掘云计算产业价值。我国政策指引云计算应用创新,持续推 动云计算与实体经济融合走深。 二是全球云计算市场稳定增长,我国保持快速发展。2022 年, 全球云计算市场规模为 4,910 亿美元,增速 19%,预计在大模型、 算力等需求刺激下,市场仍将保持稳定增长,到 2026 年全球云计算 市场将突破万亿美元。2022 年,我国云计算市场规模达 4,550 亿元, 较 2021 年增长 40.91%。相比于全球 年同比下降 13.5%。虽然受通胀压力和 宏观经济下行的双重影响,2022 年云计算市场增速下降明显,但对 比全球整体经济仅 3.4%的增长,云计算仍然是新技术融合和业态发 展的重要手段。预计在大模型、算力等需求刺激下,市场仍将保持 稳定增长,到 2026 年全球云计算市场将突破万亿美元。 来源:Gartner,2023 年 4 月 图 1 全球云计算市场规模及增速(亿美元) 1《Gartner 84%以上,是全球所有地区中最高的。以印度为例,2022 年其云支 出增长了近 22%,与欧洲地区几乎持平。同时,印度有 91%的基础 云计算白皮书(2023 年) 6 设施决策者已至少使用一种云部署模型,有 46%的应用程序项目已 部署在云上,预计 2023 年这一比例将上涨到 58%。从供给侧来看, 目前,AWS、微软、谷歌等云服务商均有 1/3 以上的可用区部署在 亚太地区。以 AWS0 码力 | 47 页 | 1.22 MB | 1 年前3Kubernetes开源书 - 周立
的基础架构。 Kubernetes满⾜了在⽣产中运⾏的应⽤程序的⼀些常⻅需求,例如: Co-locating helper processes ,促进组合应⽤程序和保留”⼀个应⽤程序的每个容器“模型 Mounting storage systems Distributing secrets Checking application health Replicating application 载,包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏,那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件(例如消息总线)、数据处理框架(例如Spark)、数据库(例如MySQL),也不提供分布式存储系 统(例如Ceph)作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes 6 不部署 序以及集群本身。 Container Resource Monitoring(容器资源监控) Container Resource Monitoring 将容器的通⽤时序指标记录到⼀个中⼼化的数据库中,并提供⼀个UI以便于浏览该数 据。 Cluster-level Logging(集群级别的⽇志) Cluster-level logging 机制负责将容器的⽇志存储到具有搜索/浏览界⾯的中央⽇志存储中去。0 码力 | 135 页 | 21.02 MB | 1 年前3Amazon Elastic Kubernetes Service (EKS) 初探秘
Amazon Confidential 责任共担模型 Security in the Cloud Security of the Cloud © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential 责任共担模型(续) 用户 IAM 用户数据 平台及应用管理 AWS全球基础架构 AWS IAM 计算 存储 数据库 网络 区域 可用区 边缘节点 由AWS用户管理 由AWS管理 © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential Amazon EKS 的责任共担模型 用户 IAM 应用 POD AWS 端点 端点 AWS IAM 基础服务 计算 存储 数据库 网络 AWS 全球基础架构 区域 可用区 边缘站点 由AWS用户管理 由AWS管理 KUBELET K8s RBAC APP HOST AWS IAM 容器 升级 加固 监控 WORKER NODE 配置 升级 加固 监控 NETWORK 配置 VPC 网络策略 路由表 NACLs 数据 网络流量保护 客户端加密 服务端加密0 码力 | 39 页 | 1.83 MB | 1 年前3k8s操作手册 2.3
spec: capacity: #此PV的容量 storage: 10Gi volumeMode: Filesystem #卷模型,指定此卷是文件系统还是裸格式的块 设备,默认为文件系统 accessModes: #访问模式 - ReadWriteMany spec: capacity: #此PV的容量 storage: 10Gi volumeMode: Filesystem #卷模型,指定此卷是文件系统还是裸格式的块 设备,默认为文件系统 accessModes: #访问模式 - ReadWriteMany com -- username=admin --password=xx ★第15章、prometheus监控系统 ★Prometheus简介 Prometheus是一款基于时序数据库的开源监控告警系统,Prometheus的基本原 理是通过HTTP协议周期性抓取被监控组件的状态,任意组件只要提供对应的 HTTP接口就可以接入监控。不需要任何SDK或者其他的集成过程。这样做非常0 码力 | 126 页 | 4.33 MB | 1 年前3Kubernetes全栈容器技术剖析
商业增强:控制面HA、跨AZ高可用、滚动升级、裸金属容器 云容器引擎 CCE 微服务引擎 CSE 开源原生 企业级 中间件 分布式 缓存 DCS 分布式 消息 DMS 分布式 数据库 DDM 应用编排引擎 AOS App/PaaS/IaaS 资源一键式创建 应用运维 AOM 应用性能管理 APM 应用拓扑 调用链 SLA指标 日志关联分析 异常预警 故障回溯 Server在x86伺服器中的市占率高达6成。 CCE推出基于Kubernetes的Windows Server容器管理服务 • 完美兼容Kubernetes能力,支持容器CPU/内存资源编排,无状态/ 有状态应用模型等能力; • 可纳管最新的Windows 1709系统,支持启动Windows Native容 器。 12 CCE支持GPU异构计算能力,帮助企业高效灵活应用深度学习服务 • 将旧的加速计算应用程序容器化,并部署 基于容器的生物信息分析平台 • 结合FPGA加速计算可进一 步压缩成本 基因测序(测序仪) 数据上传 源数据 存储 基因拼接/对比/注释 数据 分类 存储 核心数据 取回本地 自动化部署 数据库 SFS/OBS 计算 BMS/ECS/FPGA 应用编码服务 AOS 容器服务 CCE/CCI • 应用与资源编排模板化 • 容器化测序算子部署 基因测序业务流 基于容器的应用流0 码力 | 26 页 | 3.29 MB | 1 年前3石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版
包 代码质量 管理 多语⾔ 构建 安全管控 构建实 践 测试管理 功能测 试 性能测试 接⼝测 试 产出物管 理 持续构建与测试 ⾃动部 署 配置管理 环境管 理 数据库变 更 运维监 控 通知反馈 部署策 略 持续交付 ⼯具链 最佳实践 测试管理 规范 流⽔线建设 规范 敏捷开发 规范 流程协作与最 佳实践 项⺫管理 进度 管理 范围 事务管理⼯具对任务进⾏ 细粒度拆解 ü 设置合理的任务⼤⼩, 跟 踪开发状态 ü IDE 与DevOps⼯具紧密 集成 ü 代码变更管理任务 ü 本地代码扫描保证质量 ü 推荐Git 分⽀管理模型 ü 代码提交触发流⽔线 ü 流⽔线⾃动进⾏单元测 试 ü 流⽔线⾃动进⾏编译打 包 ü 流⽔线⾃动⽣成镜像 ü 流⽔线⾃动部署更新服 务 ü 事务管理⼯具跟踪状态 ü 跟踪团队开发进度 10. 05-10-建造与改造流程规范V1.0 11. 05-11-配置管理规范V1.0 12. 05-12-缺陷管理规范V1.0 13. 05-13-软件质量标准规范V1.0 14. 05-14-数据库设计规范V1.0 15. 05-15-微服务开发规范框架V1.0 § 1、项⺫管理 § 2、查看报表 § 1、浏览项⺫ § 2、任务查看 § 3、添加评论 § 4、任务处理 § 5、任务跟踪 §0 码力 | 33 页 | 7.49 MB | 1 年前3
共 37 条
- 1
- 2
- 3
- 4