QCon北京2017/支撑海量业务的互联网架构/知乎基于 Kubernetes 的 Kafka 平台探索和实践分布式的流式数据平台 ⾼高吞吐 容错性 Broker Broker Broker Producer Consumer Topic Topic Topic Producer Consumer 平台承载知乎业务⽇日志、数据传输和消息队列列服务 平台线上稳定运⾏行行 基于 Kubernetes 的 Kafka 集群 13 个, 1000+ Topic 知乎技术平台重要的组件 Kafka 在知乎的应⽤用 多集群 • ⾼高可⽤用 为什什么采⽤用 Kubernetes 问题驱动 • Kafka 资源规划不不合理理 • 单⼀一集群造成系统单点 • 不不区分集群和 Topic 等级,影响重要业务 • 业务与 Kafka 深度耦合 多 Kafka 集群⽅方式 根据 Topic 类型划分集群 同⼀一类型 Topic 的集群细分 • Topic 服务等级、容量量和规模划分 资源规划 多变需求引发集群规模增⻓长 优化磁盘调度算法 • 运⽤用 Kafka 机架感知特性 服务注册和客户端 注册 Topic 的集群信息 • Broker, Zookeeper • Status 是否启⽤用 客户端 • 业务易易⽤用 • 标准客户端,降低集群⻛风险 集群容错 • 灾备集群 • 保证重要 Topic ⾼高可⽤用 • 客户端与服务器器注册联动 指标维度 举例例 Kubernetes 3 容器器内存、CPU、运⾏行行状态0 码力 | 34 页 | 2.64 MB | 1 年前3
云计算白皮书下特点: 一是云计算战略价值在全球范围内持续提升。美国继“云优先” (Cloud First)、“云敏捷”(Cloud Smart)之后,又出台多个战略文件, 将云计算应用至相关领域,并明确提出通过云战略获取全球优势, 以确保其在经济、军事、科技等领域的领先地位。欧洲、亚洲等主 要国家纷纷发布国家战略或计划,推动云计算在各行业的应用布局, 深度挖掘云计算产业价值。我国政策指引云计算应用创新,持续推 ....................................................................... 1 (一)各国加速推进云计算战略,聚焦云计算赋能行业价值........................ 1 (二)云市场进入稳定增长阶段,行业巨头进一步扩大领先优势................ 3 (三)云计算产业竞争全面升级,云服务商开启新一轮角逐 2022 年全球各区域云计算市场规模占比.........................................................4 图 3 2022 年全球主要厂商的云计算业务营收(亿美元).....................................5 图 4 中国云计算市场规模及增速(亿元)................................0 码力 | 47 页 | 1.22 MB | 1 年前3
Kubernetes全栈容器技术剖析紧跟Kubernetes和Docker社区,迅速同步最新版本 • 支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能基础设施 • 支持多种异构IaaS:虚拟机、物理机、ARM服务器 • 支持多种存储:云硬盘、对象存储、文件存储 • 对接公私网络:虚拟私有网络、EIP公网 :更快的弹性,更高的资源利用率 持续发布: 小时级->分钟级 弹性伸缩: 分钟级->秒级 应用交互性能提 升1~2倍 资源利用率提 升50% 挑战 收益 传统虚机应用上线慢 业务扩容时间长 同业务压力下资 源利用率低 传统虚机应用交 互性能低 • 应用可以基于容器镜像一站式自动化“构建发布上线” • 应用快速上线、扩容、升级,秒级弹性扩缩容 • 基于容器更细粒度共享,提升资源利用率 权限控制简单便捷 提供界面,分配镜像的访问权限 对接DevCloud、GitHub、GitLab,一键式完成从代码下载到 镜像构建的完整流程,并支持对接CCE完成镜像部署 高性能 支持大规模并发构建业务 自动化 代码更新时自动触发镜像构建 容器镜像服务SWR :支持镜像自动化构建,实现源码到镜像的自动化流程 第三方代码库对接 多租户、多用户权限隔离 17 案例:高性能容器服务,助力图灵生物0 码力 | 26 页 | 3.29 MB | 1 年前3
第29 期| 2023 年9 月- 技术雷达Thoughtworks 的全球技术战略以及对行业有重 大影响的技术趋势而创建。 技术雷达以独特的形式记录技术顾问委员会的讨 论结果,从首席技术官到开发人员,雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 节。技术雷达的本质是图形性质,把各种技术项目 归类为技术、工具、平台和语言和框架。如果技术 可以被归类到多个象限,我们选择看起来最合适的 作工具不断提出创新解决方案。其他团队则继续调整和改进现有的面对面实践,例如实时结对编程或集体编程、 分布式工作坊(例如 远程事件风暴)以及异步和同步沟通。远程工作提供了许多好处(包括更多样化的人才储 备),但面对面交流的价值是显而易见的。团队不应中断重要的反馈循环,并且需要意识到在转向远程工作时所 做的取舍。 © Thoughtworks, Inc. All Rights Reserved. 8 1 21 29 见, 这一个透明的协作过程。快节奏的环境往往会导致设计决策的推理过程丢失,从而让负责实施决策的团队感到 困惑。RFCs 提供了一个决策审计记录,有利于未来的团队成员查看,与此同时记录了组织技术和业务的演进过 程。RFCs 可以成为促进演化架构的宝贵工具。不过,为了获得最佳效果,我们建议组织采用轻量级的 RFCs 方 法。如果不限定范围并明确要点,这些文件往往会随着时间的推移而变得越来越长,类似于传统的解决方案架0 码力 | 43 页 | 2.76 MB | 1 年前3
sealos 以 kubernetes 为内核的云操作系统Sealos 云操作系统 方海涛 环界云计算 CEO 目 录 云操作系统介绍 01 云操作系统架构 02 功能与实用场景 03 实现原理 04 价值 05 总结 06 自我介绍 Sealos 作者 阿里巴巴 CNCF sealer 作 者 环界云计算创始人 公司代表作品: Sealos 云操作系统 Laf 函数计算 FastGPT AI 知识库 Sealos 介绍 Mysql/pgsql/mongo CNI CRI CSI DNS Backup Restore 交付类场景 01 整个集群或者分布式应用整 体打包,一键交付 标准化交付产物,而不是靠 操作文档协作 交付者无需关心业务逻辑,一条命令 完成任意分布式高可用应用交付 支持完全离线场景,小白操 作 20min 自动化完成 全国多个 02 交付环境: 各大公有云 不同版本liux发行版 裸金属 AMD ARM 多租户之间可以通过块进行隔离 3. 简单,非常轻量 4. 可通过 lvm 条带化增加性能 5. 非常适合给数据库这样用 缺陷: 1. 不在磁盘级别提供高可用 所以高可用交给 KB rocketmq 这些应用自身去解决 业务起的有状态容器可用 sealfs 文件系统 sealfs 直接从容器拦截 IO,对接 sealfs 分布式文件系统,避免 fuse 用户态内核态反复横跳 在 Sealos 上使用 GPU 在0 码力 | 29 页 | 7.64 MB | 9 月前3
Kubernetes for Edge Computing across
Inter-Continental Haier Production Sites企业级产品与解决方案 • Compass: 打通业务与数据、从数字化到智能化转 型 • Clever: 基于容器的 AI PaaS 平台(AI Devops、资 源管理任务调度) 工业互联网平台 - 制造业大势所趋 • 全球工业互联网平台数量 > 150 国家 研究内容 代表成果 政策扶持 工业互联网综合平台,采用数据流打通与 数据分析衍生价值的结构 Predix平台 GE联合AT&T 东芝 日立 索尼 富士通 富士 三星 ETRI infosys Tata 工业互联网 - Predix 海尔工业互联网 - COSMOPlat 海尔工业互联网 - COSMOPlat 海尔集团业务转型 - 机遇与挑战 • 传统工业应用:SCADA, MES, ERP, SAP, ORACLE • 互联网类应用:顺逛,海尔商 城,巨商会,海尔服务,好空 气,海尔洗衣机,海尔优家, 嗨付,够花 资源利用率KPI 01 04 02 03 海尔集团业务转型 - 架构演进 工业互联网 - 行业分析 海尔工业互联网 -才云整体解决方案 海尔工业互联网 - 才云整体解决方案 多集群管理 存 储 网 络 混合云 监控日志 基础服务 镜像仓库 认证鉴权 资源管理 面向业务开发 CI/CD 微服务 应用商店 面向业务管理 弹性伸缩 API Gateway 负载均衡0 码力 | 33 页 | 4.41 MB | 1 年前3
涂小刚-基于k8s的微服务实践ai-dc-web ai-prod ai-dc-api ai-dc-api ai-dc-api 业务线名称 ai dt ad 现有环境名 test preview prod 统一规划环境名和业务应用名,适配标准自动化运维。 业务线名称采用拼音首字母缩写 k8s-namespaces 环境名称定义采用业务线缩写名加环境名组成 k8s-service名称、app名称和应用名称包名保持一致 通过配置文件关键字dev/test/prod等声明应用所属的环境,隔离不同环境业务,通过特定标识来识别业务线。 k8s-service k8s-dns注册服务名,通过配置文件关键字关联业务线应用名称,保持应用和k8s之间的关联。 k8s-app-name 容器host应用名称,deployment 名,通过配置文件关键字关联业务线应用名称,保持应用和k8s之间的关联。 规范 范例 应用名称 ai-dc-server ai-dc-server ai-dc-web ai-dc-api 镜像版本和git版本库规范 制定git版本规范,开发提交合并master代码,git版本库和业务版本进行关联,出了问题好定位问题。 采用docker容器化之后,ci-cd由运维平台集中控制,git版本和容器镜像必需保持一致关联性,方便问题回溯。 git master dev checkout v20 dev0 码力 | 19 页 | 1.34 MB | 1 年前3
ALAUDA KUBERNETES 白皮书Alauda Kubernetes Engine (AKE) 、系统运维管理(管 理平台、监控、日志)、权限管理、账号体系管理等多个业务模块组成,可以根据用户使用 场景提供最佳网络、存储技术及解决方案。产品本身更好的发挥了 Kubernetes 产品特性, 让开发者更关注业务本身,让整个平台可以像管理产品一样管理应用,更好的提高资源利用 率。 Alauda Kubernetes 白皮书 通过系统运维视角,配合标准的日志、监控平台,为用户提供了一整套可视化的产品, 让业务、监控等复杂行为变成可视化的业务形态,确保平台的高可用,同时为容器化应 用提供资源调度、部署运行、服务发现、扩容缩容等一整套功能,更好的突出业务本 身,从根本上解决运维难的问题。 ü 集群管理:管理集群下所有主机及命名空间资源 ü 容器及业务流程管理:在 Kubernetes 上构建工作负载的基础架构,具有零宕机滚 Kubernetes 白皮书 灵雀云 5 Mesh,Machine Learning 等,构成完整的产品闭环,可以根据企业定制化的使用场景,选 择使用不同的产品。 5. 客户价值 使用 Alauda Kubernetes,有助于: Alauda Kubernetes 白皮书 灵雀云 60 码力 | 6 页 | 2.35 MB | 1 年前3
运维上海2017-Kubernetes与AI相结合架构、落地解析-赵慧智Kubernetes 基本概念 - Service • Service 是一组 Pod 协同工作。 • 有时也被称为微服务。 • 可以给 Service 添加标签 (label 来标识其业务属性。 • 通过 kube-proxy 可以得到固定 的 virtual IP 和端口。 Kubernetes 基本概念 - Controller • 一个 controller 可以创建和管理多个 • 收集监控日志 存储管理 • 对于所有 Kubernetes Volume 按照业务类型提供统一的管理 • 用户在进行Volume操作的时候 根据业务进行中间层处理,包括 但不限于访问权限,大小申请, 读写操作等 • 根据用户不同的角色进行集群不同的环境选择 • 在业务层面让用户感知为统一的环境 多集群管理 云提供服务形式 • 企业级架构 • 用户管理 介绍 Kubernetes 使用 Kubernetes 部署与企业对接 AI 技术介绍 AI 云平台介绍及构成 AI 与 Kubernetes 融合与架构解析 AI 云平台的价值 • 为 AI 工程师提供一体化的研发工作环境 • 为 AI 对于硬件资源需求提供弹性伸缩 • 为 AI 模型在生产环境中部署及运行提供保障 AI 模型实现工具及其框架举例 • 不同的框架和工具都有其优点长处。0 码力 | 77 页 | 14.48 MB | 1 年前3
石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版存在重复建设 • 投资回报低 • 系统维护成本⾼… 系统应⽤ • 数据分散,到处找 • 应⽤独⽴,难协同 • ⼀体化应⽤,不⽀持 • 需求响应效率低… 业务信息系统现状 容器平台 DevOps 微服务治理 统一技术平台 上游全业务链数据 数据治理 统一数据湖 勘探生产管理 通用应用 开发生产管理 协同研究 经营管理与决策 总体架构 项目背景 1 产品与技术详情 3 建设思路与整体方案 ⾃动化⼯具协助开发⼈员,测试⼈员与运维⼈员完成 相应⼯作,极⼤提升了⼯作效率。 需求有效管理 增加交付频率 降低交付⻛险 识别过程资源浪费 加速需求响应时间 团队效率的整体提升 加快开发迭代速度 DEVOPS平台成果 价值 ⼯具 流程 规范指南 认证体系 成熟度 ⾓⾊职责 14x8x5 14个⾓⾊ 8个职责 5个权限组 16x15x18 16个指南 15个规范 18个阶段性汇报 10操作⼿册 6x14x3 06-08-敏捷开发过程指南V1.0 9. 06-09-敏捷-⽤户需求分解指南-V1.0 10. 06-10-系统分析设计指南V1.0 11. 06-11-项⺫定价指南V1.0 12. 06-12-业务设计和开发指导指南V1.0 13. 06-13-⽤户故事写作指南-V1.0 14. 06-14-⽤户体验设计指南V1.0 15. 06-15-质量标准指南-⾮功能性V1.0 16. 06-16-微服务模块分析指南10 码力 | 33 页 | 7.49 MB | 1 年前3
共 34 条
- 1
- 2
- 3
- 4













