Apache Pulsar,云原生时代的消息平台 - 翟佳Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者: • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 运维痛点:替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障: 持久化(fsync)、⼀致性(ack: all)、多Topic • IO不隔离:消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构: • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream openLedger(5, 3, 2) streamnative.io 企业级流存储层: 读写⾼可⽤性(容错) streamnative.io 企业级流存储层: 稳定的 IO 质量 ⾼性能、强⼀致性、读写隔离、灵活SLA • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储: BookKeeper streamnative0 码力 | 39 页 | 12.71 MB | 6 月前0.03
MOSN 高性能网络扩展实践 - 王发康MOSN 高性能网络扩展实践 王发康 2021 Gopher Meetup HZ About Me 王发康 蚂蚁集团 可信原生技术部,技术专家 蚂蚁集团技术专家,专注于高性能网络服务器研发,MOSN、Tengine 开源项目核 心成员,目前关注云原生 ServiceMesh、Nginx、Envoy、Istio 等相关领域。 喜欢开源,乐于分享。 https://github.com/wangfakang 实践效果 03 MoE Roadmap 04 MoE 背景介绍 MoE 是什么 为什么做 MoE 方案调研与分析 MoE 背景介绍 — 什么是 MoE 处理性能高 (C++) 研发效能高 (GoLang、生态) 高性能、高研发效能、生态打通 MoE = MOSN + Envoy 相互融合,各取所长 在 Service Mesh 领域,Envoy 和 MOSN 作为其数据面 sidecar 跨语言语言支持(C/C++/Rust)、 隔离性、安全性、敏捷性 处于试验阶段,性能损耗较大; WASM 目前仅对C/C++/Rust 友好, 对 GoLang Runtime 还未完全支持; 不能复用已有的 SDK,需要做网络 IO 适配改造 External-Proc Extension 跨语言支持、隔离性 需要跨进程通信性能低(UDS vs CGO 1KB Latency 差 8 倍); 需要扩展具备0 码力 | 29 页 | 2.80 MB | 1 年前3
构建统一的云原生应用 可观测性数据平台reserved. 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛:AutoTagging 3. 降低资源开销:MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing 统一的可观测性数据平台 telegraf 看云网更清晰 Simplify the growing complexity. 挑战:数据孤岛、资源开销 数据 孤岛 资源消耗 telegraf 1. 可观测性数据平台的挑战 2. 解决数据孤岛:AutoTagging 3. 降低资源开销:MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 HOST KVM KVM VM L2GW、OvS iptables、ipvs POD POD envoy 应用进程 Gateway L4~L7 GW 资源池 区域 可用区 云平台 租户 云资源 宿主机 云服务器 网络资源 VPC 子网 CIDR IP地址 NATGW ALB … 看云网更清晰 Simplify the growing complexity. 云原生应用的服务属性还有哪些0 码力 | 35 页 | 6.75 MB | 1 年前3
中国移动磐舟DevSecOps平台云原生安全实践中国移动磐舟DevSecOps 平台云原生安全实践 刘斌 中国移动信息技术中心 01 磐舟DevSecOps平台概况 02 磐舟DevSecOps平台安全能力 03 磐舟DevSecOps实践总结 目 录 目录 CONTENT 磐舟DevSecOps平台定位 基于云原生打造一站式DevSecOps平台,致力于解决企业在数字化转型中的研发效能提升问题,提供从 “需求-开发-测试 150 200 250 本单位 省公司 省公司(直投) 专业公司 入驻项目数 工程类 研发类 新业务开发 87055条/个 平台管理的需求、任务、缺陷、文档、镜像等数字资产 10.43亿 平台管理的业务或应用代码行数 215.87万 平台进行代码质量扫描、代码安全扫描、镜像安全扫描、整体安全扫描量 183.81万 提交代码、构建、部署总次数,其中x86构建16.42万次,arm构建1 42万次,arm构建1.59万次 企业级超大规模实践—推动中移数字化转型 中国移动集团范围内推广使用磐舟,截止2022年10月30日,平台已入驻项目356个。其中IT公司208个,涉及 14个部门,省公司(含直投省)141个,涉及30个省,专业公司及直属单位7个。4.7万人次登录,月活2077人。 科技创新成果 中国移动作为国家级高新技术企业,在国内外行业中科技创新成果丰硕。磐舟与磐基团队重视自主创0 码力 | 22 页 | 5.47 MB | 1 年前3
Volcano加速金融行业大数据分析平台云原生化改造的应用实践Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪 洋, 华为云 Volcano 社区核心贡献者 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度,无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况: • 业界首个云原生批量计算平台 • 2019年6月开源,2020年进入CNCF,目前是CNCF孵化级项目 • 2.9k star,500+ 全球贡献者 • 50+ 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列,队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化,并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化,异构硬件支持x86, Arm, GPU, 昇腾,昆仑等。 Volcano Global Kubernetes0 码力 | 18 页 | 1.82 MB | 1 年前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊1、信息管理 MIS、ERP… 2、流程规范 BPM、EAI… 3、管理监控 BAM、BI 4、协作平台 OA、CRM 5、数据化运营 SEM、O2O 6、互联网平台 AI、IoT 数据化运营 大数据 智能化管控 互联网平台 跨企业合作 稳态IT:安全、稳定、性能 敏态IT:敏捷、弹性、灵活 各行业IT应用系统不断丰富与创新 总部 机关 内部员工 分支 机构 内部员工 稳态IT WEB APP 移动用户 采购 平台 互联网 平台 数字 营销 敏态IT 互联网/物联网应用 创新应用 PC用户 物联网 物联终端 互联网、 大数据 AI、 IoT 数字化转型 应用价值提升 应用数量增长 应用类型丰富 应用需求多变 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 工作量 成本 新一代架构(微服务)应用的对承载平台提出新要求 传统实践中,主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配,短时间内难以扩展 • 缺乏隔离性,服务相互抢占资源0 码力 | 42 页 | 11.17 MB | 6 月前3
24-云原生中间件之道-高磊来阻止攻击,属于一种主动的态势感知和风险隔离技术手段 可以自动化的对非预计风险进行识别和风险隔离 对系统性能有一定影响 可信计算 核心目标是保证系统和应用的完整性,从而保证系统按照设计预期所规 定的安全状态。尤其是像边缘计算BOX这种安全防护,根据唯一Hash值验 证,可以实现极为简单的边云接入操作,运行态并不会影响性能。 可信根一般是一个硬件,比如CPU或者TPM,将从 它开始构建系统所有组件启动的可信启动链,比 Check&Report机制影响通信性能,并只涉及到服务 通信级别的安全,对node没有防护 Calico零信任 主要针对Node层的访问控制,可以让攻击者难以横向移动,隔离了风险 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全 采用IpTables,有一定的性能消耗 Cilium零信任 采用eBPF,为Mesh打造具备API感知和安全高效的网络层安全解决方案, 克服了Calico SDN安全和性能方面的不足 典型微服务应用 云原生应用 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 云原生PaaS平台 • 四大件在云原生场景下带来什么客户 价值? • 四大件在云原生场景下技术架构有什 么创新? 业务异步化|削峰填谷 高级能力-云原生数据库-应用的基石-1-价值和差别 先从一个广告词来看看云原生数据库和一般数据库的差别0 码力 | 22 页 | 4.39 MB | 6 月前3
1.3 MOSN 在云原生的探索及实践MOSN 在云原生的探索和实践 王发康 2021 GopherChina About Me 王发康 蚂蚁集团 可信原生技术部,技术专家 蚂蚁集团技术专家,专注于高性能网络服务器研发,MOSN、 Tengine 开源项目核心成员,目前专注于云原生 ServiceMesh、 Nginx、Envoy、Istio 等相关领域。 喜欢开源,乐于分享。 https://github.com/wangfakang 2019年12月 2020年6月 2020年7月 2020年12月 2021年 MOSN 简介 — 开源社区 Committer 非蚂蚁 蚂蚁 定位:云原生网络代理平台 开源理念 社区是开源软件发展的动力 借力开源,反哺开源 持续向云原生演进 Star: 3100 Committer: 10 Contributor: 78 Corporate — 生态建设 MOSN 简介 — 2021 roadmap 云原生 • 云原生网络平台建设 • 升级 Xprotocol 框架 • 支持 WASM • 区块链网络框架 • 代码热更新 • 高性能网络层扩展 • fastGRPC • 协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin,Jaeger 等 • 支持 ZK,Nacos 等 • 支持 Dubbo0 码力 | 36 页 | 35.61 MB | 1 年前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)4 集群环境下的横向攻击........................................................................29 2.4.5k8s 管理平台攻击.................................................................................29 2.4.6 第三方组件攻击 Serverless 等。云 原生技术架构的典型特征包括:极致的弹性能力,不同于虚拟机分钟级的弹性响 应,以容器技术为基础的云原生技术架构可实现秒级甚至毫秒级的弹性响应;服 务自治故障自愈能力,基于云原生技术栈构建的平台具有高度自动化的分发调度 调谐机制,可实现应用故障的自动摘除与重构,具有极强的自愈能力及随意处置 性;大规模可复制能力,可实现跨区域、跨平台甚至跨服务的规模化复制部署。 由此可见,云原生作 DevOps、持续交付、微服务和容器技术为代表,符合云 原生架构的应用程序应该:采用开源堆栈(k8s+Docker)进行容器化,基于微 服务架构提高灵活性和可维护性,借助敏捷方法、DevOps 支持持续迭代和运维 自动化,利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。 云原生安全威胁分析与能力建设白皮书 12 1.1.2 云原生安全 云原生安全作为云原生的伴生技术,旨在解决云原生技术面临的安全问题, 其作为一0 码力 | 72 页 | 2.44 MB | 1 年前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊预警等等需要低时延 高算力的场景,需要 实现云边一体纳管, 简化运维,降低成本, 客户专注于业务领域。 • 无论是AIoT还是边缘 计算,核心要素是计 算,计算平台的训练 平台位于云端,而推 理计算位于BOX端,并 且能够适应各类算法 和硬件的要求,形成 一个通用计算平台, 更普遍的为客户场景 赋能。 • 一切围绕如何将算力 输送到业务场景为中 心思想,构建技术体 系。 高级能力-业务双引擎循环驱动-业务数据化、数据业务化 云原生平台(PaaS+Caas+IaaS) 业务系统连接一组人,或者说企业业务实际能力提供者,通过双中台可 以将最上层业务产品诉求直接下沉到能力端,比如我们需要快速搭建一 个电商下单APP,只需要利用中台提供的能力要素,并在APP端组织业务 流程或者产品流程,下单后,商品自动送到用户手中,而无需企业打通 上下游业务链路,可以支撑快速的组织创新和业务创新。 高级能力-低代码或无代码平台 为了 但是低代码可以使得非IT人员快速构建业务系统成为可能,低代码平台是业 务研发和运行一体的平台,其内部实现并不容易,想落地更不容易,关键在于人们现在存在巨大的误区!工具思维导致落地艰难! 业务沟通、需求分析与设计的交流平台 低代码平台表达的是业务逻辑。低代码平台的作用是将业务需求中的逻辑关系理清楚,帮助企业实现这个逻辑。 好的低代码平台要能适应企业的需求变化,提供需求变更管理 如果组件的实现方式依旧是0 码力 | 20 页 | 5.17 MB | 6 月前3
共 25 条
- 1
- 2
- 3













