中国移动磐舟DevSecOps平台云原生安全实践拓展形成ARM、x86双架构流水线,底层 安全漏洞统一修复 全面云原生安全 支持代码安全扫描、镜像安全扫描、开源 协议扫描、依赖漏洞扫描。并可给出修复 建议。支持开源风险持续治理。 108 48 78 6 84 1 1 16 14 0 50 100 150 200 250 本单位 省公司 省公司(直投) 专业公司 入驻项目数 工程类 研发类 新业务开发 87055条/个 42万次,arm构建1.59万次 企业级超大规模实践—推动中移数字化转型 中国移动集团范围内推广使用磐舟,截止2022年10月30日,平台已入驻项目356个。其中IT公司208个,涉及 14个部门,省公司(含直投省)141个,涉及30个省,专业公司及直属单位7个。4.7万人次登录,月活2077人。 科技创新成果 中国移动作为国家级高新技术企业,在国内外行业中科技创新成果丰硕。磐舟与磐基团队重视自主创 据有可能包含恶意的攻 击数据 安全测试-镜像扫描 由于云原生“不可变基础设施”的特点,对容器风险的修复必须从镜像上处理才是最有效的。 因此对镜像的安全扫描变得尤其重要。 强大的漏洞扫描 支持双料漏洞库,可检测 的漏洞数大于17w条,提 供 对 容器镜像的扫描能力 ,可扫描发现CNNVD、 CVE等漏洞信息 , 提 供 详 细的漏洞分析能力联动。 安全风险发现 针对容器镜像内Webshell0 码力 | 22 页 | 5.47 MB | 1 年前3
Volcano加速金融行业大数据分析平台云原生化改造的应用实践缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 不支持Gang-scheduling、Fair-share scheduling • 不支持多场景的Resource reservation,backfill • 不支持CPU/IO topology based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 不同框架对作业管理、并行计算等要求不通 • 计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况: • 业界首个云原生批量计算平台 • 2019年6月开 2019年6月开源,2020年进入CNCF,目前是CNCF孵化级项目 • 2.9k star,500+ 全球贡献者 • 50+ 企业生产落地 关键特性: 1. 统一的作业管理 提供完善作业生命周期管理,统一支持几乎所有主流的计算框架,如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、0 码力 | 18 页 | 1.82 MB | 1 年前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)云原生安全威胁分析与 能力建设白皮书 中国联通研究院 中国联通网络安全研究院 下一代互联网宽带业务应用国家工程研究中心 2023 年 11 月 版权声明 本报告版权属于中国联合网络通信有限公司研究院,并受法 律保护。转载、摘编或利用其他方式使用本报告文字或者观点的, 应注明“来源:中国联通研究院”。违反上述声明者,本院将追 究其相关法律责任。 云原生安全威胁分析与能力建设白皮书 最后,白皮书内容难免有疏漏,敬请读者批评指正。 云原生安全威胁分析与能力建设白皮书 8 编写单位: 中国联合网络通信有限公司研究院、联通数字科技有限公司、中国联通福建 省分公司、北京神州绿盟科技有限公司、北京小佑网络科技有限公司、中兴通讯 股份有限公司 专家顾问: 叶晓煜、张建荣、徐雷、潘松柏、冯强、张曼君、傅瑜、葛然、张小梅、徐 积森、滕开清 编写成员: 丁攀、郭新海、 DevOps、持续交付、微服务和容器技术为代表,符合云 原生架构的应用程序应该:采用开源堆栈(k8s+Docker)进行容器化,基于微 服务架构提高灵活性和可维护性,借助敏捷方法、DevOps 支持持续迭代和运维 自动化,利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。 云原生安全威胁分析与能力建设白皮书 12 1.1.2 云原生安全 云原生安全作为云原生的伴生技术,旨在解决云原生技术面临的安全问题,0 码力 | 72 页 | 2.44 MB | 1 年前3
09-harbor助你玩转云原生-邹佳GitHub代码库: https://github.com/goha rbor/harbor/ 一个开源可信的云原生制品仓库项目用来存储、签名和管理相关内容。 Harbor社区 有来自于5家公司的14位维护者 GitHub星 13K+ 核心提交者 200+ 数据来源: https://harbor.devstats.cncf.io/ & https://github.com/g Zealand Source: https://harbor.devstats.cncf.io Japan Korea Brazil Russia Ukraine Poland UK 贡献公司 50+ 提交数 12K+ 贡献者 3000+ GitHub访问/访问者* 40K+/10K+ Fork 4000+ 下载* 5K+ *: 数据周期10/02-10/16 (2周) 目标为K8s集群 • 仅聚焦Harbor组件安装 • goharbor/harbor-helm 3 K8s Operator • 通过K8s CRD实现编排 • 目标为K8s集群 • 专注于HA模式支持 • goharbor/harbor- operator (开发中) 4 资源隔离与多租户管理 项目 存储 访问控制 制品资源0 码力 | 32 页 | 17.15 MB | 6 月前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊台,去应对上述问题。 微服务应 用 大型 单体 应用 VM/服务器 VM/服务 器 VM/服务 器 VM/服务 器 目 标 支持微服务级别的细粒度资源隔离 支持快速扩缩容 支持热升级,服务更新不影响业务可用性 支持服务的快速地部署、扩展、故障转移 支持更细致、自动化的运维,快速恢复 …… 过去 现在 未来 云原生的业务承载平台? 什么是云原生->为云而生 就 已 经 存 在 2003年Docker兴起,但云原生架构依然 没有出现,Docker公司还差点死了 1 9 9 6 年 戴 尔 提 出 云 计 算 理 念 2006年亚马逊率先推出 了弹性计算云(EC2) 分水岭 云原生 Docker: 抽象云资源,使 得更容易使用 微服务: 加快业务迭代更新 从支持应用不同维度发展,最终走在了一起 2010年WSO2提出 类云原生的概念 云原生应用相比传统应用的优势 分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧,云原生四大核心技术实现规模和创新的双重突破,成为从技术能力向业务 价值成果转变的样本: • 支持全球最大容器集群、全球最大Mesh(ASM)集群,神龙架构和ACK容器的组合,可以实现1小时扩容1百万个容器,混部利用 率提升50%,万笔交易成本4年下降80%。 • 拥有国内最大计算平台、顶级实时0 码力 | 42 页 | 11.17 MB | 6 月前3
12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术:在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级,不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性; 2、对于复杂的SQL,可能不支持; 3、对于跨库和跨分片的数据,需要额外机制保障一致性; 4、缺乏较好的数据平滑迁移和过渡方案; 5、Java Only(或其他)。 对业务系统侵入性小。 透明化的引入中间件,像一个数据库一样提供服务能力。 2.数据库中间件 1、框架本身的一些问题; 2、需要单独的资源部署,以及维护; 3、接入端需要实现数据库协议,对非开源数据库无法支持。 数据库中间件使用的约束: 3.分布式数据库 3.分布式数据库 类库/框架 数据库中间件 分布式数据库 数据网格 TDDL Sharding-JDBC DRDS Sharding-Proxy 多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库(注意,主要解决容量问题)。 3.分布式数据库 1、需要较多的机器资源; 2、对于替换数据库技术的公司,代价较大,放弃多年积累; 1)引入框架,研发人员 2)引入中间件,研发人员+运维人员=》研发团队 3)引入数据库,研发+运维+DBA=》研发中心、CTO/公司管理层 3、一般场景下,不解决性能问题(特别是延迟)。0 码力 | 23 页 | 1.91 MB | 6 月前3
带给你“一份应用需求定义,到处交付”的云原生交付体验"#$A 我们还是个创业公司运维 经验少,产品所有依赖的中 间件服务资源都想⽤阿⾥公 共云上的 %$B 我们⾃⼰的商业经营数据 必须存储在公司⾃建机房,其 他的数据为了节约运维管理成 本,还能享受云上的弹性能⼒, 可以考虑⽤云上服务 '()*#$C 我们主要服务国外客户, 根据当地政府的监管要求,我 们必须使⽤aws⼚商提供的中 间件服务 主角:工程师小明负责公司XX系统的客户交付 On-Premise OnCloud 云原生IaC方式定义服务 传统云上白屏化运维方式: 繁杂的手动操作,且无法快速复制 CNBaaS 可基于Cue语法,声明服务基础信息 以及组件扩展信息,支持最优规格匹配 自适配云组件配置&规格 声明式 服务规格需求 需求自适配 需求自适配 On Premise On VPC eg. Kube DB • Chart Version选择 Terraform 通用服务schema定义 服务版本管理 面向组件Vendor Schema定义 组件注册 CNBaaS 统一服务目录 Helm CNBaaS Engine根据组件 支持的运行时动态调度 云资源生产 Lifecycle管理 张健川(聪言) CNBaaS Demo Contact us 王国东(骁奕) Email:guodong.wgd@alibaba-inc0 码力 | 16 页 | 30.13 MB | 1 年前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊SLB会根据算力资源需要进行切流。 • 混合云本质是一种资源运用形式,资源 使用地位不对等,以私有云为主体。 控制台 控制台 高级能力-多云(资源角度) 调研机构Gartner公司指出,80%的内部部署开发软件现在支持云计算或云原生,不断发展的云计算生态系统使企业能够更快、 更灵活、更实时地运营,从而带来竞争压力。接受云原生和多云方法作为一种新常态,意味着企业可以避免云计算供应商锁定, 可以提供 连续性、业务安全性、边 缘计算赋能,关注中小企 业市场 风险集中点,前期不建议 用平台规范企业组织架构。 传统云商业模式 云原生,国内越来越多的创业公司跑步入局,新推出的云计算产品都要带上“云原生”的标签。各路资本也狂扫云原生“公司”,试图寻找 中国的“Snowflake”,再造一个财富神话。不过,我国的云原生技术起步较晚,跟美国的发展阶段可能差5~8年。国内的云原生市场才刚 刚开始,从 生也与传统云模式存在博弈关系(天然的正和博弈) 对客户、运营商来说,有利因素主要体现在解决资金紧张问题、降低投资风险,将一部分风险转嫁给厂商,通过与设备商绑定的利益 关系,能获得厂商更多更好的支持和全球经验;不利因素在于相对传统交易方式可能需支付更多交易成本,在业务发展良好的情况, 可能会有部分利益分给设备商。 对IT设备供应商、ISV集成商而言,有利因素主要体现在可能获得高于传统设备销售的0 码力 | 20 页 | 5.17 MB | 6 月前3
36-云原生监控体系建设-秦晓辉业务程序,即部署在容器中的业务程序的监控,这 个其实是最重要的 随着 Kubernetes 越来越流行,几乎所有云厂商都提供 了托管服务,这就意味着,服务端组件的可用性保障交 给云厂商来做了,客户主要关注工作负载节点的监控即 可。如果公司上云了,建议采用这种托管方式,不要自 行搭建 Kubernetes,毕竟,复杂度真的很高,特别是 后面还要涉及到升级维护的问题。既然负载节点更重要, 我们讲解监控就从工作负载节点开始。 Kubernetes 资源对象的监控使用 kube-state-metrics,这个开源项目是基于 client-go 开发,轮询 Kubernetes API,并将 Kubernetes 的结构 化信息转换为 metrics • 支持右侧罗列的相关资源对象的指标 • 比如Pod的指标,会有 info、owner、status_phase、status_ready、 status_scheduled、container_status_waiting、 –resources=deamonsets,deployments • 对于某个具体的资源类型,可以做更细粒度的控制,比如屏蔽某个指标:--metric- denylist=kube_deployment_spec_.* 支持正则的写法,对于几千个node的大集群,几十万个 pod,每个小小 的优化都很值得 • 最后,附赠大家一个我们做好的监控大盘,在 Categraf 仓库的:inputs/kube_state_metrics0 码力 | 32 页 | 3.27 MB | 6 月前3
24-云原生中间件之道-高磊数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 结构化/半结构化数据,支持高吞吐量实时入库及数据实时查询,实现数据资源 智慧化运营。 优势 低成本存储: 支持PB级数据存储 高并发: 千亿数据实时分析 数据源 设备监控 传感器 轨迹数据 车联网 业务集群 物联网套件写入 B C 多模云原生数据 库 用于云原生DB的 JDBC 极少量 改动 修改驱 动包 数据迁 移 • 由于云原生数据库支持多模,所以通过 ETL或者DTC等工具迁移数据是非常方便的 • 应用程序只需要修改JDBC的依赖即可以在 新环境中运行,迁移成本低。 • 或者由于云原生数据库支持多协议能力, 比如原生APP使用MYSQL协议访问传统数 据库,可以不加修改的,还是使用老的 MYSQL协议驱动,依然可以和云原生数据 一个服务进行部署,MON、OSD、MGR 守 护进程会以 pod 的形式在 Kubernetes 进行 部署,而 rook 核心组件对 ceph 集群进行 运维管理操作。 Rook 通过 ceph 可以对外提供完备的存储 能力,支持对象、块、文件存储服务,让 你通过一套系统实现对多种存储服务的需 求。同时 rook 默认部署云原生存储接口 的实现,通过 CSI / Flexvolume 驱动将应 用服务与底层存储进行衔接,其设计之初0 码力 | 22 页 | 4.39 MB | 6 月前3
共 22 条
- 1
- 2
- 3













