24-云原生中间件之道-高磊传统数据库 Oracle 云原生 数据一体机 存储架构 存算一体: 调整困难、只能满 足一定的吞吐量要 求 存算分离: 自动调整、拓展能 力强,满足更大吞 吐量 存储自动扩缩容 手工填加机器, 手工同步 完全自动化 高性能 存在性能瓶颈 类似日志方式的顺 序写,性能高 易用程度 封闭体系,集成各 类优秀能力较差 集成能力强,多模 态接口,兼容各类 协议 可用性、稳定性 需要强大的旁路运 维能力 简化运维、自动化 据的完整性,并且自动自愈(Serverless)。 • 通过跨域数据同步能力,实现多地域数据多活。 这个例子,也给数据库云原生化上的技术架构演进提 供了一个范本,并不是原封不动的迁移就变成云原生 高级能力-云原生数据库-应用的基石-3-场景 数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 结构化/半结构化数据,支持高吞吐量实时入库及数据实时查询,实现数据资源 智慧化运营。 优势 低成本存储: 支持PB级数据存储 高并发: 千亿数据实时分析 数据源 设备监控 传感器 轨迹数据 车联网 业务集群 物联网套件写入 云原生 DB 轨迹查 询|实时 监测 MR 云原 生DB 统计 分析 物联网数据存储和查询 将车联网数据、设备监控数据、客流分析管控数据、交通数据、传感器数据实时 写入HBase中,分析0 码力 | 22 页 | 4.39 MB | 6 月前3
中国移动磐舟DevSecOps平台云原生安全实践与CI/CD流水线集成,常态化检测,研发自行修复 IAST扫描结果提供DevSecOps常态化安全运营指标 通过将IAST集成到CI/CD流水线,在测试环境的构建过程中自动部署IAST检测逻辑,可以实现与功能测试同步进行的自动化 安全测试,给出漏洞的实际触发路径并提供实际可落地的修复建议。根据需求阶段提出的安全设计方案,配置IAST中的自定义规 则,基于IAST的扫描结果可以实现安全需求设计的闭环管理,大幅减少安全漏洞,有效降低风险暴露时间。 容器内行为 实时监控 产生 告警处置 人工安全标记 响应处置 内置风险策略 木马病毒上传 恶意命令执行 容器逃逸 其他风险策略 已 知 威 胁 监 控 进程 网络连接 系统调用 文件 配置 安全容器模型 在业务上线后,容器安全工具基于内置检测规则+行为学习+自定义策略,多维度保障容器运行时的安全。 已知威胁方面,通过丰富的内置安全策略,对业务容器行为进行实时监测,及时发现风险。 码扫描SAST\软件成分分析SCA、灰盒扫描IAST、镜像扫描、APP扫描, 提前预防安全风险。上线后持续进行安全防护:定期进行镜像扫描、基线合规检测、运行时通过容器安全与微隔离软件对容器 运行实时监测。 生产运营 生产上线 UAT测试(验收测试) 发版前测试 自动化集成与部署 应用开发阶段 需求阶段 业务需求输入 需求 分析 用户故事拆 分 开发任务拆 分 迭代 规划0 码力 | 22 页 | 5.47 MB | 1 年前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊在云原生产生之前,混合云架构就存在 了,云原生的混合云,除了具备传统混 合云的属性和特性,也同时具备了支撑 现在应用程序更好在不同云形态部署、 运行的能力。 • 云之间同步服务元数据为相同的服务治 理提供基础,同步镜像,为同一服务拓 展算力提供基础,同步Data,为隔离底 层云分布,在业务上的一致性上提供基 础。 • SLB会根据算力资源需要进行切流。 • 混合云本质是一种资源运用形式,资源 使用地位不对等,以私有云为主体。 使用地位不对等,以私有云为主体。 控制台 控制台 高级能力-多云(资源角度) 调研机构Gartner公司指出,80%的内部部署开发软件现在支持云计算或云原生,不断发展的云计算生态系统使企业能够更快、 更灵活、更实时地运营,从而带来竞争压力。接受云原生和多云方法作为一种新常态,意味着企业可以避免云计算供应商锁定, 可以提供超过5个9的响应率(99.999%),以避免每次停机导致平均数百万美元的损失。企业管理者终于意识到,云计算供0 码力 | 20 页 | 5.17 MB | 6 月前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊支持全球最大容器集群、全球最大Mesh(ASM)集群,神龙架构和ACK容器的组合,可以实现1小时扩容1百万个容器,混部利用 率提升50%,万笔交易成本4年下降80%。 • 拥有国内最大计算平台、顶级实时计算能力。大数据平台批处理单日计算数据量达到1.7EB,实时计算峰值每秒30亿条记录; 云原生PolarDB读写性能提高50%+,计算资源利用率提高60%+。 • 云原生中间件首次实现自研、商用、开源的“三位一体”,通过阿里云服 etc Spec (K8s Yaml) Custom Resource Spec (K8S yaml) 通过拓展实现自定义控制器来实现对非标准资源的纳 管,比如数据库的自动拓展能力或者自动化数据同步 能力等等。 标准化能力-分布式操作系统核心-容器服务-新发展 由于历史遗留或者软件形态所限制,不可能所有的软件都可以被微服务化或被容器化,那么现在阶段来看,整个 数字化转型的一些困难就是处于在0 码力 | 42 页 | 11.17 MB | 6 月前3
基于Consul的多Beats接入管控与多ES搜索编排多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准 并向Master发起Agent注册逻辑,获取agent id 配置获取 从Consul中获取当前agent的配置组列表,并 启动多个采集进程 配置变更感知 watch到Consul对应的agent id路径,实时感 知配置变化,并对启动的进程列表做重启清理 等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 Agent Consul Master 集中管理配置 • 规模化自动化部署Agent • 按业务逻辑划分机器组 • 集中配置,关联机器组 • Agent离线实时感知 • 配置一致性离线分析 • 多beats同时管控 11 当前收益 快 稳 准 • 快速接入(5min) • 配置UI化标准化 • 配置变更实时感知 • 部署全自动化 • 多Beats支持 • Beats运行时cpu/mem可控 • Agent监控视图0 码力 | 23 页 | 6.65 MB | 1 年前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)这有助于组织在应用程序中使用的开源组件的清晰性,以便更好地管理潜在的风 险、合规性和漏洞修复。 开源组件的软件许可检测:软件许可的滥用可能会引发法律风险,需针对应 用程序中使用的开源组件进行周期性或实时性的许可证分析和监测,以确保开源 组件的许可证与应用程序的许可证要求和法律合规性相符。使得组织避免潜在的 法律纠纷和合规性问题,同时维护开源组件的合法使用。 开源组件中的风险检测:开源组件的风险包括安全漏洞、组件可信度、社区 IAST 能力在业务测试时,模拟运行时可能遭遇的真实攻击,同时分析应用 云原生安全威胁分析与能力建设白皮书 53 程序的执行路径和数据流,以检测潜在的漏洞和安全威胁。能够在应用程序运行 时提供实时的安全分析和漏洞检测,减少误报率,帮助开发人员更准确地定位和 修复安全问题,提高应用程序的安全性和稳定性。 交互式应用安全检测能够对业界常见的安全漏洞类型检测,包括但不限于注 入类、失效身份验证和会话管理、敏感信息泄露、XML 应用程 序中,实现防御手段与应用程序融为一体,实时分析和检测 Web 攻击,使应用 程序具备自我保护能力,有效弥补原来防护体系的不足。 依赖 RASP 与现有的纵深多级防御体系相结合,能够补上现网软件应用系 统多级防御体系中的最后一环,让穿透后的攻击无法落地形成危害。另外,RASP 能够实现对应用系统的持续监控,监控应用系统所受到的攻击行为,并实时进行 防护,保证应用系统的安全运行。 (2)WAF0 码力 | 72 页 | 2.44 MB | 1 年前3
16-Nocalhost重新定义云原生开发环境-王炜试想⼀下,要开发由 200 个“微服务”组成的云原⽣应⽤,会遇到哪些困难呢? Localhost 时代 在单体应⽤的时代,对于开发者来说是极为友好的,�开发者使⽤本机运⾏应⽤,修改代码后实时⽣效,通过 浏览器访问 Localhost 实时查看代码效果。 单体应⽤和“微服务”应⽤不同,单体应⽤是 “ALL-IN-ONE” 组织⽅式,所有的调⽤关系仅限于在⾃身的类和函 数,应⽤对硬件的要求⼀般也不会太⾼。 ⽽开 Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 4 / 7 P. 克隆业务代码或选择本地代码⽬录打开 Q. 进⼊开发模式,本地修改代码并保存,⽆需重新构建镜像,远端开发环境实时⽣效,⽀持远程调试 Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 5 / 7 快速体验 想要快速体验 Nocalhost ,有以下⼏点前置条件: 准备⼀个 Kubernetes0 码力 | 7 页 | 7.20 MB | 6 月前3
构建统一的云原生应用 可观测性数据平台deployId=287115 level=low layer=service taskEnv=prod 看云网更清晰 Simplify the growing complexity. AutoTagging:自动同步资源和服务属性 资源池 区域 可用区 云平台 租户 云资源 宿主机 云服务器 容器资源 容器集群 容器节点 命名空间 容器服务 Ingress Deployment StatefulSet ReplicaSet deployId ... 网络资源 VPC 子网 CIDR IP地址 NATGW ALB … ~30种资源标签,100+自定义微服务标签 理解云网络,自动标记端到端数据标签 Labels 自动同步云API、K8s apiserver DeepFlow support list 主机名、IP地址、VPC/隧道ID、对等连接、NAT/LB ➔ 资源标签 工作负载、容器服务、命名空间 ➔ 服务标签 ① 采集 ② 存储 ② 存储 ③ 查询 ③ 查询 看云网更清晰 Simplify the growing complexity. Stage-1:采集时的编码 • Controller同步云API、K8s apiserver • 将所有标签编码为Int • Controller向Agent下发编码后的Int标签 • 仅向Agent下发最少的标签 • 标签的“基” • 如何选择基0 码力 | 35 页 | 6.75 MB | 1 年前3
1.3 MOSN 在云原生的探索及实践https://github.com/wangfakang MOSN 开源交流群2 目 录 MOSN 云原生演进历程 01 MOSN 网络层扩展思考和选型 02 对应解决方案和实践介绍 03 MOSN 开源进展同步 04 MOSN 云原生演进历程 MOSN 简介 — 演进历程 MOSN 从 Service Mesh 技术调研,到产品孵化,历经重重困难,最终通过双 11 规模化验证。借力开源、反哺开 实现的网关处理能力具有 4 倍左右性能提升 MOE 相比于 Envoy 性能下降 20%,虽然牺牲部 分性能,但解决了用户在其可扩展性、灵活性、 生态上的痛点,另外对性能方面也有优化空间 开源进展同步 高性能网络扩展层 — MOE GoLang extension proposal 已支持将 MOSN 部分 filter 运行在 Envoy 中, 欢迎试用 https://github0 码力 | 36 页 | 35.61 MB | 1 年前3
云原生图数据库解谜、容器化实践与 Serverless 应用实操Buildpacks buildah buildkit kaniko Function Serving 4 种函数调⽤类型(CNCF Serverless ⽩⽪书) Function Serving 同步函数: HTTP / blocking / Req & Resp 运⾏时: Knative Serving KEDA + KEDA http-add-on(Beta) + Deployment 使⽤ Tekton、Cloud Native Buildpacks、Shipwright 搭建 OCI 镜像构建流⽔线 使⽤ Knative、Dapr、KEDA 等云原⽣技术驱动具备⾃动伸缩能⼒的同步函数与异步函数 以 Argo Events、Knative Eventing 为参考的轻量级 Serverless 事件框架 K8s 上的图数据库基于 KubeBuilder 的 Operator0 码力 | 47 页 | 29.72 MB | 1 年前3
共 13 条
- 1
- 2













