24-云原生中间件之道-高磊项目 传统数据库 Oracle 云原生 数据一体机 存储架构 存算一体: 调整困难、只能满 足一定的吞吐量要 求 存算分离: 自动调整、拓展能 力强,满足更大吞 吐量 存储自动扩缩容 手工填加机器, 手工同步 完全自动化 高性能 存在性能瓶颈 类似日志方式的顺 序写,性能高 易用程度 封闭体系,集成各 类优秀能力较差 集成能力强,多模 态接口,兼容各类 协议 可用性、稳定性 需要强大的旁路运 对于数据存储的高性能、高稳定性、高拓展、资源成本 等等都需要同时满足(和传统CAP相悖) • 接入层需要能够根据规则的路由,以及兼容各类协议接 口以及数据模型,并能根据应用的规模来自动拓展。 • 实现HTAP(OLTP+OLAP),将在线事务|分析混合计算模型 基础上,实现多模数据模型,使得集成成本经一步降低。 • 计算层,与存储彻底剥离开来,实际是微服务化架构, 可以自由伸缩,并自动故障转移,采用读写分离,适应 高负荷的场景。另外也需要进一步将计算和内存分离出 的业务场景,数据应用也不例外,目前都在 进行服务化改造和云原生改造 • 大数据引擎早就上云了(IaaS),但是并未云原 生化。 • 但是大数据引擎平台,架构思路过时、组件 众多、体系完整等,以及组织认知和能力、 在线业务的依赖等等,大量的历史包袱导致 大数据平台在云原生环境下落地艰难。那么 如何实现大数据云原生化呢?立足满足现在 和未来的企业需求进行渐进式改造推进是比 较合理的方式。(阿里巴巴甚至根据新时代的0 码力 | 22 页 | 4.39 MB | 6 月前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊在精细化的基础上,完整较为成熟的自 动化能力,节约了人力成本同时提高了 效率,也极大得保证了业务连续性。 • 但是,目前真正落地的企业很少,原因 在于大部分企业组织或者文化问题在落 实上的顾虑,因为“机器人”比人是否可靠 仍然在争论中,可参考或者背书的实例 少,导致落地缓慢。 • 组织结构升级 • 企业IT文化、工作流程、知识体系、工具集的总合升级 • 应用架构升级 • re-platform 线,自研飞天操作系统全 面支撑集团业务 2 0 1 3 电商核心系统全面上云, 大规模集群支撑集团“双十 一”,日交易额2684亿元 2 0 1 9 T4项目启动,容器调度技 术开始支撑集团的在线业 务,云原生时代开启 2 0 1 1 在线和离线调度系统打通混合 部署,底层资源池统一,支撑 百万级电商交易活动。 云原生技术全面商业化,容器 技术对外开放 2 0 1 7 云原生技术全面升级,阿 里巴巴原生用云, Serverless时代开始。0 码力 | 20 页 | 5.17 MB | 6 月前3
云原生图数据库解谜、容器化实践与 Serverless 应用实操vesoft-inc/nebula 上⼿ GraphDB on K8s 应⽤场景 - Nebula on Kubsphere - Demo 图数据库的应⽤场景 典型场景 社交⽹络 ⻛险控制 公共安全 知识图谱 机器学习 ⽣化制药 物联⽹ 区块链 数据⾎缘 智能运维 tech.meituan.com/2021/04/01/nebula-graph-practice-in-meituan.html KubeSphere 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ KubeSphere 上的图数据库 KubeSphere 上的 OpenFunction Siwi,⼀个基于 Nebula 的单⼀领域问答机器⼈ Nebula-Siwi on FaaS on KubeSphere d 0 d 10 码力 | 47 页 | 29.72 MB | 1 年前3
09-harbor助你玩转云原生-邹佳截止:v2.0 初识Harbor [4] – 功能 … 项目N 制品管理 访问控制(RBAC) Tag清理策略 Tag不可变策略 P2P预热策略 缓存策略 机器人账户 Webhooks 项目配置 项目1 项目标签管理 项目扫描器设置 项目级日志 系统设置(鉴权模式等) 内容复制 垃圾回收(GC) 配额管理 系统标签管理 P2P预热管理 Harbor 系统 系统级日志 搭建Harbor仓库服务 离线安装包 • 通过Docker-compose编 排运行 • 所需镜像皆打包在离线 包内 1 在线安装包 • 通过Docker-compose编 排运行 • 所需镜像从Dockerhub 来拉取 2 Helm Chart • 通过Helm来安装 • 目标为K8s集群 • 仅聚焦Harbor组件安装0 码力 | 32 页 | 17.15 MB | 6 月前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)(4)API 安全审计工具 该工具通过对 API 资产的流量上下文及敏感数据的持续分析,可以实时发 现 API 资产的授权类、认证类、数据暴露类、配置及设计不合理等各类逻辑漏 洞,通过外部情报和机器学习模型来感知针对 API 的低频慢速的攻击风险,使 用账号、IP、访问时间、访问 API、访问敏感数据等多重维度建设的 UEBA 模 型来感知账号共用、借用、盗用等行为导致数据泄露的攻击风险。 特征匹配的模式下,可能对风险有所遗漏。所以可对业务行为建立模型,在一定 周期内,形成业务行为基线,从而发现模型外的异常行为,进一步发现未知漏洞 攻击等行为。并可将行为模型关联业务镜像,使得模型可复用,减少容器多副本 时学习的多余资源开销。 (5)历史数据留存 事后溯源是安全的重要组成部分,但容器在消逝后,未做持久化的数据将会 丢失,且容器在运行过程中的行为也不会被记录,使得溯源极为困难。基于此, 组织需建立对0 码力 | 72 页 | 2.44 MB | 1 年前3
36-云原生监控体系建设-秦晓辉数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设,更愿意埋点 •各种采集器层出不穷,都是本着可采尽采的原则,一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控,每个监控对象一个标识即可,没有维度的设计 •新一代监控系统更加关注应用侧的监控,没有维度标签玩不转,每个指标动辄几个、十几个标签 指标维度更为丰富 •Kubernetes体系 apiserver 在 Kubernetes 架构中,是负责各种 API 调用 的总入口,重点关注的是吞吐、延迟、错误率这些黄金指 标 • apiserver 也会缓存很多数据到内存里,所以进程占用的 内存,所在机器的内存使用率都应该要关注 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml,大盘可以参考 k8s/apiserver- dash.json • apiserver_request_total 减轻各个研发团队的使用成本 Pod内的业务应用的监控 - statsd 数据流向 • 推荐做法:如果是容器环境,Pod 内 sidecar 的方式部署 statsd;如果是物理机虚拟机环境,每个机器上部署一 个 statsd 的 agent,接收到数据之后统一推给服务端 Pod-001 业务 容器 agent Pod-002 业务 容器 agent 监控服 务端 VM-0010 码力 | 32 页 | 3.27 MB | 6 月前3
12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术:在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级,不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性; 2、对于复杂的SQL,可能不支持; 3、对于跨库和跨分片的数据,需要额外机制保障一致性; 4、缺乏较好的数据平滑迁移和过渡方案; 5、Java 计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库(注意,主要解决容量问题)。 3.分布式数据库 1、需要较多的机器资源; 2、对于替换数据库技术的公司,代价较大,放弃多年积累; 1)引入框架,研发人员 2)引入中间件,研发人员+运维人员=》研发团队 3)引入数据库,研发+运维+DBA=》研发中心、CTO/公司管理层0 码力 | 23 页 | 1.91 MB | 6 月前3
基于Consul的多Beats接入管控与多ES搜索编排添加主机 配置日志主题 选择主机组 日志配置 权限管理 资源设置 提交策略 Kibana查日 志 集中管理配置 • 规模化自动化部署Agent • 按业务逻辑划分机器组 • 集中配置,关联机器组 • Agent离线实时感知 • 配置一致性离线分析 • 多beats同时管控 11 当前收益 快 稳 准 • 快速接入(5min) • 配置UI化标准化 • 配置变更实时感知0 码力 | 23 页 | 6.65 MB | 1 年前3
中国移动磐舟DevSecOps平台云原生安全实践进程 网络连接 系统调用 文件 配置 安全容器模型 在业务上线后,容器安全工具基于内置检测规则+行为学习+自定义策略,多维度保障容器运行时的安全。 已知威胁方面,通过丰富的内置安全策略,对业务容器行为进行实时监测,及时发现风险。 未知威胁方面,通过对业务容器行为进行学习建模,感知业务行为偏离,发现未知风险。并提供隔离、暂停、重启等处置能力。 DevSecOps安全防护流程 从源0 码力 | 22 页 | 5.47 MB | 1 年前3
23-云原生观察性、自动化交付和 IaC 等之道-高磊传统交付方式的不足之处 手册文档 配置参数 应用 应用 配置参数 应用 应用 软件环境 硬件环境 遗留系统 安装配置点 安装配置点 安装配置点 集成点 集成点 集成点 1. 交付人员学习手册文档,需要在客户 环境做“安装配置”和“与遗留系统集成” 两方面工作。 2. 安装配置:在硬件上安装软件,不乏 针对硬件特性的适配、还需要安装OS 等,最后还要在OS上安装应用,并且 还要保证应用软件依赖拓扑结构不会 F5 路由器 防火墙 .... Ansible Salt Chef Pupet 实际上云原生平台自己也采用了IaC来管理应用, 比如K8S的Yaml,这种方式有利于隔离实现细节。 ITIL 需要具体学习不同软 硬件的知识才能管理 只需要写IaC声明性代码来管 理基础设施 实施 标准化能力-让管理和运维更轻松-基础设施即代码-3-实例 IaC作为胶水,可以将对物理资源的运维直接透出到De0 码力 | 24 页 | 5.96 MB | 6 月前3
共 14 条
- 1
- 2













