36-云原生监控体系建设-秦晓辉rest_client_request_duration_seconds 针对 apiserver 的请求延迟的指标 • rest_client_requests_total 针对 apiserver 的请求量的指标 • kubeproxy_sync_proxy_rules_duration_seconds 同步网络规则的延迟指标 以及通用的进程相关的指标,进程的 CPU 内存 文件句柄等指标 Kubernetes apiserver的监控 • apiserver 通过 /metrics 接口暴露监控数据,直接拉取即 可 • apiserver 在 Kubernetes 架构中,是负责各种 API 调用 的总入口,重点关注的是吞吐、延迟、错误率这些黄金指 标 • apiserver 也会缓存很多数据到内存里,所以进程占用的 内存,所在机器的内存使用率都应该要关注 • 采集方式可以参考 categraf 仓库的 k8s/deployment k8s/apiserver- dash.json • apiserver_request_total 请求量的指标,可以统计每秒请求数、成功率 • apiserver_request_duration_seconds 请求延迟统计 • process_cpu_seconds_total 进程使用的CPU时间 • process_resident_memory_bytes 进程的内存使用量 Kubernetes控制面 c0 码力 | 32 页 | 3.27 MB | 6 月前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊定位为基于物模型的计算 定位为基于业务的计算 高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-2 • 为了更好的为客户业 务场景赋能,比如路 口的交通事故识别和 预警等等需要低时延 高算力的场景,需要 实现云边一体纳管, 简化运维,降低成本, 客户专注于业务领域。 • 无论是AIoT还是边缘 计算,核心要素是计 算,计算平台的训练 平台位于云端,而推 理计算位于BOX端,并 业务创新。 高级能力-低代码或无代码平台 为了进一步加速业务APP交付速度,而专业业务人员并不熟悉IT领域知识,但是低代码可以使得非IT人员快速构建业务系统成为可能,低代码平台是业 务研发和运行一体的平台,其内部实现并不容易,想落地更不容易,关键在于人们现在存在巨大的误区!工具思维导致落地艰难! 业务沟通、需求分析与设计的交流平台 低代码平台表达的是业务逻辑。低代码平台的作用是将业务需求中 的逻辑关系理清楚,帮助企业实现这个逻辑。 好的低代码平台要能适应企业的需求变化,提供需求变更管理 如果组件的实现方式依旧是 coding,依旧是别人熬夜,你来拖拉拽,这不叫低代码,这叫劳动力外包。国内这类 伪低代码产品,靠着模板走量批发的模式。客户买的是人工,不是技术 • 低代码平台与企业技术 栈的融合能力成为一个 重要的考验指标 • 有的企业系统已经运行 了几十年,拥有自己的 UI 体系、数据库体系和0 码力 | 20 页 | 5.17 MB | 6 月前3
1.3 MOSN 在云原生的探索及实践Extension 适合治理能力已经是一个远程服 务,集成进 Envoy 需要跨进程通信性能低(UDS vs CGO 1KB Latency 差 8 倍); 需要扩展具备 gRPC server 能力, 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能 力,改造成本低;研发效率高, 灵活性高;GoLang 支持的库比 较多(Consul、Redis、Kafka 方案分析 方案名称 稳定性 性能 成本 生态 Lua Extension 高 高 高 较低 WASM Extension ES 低 高 活跃 External Processing Filter 高 低 中 N MOSN(GoLang) Extension 高 较高 低 活跃 对比:MOE 相比 ext-proc 无需跨进程 gRPC,性能高,易管理; 相比 WASM 无需网络 IO 操作转换成本;相比0 码力 | 36 页 | 35.61 MB | 1 年前3
01. MOSN 高性能网络扩展实践 - 王发康External-Proc Extension 跨语言支持、隔离性 需要跨进程通信性能低(UDS vs CGO 1KB Latency 差 8 倍); 需要扩展具备 gRPC server 能力, 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能力, 改造成本低; 研发效率高,灵活性高; GoLang 支持的库比较多(Consul、 Redis、Kafka 方案分析 方案名称 稳定性 性能 成本 生态 Lua Extension 高 高 高 较低 WASM Extension ES 低 高 活跃 External Processing Filter 高 低 中 N MOSN(GoLang) Extension 高 较高 低 活跃 对比:MoE 相比 ext-proc 无需跨进程 gRPC,性能高;相比 WASM 无需 网络 IO 操作转换成本;相比0 码力 | 29 页 | 2.80 MB | 1 年前3
中国移动磐舟DevSecOps平台云原生安全实践云原生DevSecOps 安全工具链 国产化 双平面调度 敏捷开 发过程 统一代 码仓库 依赖制 品仓库 统一 镜像库 云原生 验证环境 磐基 生产运行 核心价值 核心能力 灵活的低代码能力 实现页面组件、数据组件、功能组件的快 速编排,一线人员也能自助开发功能 双模敏态管理 以敏捷研发为引导,融合瀑布式管理需求, 形成普适、灵活的研发过程管理能力。 多用途制品库 兼容市面绝大多数开发语言制品,提供公 安全开发-软件成分分析SCA 开源软件帮助企业快速提升信息化水平,也引入新风险。开源技术应用、国际形势复杂、软件供应链的多样化, 供应链各个环节的攻击急剧上升,已然成为企业主要的安全威胁。 缺点 低误报率 高检出率 集成灵活 只能检测已知 漏洞 优点 可见 100%资产覆盖 可治 90%效率提升 可防 100%流程覆盖 ü 建立资产台账 ü 分类分级标记 ü 关联责任人 ü 关联内外网业务 检 测 漏 洞 I A S T 控 制 台 4 收 集 请 求 ( 主 动 插 桩 补 充 测 试 ) 5 发 送 P a y l a o d , 执 行 检 测 6 展 示 漏 洞 低误报率 高检出率 可实现逻辑漏洞检测 可实现个人隐私合规检测 检测探针语言强相关 漏洞覆盖度依赖测试覆盖度 对测试环境性能有一定影响 优点 缺点 污点变量1 污点变量a 污点变量40 码力 | 22 页 | 5.47 MB | 1 年前3
24-云原生中间件之道-高磊写入HBase中,分析结果输出到用户的监控前端系统展示,实现物联网数据的实时 监控分析。 优势 易接入: 轻松对接消息系统、流计算系统 高并发: 满足千万级并发访问 存算分离: 按需分别订购计算与存储,成本低、故障恢复快 利用HTAP模式,可以将查询和分析合并 起来,更加节约成本,并提高了性能 高级能力-云原生数据库-应用的基石-4-端到端安全 DB计算层 分布式共享 存储 分布式 内存 DB计算层 JDBC 极少量 改动 修改驱 动包 数据迁 移 • 由于云原生数据库支持多模,所以通过 ETL或者DTC等工具迁移数据是非常方便的 • 应用程序只需要修改JDBC的依赖即可以在 新环境中运行,迁移成本低。 • 或者由于云原生数据库支持多协议能力, 比如原生APP使用MYSQL协议访问传统数 据库,可以不加修改的,还是使用老的 MYSQL协议驱动,依然可以和云原生数据 库进行连接。 高级能力-云原 才统一进行发布,迭代速度受限,当遇到用户紧急且需要修改镜像的需求时,势必面临很大的业务压力。同时,购买 资源后,应用的部署涉及到依赖部署、服务部署等环节,进一步拖慢应用的发布。 资源弹性扩容不及时 无法满足业务需要 资源使用率低 导致使用成本过高 操作系统和应用部署复杂 拖慢业务发布 云原生化可以解决上面的问题,演进的挑战有: 改造成本高 迁移风险高 组织架构造成额外的成本 主要体现在Yarn的复杂性 主要体现在领域专业性上0 码力 | 22 页 | 4.39 MB | 6 月前3
Apache Pulsar,云原生时代的消息平台 - 翟佳
streamnative.io Apache Pulsar 是什么 streamnative.io Apache Pulsar 要解决的问题 • 企业需求和数据规模 • 多租户 - 百万Topics - 低延时 - 持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点:替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障: 持久化(fsync)、⼀致性(ack: all)、多Topic Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储: BookKeeper Apache BookKeeper: 企业级流存储层 分布式⽇志/流存储 • 低延时、⾼吞吐、持久化 • 强⼀致 (repeatable read consistency) • ⾼可⽤ • 单节点可以存储很多⽇志 • I/O隔离 Apache BookKeeper: 诞⽣场景0 码力 | 39 页 | 12.71 MB | 6 月前0.03
12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫1)引入框架,研发人员 2)引入中间件,研发人员+运维人员=》研发团队 3)引入数据库,研发+运维+DBA=》研发中心、CTO/公司管理层 3、一般场景下,不解决性能问题(特别是延迟)。 分布式数据库使用的约束: 4.数据库网格 4.数据库网格 Service Mesh 是一个基础设施层,用于处理服务间通信。云原生应用有着复杂的服 务拓扑,Service Mesh0 码力 | 23 页 | 1.91 MB | 6 月前3
基于Consul的多Beats接入管控与多ES搜索编排能不足? beats性能 调优? ES写入参 数调整 升级ES配 置 发现延时 Cpu/mem充足 Cpu/mcem充足 提升beats资 源配额 Cpm/mem受限 ES负载低 ES负载高 日志延时统计 dashboard Beats进程资 源采集分析 日志接入 cpu/mem对比 提升cpu/mem 配额 Beats缓存调大 Beats Worker0 码力 | 23 页 | 6.65 MB | 1 年前3
Volcano加速金融行业大数据分析平台云原生化改造的应用实践Kubernetes + YARN Kubernetes + Volcano 静态划分资源池 统一资源池 Kubernetes + YARN Kubernetes + Volcano 集群低负载场景 K8s资源池空闲,大数据业务无法使用 大数据业务可以使用集群整体空闲资源, 提高整体资源利用率 集群高负载场景 通过静态划分的资源池保证大数据业务和通用 业务的资源配额 通过Volcano提供的队列保证各类业务资0 码力 | 18 页 | 1.82 MB | 1 年前3
共 12 条
- 1
- 2













