腾讯云 Kubernetes 高性能网络技术揭秘——使用 eBPF 增强 IPVS 优化 K8s 网络性能-范建明0 码力 | 27 页 | 1.19 MB | 9 月前3
Curve 分布式存储设计无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 3. Curve文件存储 4. 高性能,易运维,云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench iSCSI协议 4. 容器云块存储(CSI) 应用场景Curve块存储 1. 高可用性/高可靠性 (易运维) 2. RAFT一致性协议 3. CopySet分配算法 4. 拓扑结构 5. 高性能 6. chunkfilepool (降低写放大) 7. data stripe (增大并发) 8. zerocopy 9. 云原生 核心设计Curve块存储 1. physical pool用于实现对机 3. NebdServer实现大部分的客 户端逻辑Curve块存储 故障对I/O抖动延迟的影响 FAULTS CASE CURVE I/O 抖动Curve文件存储 1. 元数据服务 2. 高性能 3. 可扩展易运维 4. 云原生 设计目标Curve文件存储 1. 兼顾性能与容量的机器学习 场景 2. 快速跨云弹性发布的业务 3. 低成本大容量需求的业务 4. 中间件冷热数据自动分离0 码力 | 20 页 | 4.13 MB | 6 月前3
Curve设计要点新一代分布式存储系统 Curve 李小翠Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景:块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储,对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多,线上异常演练 • 已开源 • github主页: https://opencurve.github.io/ • github代码仓库: 1.244 3.2 3.1 0.998 4K随机写 4K随机读 61.12 % 67.8% 测试环境:6台服务器*20块SATA SSD,E5-2660 v4,256G,3副本场景 高性能高性能 • quorum机制:raft • 轻量级快照 • io路径上的优化 • filepool落盘零放大 • 轻量级线性一致性读 • io路径上用户空间零拷贝 10卷4K随机读写IOPS0 码力 | 35 页 | 2.03 MB | 6 月前3
2024 中国开源开发者报告Data’ 【15】The Platonic Representation Hypothesis 傅聪 浙江大学计算机博士,美国南加州大学访问学者,《业务驱动的推荐系 统:方法与实践》作者。高性能检索算法 NSG、SSG 的发明者,知乎 科技博主“傅聪 Cong”。 前阿里巴巴算法专家,目前就职于 Shopee(新加坡)任资深算法专家。 在顶会和期刊 TPAMI、KDD、VLDB、IJCAI、EMNLP、CIKM 一天,人间一年”,即使是 AI 专家,也很难跟上所有最新的科研进展。大 模型的时代才刚刚开始,预测未来的最好方式就是持续学习、探索、利用 AI 能力,创造未来。 李博杰 李博杰是 AI 创业者,研究方向为高性能数据中心系统。曾任华为计算 机网络与协议实验室助理科学家、首届“天才少年”。2019 年,在中 国科学技术大学与微软亚洲研究院的联合培养项目中取得博士学位。在 SIGCOMM、SOSP、NSDI、PLDI 技术正是挖掘统计意义特征的有效手段。过去十几年,很多体系结构研究开始考虑在芯 片微架构中引入一些借鉴 AI 思想可挖掘统计特征的模块。 以分支预测单元 BPU(Branch Prediction Unit)为例,这是现代高性能处理器的一个 重要组成部分,负责根据分支指令执行历史预测分支的走向,从而提前执行对应方向上的指 令。BPU 的预测准确率直接影响着处理器整体的性能和功耗,当 BPU 预测准确率高,则处 理器流0 码力 | 111 页 | 11.44 MB | 8 月前3
Raft在Curve存储中的工程实践程 实 践 陈威Curve介绍 01 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化项目背景 Curve是一个 高性能、更稳定、易运维 的 云原生 分布式存储系统,支持 块存储 和 文件存储 2018~2021 Curve块存储 2021~2022 Curve文件存储 • 基于Openstack构建云计算平台 存储使用Ceph文件存储/HDFS • 成本/性能挑战 Curve块存储和文件存储均采用raft协议整体架构 • 对接OpenStack平台为云主机提供高性能块 存储服务 • 对接Kubernetes为其提供RWO、RWX等类 型的持久化存储卷 • 对接PolarFS作为云原生数据库的高性能存储 底座,完美支持云原生数据库的存算分离架 构 • Curve作为云存储中间件使用S3兼容的对象 存储作为数据存储引擎,为公有云用户提供 什么是braftCurve介绍 01 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化Curve块存储RAFT应用 Curve块存储 • 高性能、更稳定、易运维 • 支持NBD(network block device)、iscsi • 支持RDMA和SPDK Curve块存储架构 • client:接受用户请求。 • mds:保0 码力 | 29 页 | 2.20 MB | 6 月前3
阿里云容器服务大促备战自动安全扫描 镜像签名 全球自动分发 智能构建 上海 边缘集群 ECS ECI 应用定义 ACR 镜像服务 镜像快照两个数字背后的故事 19分23秒 36%观测与预测全链路监控+高性能如何应对 … 流量增长 3倍嗯,还有用户体验 https://marketersmedia.com/global-user-experience-market- trends-2019-sha 化协同双十一直播的背后 50% 5倍在线与离线 异构计算能力 ECS, EBM, GPU, FPGA, ECI 高性能网络 VPC, ENI, RDMA, SLB, DNS Public Cloud Edge Computing Private Cloud 高性能存储 EBS, NAS, CPFS, OSS Kubernetes (ACK, ASK) Web/mobile applications0 码力 | 17 页 | 17.74 MB | 6 月前3
Curve核心组件之Client - 网易数帆C u r v e 核 心 组 件 之 C l i e n t 吴汉卿CURVE CURVE是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟存储底座 • 可扩展存储场景:块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储,对接 OpenStack 和 k8s • 网易内部线上无故障稳定运行400+天 • 已开源 • github主页: https://opencurve0 码力 | 27 页 | 1.57 MB | 6 月前3
SOFAMOSN持续演进路径及实践分享读合并 Ø 协程池化 Ø 调度均衡 Ø SOFARPC深度优化 Ø TLS官方库IO优化 Ø HTTP1.1/HTTP2.0 IO优化 Ø 日志操作异步化&多次合 并 Ø 基于RCU的高性能配置更 新安全 & 可观察性 0.1.0 0.2.0 0.3.0 0.4.0 Ø mTLS支持 Ø 支持inspector探测 Ø TLS扩展支持,支持自定义 证书获取 Ø RBAC Ø Gateway MOSNG Serverless 高性能统一转发平面 下一代微服务体系 下一代网络接入系统 运维/流量调拨/监控/… 零信任 安全体 系 基于可靠沙箱的云原生运行时 异构硬件蚂蚁金服内部大规模落地 Ø覆盖核心链路应用 Ø 支撑第五代运维架构, 第五代微服务体系,新一代网络接入体 系,融合接入层、网关层、中间件技术体系,提供高性能、跨语 言的服务化通信能力 Ø 支撑零信任、微隔离的新一代安全防护体系0 码力 | 29 页 | 7.03 MB | 6 月前3
sealos 以 kubernetes 为内核的云操作系统磁盘同等IO能力 , 可以把整个集群像Docker 一样打包,一键交付 , 有轻量化、超高性能、极易管 理等特点 自研 负载均衡器, 可支撑超大规模数万节点 集群运行 ,运行速度全球领先,毫秒级发布 更高稳定性 实现安全隔离 轻量化 数万节点集群运行 运行速度 全球领先 超高性能 极易管理 使用场景 私有云 完全 离线 公有云 注册 使用 自助 服务 一键 构建 Containerd/cloud hypervisor/firecracker 短链路/强隔离/高安全性 存储 Openebs/sealfs 块隔离同时享有本地存储性能 网络 cilium 高性能,可计量 网关 Higress 稳定性,reload 不中断,大规模 数据库编排 kubeblocks 稳定性,充分破坏性测试 Sealos 技术选型 基于区块链的统一认证与支付系 统。 公司任何其它产品和系统都可接0 码力 | 29 页 | 7.64 MB | 9 月前3
新一代云原生分布式存储延迟取决于所有副本中最快的大多数主要亮点 高性能 更稳定 跟各 更稳定 具备可视化的开发页面, 直观查看任务运行情况, 数据开发方便,系统运 维方便 易运维 具备可视化的开发页面, 直观查看任务运行情况, 数据开发方便,系统运 维方便 高质量 基于在架构上的选择和优秀的工程实践,Curve 在性能、运维、稳定性、工程实践质量上都优于Ceph主要亮点 — 高性能 测试环境:3台服务器*8块NVME, 测试环境:3台服务器*8块NVME, Intel(R) Xeon(R) Gold 5318Y CPU @ 2.10GHz ,256G,3副本,使用自带fio 高性能 NVME 块存储场景,Curve随机读写性能远优于Ceph 单卷 多卷主要亮点 — 易运维 运维场景 Curve Ceph 加盘 对IO无影响 秒级io影响 服务端升级 对IO无影响 重启管控面IO无影响,重启osd io秒级影响 客户端升级0 码力 | 29 页 | 2.46 MB | 6 月前3
共 74 条
- 1
- 2
- 3
- 4
- 5
- 6
- 8













