开源多集群应用治理项目Clusternet 在多点生活的云原生实践
陈鹏 开源多集群应用治理项目 Clusternet 在多点生活的云原生实践 陈鹏 多点生活 平台架构-基础架构工程师 个人简介 • 开源项目 MOSN 核心 Committer • 主要负责容器服务整体架构的设计与开发 • 主导 ServiceMesh 落地相关工作 目录 多集群管理现状 Operator 迭代 反思&重构 整体架构 • 多单元 • 多集群 • 多分组0 码力 | 22 页 | 17.18 MB | 1 年前3TiDB 开源分布式关系型数据库
o 5.3 物流 中通快递 - 从 Exadata 到TiDB HTAP 的升级之路 …37 5.4 零售 多点DMall- TiDB 助力新零售"业财一体化"运营 “039 5.5 互联网 小红书-TiDB HTAP 助力小红书业务升级“0 41 美国点评 -TiDB Operator 开启云原生运维的新时代 整体架构清晰,可维护性增强,显著降低总体成本。 PingCAP.COM 多点DMall TiDB 助力新零售“业财一体化" 运营 多点DMall 是全球领先的数字零售解决方案服务商,截止 2020 年 7 月底, 多点Dmall 已与 112 家连锁商超 达成合作, 覆盖全国 13000 多家门店, 多点 APP 注册用户已破亿。 业务挑战 多点DMall 业财一体化平台对接多点的店务 订单.POS 与进销存等十多个系统, NewSQL 数据库成为多点DMall 选型的方向。 解决方案 多点业财一体化平台采用三副本 TiDB、TiKV 与 PD 方案,同时部署 Tiflash 列存节点, 采用 TiDB DM 数 据同步主键实现 MySQL 数据同步到TiDB ,通过 TiDB Binlog 实现从TiDB 向 MySQL 的反向同步TiDB 4.0配备 Tiflash 列存副本, 为多点DMall 实时 OLAP0 码力 | 58 页 | 9.51 MB | 1 年前3Istio + MOSN 在 Dubbo 场景下的探索之路
多点生活在 Service Mesh 上的实践 Istio + MOSN 在 Dubbo 场景下的探索之路 陈鹏 多点生活 平台架构组研发工程师1/23 自我介绍 • 陈鹏、多点生活平台架构组研发工程师 • 开源项目与云原生爱好者 • 多年网上商城、支付系统相关开发经验 • 2019 年至今从事云原生和 Service Mesh 相关开发工作2/23 /01 /02 /03 为什么需要 场景下 的改造 • 对比传统微服务架构 • 和 Service Mesh 化 之后有哪些优缺点 • MCP • Pilot • xDS • MOSN 结合 Istio 的技术点, 介绍多点生活目前的 探 索 以 及 服 务 发 现 Demo 的演示3/23 为什么需要 Service Mesh 改造 /01 对比传统微服务架构和 Service Mesh 化之后有哪些优缺点4/23 数据面改造21/23 控制面适配 通过一个独立的进程(Adapter) • 对接注册中心 • 对接配置中心 • 连接多个集群 • 根据服务的信息结合配置信息下发对应的集群的资源22/23 多点Service Mesh改造架构图23/23 Demo 演示 说明 • 由于没有真正的注册,所以使用手动添加 ServiceEntry 的方式代替 Adapter 功能 • Listener0 码力 | 25 页 | 3.71 MB | 5 月前3分布式异地多活架构实践之路
场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 (单点写,多点读) 用户个性化数据同步、账号等 读写均衡 多主模式 (多点读写) 分布式日志收集等 写多读少 汇聚模式 (多点写,单点读) 内容统计指标获取、内容榜单等 读写均衡 混合模式 (多点写,单点读, 单点写,多点读) 非核心业务 老版本兼容服务、运营活动、配置、管 理平台、官网、论坛等 N/A0 码力 | 36 页 | 1.66 MB | 1 年前3百度APP基于Istio实现基础架构升级 - lightning talk - MichaelXu
多数模块对单点异常,慢节点等异常缺乏容忍能力,推动每个模块独立修复,成本高,上线周期长。 Ø 因重试导致雪崩,底层RPC框架需要重复建设来定制动态熔断能力。 Ø 升级一级服务建设中,发现很多模块单点、多点故障不能容忍,能否低成本解决? Ø 比如常用运维降级、止损能力各个产品线重复建设,方案差异大,OP期望运维能力在不同产品线之间能够通用化, 集中化管理,甚至做到自动决策 Ø 精细故障能力(异常 控制面板:Istio-Pilot组件,路由管理、通信 策略等功能 Ø 数据面板:envoy组件,流量转发、负载均衡 等功能. #IstioCon 收益 主要介绍如下几个方面: l 稳定性方面 (单点,多点,防雪崩,长尾优化,架构故障韧性能力) l 治理效率方面 (提升一级模块建成效率,二级模块预案能力) l 周边生态方面 (流量复制,稳定性工程,动态调参, 服务可观测性) l 覆盖率方面 (百0 码力 | 9 页 | 2.20 MB | 1 年前3高性能 Kubernetes 元数据存储 KubeBrain 的设计思路和落地效果-许辰
背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 性能优化 写优化 - 1 降低锁粒度 存储引擎替换 表锁 -> 行锁,增大了写的并发 写优化 - 2 单点写 -> 多点写 multi raft range 分片,增大写并发 Brain 层无磁盘 io,只有网络 io 写优化 - 3 事务优化 精心设计 key 格式 一个 k8s 对象的索引和数据在同一分区内 持续优化和完善系统 架构演进 • 目前所有消息严格要求有序 • 消息不重不丢、严格有序,所以写必须单点 • Kubernetes 本质是一个最终一致性的系统 • 关注单个对象的最终状态 • 分片多点写,避免写单点 • 分片内部消息严格有序 • 分片间消息可以乱序 • 读、写、watch 能力均可以水平扩展 欢迎交流 联系邮箱: xuchen.xiaoying@bytedance0 码力 | 60 页 | 8.02 MB | 1 年前3华为云深度学习在文本分类中的实践-李明磊
Cloud&AI 李明磊 3 2 3 1 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 4 文本分类介绍 内容: 买没几天就降价一点都不开心,闪存跑分就五百多点点 --- 外观漂亮音质不错,现在电子产品基本上都是华为的了 --- 汽车不错,省油,性价比高 --- 这个政策好啊,利国利民 --- 电子税务局无法登陆,提示404。--- Accuracy Precision Recall F1 score 和友商效果对比-社交领域 华为1 华为2 友商1 友商2 友商3 友商4 内容: 买没几天就降价一点都不开心,闪存跑分就五百多点点 --- 外观漂亮音质不错,现在电子产品基本上都是华为的了 --- 汽车不错,省油,性价比高 --- 这个政策好啊,利国利民 --- 19 细粒度情感分析 0.75 0.80 码力 | 23 页 | 1.80 MB | 1 年前301. 邓良驹 编写更安全的Python代码
*参考资料:“驹说码事” 《如何import一个不存在的对象》 https://mp.weixin.qq.com/s/0_ivKVDU-nKf3r-c96sqrA 利用 Bandit 检查代码 记不住那么多点?交给Bandit! https://github.com/PyCQA/bandit https://bandit.readthedocs.io/en/latest/ B101 assert_used0 码力 | 18 页 | 988.40 KB | 1 年前305. OpenKruise镜像预热实践_王思宇
的云原生应用自动化套件 • 阿里巴巴经济体上云全面使用的部署基座 社区用户: • 携程、OPPO、斗鱼TV、有赞、苏宁、比心、Boss直聘、申通、小红书、火 花思维、VIPKID、掌门教育、杭银消费、万翼科技、多点Dmall、佐疆科技、 享住智慧、艾佳生活、永辉科技中心、跟谁学、Deepexi、哈啰出行 • Lyft、Bringg、Arkane Systems、Spectro Cloud、Linkedin0 码力 | 28 页 | 5.78 MB | 1 年前3Redis 多数据中心双向同步 祝辰
Redis 的数 据存储有着强依赖. 机票的业务需要从 上游供应商处收集舱位信息, Redis 方便 的多种数据结构类型对于储存这种数据 比较方便. 同时由于供应商是在全球分布的特性, 就更需要一个能够多点写入的 Redis 集 群, 支持海外站点和国内站点同时进行读写; 并解决因此可能出现的数据一致性问题. 需求的产生 DRC 的概念是在近年来, 云计算兴起, 多站点部署的场景下, 延伸出来对于数0 码力 | 45 页 | 1.74 MB | 1 年前3
共 61 条
- 1
- 2
- 3
- 4
- 5
- 6
- 7