云原生时代分布式链路 追踪实践 2021-08 曲赛 (saiqu) 微服务架构的困境 故障定位难 极高的沟通和交接成本 错综难懂的模块依赖关系 链路梳理难 日志分散 定位过程“击鼓传花” 跨端性能瓶颈分析繁杂 性能分析难 缺乏对系统整体认知的把控 不合理的调用关系 不合理的直连存储 架构治理能力匮乏 云原生可观测性 3 4 Trace 标准规范 5 标准

是来源于 Development 和 Operations 的一个组合词， 顾名思义，是一系列过程、方法与系统的统称，旨在促进 开发、测试和运维人员之间的沟通与协作。 简单 激情 速度快 聚焦 极致 可信赖 ChatOps ChatOps 以聊天室，即沟通平台为中心，通过一系列的机器人去对接后台的各 种服务，工作人员只需要在聊天窗口中与机器人对话，即可与后台服务进行交 互，整个工作的展开就像是使唤一个智能助手那样简单自然。

年底面临的问题 ● 无法查询超过 30 天的数据 ● 查询慢，平均时间超过 2 分钟 ● 跨集群指标无法聚合 ● Prometheus 集群经常崩溃 ● 维护时 Prometheus 会丢数据 ● 成本高，需要大容量 SSD 磁盘 2021-2022 核心需求 可跨集群查询 长期存储 兼容 Prometheus 扩展性强 无侵入性 Why Thanos VS VS 架构 S3 Gateway Redis 2022 年底面临的问题 ● 超 100+ 倍数据点增长导致查询缓慢 ● 架构复杂，参数调优困难 ● 频繁 OOM ● 集群规模受制于 Prometheus ● 集群成本上升 2023 压测结果 VS ● CPU 使用低 1.7 倍 ● RAM 使用减少 5 倍 ● 存储空间减少了 3 倍 25K+ 1Mil 60Mil+ 业务指标数量 每秒写入数据点 Time Series 2023 年底指标数据 VictoriaMetrics 收益 ● 高性能，看板加载时间从 120s 降低到 10s ● 兼容 Prometheus，可以无缝迁移 ● 成本更低，只需要 thanos 的 50% 资源 ● 扩展性强，所有组件支持水平扩容 2023 年底架构 VictoriaMetrics 架构 VMStorage VMSelect VMInsert

GoFrame是一款模块化、高性能、企业级的Go基础开发框架。 • 模块化、松耦合 • 模块丰富、开箱即用 • 简洁易用、快速接入 • 文档详尽、易于维护 • 自顶向下、体系化设计 • 统一框架、统一组件、降低选择成本 • 开发规范、设计模式、代码分层模型 • 强大便捷的开发工具链 • 完善的本地中文化支持 • 设计为团队及企业使用 特点 框架介绍-框架架构 • 发布方式：Docker、二级制、源码模块 痛点： • 实现相同功能逻辑的模块百花齐放，选择成本过高 • 项目依赖的模块过多，项目整体的稳定性会受到影响 • 项目依赖的模块过多，无从下手是否应当升级模块版本 • 各个模块孤立设计，单独看待每个模块可替换性很高， 开发体系难以建立，开发规范难以统一 模块化设计-模块聚合设计 • 框架核心维护较全面的通用基础模块，降低基础模块选择成本 • 我们只需要维护一个统一的框架版本，而不是数十个模块版本 自顶向下设计，保证框架各个组件高效的组织协调性，避 免重复功能逻辑，提高执行效率和易用性。 自顶向下设计，保证框架各个组件的设计思想及风格高度 一致，使得开发者能够快速学习和认知框架行为，降低接 入成本、提高维护效率。 统一框架设计-开发规范化 开 发 规 范 化 统一的框架设计，将会使得所有的业务项目按照统一的代码设计进行编码，形 成统一的开发规范。同时，框架的开发工具链也会使得开发规范更容易快速推

游戏战中陪伴助手微服务架构设计与应用 张敏 - AndruZhang 腾讯 - 高级后台工程师 目 录 功能介绍 01 早期探索 02 方案设计和工程实现 03 性能和成本优化 04 DevOps 建设 05 总结 & QA 06 功能介绍 第一部分 战中陪伴助手介绍——和平精英最佳第五人 战中陪伴助手介绍——和平精英最佳第五人 • 游戏战斗中指导 / 建议 • 敌人在附近 难以实现战略推荐 - 早期：先考虑有无 - 引入推荐系统 系统思考——如何评判方案的好坏？ 需要定义几个维度来评判一个方案的好坏 - 响应性能： 获取事件到输出策略的延迟 - 服务器成本： 每服务千人成本越低越好 - 运营简易度： 设计新运营策略的难度 - 开发迭代： 如需开发介入，那么功能迭代的速度 - 可解释性： 理由是否能否说服玩家遵从建议 - 对用户价值： 提升玩家体验 / 吃鸡率的帮助有多大 3～5 天 常驻人力 运营 1、开发 1、项目管理 0.5 运营 1 后台技术栈 Lua Go 代码理解成本 >10000 行代码 + 1500 行注释 135 行代码 + 82 行注释 + 开发模式文档 交接周期 未知（未交接过） 1 天（几位开发参与过） 持续测试 无 有 性能和成本优化 第四部分 贵 - 部署：腾讯云 TKE（Tencent Kubernetes Engine）；微服务

Problem Solver，聚焦中间件，容器，Kubernetes，PaaS平台… • OAM社区成员 开局一张图 规模化应用交付效率对比去年 每万笔峰值交易的IT成本对比4年前 提升1倍 下降80% 云原生 技术 稳定 成本 效率 云原生-程序员视角 基础设施 K8s 云原生生态（CNCF） 云原生应用 云原生是以容器技术为基础围绕着Kubernetes进行的一场技术标准化演进。通过标准可扩展的调度，网络， ，全面达到成本，效率，稳定性的优化。 4 6 7 2 3 5 1 1 Kubectl plugins 2 Apiserver extension 3 4 5 6 7 Custom resources Scheduler extension Custom controller Network plugins Storage plugins 统筹规划， 降低成本 自动化运维， 开发者直接使用K8s的失败故事 • 认知成本高：K8s功能强大却没有统一的使用方式，不得不学习复杂的声明字段和各种奇怪的Annotation； • 稳定性不足：没有设置Pod的QoS等级，导致频繁被驱逐，没有设置反亲和性策略，导致节点流量不均; • 扩展效率低：需要负责安装，升级丰富的云原生插件，无法解决插件的依赖，冲突和资源浪费问题； • 运维成本高：Apiserver, etcd, Controller-Manager

06A0SM4Q00.html 图片来源： https://www.zhihu.com/question/55912398/ answer/147967674 Service Mesh 的初衷 6 • 升级成本高 • 业务解耦 • 平滑升级 • 异构语言治理 • 异构语言治理能力弱 • SDK 版本不统一 应用 SDK 服务路由 负载均衡 通信序列化协议 sidecar 应用 SDK 通信序列化协议 4 SOFA- config 基础设施 RPC Cache MQ Config 新的挑战 2：异构语言接入成本高 11 MOSN NodeJS 业务逻辑 RPC SDK 通信序列化协议 RPC SOFA-RPC 基础设施 新的挑战 2：异构语言接入成本高 12 MOSN NodeJS 业务逻辑 RPC SDK 通信序列化协议 RPC Cache MQ Config Config SOFA-RPC Redis SOFA-MQ SOFA- config 基础设施 X SDK 通信序列化协议 新的挑战 2：异构语言接入成本高 13 MOSN NodeJS 业务逻辑 X SDK 通信序列化协议 RPC Cache MQ Config python 业务逻辑 X SDK 通信序列化协议 go 业务逻辑 X SDK 通信序列化协议

Conn 难以探活, 维护连接池成本高 Go net 在 RPC 场景下的问题 2. BIO 式编程, 连接量大时, 调度开销大 1. Conn 难以探活, 维护连接池成本高 Go net 在 RPC 场景下的问题 2. BIO 式编程, 连接量大时, 调度开销大 1. Conn 难以探活, 维护连接池成本高 Go net 在 RPC 场景下的问题 场景下的问题 2. BIO 式编程, 连接量大时, 调度开销大 1. Conn 难以探活, 维护连接池成本高 业界调研 netpoll gnet easygo (sofa-mosn) evio go net Epoll(ET/LT) LT LT ET/LT LT ET NIO     ZeroCopy Buffer  Multisyscall  搭建 Netpoll

• 大型程序的组织 – C: 无namespace • 可测试能力 – C、python都有*Unit测试框架 • 错误检查能力 – C: 编译，core dump 调试成本 – Python: • 无编译，可用pylint做检查，易出低级错误 • 错误，exception C vs Python (3) • 上线和运维 –C: 可编译为独立可执行程序(包括依赖的库) BFE 为什么重写BFE • 现存问题 –修改成本高 • 事件驱动的编程模型：编码和调试难度大 • C语言本身的难度和开发效率 –配置管理方式落后 • 为单产品线设计，无法支持平台化要求 • 配置变更(修改、重载、验证)能力差 –变更和稳定性的矛盾 • 程序出core 技术选型：Go vs Nginx • 学习成本 • 开发成本 –并发编程模型：同步(Go) vs 异步(Nginx)

冷热可交换、策略可定制、内存可扩展，多种冷数据淘汰组件，自由组合 存储扩展，冷热数据交换 可自定义冷热数据交换策略 还能提供什么帮助？ 04. 降低硬件成本，降低依赖，保证稳定性 同样的性能，需要更少的硬件资源，降低成本 01 核心数据在本地，依赖少，更稳定 02 • 千万级内存对象，GC严重耗时，如何解决？ • 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ 倒排 业务快速增长 存储如何无限扩展？ 存储扩展 05. 业务数据已经超过1000万，海量数据下，如何实现冷热数据的交换 冷 热 新 系 统 历 史 数 据 冷数据、数据量多 缓存成本大、命中低、收益小 热 数 据 当前系统中的热点数据 命中率高 系 统 新 增 数 据 近期新增数据，较大概率命中 存储空间 缓存性能 冷热可交换，引擎可扩展 06. 冷热数据交换，通过栈式缓存结构，实现多级缓存策略 核心业务数据都缓存在本机内存中 依赖出现故障，我们的服务依然坚挺 框架优势 03. 主动式内存缓存框架，增加研发效率，为业务赋能  业务代码与框架代码分离，聚焦业务开发  缓存接入成本低，无需关注内部的管理，开箱即用  提供灵活的查询、过滤、排序、分页等接口，为查询业务赋能  开发者无需关注缓存与数据库的数据一致性，框架层面有保障  框架提供脚手架，框架代码自动生成，减少心智负担