Golang⼤规模云原⽣应⽤管理实践 刘洋（炎寻） 关于我 • 毕业于中国科学技术大学，定居杭州 • 就职于阿里云-云原生应用平台团队 • Problem Solver，聚焦中间件，容器，Kubernetes，PaaS平台… • OAM社区成员 开局一张图 规模化应用交付效率对比去年 每万笔峰值交易的IT成本对比4年前 提升1倍 下降80% 云原生 技术 稳定 成本 效率 tes进行的一场技术标准化演进。通过标准可扩展的调度，网络， 存储，容器运行时接口来提供基础设施；通过标准可扩展的声明式资源和控制器来提供运维能力。两层标 准化推进了细化的社会分工，各领域进一步提升规模化和专业化，全面达到成本，效率，稳定性的优化。 4 6 7 2 3 5 1 1 Kubectl plugins 2 Apiserver extension 3 4 5 6 7 Custom 控制器设计（做什么） • 基于“可重构”状态机，开放的世界 • 不要修改资源声明 • 事件驱动+主动轮询 • 重试 + 幂等 • 自愈 • e2e测试 • Ginkgo BDD • Kind本地K8s集群 新的复杂度-最终一致性 status: … phase: succeed … • 过期的状态 • 版本冲突 • 业务及时性 status: currentBatch: 1

大规模分布式系统架构下调测能力构建之道 李鑫 大纲 分布式环境下开发的调测效率问题 应对之道 远程应用服务 契约测试 分布式消息服务 分布式缓存 分布式服务的“租户”隔离策略 总体调测框架实践 分布式环境下调测方法论 单体应用 服务化 微服务 小中型规模应用+小型团队 中大型规模应用+多团队协同 Cache DB NFS Load Balancer Balancer website website website server server server server (超)大型规模应用+契约协同 应用的发展演变历史 服务化后的问题 多团队协同的分布式环境下，不仅环境“重”，而且外部的服务是别的团队开发 的，你很难得到一个稳定、快速的外部服务提供环境，在此背景下进行功能/接口 调测存在如下困难： 开发依赖重 联调成本高 变动把控困难 调测能力的总体框架及实践展示 分布式环境下调测方法论 Q/A 联系方式： 李鑫 天弘基金 高级架构师 E-mail:lixin.storm@foxmail.com QQ:25893288 欢迎交流： 专注于大规模分布式应用及治理、中间件云化及服 务化(PaaS)、APM监控、基础开发平台、移动应用 平台、企业架构等技术领域。 个人公众号

大规模高性能区块链架构 设计模式与测试框架 Gopher Meetup 深圳站 2021 年 8 ⽉ 21 号 趣�科技 李世敬 目录 区块链概述 01 大规模高性能区块链架构设计介绍 02 基于Go插件的区块链性能测试工具 03 写在最后 04 区块链概述 4 趣链科技 版权所有 ©2016-2021 4 趣链科技 版权所有 ©2016-2021 4 趣链科技 版权所有 ©2016-2021 在区块链⽹络中的准 ⼊要求。且⾮许可链⽹络节点⼤都由业务相关的机构组成，造成架构上共识、合约、安全、权限等⽅⾯的不同 �可�架构 大规模高性能区块链架构设计介绍 15 趣链科技 版权所有 ©2016-2021 ⼤�模⾼性能区��架构⾯�的�� 大规模高性能 区块链架构设计 网络连通问题 数据孤岛问题 异构部署问题 性能扩展问题 之困局 ？ n 机构间数据难打通，不愿打通 n 公网内网、网关网闸情况复杂 多类型节点分层部署模式 1 3 动态⾃发现⽹络转发模型 2 ⼤规模组⽹⾼效共识算法 1.提⾼数据处理效率 2.提升终端异构性能⼒ 3.提供实时计算与验证服务 4.解决数据真实性“第⼀公⾥” 问题 ⾯向海量节点⼤规模应⽤场景， ⽀持1000+节点的⽣产级联盟链⽹络， 可以实现数⼗万个多类型区块链⽹络节点分层部署 技术简介 技 术 特 性 区块链平台关键技术-大规模组网模型 18 趣链科技 版权所有 ©2016-2021

大规模生产环境下的 Faster-CPython 主讲人： 王文洋 老板思维 已知：公司有xx个计算集群 每个集群有xxxxx个core Python进程占比xx% 如果：提升 10% 那么：可以节省 xx * xxxxx * xx% * 10%个core 降本 xx * xxxxx * xx% * 10% * n >> 我的工资 结论：。。。 Why

103 Nacos 账号权限体系 103 Nacos 认证机制 110 Nacos 前端设计 117 Nacos 前端设计 117 Nacos 性能报告 122 Nacos Naming 大规模测试报告 122 Nacos ⽣态 130 Nacos Spring 生态 130 Nacos Docker & Kubernetes 生态 137 Nacos 服务网格生态 148 Nacos 载。因为整个分布式架构需要有⼀个软负载来协作各个节点之间的服务在线离线状态、数据⼀致性、 以及动态配置数据的推送。这里面最简单的需求就是将⼀个配置准时的推送到不同的节点。即便如 此简单需求，随着业务规模变大也会变的非常复杂。如何能将数据准确的在 3 秒钟之内推送到每⼀ 个计算节点，这是当时提出的⼀个要求，围绕这个要求，系统要做大量的研发和改造，类似的这种 关键的技术挑战点还非常非常的多。本书就 阿里做开源大概有两个阶段，第⼀个阶段是 2018 年之前，取之于开源，反哺于社区，开源是⼀种 情怀，是⼀种文化，是⼀种展示技术影响力和技术实力的方式，包括我在内很多阿里技术人都是因 此影响加入。阿里凭借着互联网场景和规模的优势走在了时代的前列，完成了去 IOE ，创造了企业 级互联网架构等壮举，并且开源了很多自主产品如 Dubbo、RocketMQ、Tengine、Jstorm 等，产 生了巨大的影响力，在互联

17 7 次 KDD Cup&Kaggle 冠军的经验分享：从多领域优化到 AutoML 框架 37 图神经网络训练框架的实践和探索 66 图技术在美团外卖下的场景化应用及探索 83 大规模异构图召回在美团到店推荐广告的应用 102 美团搜索粗排优化的探索与实践 116 美团外卖推荐情境化智能流量分发的实践与探索 129 大众点评搜索相关性技术探索与实践 152 美团 SemEval2022 中的实践 992 外卖广告大规模深度学习模型工程实践 | 美团外卖广告工程实践专题连载 1013 数据库全量 SQL 分析与审计系统性能优化之旅 1048 数据库异常智能分析与诊断 1059 美团外卖广告智能算力的探索与实践（二） 1079 Linux 下跨语言调用 C++ 实践 1101 GPU 在外卖场景精排模型预估中的应用实践 1130 美团集群调度系统的云原生实践 1149 Ads Click Prediction 和 KDD Cup 2020 Debias- ing 比赛。二者任务都是面向用户下一次点击预估问题，但因为应用场景与背景的不 同，存在着不同的挑战：前者的数据规模庞大，涉及到数亿个用户在千级别数量异构 站点上的数十亿条浏览记录，对模型优化、融合有着严格的要求；后者则尤为关注推 荐系统中的偏差问题，要求参赛选手提出有效的解决方案，来缓解选择性偏差以及流

项目背景 项目背景 CAT（Central Application Tracking），是美团点评基于 Java 开发的一套开源的分布式实时监控系统。 美团点评基础架构部希望在基础存储、高性能通信、大规模在线访问、服务治理、实时监控、容器化及集 群智能调度等领域提供业界领先的、统一的解决方案，CAT 目前在美团点评的产品定位是应用层的统一 监控组件，在中间件（RPC、数据库、缓存、MQ 等）框架 已经覆盖了美团点评的外卖、酒旅、出行、金融等核心业务线，几乎已经接入美团点评的所 有核心应用，并在生产环境中大规模地得到使用。 2016 年初至今，CAT 接入的应用增加了400%，机器数增加了 900%，每天处理的消息总量高达 3200 亿，存储消息量近 400TB，高峰期集群 QPS 达 650万/秒。 面对流量的成倍增长，CAT 在通信、计算、存储方面都遇到了前所未有的挑战。整个系统架构也经历了 过采样聚合上报。采样聚合是对消息树拆分归类，利用本地内存做分类统计，将聚合之后的数据进行 上报，减少客户端的消息量以及降低网络开销。 通信协议优化 CAT 客户端与服务端通信协议由自定义文本协议升级为自定义二进制协议，在大规模数据实时处理场 景下性能提升显著。目前服务端同时支持两种版本的通信协议，向下兼容旧版客户端。 测试环境：CentOS 6.5，4C8G 虚拟机 测试结果：新版相比旧版，序列化耗时降低约 3 倍

⽤例评审 Jira / TAPD 等 Mock 数据 Postman Swagger JMeter 脚本、 CSV 脚本 MeterSphere Chrome 插件录 制脚本 压测集群 测试结果 测试报告 动态测试报告 配置 Job UI 登录 API 调⽤ 运⾏ 关联 对接⼝直接 进⾏压测 缺陷同步 接⼝ 导⼊ 上传 维护 管理 调⽤ MeterSphere MeterSphere 的核⼼功能设计 ⼀、测试跟踪 全场景的测试跟踪能⼒ ⼆、接⼝测试 灵活的接⼝⾃动化能⼒ 三、UI 测试 ⾃然语⾔的 UI ⾃动化测试 四、性能测试 ⼤规模的性能测试能⼒ 五、团队协作、融⼊ DevOps 融⼊业务交付线能⼒ 注：测试成熟度模型参考《持续测试⽩⽪书》。⽩⽪书中定义了测试成熟度的四个等级： Level 1:⼿动为主；Level Node-Controller 主机-3 Node-Controller 主机-N Node-Controller 虚拟机集群 Kubernetes 集群 接⼝⾃动化任务下发执⾏ 接⼝⾃动化转性能测试任 务下发执⾏ 调度机可以动态 扩容，适配团队 ⼤规模使⽤ 函数代码库 ● 兼容 JMeter 函数 ● 内置 MockJS 函数 ● ⾃定义脚本 ● 内置代码库管理