Rust并行编译的挑战与突破 李原 2022年5月28日 • 相关浅谈 • Rust并行编译的挑战与突破 • 从并行编译到并行程序设计 • Rust社区与并行编译 目录 相关浅谈 Rust编译速度之殇 编译器设计造成编译速度缓慢 · 单态化 · 借用检查 · 宏展开 · MIR优化 ... Rust规模编译速度慢于C++ Rust编译速度之殇 提升编译效率成为近年社区重点工作 代码复杂度及健壮性 · benchmark资源限制 · profileing成本 ... 收益 > 代价？ Rust并行编译的挑战与突破 挑战：消减共享数据结构效率损失 共享数据结构的性能损耗问题 基于条件编译的共享数据结构实现 缺点：用户需自行生成编译器 挑战：消减共享数据结构效率损失 Specailization —— 基于GAT的共享数据结构实现 接口 入口 非共享 数据结构 执行结果 同一份代码 线程数为1 线程数大于1 同一份代码 缺点：业务代码带有泛型参数 挑战：消减共享数据结构效率损失 动态线程安全检查 —— 自动切换数据同步模式 数据结 构方法 数据 同步 数据 同步 返回结果 线程数为1 线程数>1 Lock 单线程 同步器 多线程 同步器 挑战：并行环境内存分配器的设计 allocator1 allocator2 allocator3

周遥 xuanyin.zy@alibaba-inc.com 阿里巴巴核心应用落地 Service Mesh 的挑战与机遇 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT自我介绍 •2010 四川大学毕业 •2010-2016 社区、我的淘宝、中间件软负载 •2016-2019 自主创业、挖财中间件负责人 •2019-今 阿里服务网格团队 专注软负载、服务治理、分布式；Nacos 专注软负载、服务治理、分布式；Nacos 奠 基人、《Service Mesh 实战作者》；爱好骑 行、钢琴•现状及行业态度 •带来的变化和发展机遇 •核心应用落地所克服的挑战 主题#1 现状及行业态度•时隔两月 Istio 发布了 1.4，迭代迅速 •国内 Service Mesh 相关书籍出版三本以上 •各大厂积极部署推进，蚂蚁金服影响力最大 •阿里巴巴实现对核心应用于双十一上验证 •云计算平台推出商业产品，但仍未普适 Service Mesh 打通技术鸿沟三位一体，构建经济共同体 技术社区 内部支撑 商业赋能 技术输入 反哺增强 标准化生产 场景验证#2 阿里巴巴在落地 Service Mesh 中遇到的挑战#1 在 SDK 无法升级的情形下如何实现应用的 mesh 化 •没有人力修改 RPC-SDK，应用不想升级 1. Istio 通过 iptables NAT 表所使 用到的 nf_contrack

可想而知，也很难保证分配的公平性。 排班方案选型 配送团队最终选用的是按组排班的方式，把所有骑手分成几组，规定每个组的开工时 段。然后大家可以按组轮岗，每个人的每个班次都会轮到。 这个问题最大的挑战是，我们并不是在做一项业务工具，而是在设计算法。而算法要 有自己的优化目标，那么排班的目标是什么呢？如果你要问站长，怎么样的排班是好 的，可能他只会说，要让需要用人的时候有人。但这不是算法语言，更不能变成模型 认为每一单和每个骑手的匹 配有不同的适应度，那么这个适应度并不是可线性叠加的。也就意味着多单对多人的 匹配方案中，任意一种匹配都只能重新运算适应度，其计算量可想而知。 总结一下，这个问题有三类挑战： 1. 性能要求极高，要做到万单对万人的秒级求解。我们之前做了一些比较有意 思的工作，比如基于历史最优指派的结果，用机器学习模型做剪枝。基于大 量的历史数据，可以帮助我们节省很多无用的匹配方案评价。 实数据和算法设计者的经验，学习和演进而得。只有这样，才能在性能要求 极高的业务场景下，快速的得到鲁棒的优化方案。 目前，美团配送团队的研究方向，不仅包括运筹优化，还包括机器学习、强化学习、 数据挖掘等领域。这里具有很多非常有挑战的业务场景，欢迎大家加入我们。 作者简介 圣尧，2017 年加入美团，美团配送团队资深算法专家。 算法 < 77 一站式机器学习平台建设实践 作者：艳伟 本文根据美团配送资深技术专家郑艳伟在

AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 年 AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 最受喜爱开源组织指2024年获得 Star 数最多的开源组织（成员5人及以上） 收获 Star 数方面，更加注重创 新和技术探索「民间」开源组织 更加「接地气」，受到了更多开 发者的喜爱。 虽然面临资源的挑战，但它们的 灵活性和社区驱动力使得它们获 得了更多开发者的支持。 9 / 111 本年度最活跃的开源组织 不同开源组织在 Issue 解决 和 PR 处理数量上的差异，反映了它 们在开发活跃度、社区参与度和 模型通过与 高通 GenAI 扩展的联合优化，在搭载骁龙 8 Gen 4 处理器的手机上实现了每秒 65 个 tokens 的推理速度，接近人类语音的平均输出速率。尽管存在电池续航和内存占用过大等挑战， 端上模型代表了 AI 技术隐私保护和成本优化的未来方向。中国在这一领域的探索，为行业提供 了宝贵经验。 推理扩展法则的潜力释放 通过推理扩展法则，模型性能可通过延长“思考时间”而进一步优化。这一技术模拟了人类

日志导致线程 Block 的这些坑，你不得不防 713 基于 AI 算法的数据库异常监测系统的设计与实现 775 目录 < v Replication（上）：常见复制模型 & 分布式系统挑战 792 Replication（下）：事务，一致性与共识 818 TensorFlow 在美团外卖推荐场景的 GPU 训练优化实践 855 CompletableFuture 原理与实践 路，从而提升运行速度。但现有的训练后量化方法，不能很好应对多分支结构带来的 剧烈变动的数值范围，导致量化后产生严重的精度损失 [3]。另外，如何针对多分支结 构设计量化感知训练（QAT）方法也面临着较大的挑战。蒸馏常被用来辅助 QAT 提 升性能，但如何应用 2D 目标检测的蒸馏方法来辅助 YOLOv6 模型的量化，也需要 设计合理的方案在实际应用中进行检验。 18 > 2022年美团技术年货 图 55%。 此外，由于重参数化结构在训练和部署时结构不同，因此无法直接适配现有的量化感 知训练（QAT）方法，如何使用 QAT 方法来提高 YOLOv6 量化模型的精度，同样存 算法 < 19 在着挑战。近期，一篇重参数化优化器的工作 RepOpt [3] 较好地解决了重参数化结构 的量化问题。 2.1.1 RepOpt RepOpt [3] 对重参数化结构量化困难的问题进行了研究，发现重参数结构的分支融合

QCon金牌讲师，QCon优秀出品人 目录 ① 行业趋势分析 ② 多云下运维的挑战 ③ 多云平台架构如何设计？ ④ 困难以及挑战 资源统一管理 监控 账单 ⑤ 未来的展望 行业趋势分析 2017 年主流公有云故障 2018 年主流公有云故障 2019 年主流公有云故障 1% 的机率毁掉一家公司 行业趋势分析 多云下运维的挑战 Nginx Nginx LVS LVS Nginx Nginx DB DB Ngx Ngx LVS LVS Ngx DB DB Ngx Ngx LVS LVS Ngx DB DB 业务架构不不断演变 多云下运维的挑战 Ngx Ngx LVS LVS Ngx DB DB Region Ngx Ngx LVS LVS Ngx DB DB 机房 Ngx Ngx LVS LVS Ngx DB DB 海海外 云故障时，影响不及时 云故障时，影响不及时 —〉 不可控 集中式监控成本高 —〉 难统一 排查定位问题成本高 —〉 跨度大 业务成本难以核算 —〉 账单难处理 。。。 多云下运维的挑战 Gartner：云管理平台需要具备多云管理、自服务、计量计费、资源弹性及服务编排， 能够自动化部署和配置相关资源，可以与企业现有IT管理系统集成的服务化能力 云管平台架构设计 私有云 公有云 虚拟化 接⼝口适配

活地配置，是我们团队面临的重大考验。在这种背景下，大众点评移动开发组必须要打造一个稳定、灵 活、高效的运营配置平台。本文主要分享我们在建设高效的运营配置平台过程中，积累的一些经验，以及 面临的挑战和思考。 运营资源 运营资源 简单而言，运营资源可以理解为App中经常变动的一些广告、运营活动等等，譬如下图中电影首页顶部的 Banner位，就是一个典型的运营资源。对于这类运营资源，它们有如下明显特征： SDK方案的平均线为0.0是因为统计时舍入引起的，真实值其实非常小。 八、总结与展望 八、总结与展望 本文通过美团点评移动运营平台的实践，详细介绍了我们在打造稳定、灵活、高效的运营配置平台过程中 遇到的问题和挑战，同时本文也提供我们的解决思路：通过数据JSON化，运营流程化，接口SDK化分别 解决了运营平台的灵活性、高效性和稳定性。APPKIT帮助产品、运营和研发提升C端的开发和运营效 率，加速产品的迭代进程。 项目的架构设计。专注于 高性能、高稳定、大并发系统的设计与应用。 小龙，目前为APPKIT项目负责人，主要负责APPKIT项目开发、技术对接和实施、开放平台等。专注于前后端全栈技 术开发，喜欢挑战新的技术和业务问题。 CAT 3.0 开源发布，支持多语言客户端及多项性能提升 - 美团技术团队 CAT 3.0 开源发布，支持多语言客户端及多项性能提升 CAT 3.0 开源发布，支持多语言客户端及多项性能提升

是⼀个统计概率模型，它能通往
AGI
吗？
杨植麟：统计模型没有什么问题。当
next
token
prediction
⾜够好的时候，它能够平衡创造性和事实 性。 事实性⼀般是对统计模型的挑战，但是今天的语⾔模型可以有⾮常尖峰的分布。让它回答“中国的⾸ 都”，模型对“北”这个字能给出
99%
的概率。同时，如果我今天让它写⼀本⼩说，那它可能下⼀个 词的概率分布就会很均匀。概率其实是⼀ 如果限定了问题，⽐如数学或者写代码，数据是相对好⽣成的。通⽤的问题现在还没有完全的解法， 但是存在⼀些⽅向可以去探索。
海外独⻆兽：2025
年的瓶颈会是能源？因为到时候单个集群规模很⼤，对能源带来挑战。
杨植麟：这些问题其实是连在⼀起的，最后可能是多模态解决数据问题，合成数据解决能源问题。 到了
GPT-6
这⼀代，掌握合成数据技术的玩家会体现出明显差距。因为数据其实有两种，⼀种是做
我们平时看⽉亮，都只能看到发光的⼀⾯，看不到背后，但是你会有⼀种很强的冲动，想要去探索神 秘的⽉球背⾯。 这和⼤模型很相似，你很想去探索⼀个神秘的、未知的东西。它很难，很有挑战性，同时⼜可以结合 很多摇滚的底层精神，不断地创新，不断地挑战事物已有的形状，去想象接下来可能会是什么样。 我们当时想了各种名字，最终选择了⽉之暗⾯和
Moonshot（登⽉计划）的中英⽂组合，它可以⽐较 好地去反映我们对于

光大银行 分布式数据库在光大银行关键业务系统的应用 中国光大银行是全国性股份制商业银行，在英国《银行家》杂志 2018 年发布的“全球 1000 家大银行 排名中，中国光大银行位列第 39 位。 业务挑战 传统集中式数据库受到单点架构的限制，造成处理能力的受限与风险的集中。随着两地三中心的建设，光 太银行计划采用分布式的方案对外提供服务。 数据库作为金融科技的重器，需要匹配银行业务的发展，不 断提升的处理性能，并且满足金融监管的要求。 位列中国区域性发展银行的首位，一级资本排名 全球干家大银行第 62 位，连续七年跻身全球银行业百强。 建设背景 随着互联网金融时代的到来，基于移动互联的高频访问场景成为常态，面对海量数据、高并发的挑战，北 京银行分布式核心系统采用“微服务架构 + 分布式数据库”的建设方案，构建起一套支持高并发、高可用 、可横向扩展的分布式核心系统解决方案。 2018 年起，该分布式核心系统对接网联支付清算平 同步 Binlog 的形式进行数据同步。 北京银行首先在网联支付清算平台和银联无卡快捷支付系统引入 TiDB 分布式数据库，以便更好地迎接 互联网金融带来的大数据量和高并发的挑战。系统投产之后，已经成功应对两次双十一挑战，2019 年 双十一闫峰的 QPS 达到 7500，是平时 QPS 的十倍以上。 在双十一期间，北京银行 IT 团队进行多次线上的运维操作，包括版本升级、打补丁等，利用TiDB