FB Messenger 架构介绍 - 覃超 1 Self introduction 2 Facebook & Messenger status 3 Evolution of Messenger architecture 4 Whatsapp?? Agenda Today - Facebook phone -> Facebook Home Android - Facebook Messenger

Apache ShardingSphere 高可用功能详解 & 实操演练 赵锦超 2022.08.06 01 赵锦超 Apache ShardingSphere Committer SphereEx 研发工程师 o 从事过电商、金融行业，热爱开源 o 目前专注于 Apache ShardingSphere 高可用 & 分布式治理的相关研发工作 02 Apache ShardingSphere

从开源 Istio 到企业服务 ——如何在企业中落地服务网格 From Istio OSS to Enterprise Service Mesh 宋净超（Jimmy Song） September 24, 2022 Shanghai, China Cloud Native Application Networking Secure, Observe and manage microservices

Bagging，计算多个较小隐层模型的平均结果， 快速对该类模型进行评估。使用 Kendall Rank 和 SpeedUp 平衡准确度与加速倍 率，得到合适的代理模型。最终通过代理模型得到了最优的超参数，然后再对最终的 大模型在搜索好的参数上进行模型训练。 具体详情，大家可参考团队 ICDE 2022 论文，AutoHEnsGNN: Winning Solution to AutoGraph 搜索，加快速度；得到的最优结果再进行小领域更详细网格搜索，缓解贪心策略导致 的局部最优。根据以往比赛经验，总结不同模型的超参重要性排序如下： ● LightGBM：学习率 > 样本不平衡率 > 叶子数 > 行列采样等。 ● DNN：学习率 >Embedding 维度 > 全连接层数和大小。值得一提的是，超参 搜索在整个迭代过程中会进行多次，同时迭代前期与迭代后期参数搜索策略也 有所不同，迭代前期，一般会选择更大的学习率，更小 模型融合：模型融合的关键点在于构造模型间的差异性，LightGBM 和 DNN 的模型本身差异性较大，同种模型中差异性主要体现在，数据差异、特征差 异、超参差异三个方面。数据差异主要通过自动化行采样实现，自动生成不同 数据采样的模型；特征差异通过自动化列采样，生成特征采样的模型；超参差 异通过高优参数扰动生成，在最优局部进行参数组网格局部扰动。模型融合方 56 > 2022年美团技术年货 法一般 Blending、Stacking

学 习 （ supervised learning）方式对数据进行二元分类的广义线性 分类器（generalized linear classifier），其决 策边界是对学习样本求解的最大边距超平面（ maximum-margin hyperplane） 。 与逻辑回归和神经网络相比，支持向量机，在学 习复杂的非线性方程时提供了一种更为清晰，更 加强大的方式。 支持向量 距离 5 策面），使得支持向量到该平面的 距离最大。 距离 7 1.支持向量机概述 背景知识 任意超平面可以用下面这个线性方程来描述： ?T? + ? = 0 二维空间点 (?, ?)到直线 ?? + ?? + ? = 0的距离公式是： |?? + ?? + ?| ?2 + ?2 扩展到 ? 维空间后，点 ? = (?1, ?2 … ??) 到超平面 ?T? + ? = 0 的距离为： |?T?+?| ||?|| 持 向量到超平面的距离为 ?，其他点到超平面的距 离大于 ?。每个支持向量到超平面的距离可以写 为：? = |?T?+?| ||?|| 8 1.支持向量机概述 背景知识 ?T? + ? = 0 ?T? + ? = 1 ?T? + ? = −1 ? = |?T? + ?| ||?|| 如图所示，根据支持向量的定义我们知道，支持向量到超平 面的距离为 ?，其他点到超平面的距离大于

创业公司的“AI
ChatBots”产品中排在第⼀；⽉环⽐增⻓率
94.1%，增⻓速度也在⼤模型创业 公司的第⼀位。
“Kimi
智能助⼿”详细介绍
Kimi
是由⽉之暗⾯（Moonshot
AI）提供的超⻓记忆
AI
助⼿，⽀持约
20
万汉字的上下⽂输⼊，具备 显著的中⽂优势，随时为你回答问题、速读⽂件、整理资料、激发灵感、辅助创作。你可以与
Kimi
聊 天，发送⽹址链接，上传⽂件。 提醒： ⾼效阅读：⻓⽂快速摘要，打破语⾔壁垒，帮你精准理解⽂献书籍、⻓篇报告、复杂合同、⽹⻚⻓ ⽂，提供深⼊洞察和分析。 • 专业解读⽂件：⽆论是⾦融分析、法律咨询还是市场调研，Kimi
都能以专业⽔准提供⽀持。超⻓⽂ 档、多个⽂件，都可以快速摘要、翻译、答疑，⽀持上传
PDF、Word、Excel、PPT、TXT⽂件和 图⽚。 • 整理资料：⽆论是堆积如⼭的发票，还是复杂冗⻓的会议记录，Kimi
都能智能识别整理，⾃动提取 新的⽹络结构、改进算法策略等等，对模型训练的各个 环节进⾏了上百项的优化，从⽽在千亿级参数下可以实现对超⻓⽂本的全⽂理解。 简单⽽⾔，Moonshot
AI并不通过当前滑动窗⼝、降采样、⼩模型等对效果损害较⼤的“技术捷径”来 实现⻓⽂本，⽽是研发基于⼤模型的⻓程注意⼒，以实现真正可⽤的超⻓⽂本技术。 让模型“记性”更好，会让⼤模型未来的应⽤场景拓宽不少。⽐如，律师、分析师等职业，就能让⼤

参考指南� � 静态视图� ������� � 一系列的类可以使用概括关系 和构建其上的继承机制来共享状态和行为描述 概括将 更特定的类 子类 和包含若干类共有属性的更一般化的类 超类 联系起来 类可能有 � 个或多个的双亲 超类 和 � 个或多个的孩子 子类 类从它的双亲或其它祖先继承状 态和行为描述 以及定义被孩子和其它后代继承的状态和行为 � 类在它的容器中具有唯一的名称 容器通常是包 但有时是其它的类 某个元素需要其它元素来完成功能� � � 关联关系描述了给定类的对象个体之间的语义连接 关联提供了不同交互类对象间的连 接 剩余的关系则相关于分类本身的描述 而非它们的实例 � 概括关系将双亲分类 超类 的一般化描述和更具体的孩子分类 子类 联系起来 概 括通过增量的声明方便了对分类的表述 增量的声明添加至从祖先继承而来的描述 继承 机制从使用概括关系的增量描述中构造分类的完整描述 概括和继承允许不同的分类共享 多个层次中的该类元素称为后 代 在上例中 贷款 贷款 贷款 贷款是双亲类 抵押贷款 抵押贷款 抵押贷款 抵押贷款是孩子类 概括用于分类 类 接口 数据类型 用例 活动者 信号等 包 状态机和其它元素 对于类 术语超类和子类分别用于双亲 和孩子 � 概括绘制为从孩子指向双亲的空三角形箭头 图 ��� 多个概括关系可以画成树状 即 一个指向双亲的箭头和若干至孩子的分支 � ��� 参考指南� � 静态视图� �������

2023年04月 深度学习-优化算法 黄海广 副教授 2 01 小批量梯度下降 本章目录 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 3 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 1.小批量梯度下降 4 小批量梯度下降 小批量梯度下降（Mini-Batch −1 ℎ ?(?) − ?(?) ?? (?) (同步更新?? ，(j=0,1,...,n )) 5 小批量梯度下降 6 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 2.优化算法 7 伦敦温度的例子 days temperature ?1 = 40°F ?2 = 49°F ?3 = 45°F 学习率设为? = 1 1+?????????∗epoch−num ?0 （decay-rate称为衰减率，epoch-num为代数，?0为初始学习率） 14 Pytorch的优化器 # 超参数 LR = 0.01 opt_SGD = torch.optim.SGD(net_SGD.parameters(), lr=LR) opt_Momentum = torch.optim.SGD(net_Momentum