2022年美团技术年货 合辑异通过高优参数扰动生成,在最优局部进行参数组网格局部扰动。模型融合方 56 > 2022年美团技术年货 法一般 Blending、Stacking 或简单 Mean Pooling 等,融合前进行需要进行 模型粒度剪枝(去除效果较差的模型避免影响融合效果)与正则化。 3.4 AutoML 框架近期实战:MDD Cup 2021 美团外卖图谱推荐 比赛冠军方案 在 2021 年 8-9 月美团举行的内部算法比赛 Spatial-temporal Gated DNN 更注重时空融合信息对于预 测值的影响,由于需要预测的时间序列问题,更侧重于不同的时间、空间信息有能够 将差异性建模充分。而在美团业务中的时空网络注重于细粒度刻画空间信息,源于不 同的球面距离,不同的区块位置影响大,需要多重信息深度建模。更多详情,大家 可参考团队的 CIKM 论文:Trilateral Spatiotemporal Attention 团队在搜索、推荐、广告、配送等业务的长期落地实践中,总结实 践经验,自主设计研发了图神经网络框架 Tulong 以及配套的图学习平台,较好地解 决了上述问题。 ● 首先,我们对当前流行的图神经网络模型进行了细粒度的剖析,归纳总结出了 一系列子操作,实现了一套通用的模型框架。简单修改配置即可实现许多现有 的图神经网络模型。 ● 针对基于子图采样的训练方式,我们开发了图计算库“MTGraph”,大幅优化0 码力 | 1356 页 | 45.90 MB | 1 年前3
美团点评2018技术年货..... 境外业务性能优化实践 91 ...................................................................... 美团广告实时索引的设计与实现 106 ...................................................................... 大众点评账号业务高可用进阶之路 123 件存储索引、数据文件节点过多以及随机 IO 恶化的 问题。 新版消息文件存储为了同时兼顾读写性能,引入了二级索引存储方案,对同一个应用的 IP 节点进行合 并,并且保证一定的顺序存储。下图是索引结构的最小单元,每个索引文件由若干个最小单元组成。每个 CAT 3.0 开源发布,支持多语言客户端及多项性能提升 - 美团技术团队 单元分为 4×1024 个桶,第一个桶作为我们的一级索引 Header,存储 Header,存储 IP、消息序列号与分桶的映射信 息。剩余 4×1024 - 1 个桶作为二级索引,存储消息的地址。 新版消息文件存储文件节点数与应用数量成正比,有效减少随机 IO,消息实时存储的性能提升显著。以 下为美团点评内部 CAT 线上环境单机消息存储的数据对比: 未来规划 未来规划 技术栈升级 拥抱主流技术栈,降低学习和开发成本,使用开源社区主流技术工具(Spring、Mybatis等),建设0 码力 | 229 页 | 61.61 MB | 1 年前3
C++高性能并行编程与优化 - 课件 - 06 TBB 开启的并行编程之旅每个任务包含 8 个元素 tbb::static_partitioner ,指定区间的粒度 创建了 2 个线程 2 个任务 每个任务包含 16 个元素 tbb::simple_partitioner 创建了 4 个线程 32 个任务 每个任务包含 1 个元素 tbb::simple_partitioner ,指定区间的粒度 创建了 4 个线程 8 个任务 每个任务包含 4 个元素 tbb::auto_partitioner 记录历史,下次根据经验自动负载均衡 tbb::simple_partitioner 粒度为 1 太细了,效果不好 tbb::static_partitioner 粒度自动变成 n / 4 ,效果好 tbb::simple_partitioner 粒度手动设为 n / 8 ,效果稍微更好一点 tbb::auto_partitioner 自动判断合适的粒度,效果也不错 例子:矩阵转置 使用合适的 grain 大小, 大小, simple_partitioner 比 auto_partitioner 快 3.31 倍 原因 • tbb::simple_partitioner 能够按照给定的粒度 大小( grain )将矩阵进行分块。块内部小区 域按照常规的两层循环访问以便矢量化,块外 部大区域则以类似 Z 字型的曲线遍历,这样 能保证每次访问的数据在地址上比较靠近,并 且都是最近访问过的,从而已经在缓存里可以0 码力 | 116 页 | 15.85 MB | 1 年前3
2020美团技术年货 算法篇效果、优势与不足,希望对大家有所帮助或者启发。 搜索优化问题,是个典型的 AI 应用问题,而 AI 应用问题首先是个系统问题。经历 近 10 年的技术积累和沉淀,美团搜索系统架构从传统检索引擎升级转变为 AI 搜索引 擎。当前,美团搜索整体架构主要由搜索数据平台、在线检索框架及云搜平台、在线 AI 服务及实验平台三大体系构成。在 AI 服务及实验平台中,模型训练平台 Poker 和 在线预估框架 上最大的连接人和服务的入口,覆盖了团购、外卖、电影、酒 店、买菜等各种生活服务。随着用户量快速增长,越来越多的用户在不同场景下都 会通过搜索来获取自己想要的服务。理解用户 Query,将用户最想要的结果排在靠 前的位置,是搜索引擎最核心的两大步骤。但是,用户输入的 Query 多种多样,既 有商户名称和服务品类的 Query,也有商户别名和地址等长尾的 Query,准确刻画 Query 与 Doc 之间的深度语义相关性至关重要。基于 任务(文本分类、序列标注、句间关系判断和机器阅读理解等)。美团 AI 平台搜 索与 NLP 部算法团队基于美团海量业务语料训练了 MT-BERT 模型,已经将 MT- BERT 应用到搜索意图识别、细粒度情感分析、点评推荐理由、场景化分类等业务场 景中 [2]。 作为 BERT 的核心组成结构,Transformer 具有强大的文本特征提取能力,早在多 项 NLP 任务中得到了验证,美团搜索也基于0 码力 | 317 页 | 16.57 MB | 1 年前3
C++高性能并行编程与优化 - 课件 - 07 深入浅出访存优化字节的跨步访问,都会导致数据全部被读取出来。而超过 64 字节的 跨步,则中间的缓存行没有被读取,从而变快了。 缓存行决定数据的粒度 • 结论:访问内存的用时,和访问的字节数 量无关,和访问的每个字节所在的缓存行 数量有关。 • 可见,能否很好的利用缓存,和程序访问 内存的空间局域性有关。 缓存行决定数据的粒度(续) • 所以我们设计数据结构时,应该把数据存 储的尽可能紧凑,不要松散排列。最好每 个缓存行里要么有数据,要么没数据,避 内部是 SOA ,而外部仍是一个 vector的 AOS—— 这种内存布局称为 AOSOA 。 • 缺点是必须保证数量是 1024 的整数倍, 而且因为要两次指标索引,随机访问比较 烦。 • 这里的 1024 并非随意选取,而是要让每 个属性 SOA 数组的大小为一个页 ( 4KB )才能最高效,原因稍后会说明。 AOSOA :注意,内部 SOA 的尺寸不宜太小 SOA 分开存”是没问题的。 • 而且 SOA 在遇到存储不是 vector ,而是稀疏的哈希网格之类索引有一定 开销的数据结构,可能就不适合了。这就是为什么王鑫磊最喜欢 AOSOA :在高层保持 AOS 的统一索引,底层又享受 SOA 带来的矢量化 和缓存行预取等好处……就是随机索引比较麻烦。 结构体剥离: https://blog.csdn.net/qq_36287943/artic 0 码力 | 147 页 | 18.88 MB | 1 年前3
Laravel 5.1 中文文档置指定的日期格式,你 可以在模型中重写 serializeDate(DateTime $date)方法,这样就可以在不改变字段存储格 式的情况下对格式化序列化的 Eloquent 日期字段有着更加细粒度的控制。 本文档由 Laravel 学院(LaravelAcademy.org)提供 6 Collection 类 sortBy 方法 sortBy 方法现在返回一个新的 collection app/Providers 目录下。 默认情况下,AppServiceProvider 是空的,这里是添加自定义启动和服务容器绑定的最佳 位置,当然,对大型应用,你可能希望创建多个服务提供者,每一个都有着更加细粒度的启 动。 应用目录结构 1、简介 Laravel 应用默认的目录结构试图为不管是大型应用还是小型应用提供一个好的起点,当然, 你可以自己按照喜好重新组织应用目录结构,Laravel 对类在何处被加载没有任何限制—— make:migration 命令时可以使用 --path 选项,提供的路径应该是相对于应用根目录的。 3、迁移结构 迁移类包含了两个方法:up 和 down。up 方法用于新增表,列或者索引到数据库,而 down 方法就是 up 方法的反操作,和 up 里的操作相反。 在这两个方法中你都要用到 Laravel 的表结构构建器来创建和修改表,想要学习 Schema 构 建器的更多有用方0 码力 | 307 页 | 3.46 MB | 1 年前3
FISCO BCOS 2.9.0 中文文档• 黑白名单机制:每个群组仅可接收相应群组的消息,保证群组间网络通信的隔离性;CA黑名单机 制可及时与作恶节点断开网络连接,保障了系统安全。 • 权限管理机制:基于分布式存储权限控制机制,灵活、细粒度地控制外部账户部署合约和创建、 插入、删除和更新用户表的权限。 • 支持国密算法:支持国密加密、签名算法和国密通信协议。 • 落盘加密方案:支持加密节点落盘数据,保障链上数据的机密性。 • 密 信存储、抽取、分析、审计、对账、监管等数据治理方面的关键能力。 • 区块链多方协作治理组件解决方案:可无缝适配FISCO BCOS的区块链治理组件解决方案。首批开 源的四个组件分别从私钥丢失重置、合约权限细粒度管控、私钥和证书的全生命周期管控等方面 着手,提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践Demo等交付物。 • 区块链应用开发组件解决方案:一套开放、轻量的开发组件集,覆盖智能合约的开发、调试、 更新 从流程、存储、协议三方面进行优化,提升性能。 1. 流程 • 异步提交RPC交易到交易池 • 并行化对交易池中交易的处理操作 • 优化特定数据的缓存策略 • 优化交易并行执行过程中锁粒度 • 优化部分对象的访问方式,减少拷贝花销 2. 存储 • 限制表名最大长度,从64调整为50 • 以二进制方式对区块数据和nonce数据进行编码存储 • 移除数据落盘阶段对部分表的排序和hash计算0 码力 | 1489 页 | 107.09 MB | 1 年前3
FISCO BCOS 3.6.0 中文文档• 黑白名单机制:每个群组仅可接收相应群组的消息,保证群组间网络通信的隔离性;CA黑名单机 制可及时与作恶节点断开网络连接,保障了系统安全。 • 权限管理机制:基于分布式存储权限控制机制,灵活、细粒度地控制外部账户部署合约和创建、 插入、删除和更新用户表的权限。 • 支持国密算法:支持国密加密、签名算法和国密通信协议。 • 落盘加密方案:支持加密节点落盘数据,保障链上数据的机密性。 • 密 信存储、抽取、分析、审计、对账、监管等数据治理方面的关键能力。 • 区块链多方协作治理组件解决方案:可无缝适配FISCO BCOS的区块链治理组件解决方案。首批开 源的四个组件分别从私钥丢失重置、合约权限细粒度管控、私钥和证书的全生命周期管控等方面 着手,提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践Demo等交付物。 • 区块链应用开发组件解决方案:一套开放、轻量的开发组件集,覆盖智能合约的开发、调试、 更新 从流程、存储、协议三方面进行优化,提升性能。 1. 流程 • 异步提交RPC交易到交易池 • 并行化对交易池中交易的处理操作 • 优化特定数据的缓存策略 • 优化交易并行执行过程中锁粒度 • 优化部分对象的访问方式,减少拷贝花销 2. 存储 • 限制表名最大长度,从64调整为50 • 以二进制方式对区块数据和nonce数据进行编码存储 • 移除数据落盘阶段对部分表的排序和hash计算0 码力 | 1489 页 | 107.09 MB | 1 年前3
FISCO BCOS 2.9.0 中文文档• 黑白名单机制:每个群组仅可接收相应群组的消息,保证群组间网络通信的隔离性;CA黑名单机 制可及时与作恶节点断开网络连接,保障了系统安全。 • 权限管理机制:基于分布式存储权限控制机制,灵活、细粒度地控制外部账户部署合约和创建、 插入、删除和更新用户表的权限。 • 支持国密算法:支持国密加密、签名算法和国密通信协议。 • 落盘加密方案:支持加密节点落盘数据,保障链上数据的机密性。 • 密 信存储、抽取、分析、审计、对账、监管等数据治理方面的关键能力。 • 区块链多方协作治理组件解决方案:可无缝适配FISCO BCOS的区块链治理组件解决方案。首批开 源的四个组件分别从私钥丢失重置、合约权限细粒度管控、私钥和证书的全生命周期管控等方面 着手,提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践Demo等交付物。 • 区块链应用开发组件解决方案:一套开放、轻量的开发组件集,覆盖智能合约的开发、调试、 更新 从流程、存储、协议三方面进行优化,提升性能。 1. 流程 • 异步提交RPC交易到交易池 • 并行化对交易池中交易的处理操作 • 优化特定数据的缓存策略 • 优化交易并行执行过程中锁粒度 • 优化部分对象的访问方式,减少拷贝花销 2. 存储 • 限制表名最大长度,从64调整为50 • 以二进制方式对区块数据和nonce数据进行编码存储 • 移除数据落盘阶段对部分表的排序和hash计算0 码力 | 1489 页 | 107.09 MB | 1 年前3
FISCO BCOS 2.9.0 中文文档secp256k1、sm2p256v1 安全控制 存储安全 支持落盘数据加密存储 通信安全 支持全流程SSL 准入安全 基于PKI身份认证体系 证书管理 支持证书颁发、撤销、更新 权限控制 支持细粒度权限控制 隐私保护 物理隔离 群组间数据隔离 隐私保护协议 支持群签名、环签名、同态加密 场景化隐私保护 机制 基于WeDPR支持隐匿支付、匿名投票、匿名竞拍、选择 性披露等场景 跨链协议 从群组中删除,保障了系统安全性。 黑白名单机制:每个群组仅可接收相应群组的消息,保证群组间网络通 信的隔离性;CA黑名单机制可及时与作恶节点断开网络连接,保障了系 统安全。 权限管理机制:基于分布式存储权限控制机制,灵活、细粒度地控制外 部账户部署合约和创建、插入、删除和更新用户表的权限。 支持国密算法:支持国密加密、签名算法和国密通信协议。 落盘加密方案:支持加密节点落盘数据,保障链上数据的机密性。 密钥管理方案:在落盘 [https://governance- doc.readthedocs.io/zh_CN/latest/]:可无缝适配FISCO BCOS的区块链治理组件 解决方案。首批开源的四个组件分别从私钥丢失重置、合约权限细粒度 管控、私钥和证书的全生命周期管控等方面着手,提供了可部署的智能 合约代码、易于使用的SDK和可参考的落地实践Demo等交付物。 区块链应用开发组件解决方案 [https://smartdev-doc0 码力 | 2649 页 | 201.08 MB | 1 年前3
共 348 条
- 1
- 2
- 3
- 4
- 5
- 6
- 35













