解决技术人成长路上的学习问题 学习解决方案 ☐ 扫一扫二维码图案，加我微信 ## 自我介绍 ## 周玉驰 硕士毕业于中科院 先后就职于华为，百度和医渡云 目前就职于贝壳找房 主要负责两个方向 房源策略算法 房客人关系图谱  ## 目录 83fec28f17d282f8f7818a6f8fdf8/p6_4.jpg) 200万 贝壳全部房源  98 门店平均房源  10-25 经纪人熟悉房源  2.1万门店 ## 挑战 找到好房难度大，成本高

## Curve质量、监控与运维 D I G I T A L S A I L 秦亦 网易数帆存储团队 Digital Sail Digital Digital Digital Digital Digital Digital Digital Digital Digital 01 背景 为用户服务——质量、监控和运维 02 Curve质量控制 质量管理体系 | 测试方法论 03 Curve监控体系 总体架构 | 指标生成 | 后端采集 | 可视化展示 04 Curve运维体系 Curve运维特性 | 运维工具 v1.0.0-rc0 ... ## Curve Curve 是网易针对块存储、对象存储、云原生数据库、EC等多种场景自研的分布式存储系统： ☐ 高性能、低延迟 ☐ 当前实现了高性能块存储，对接OpenStack和K8s 作为一个复杂的大型分布式存储系统，Curve需要利用科学的方法论和专业的工具，在整个软件生命周期内更好地为用户服务： ☐ 质量——向用户交付稳定可靠的软件； ☐ 监控——直观地展示Curve运行状态; ☐ 运维——保障Curve始终稳定高效运行。 ✓ 质量管理体系（设计、开发、review、CI） ## 质量 ✓ 测试方法论（单元测试、集成测试、系统测试） ✓ 监控架构 ## 监控 ✓ 指标采集、后端处理、可视化展示

a) 路由 b) 黑白名单 c）和认证鉴权集成 ## 服务间的通信 背景：为什么服务间通信重要？ • 每个微服务有自己的数据库（层） 服务架构应用的质量很大程度取决于服务的拆分的高内聚，低耦合，不了解服务间通信，无法做出高质量的拆分。 不同的业务，涉及的不同服务间通信有不同的要求 1. 关注事务性要求（ACID） 2. 关注对性能的要求 举例：商品维护和下订单是2个微服务，下订 性能要求不断优化，和不能引入Bug之间的矛盾。 2. “变态”级别的高可用性要求。 3. 声誉和法律风险。 4. 抢购体验 $ \rightarrow $ 商家的技术能力 $ \rightarrow $ 产品质量。 ## —加7 Pro首销一分钟销售额破亿 刘作虎紧急从海外调货 ![Image](/uploads/documents/f/e/4/4/fe442b94e27b6b25d09be1648acce2a5/p10_2 背景：开发商开盘时，让客户“抢购”其当前推售的所有房源，先抢到先得。 客户管理 Customer- manage 楼盘管理 realestate 抢购/下订单 House-order 用户中心 User-center 认证鉴权 login 管理客户的基本信息，录入客户的选房资格。 管理楼盘的基本信息，楼盘1-n 楼栋1-n 房源。 管理开售活动，进行开售时的抢购 用户查看

背景：开发商开盘时，让客户“抢购”其当前推售的所有房源，先抢到先得。 客户管理 customer- manage 楼盘管理 realestate 抢购/下订单 house-order 用户中心 user-center 认证鉴权 login 管理客户的基本信息，录入客户的选房资格。 管理楼盘的基本信息，楼盘1-n 楼栋1-n 房源。 管理开售活动，进行开售时的抢购 用户查看 用户查看自己的开售活动和抢房资格，管理查看收藏的房源，查看自己的抢房结果，用户和管理员登录/修改密码等功能。可扩展为多种登录方式。 ## 从客户管理应用谈起—简单性 ## 数据库 |表|内容|关键字段| |---|---|---| |customers|存客户的基本信息，包括名字，联系方式等|id, realname| |qualifications|存客户的购房资格，购房资格针对某 a) 路由 b) 黑白名单 c) 和认证鉴权集成 ## 服务间的通信 背景：为什么服务间通信重要？ • 每个微服务有自己的数据库（层） 服务架构应用的质量很大程度取决于服务的拆分的高内聚，低耦合，不了解服务间通信，无法做出高质量的拆分。 不同的业务，涉及的不同服务间通信有不同的要求 1. 关注事务性要求（ACID） 2. 关注对性能的要求 举例：客户维护和订单是2个微服务，订单系

工程效能 CI/CD 之流水线引擎的建设实践 912 美团外卖搜索基于 Elasticsearch 的优化实践 933 美团图灵机器学习平台性能起飞的秘密（一） 953 提升资源利用率与保障服务质量，鱼与熊掌不可兼得？ 971 标准化思想及组装式架构在后端 BFF 中的实践 992 外卖广告大规模深度学习模型工程实践 | 美团外卖广告工程实践专题连载 1013 数据库全量 SQL 分析与审计系统性能优化之旅 美团集群调度系统的云原生实践 1149 广告平台化的探索与实践 | 美团外卖广告工程实践专题连载 1161 数据 1193 Kafka 在美团数据平台的实践 1193 美团综合业务推荐系统的质量模型及实践 1218 业务数据治理体系化思考与实践 1233 数据治理一体化实践之体系化建模 1263 运维/安全 1277 数字化新业态下数据安全创新——Token 化 1277 的实验调研，我们发现，相较于 Anchor-based 检测器的复杂度而带来的额外延时，Anchor-free 检测器在速度上有 51% 的提升。 ## SimOTA 标签分配策略 为了获得更多高质量的正样本，YOLOv6 引入了 SimOTA $ ^{[4]} $ 算法动态分配正样本，进一步提高检测精度。YOLOv5 的标签分配策略是基于 Shape 匹配，并通过跨网格匹配策略增加正样本数量

卡的加速，业界和美团内部都有比较好的实践。美团也提供了高性能的 TF-Serving 服务（参见《基于 TensorFlow Serving 的深度学习在线预估》一文）以及自研的 MLX 模型打分服务，都可以进行高性能的 Batch 打分。基于此，我们针对不同的模型，采取不同的策略： - 深度学习模型：特征多，计算复杂，性能要求高；我们将计算过程放到公司统一提供的 TF-Serving/MLX 预估服务上； - df0f624a5e70022348082/p14_1.jpg) Augur 启动时会加载所有特征的表达式和模型，一个模型预估请求 ModelScore- Request 会带来对应的模型名、要打分的文档 id（docid）以及一些必要的全局信息 Context。Augur 在请求命中模型之后，将模型所用特征构建成一颗树，并区分 ContextLevel 特征和 DocLevel 特征。由于 DocLevel Doc 维度，由于对每一个 Doc 都要加载和计算对应的特征，所以在 Doc 加载阶段会对 Doc 列表进行分片，并发完成特征的加载，并且各分片在完成特征加载之后就进行打分阶段。也就是说，打分阶段本身也是分片并发进行的，各分片在最后打分完成后汇总数据，返回给调用方。期间还会通过异步接口将特征日志上报，方便算法同学进一步迭代。 在这个过程中，为了使整个流程异步非阻塞，我们要求引用的服务提供异步接口。

ments/7/b/5/8/7b58a13dc048f4445e8d5567c733b603/p37_6.jpg) 弘善家园满二年商品房楼... 2室1厅|78.7m²|东北|弘善家园 VR房源 近地铁 房主活 369万 46,881元/平 ## no click 列表  亦庄北岸电梯南向两居室... 2室1厅 | 82.2m² | 南 | 亦庄北岸 必看好房 满五年 VR房源 377万 45,875元/平 

选房服务：customer-service 用户中心：user-service 支付中心：account-service 销售系统房源服务：product-service AcmeAirWebsite AcmeAirCustomerService 用户 生物公司 天气预报 销售系统房源服务 Project archive (请求缓存) Manager (网关) Bulletin board (服务注册中心)

和 Midjourney 这两大图像生成系统的出现, 极大地拓展和加速了 LLM 在计算机视觉领域的应用, 它们突破了传统图像生成方式的局限, 仅需要用户提供文字描述, 就可以生成高质量的数字艺术作品。它们的图像生成质量、样式多样性和用户便捷性都是极大的突破。这为广大的个人用户和创意行业提供了强有力的工具, 彻底改变了数字艺术内容的创作方式。同时, 它们也引发了人工智能在创作领域的伦理和法律讨论。LLM 2023 年 10 月，百川智能发布 Baichuan2-192K 大模型，上下文窗口长度高达 192K，号称是当时全球最长的上下文窗口，能够处理约 35 万个汉字。在上下文窗口长度、长窗口文本生成质量、长上下文理解以及长文本问答、摘要等方面的表现均全面领先 Claude2。 ## 用 “磁链链接” 发布的 Mixtral 8x7B ——全球首个开源 MoE 大模型 ## MISTRAL AI 年 12 月，有 “欧洲版 OpenAI” 之称的大模型创业公司——Mistral AI 用「磁链链接」开源了 87 GB 的 8x7B MoE 模型：Mixtral 8x7B。这是一个开放权重的高质量稀疏混合专家模型(SMoE)，采用 Apache 2.0 License 开源。在大多数基准测试中，Mixtral 的成绩都优于 Llama 2-70B，且推理速度提升了 6 倍。而且在大多数标准基准测试中超过

Transformer介绍 ■ Transformer摆脱了人工标注数据集的缺陷，模型在质量上更优、更易于并行化，所需训练时间明显更少 ■ Transformer通过成功地将其应用于具有大量和有限训练数据的分析，可以很好地推广到其他任务 ■ Transformer，它完全基于注意力机制，完全不用重复和卷积，因而这些模型在质量上更优，同时更易于并行化，并且需要的训练时间明显更少。 ■ Transform 对加权值向量求和，然后即得到自注意力层在该位置的输出。 |输入|Thinking|Machines| |---|---|---| |词嵌入|x1|x2| |查询向量|q1|q2| |键向量|k1|k2| |值向量|v1|v2| |打分|q1 • k1 = 112|q1 • k2 = 96| |除以8（√d k）|14|12| |Softmax|0.88|0.12| |softmax||| |乘以|v1|v2| |值向量||| |求和|z1|z2|