高性能 Kubernetes 元数据存储 KubeBrain 的设计思路和落地效果-许辰
本科和硕士毕业于北京大学计算机系 负责大规模 Kubernetes 系统的构建和优化 KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 • Kubernetes 规模增大 10 倍以上 公司业务快速发展 存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes etcd 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈? KubeBrain 1. 大脑 2. 谐音科比 Kobe Bryant • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1) 读 • 单 Key 读,提供线性一致性 • Range 扫描读,支持快照读,支持分页 写 • RingBuffer 中获取 增量事件,达到 最终一致性 逻辑层 – 选主 逻辑层 – TSO 接入层 接入层 客户端 客户端 K8s 元信息存储的需求 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 性能优化 写优化 - 1 降低锁粒度 存储引擎替换 表锁 -> 行锁,增大了写的并发 写优化 - 2 单点写 -> 多点写 multi0 码力 | 60 页 | 8.02 MB | 1 年前3Qcon北京2018-《以Null的处理、回调地狱的应对为例,看C#背后的问题解决思路》-Mads+Torgersen
0 码力 | 32 页 | 2.66 MB | 1 年前32022年美团技术年货 合辑
探索性建模:比赛前期,首先进行问题理解,包括评估指标与数据表理解,然后进行 基础的模型搭建,并线上提交验证一致性。在一致性验证过程中往往需要多次提交, 找到同线上指标一致的评估方式。探索性建模的核心目标是要找到迭代思路与方法, 所以需要对问题做多方面探索,在探索中找到正确的方向。 一般在非时序问题,采用 N-fold 方法构造多个验证集,并可以灵活变换生成种子, 得到不同的集合。而在时序问题,一般会采用滑窗方式,构造同线上提交时间一致的 结比赛中通用的建模方案,结合工业界方案介绍其与比赛的联系。希望文章中的一些 算法比赛相关经验能够帮助算法爱好者更好地参与竞赛,能为大家提供一些思路,启 迪更多的工程师与研究员在实际工作中取得更优结果。未来,我们团队将持续关注国 际算法竞赛,积极进行比赛思路与工业方案结合的尝试,同时也欢迎大家加入我们团 队,文末附有招聘信息,期待你的邮件。 算法 < 63 作者简介 胡可、兴元、明健、坚强,均来自美团广告平台质量预估团队。 度等功能。 7. 总结 本文介绍了美团搜索与 NLP 团队在图神经网络框架建设方面的实践经验,包括 GNN 模型归纳抽象、基本框架、性能优化,以及上层工具等方面的思考和关键设计。框架 的设计思路来源于业务落地所遇到的实际问题,例如针对大规模图的优化、多人协作 中的流程管理等;同时也吸收借鉴了学术界的最新研究进展,例如动态图的计算范式 等。除了技术层面的优化,框架的建设也得益于工程团队和算法团队的紧密配合,基0 码力 | 1356 页 | 45.90 MB | 1 年前3JAVA 应用与开发 - 高级类特性
��现�我们������� alarm() 的�����实现� 17 29 ������������������� O 思路一 ���������抽象类������来��继承��抽象类的 �类��������� 但是有的门并不一定需要具备报警功能。 ����� O 思路二 ���������接口������������的类���实 现��接口�的 open() � close()�也许这个类根本就不具备 open() 和 close() 这两个功能,比如火灾报警器。����� 18 29 ������������������� O 思路一 ���������抽象类������来��继承��抽象类的 �类���������但是有的门并不一定需要具备报警功能。 ����� O 思路二 ���������接口������������的类���实 现��接口�的 open() � close()�也许这个类根本就不具备 open() 和 close() 这两个功能,比如火灾报警器。����� 18 29 ������������������� O 思路一 ���������抽象类������来��继承��抽象类的 �类���������但是有的门并不一定需要具备报警功能。 ����� O 思路二 ���������接口������������的类���实 现��接口�的 open() � close()� 也许这个类根本就不具备0 码力 | 61 页 | 677.55 KB | 1 年前32019-2021 美团技术年货 前端篇
端都是使用公司统一提供的 SDK,在 API 设计 上具有天然的一致性,因此我们完全有能力在 Plugin Interface 层对齐所有接口,上 层业务逻辑只需按需做些兼容处理即可。埋点库 Web 端扩展的整体设计思路如下: ● 在业务项目的 web/index.html 文件中直接引入 Script 脚本并且进行初始化 (注意:引入 Script 的位置,需要放在 main.dart.js 前面)。 编译流程进行干预的难度。 三、整体设计 如前文所述,为了实现逻辑、渲染跨平台,Flutter 的架构设计及编译流程都具有一 定的复杂性。但由于各平台(Android、iOS、Web)的具体实现是解耦的,因此我 们的思路是定位各模块(Dart-SDK、Framework、Flutter_Web_SDK、flutter_ tools)的 Web 平台实现并寻求优化,整体设计图如下所示: 图 6 整体设计 ● 功能的支持。为此,我们提供了对这些长尾功能的定制能力(这些功能默认不开启, 但业务可配置),将未被启用长尾的功能进行裁剪。 通过上述分析可得,我们的思路就是对 Dead Code 进行二次剔除,以及对这些长 尾功能做裁剪。基于这样的思路,我们深入 Dart-SDK、Framework 和 Flutter_ Web_SDK 各个击破,最终将 JS Bundle 产物体积由 1.2M 精简至0 码力 | 738 页 | 50.29 MB | 1 年前32020美团技术年货 算法篇
始的线性模型、 树模型,再到近两年的深度神经网络、BERT、DQN 等,并在实践中也取得了良好 的效果与产出。 本文将与大家探讨美团搜索与 NLP 部使用的统一在线预估框架 Augur 的设计思路、 效果、优势与不足,希望对大家有所帮助或者启发。 搜索优化问题,是个典型的 AI 应用问题,而 AI 应用问题首先是个系统问题。经历 近 10 年的技术积累和沉淀,美团搜索系统架构从传统检索引擎升级转变为 核心排序逻辑中,能够使用各类线性模型的预估,同时也可以借助公司的技术能力, 进行深度模型的预估。关于特征抽取的部分,我们也简单实现了一套规则,方便算法 同学可以自行实现一些简单的逻辑。 算法 < 5 3. 预估框架思路的改变 3.1 老框架的局限 旧架构中模型预估与业务逻辑耦合的方式,在预估文档数和特征数量不大的时候可以 提供较好的支持。但是,从 2018 年开始,搜索业务瓶颈开始到来,点评事业部开始 对 跟所有新系统的诞生故事一样,老系统一定会出现问题。原有架构在少特征以及小模 型下虽有优势,但业务耦合,无法横向扩展,也难以复用。针对需求和老框架的种种 问题,我们开始构建了新的高性能分布式模型预估框架 Augur,该框架指导思路是: ● 业务解耦,设定框架边界:只做特征抽取和模型预估,对预估结果的处理等业 务逻辑交给上层处理。 算法 < 7 ● 无状态,且可以做到分布式模型预估,无压力支持数千级别文档数的深度模型0 码力 | 317 页 | 16.57 MB | 1 年前3CurveFS Copyset与FS对应关系
元数据分片的方式管理inode和dentry的元数据。inode的分片依据是fsid + inodeid,dentry的分片依据是fsid + parentinodeid。借鉴curve块设备的设计思路,(补充copyset的设计文档在这 ),curvefs的元数据分片仍然按照的copyset的方式去管理。 curve块存储的topo信息由PhysicalPool、LogicalPool、Zon 。 有两种思路 思路一:client在创建inode的时候,先去mds去获取一个inodeid,然后根据这个inode id找到服务这个inode的分片。出于性能上的考虑的,client可以一次从mds获取一批inode,这批inode用完了之后,再去mds去申请。 思路二:client在创建inode的时候,自己选择一个分片,然后由这个分片自己分配一个inode。采用这种思路,在create pyset,就选定了服务的3个metaserver。至于均衡上,创建inode的时候,轮流在这个fs的copyset 上进行创建。这种方式肯定不如curve块设备的方案分配的那么均衡。 结论:采用思路二,由分片管理fs 3.2 copyset fs共用吗? fs是否共用copyset,在实现上,只需要获取分片的时候把inodeid替换成fsid+inodeid的组合就行了。在获取inode和0 码力 | 19 页 | 383.29 KB | 5 月前3构建统一的云原生应用 可观测性数据平台
向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛:AutoTagging 3. 降低资源开销:MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. 统一的可观测性数据平台 telegraf 看云网更清晰 Simplify 数据 孤岛 资源消耗 telegraf 1. 可观测性数据平台的挑战 2. 解决数据孤岛:AutoTagging 3. 降低资源开销:MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. OpenTelemetry的方法 统一的上下文 以追踪为核心 CIDR IP地址 NATGW ALB … 1. 可观测性数据平台的挑战 2. 解决数据孤岛:AutoTagging 3. 降低资源开销:MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. MultistageCodec:采集 ➔ 存储 ➔ 查询 DeepFlow0 码力 | 35 页 | 6.75 MB | 1 年前3MySQL 8.0.17 调优指南(openEuler 20.09)
..........................................................................................1 1.3 调优思路................................................................................................... ... 9 MySQL 8.0.17 调优指南(openEuler 20.09) 目 录 2020-10-15 ii 1 调优概述 1.1 MySQL介绍 1.2 调优原则 1.3 调优思路 1.1 MySQL 介绍 MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle 旗下产品。MySQL是最流行的关系型数据库管理系统之一,在Web应用方面,MySQL 要反馈到后续的代码开发中 去。 ● 性能调优不能以牺牲代码的可读性和可维护性为代价。 1.3 调优思路 性能优化首先要较为精准的定位问题,分析系统性能瓶颈,然后根据其性能指标以及 所处层级选择优化的方式方法。 下面介绍MySQL数据库具体的调优思路和分析过程,如图1所示。 调优分析思路如下: 1. 很多情况下压测流量并没有完全进入到服务端,在网络上可能就会出现由于各种 规格(带宽、最大0 码力 | 11 页 | 223.31 KB | 1 年前3清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单
并做统计,找到各特征与核心 指标的关联,其中R1分析逻辑更加清晰严谨,而o3推理更加高效; Kimi k1.5推理逻辑清晰但分析能力相对较弱, Claude 3.5 sonnet能够提供分析思路但没有明确结论。 结论 测试结果受到数据样本、测试环境、AI抽卡、提示词模板等因素影响,仅供参考,无法作为决策制定、质量评估或产品验证的最终依据。 数据挖掘 1、读取即将上映的2025年电影数据集 Kimi k1.5 数据挖掘能力出色 快速读取文件数据,提取网址链接 长文本数据处理能力突出 爬虫数据采集存在代码错误问题 数据分析能力相对较弱 数据应用情况总结 新思路:优势互补,协同应用 Claude+DeepSeek 数据处理的“洗髓易筋” Claude 3.5 Sonnet 在文本提取 上较稳定,可用于数据清洗, DeepSeek R1 可确保数据完整性 常检测,Kimi k1.5 提供深度挖掘 的思路,助于更精准发现数据规律 Open AI+Kimi+Claude 数据呈现的“画龙点睛” Open AI o3mini 直接调用 DALLE 生成图表,Kimi k1.5 提 供 Python 代码支持,Claude 3.5 Sonnet 负责图表逻辑优化 数据采集 数据预处理 数据分析 可视化呈现 新思路:DeepSeek R1的数据应用0 码力 | 85 页 | 8.31 MB | 7 月前3
共 331 条
- 1
- 2
- 3
- 4
- 5
- 6
- 34