Envoy原理介绍及线上问题踩坑
Envoy原理介绍及线上问题踩坑 介绍人:张伟 Copyright © Huawei Technologies Co., Ltd. All rights reserved. Page 2 个人介绍 张伟 华为云容器网格数据面技术专家 拥有10年以上中间件及高性能系统开发经验, 作为架构师及核心开发人员发布过传输网管系 统、Tuxedo交易中间件、ts-server多媒体转码服0 码力 | 30 页 | 2.67 MB | 1 年前3一次线上java 应用响应时间过长问题的排查
链滴 一次线上 java 应用响应时间过长问题的排查 作者:xinzhongtianxia 原文链接:https://ld246.com/article/1569574881351 来源网站:链滴 许可协议:署名-相同方式共享 4.0 国际 (CC BY-SA 4.0)但是,现在问题来了,Full GC 回收不掉的对象都是啥啥啥?
分析 java 堆内存
先把线上流量从这台机器切走,然后 dump,分析后发现,一共 160 多万个 PoolHttpConnecti nManager 对象占领了绝大多数内存。
原文链接:一次线上 java 应用响应时间过长问题的排查
会议了一下代码,和 http 请求有关的只有 shutdown,才会清理 缓存。
想想这样设计也没问题,这和线程池的思想是一样的,我们使用线程池时,肯定不会每次都 new 一 新的,只不过这个 ossClient 隐藏的比较深。。。解决
解决办法很简单,把 OssClient 改成单例就行了。
但是,集团封网期间不允许上线,这。。。0 码力 | 3 页 | 247.74 KB | 1 年前32022年美团技术年货 合辑
与其他模型在不同分辨率下性能对比 算法 < 3 图 1-1 展示了不同尺寸网络下各检测算法的性能对比,曲线上的点分别表示该检测 算法在不同尺寸网络下(s/tiny/nano)的模型性能,从图中可以看到,YOLOv6 在精 度和速度方面均超越其他 YOLO 系列同体量算法。 图 1-2 展示了输入分辨率变化时各检测网络模型的性能对比,曲线上的点从左往右 分别表示图像分辨率依次增大时(384/448/512/576/640)该模型的性能,从图中可 图节点变化 我们测试了经过图优化的 QAT 模型,QPS 达到了 528,性能非常接近 PTQ 的 556,而且 mAP 依然保持优化前的 42.1%。 表 8 图优化后 QPS 对比 3.2 线上服务优化 我们在 NVIDIA T4 服务器上进行了端到端的吞吐测试,利用“多实例”并发处理的 技术,YOLOv6s_repopt INT8 QPS 达到了 552,相较 FP16 提升了~ 40%。我 40%。我 们对服务器的各项指标进行了监测,发现此时 T4 GPU 的利用率只有 95%,还有压 榨空间,而 16 核 CPU 利用率已经超过了 1500%,几乎满负荷运转。我们推测整个 线上服务的“瓶颈”可能在 CPU,而图片预处理会使用大量 CPU 资源。 表 9 服务器资源配置 算法 < 33 3.2.1 DALI 预处理 为了解决 CPU 预处理带来的“瓶颈”,我们采用了 NVIDIA0 码力 | 1356 页 | 45.90 MB | 1 年前32020美团技术年货 算法篇
模型差异:同一个特征,在不同的模型下,会有不同的处理逻辑。比如,一个 连续型特征的分桶计算逻辑一样,但“桶”却因模型而各不相同;对于离散特 征的低频过滤也是如此。 ● 迭代快:特征的快速迭代,要求特征有快速在线上生效的能力,如果想要改动 一个判断还需要写代码上线部署,无疑会拖慢了迭代的速度。模型如此,特征 也是如此。 针对特征的处理逻辑,我们抽象出两个概念: Operator:通用特征处理逻辑,根据功能的不同又可以分为两类: 据自己的需求定制逻辑。 算法 < 9 离在线统一逻辑:Transformer 是特征处理的模型相关逻辑,因此我们将 Trans- former 逻辑单独抽包,在我们样本生产的过程中使用,保证离线样本生产与线上特 征处理逻辑的一致性。 基于这两个概念,Augur 中特征的处理流程如下所示: 首先,我们会进行特征抽取 , 抽取完后,会对特征做一些通用的处理逻辑;而后,我们会根据模型的需求进行二次 变 取得更好的效果。如美团搜索与 NLP 中心的算法同学使用 BERT 来解决长尾请求商 户的展示顺序问题,此时需要 BERT as a Feature。一般的做法是离线进行 BERT 批量计算,灌入特征存储供线上使用。但这种方式存在时效性较低(T+1)、覆盖度差 等缺点。最好的方式自然是可以在线实时去做 BERT 模型预估,并将预估输出值作 为特征,用于最终的模型打分。这就需要 Augur 提供 Model0 码力 | 317 页 | 16.57 MB | 1 年前3敏捷开发/LIVE-211是什么,聊聊研发效能度量那些事儿
需求响应周期 持续发布能力 交付吞吐率 交付过程质量 交付质量 交付周期 开发周期 集成发布时⻓长 发布频率 单位时间交付需求数 创建/关闭缺陷分布 缺陷库存 单位时间线上缺陷 线上问题解决时⻓长 持续快速、高质量 地交付价值的能力 软件的交付过程 已选择 分析中 就绪 开发中 待测试 验收中 待发布 已发布 需求池 需求开发周期 需求交付周期 端到端价值流 需求响应周期 持续发布能力 交付吞吐率 交付过程质量 交付质量 交付周期 开发周期 集成发布时⻓长 发布频率 单位时间交付需求数 创建/关闭缺陷分布 缺陷库存 单位时间线上缺陷 线上问题解决时⻓长 从确认用户的需求,到需求上线的时长 这反应了团队(含业务、开发和运营等职能)对 客户问题和业务机会的响应速度 对需求进行澄清理解之后,可开发状态,到需求 可发布上线的时长 开发周期 集成发布时⻓长 发布频率 单位时间交付需求数 创建/关闭缺陷分布 缺陷库存 单位时间线上缺陷 线上问题解决时⻓长 单位时间的故障(线上缺陷)数 越少越好,尤其关注那些对业务造成重大影响的 故障,有非常明确的定级 线上问题,从发现到解决的时长 越短越好,线上问题得到解决的时长,也直接决 定了故障的定级 过程质量量 需求响应周期 持续发布能力 交付吞吐率0 码力 | 36 页 | 7.19 MB | 1 年前32019-2021 美团技术年货 前端篇
组件库 beeshell 2.0 发布 473 React Native 在美团外卖客户端的实践 506 Android 静态代码扫描效率优化与实践 530 Probe:Android 线上 OOM 问题定位组件 560 活动 Web 页面人机识别验证的探索与实践 580 React Native 工程中 TSLint 静态检查工具的探索之路 589 ESLint 在中大型团队的应用实践 在美团外卖商家端的储备 MTFlutter 是美团外卖搭建起的公司级 Flutter 研发生态,它的架构图如下图所示: MTFlutter 架构图 如图所示,MTFlutter 已涵盖研发、调试、测试、发布、线上运维及工程管理整套闭 环,同时落地了动态化解决方案,支撑了公司多个业务发展。在大前端融合的趋势 下,美团外卖商家端持续在探索更优的多端复用方案,通过 MTFlutter 生态的建设, 目前 Flutter CDN:Flutter 仅支持相对路径的加载方式,无法使用当前域名以外 的 CDN 域名,导致无法享受 CDN 带来的优势。 为此,在加载部分我们对 Flutter SDK 增加了如下三方面的优化,以达到线上运行的 标准,优化步骤如下图所示: 优化步骤 资源文件 Hash 化 除了 web/index.html 文件之外,我们要对所有的引用到文件进行 Hash 化。对 build_system/web0 码力 | 738 页 | 50.29 MB | 1 年前3美团点评2018技术年货
序 序 春节已近,年味渐浓。 又到了我们献上技术年货的时候。 不久前,我们已经给大家分享了技术沙龙大套餐,汇集了过去一年我们线上线下技术沙龙 99位讲师,85 个演讲,70+小时 分享。 今天出场的,同样重磅——技术博客全年大合集。 2018年,是美团技术团队官方博客第5个年头, 博客网站 全年独立访问用户累计超过300万,微信公众 号(meituantech)的关注数也超过了15万。 程数据和线上数据。对持久化的数 据,我们采用MySQL进行存储;对于缓存数据,我们采用了Redis的解决方案。这样数据层形成基本的两 级存储结构:MySQL保证了数据的持久性,Redis保证了数据获取的速度。 这里我们对底层数据划分为三个不同域:后台数据,相当于草稿数据,运营人员所有的操作都记录在这 里;流程数据,运营人员操作完成后,提供发布流程,预览及审核都在流程数据里进行;线上数据,审核 核 通过后,数据同步到线上数据,最终C端用户获取到的数据都是来源于线上数据。 谈到数据层,这里我们遇到了存储上的一个小问题。按城市运营的每条数据,都需要存储具体的城市ID列 表,其在数据库里的存储为 “1,2,3,4…… ”这样字符串。而这种数据存储在业务请求和条件过滤过程中, 存在着如下两个问题: a. 大数据存储对内存的消耗 a. 大数据存储对内存的消耗 美团、大众点评运营的城市成0 码力 | 229 页 | 61.61 MB | 1 年前3TiDB 开源分布式关系型数据库
提供数据传输加密与静态数据存储加密,借助虚拟私有网络 (VPC) 实现租户之间的安 全隔离。 。 专家级支持: PingCAP 的原厂工程师具有丰富的 TiDB 运维和调优经验,提供专家级的服务支持,为 用户线上业务保驾护航。 治意,确保业务连 PingCAP.COM o 。 26 。_ o 互联网金融带来的大数据量和高并发的挑战。系统投产之后,已经成功应对两次双十一挑战,2019 年 双十一闫峰的 QPS 达到 7500,是平时 QPS 的十倍以上。 在双十一期间,北京银行 IT 团队进行多次线上的运维操作,包括版本升级、打补丁等,利用TiDB 分布式 数据库的多副本特性实现“运维零中断”的操作。随着系统升级,北京银行的网联业务链,包括上游的手 机银行到网联、银联无卡快捷支付业务中台,到后台 理效率。 。 满足安全需求: 基于一致性算法保证交易数据的强一致性,依托数据日志的备份恢复能力,提升数 据可追溯性,满足监管要求,提高自动化运维能力。 *。 具备在线横向扩展能力: 在网联支付与线上贷款两个业务服务集群中,5 小时内实现 5 亿条数据的 在线扩缩容,整个过程对业务系统无侵入,保证了在线业务的连续性。 *。 提升金融服务能力: 分布式核心系统具备产品快速创新、差异化服务等能力,助力商业银行构建以0 码力 | 58 页 | 9.51 MB | 1 年前3Rainbond安装与运维原理解读
RAINBOND 线上培训(第九期) 2019/8/8 1. Rainbond安装与运维原理理解读 1.1 安装原理理 1.2 集群运维原理理 2. Rainbond安装与运维经验分享 2.1 常⻅见安装问题的排查 2.2 集群运维问题的排查 ⼤大纲 RAINBOND 线上培训(第九期) 2019/8/8 写在前⾯面 RAINBOND 线上培训(第九期) 健康检测的机制是什什么样的,失败了了会怎么样等等运维问题 RAINBOND 线上培训(第九期) 2019/8/8 1. RAINBOND安装与运维原理理解读 1.1 安装原理理 我除了会详细的讲解这篇⽂档,⽽且会以⼀个资深RAINBOND运维⼯程师的⾓度, 随时补充⽂档中没有体现的⼲货哦~~ RAINBOND 线上培训(第九期) 2019/8/8 1. RAINBOND安装与运维原理理解读 RAINBOND 线上培训(第九期) 2019/8/8 1. 同⼀一个节点可以复⽤用哪些属性 2. 服务组件依赖关系 3. rbd-dns 组件使⽤用技巧之下游dns服务器器设置 4. rbd-dns 组件使⽤用技巧之⽆无⽹网环境下解析域名 5. 组件配置如何⽣生效 6. 快速获悉组件⽣生效参数 1. RAINBOND安装与运维原理理解读 RAINBOND 线上培训(第九期)0 码力 | 12 页 | 311.60 KB | 1 年前3Rainbond服务日志管理
好⾬雨交付⼯工程师-郭逊 RAINBOND 线上培训(第⼋八期) 2019/7/31 1.Rainbond⾃自身的⽇日志管理理机制 2.对接 Elasticsearch 3.演示示例例 ⼤大纲 RAINBOND 线上培训(第⼋八期) 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 线上培训(第⼋八期) 2019/7/31 RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 线上培训(第⼋八期) 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 线上培训(第⼋八期) 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.2 Rainbond⽇日志收集原理理 RAINBOND 线上培训(第⼋八期) 2019/7/31 1 接收来⾃NODE服务的推送,⽤WEBSOCKET协议将⽇志内容推送到⽤户所操作的应⽤控制台。 RAINBOND 线上培训(第⼋八期) 2019/7/31 2.对接ELASTICSEARCH 1.1 思路路 1.3 实际配置 1.2 插件制作 RAINBOND 线上培训(第⼋八期) 2019/7/31 2.对接ELASTICSEARCH 1.1 思路路 以插件的形式,与应⽤⼀起运⾏⼀个0 码力 | 11 页 | 1.62 MB | 1 年前3
共 349 条
- 1
- 2
- 3
- 4
- 5
- 6
- 35