PromQL Got a BOOST: 用 Rust 重写 Prometheus 的查询引擎第三届中国 Rust 开发者大会 PromQL Got a BOOST: 用 Rust 重写 Prometheus 的查询引擎 Ruihang Xia @greptime.com Ruihang GitHub: waynexia Losing hair at Greptime Wanna sleep 10 hrs/day Learn JS every year Healing0 码力 | 39 页 | 6.95 MB | 1 年前3
Rust在物理引擎研发中的应用 崔汉青第三届中国Rust开发者大会 Rust在物理引擎研发中的应用 崔汉青 Motphys CEO Motphys 驱动虚拟世界的全部运动 体验 应用 基础应用: 内容生成工具、 交易市场等 基础硬件: 5G/6G、 半导体、 VR/AR等 基础软件: 渲染引擎、 动作物理引擎等 静态表现力 动态表现力 渲染技术 动作物理技术 动作技术 Motion 物理技术 Physics 保证每个目标平台的极致性能 跨端确定性 – 保证所有目标平台计算结 果完全一致 具备分布式能力 – 通过横向扩展突破单 机物理算力的上限 Motphys 物理引擎的设计目标 Rust 的性能和 C/C++ 比肩,支持 SIMD 优 化,满足苛求性能的引擎研发需求; Rust 的零开销抽象甩掉了复杂设计的性能包袱 # 高性能 Rust 在不损耗性能的情况下,其优秀的语 法设计保证了语言的强大表达力:用更少 在语法层面极大程度保证了内存安全 和并发安全 语言内建的 async/await,还有优秀的 crates rayon(计算密集型并发支持)和 tokio(IO 密集型并发支持) 为什么选择 Rust Motphys 物理引擎架构 Broad Phase Narrow Phase Candidate Collision Pairs Manifold Build Collision Pairs Collision0 码力 | 22 页 | 1.18 MB | 1 年前3
美团点评2018技术年货王粲,2018年11月加入美团,任职美团高级工程师,负责美团DSP系统后端基础架构的研发工作。 崔涛,2015年6月加入美团,任职资深广告技术专家,期间一手指导并从0到1搭建美团DSP投放平台,具备丰富的大 规模计算引擎的开发和性能优化经验。 LruCache在美团DSP系统中的应用演进 - 美团技术团队 霜霜,2015年6月加入美团,任职美团高级工程师,美团DSP系统后端基础架构与机器学习架构负责人,全面负责 的一个词是“快”,Strangeloop在对众多的网站做性能分析之后得出了一个著名的3s定律“页面加载速度 超过3s,57%的访客会离开”,可见页面加载速度对于互联网产品的重要性。速度在Google、百度等搜索 引擎的PR评分中也占有一定的比例,会影响到网站的SEO排名。“天下武功,唯快不破”,套在性能上面 也非常适用。 性能指标 性能指标 性能优化是个系统性工程,涉及到后端、前端、移动端、系统网络及各种基础设施,每一块都需要做各自 前端优化我们主要做了下面几件事情: 前后端分离 图片优化 域名收敛、减少请求 离线化 首屏Node后端同构渲染 前后端分离 前后端分离 在之前的项目中,页面是“Java直出”的方式,由Java后端项目中通过FTL模板引擎拼装,前端团队会维 护另外一个前端的项目,存放相应的CSS和JS文件,最后通过公司内部的Cortex系统打包发布。 这个流程的问题在于前端对于整个页面入口没有控制力,需要依赖后端的FTL拼装,页面的内容需要更改0 码力 | 229 页 | 61.61 MB | 1 年前3
Build a lightweight logging and tracing tool with Apache Arrow, Parquet and DataFusion 朱霜Duo Content Introduction • ID: Folyd • GitHub: @folyd • 博客: https://folyd.com • ⼯作:字节跳动 (⽕⼭引擎) Duo - Observability duet: Logging and Tracing https://github.com/duo-rs/duo Logging and Tracing Single instruction/multiple data (SIMD), vectorized processing, and vectorized querying • Adopt by OLAP and data warehouse systems • … Apache Arrow Apache Arrow • Field • Array • Schema • RecordBatch Free and open source file format • Language agnostic • Column-based format • Used for analytics (OLAP) use cases • Highly efficient data compression and decompression • Supports complex data types and0 码力 | 26 页 | 11.05 MB | 1 年前3
2.7 Golang与高性能DSP竞价系统MySQL使⽤用MyISAM引擎 • MySQL做分库、分表后还可以应付 • InfoBright是列存储 • InfoBright压缩率奇⾼高 • InfoBright使⽤用的是社区版 曝光统计服务 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • MySQL 不适合OLAP类应⽤用 •0 码力 | 51 页 | 5.09 MB | 1 年前3
1_丁来强_开源AIOps数据中台搭建与Python的作用告警 • 应⽤用编排 3 开源⽅方案选择与Python作⽤用 特定场景下特定的平台搭建选择及策略略以及Python的作⽤用 • ⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案 数据源与监控 - 容器器化架构为例例 物理理主机/VM层监控 容器器POD指标监控 容器器CaaS层资源监控 应⽤用层性能监控 应⽤用层 ⽇日志 指标监控 集成50+内置⽣态模块(⽇志与指标) • ⽀持容器类部署场景 其他OLAP选择: Druid • 性能优越: • PB级别规模 • 亚秒级OLAP系统 • 实时写⼊入与查询 • 组件⻆角⾊色较多,搭建较为复杂 • Json-QL(有SQL适配器器) • 不不⽀支持外Join、窗⼝口等 其他OLAP选择: Clickhouse • 性能优越: • 10亿+条规模⽐比商业软件快5倍0 码力 | 48 页 | 17.54 MB | 1 年前3
Go in TiDBof RPC work ● Keep high performance ● Tons of data ● Huge amount of OLTP queries ● Very complex OLAP queries ● External Consistency ● SQL is much more complex than KV Why TiDB choose Golang? ● Easy-learning queries in one session ● Introduce a cache in goyacc ● Resource pool OLTP & OLAP 8am 2pm 6pm 2am ETL Database OLTP OLAP Data Warehouse Is the data out-of-date? TiSpark Thanks! Contact me: wink@pingcap0 码力 | 22 页 | 1.01 MB | 1 年前3
2022年美团技术年货 合辑TensorFlow 在美团外卖推荐场景的 GPU 训练优化实践 855 CompletableFuture 原理与实践 - 外卖商家端 API 的异步化 879 工程效能 CI/CD 之流水线引擎的建设实践 912 美团外卖搜索基于 Elasticsearch 的优化实践 933 美团图灵机器学习平台性能起飞的秘密(一) 953 提升资源利用率与保障服务质量,鱼与熊掌不可兼得? 部署时优化 3.1 图优化 量化部署时,可以直接利用 TensorRT 的 PTQ 接口进行生成量化引擎,但是这种 方法往往精度损失较大。因此,一般要先进行 QAT,使量化模型精度满足业务需求, 然后导出带有“Quant”、“DeQuant”节点的 ONNX,最后再利用 TensorRT 构 建量化引擎。我们发现这两种方案最终生成的图结构并不相同,导致部署模型的实际 运行效率存在很大的差异,通常 还有较大差距。我们对此现 象进行了细致的分析,发现原因是 QAT 引入的“Quant”,“DeQuant”节点打破了 原有 TensorRT 的融合策略,导致了很多算子无法融合,从而影响了最终量化引擎 的性能。在这一节中,我们以 YOLOv6s_repopt 为例,展示一种定位具体瓶颈的图 优化方法。在量化实践中,图优化是一个很实用的手段,我们可以依法炮制,提升模 型的 QPS。 算法 <0 码力 | 1356 页 | 45.90 MB | 1 年前3
Go 构建大型开源分布式数据库技术内幕Scalability as the first class feature ● SQL is necessary ● Compatible with MySQL, in most cases ● OLTP + OLAP = HTAP (Hybrid Transactional/Analytical Processing) ● 24/7 availability, even in case of datacenter0 码力 | 44 页 | 649.68 KB | 1 年前3
Java 应用与开发 - Servlet 编程Servlet 示例 Servlet 的运行过程 1. 用户在浏览器请求 ServletURL 地址。 2. Web 容器接收到请求,检查是 Servlet 请求,将处理交给 Servlet 引擎。 3. Servlet 引擎根据 URL 地址检查是否有 Servlet 映射,如果 没有则返回错误信息给浏览器。 4. 有 servlet 映射时,先检查是否有实例在运行。 5. 如果没有实例运行,则创建 Servlet Servlet 示例 Servlet 的运行过程 1. 用户在浏览器请求 ServletURL 地址。 2. Web 容器接收到请求,检查是 Servlet 请求,将处理交给 Servlet 引擎。 3. Servlet 引擎根据 URL 地址检查是否有 Servlet 映射,如果 没有则返回错误信息给浏览器。 4. 有 servlet 映射时,先检查是否有实例在运行。 5. 如果没有实例运行,则创建 Servlet Servlet 示例 Servlet 的运行过程 1. 用户在浏览器请求 ServletURL 地址。 2. Web 容器接收到请求,检查是 Servlet 请求,将处理交给 Servlet 引擎。 3. Servlet 引擎根据 URL 地址检查是否有 Servlet 映射,如果 没有则返回错误信息给浏览器。 4. 有 servlet 映射时,先检查是否有实例在运行。 5. 如果没有实例运行,则创建 Servlet0 码力 | 50 页 | 725.36 KB | 1 年前3
共 234 条
- 1
- 2
- 3
- 4
- 5
- 6
- 24













