使用Rust与ClickHouse构建高效可靠的日志系统使用Rust与ClickHouse构建高效可靠的日志系统 刘炜 腾讯云(专有云) ## 大纲 · 自我介绍 系统介绍 整体架构 系统实现 遇到问题 ## 😍 ## ⼀ ⾃我介绍 ## 自我介绍 · 大龄码农 - 做过嵌入式/CDN/数据库开发 - 从C/C++到Rust • 现在在腾讯云(专有云)从事日志系统的开发 ## 系统介绍  ## 系统介绍 · 属于腾讯专有云PaaS平台(TCS) • 承接TCS底座日志 • 从Loki=>Menicus • 提供日志的搜索/报警/处理等功能 ## 系统介绍 • 为什么放弃 Loki • 资源占用过大 • 统计/计算能力比较弱 • 组件过多,排查问题比较困难 • 资源占用更小,性能更好 • 更友好的开源协议 ## 系统介绍 - 多种接入方式 - Agent - Client - 查询 - LogQL - OpenTSDB - 其他功能 - 多租户 - 自定义索引 - 多维度统计 - 鉴权 - ... ## 系统介绍 · 写入 • 每天 100G · 磁盘 • 压缩比0 码力 | 19 页 | 2.66 MB | 2 年前3
Rainbond服务日志管理## RAINBOND服务日志管理 好雨交付工程师-郭逊 ## 大纲 1. Rainbond自身的日志管理机制 2. 对接 Elasticsearch 3. 演示示例 2019-07-31T03:29:22.251Z INFO [monitoring] log/log.go:124 Non-zero metrics in the last 30s {"monitoring": "5":0.1844}}}}}} ### 1. RAINBOND自身日志管理机制 ### 1.1 日志界面  ### 1. RAINBOND自身日志管理机制 ### 1.1 日志界面  # 1.RAINBOND自身日志管理机制 ### 1.1 日志界面 首页 / 我的应用 / 服务日志对接Es示例 / NGINX NGINX 访问 关闭 管理容器 其他操作 最近1000条日志 2019-07-30T15:59:22.251Z INFO [monitoring] log/log.go:1240 码力 | 11 页 | 1.62 MB | 2 年前3
前端开发者指南(2017)Introduction 1.1 前端开发者是什么?1.2 2016前端开发回顾1.3 展望20171.4 第一部分.前端实践1.5 前端职称1.5.1 前端开发者所使用的技术1.5.2 前端开发技能1.5.3 前端开发者为...而开发1.5.4 团队里的前端1.5.5 全能型人才/全栈神话1.5.6 前端面试1.5.7 前端开发职位公示1.5.8 前端开发薪资1.5.9 9 前端开发者是如何诞生的1.5.10 第二部分:学习前端开发1.6 自学1.6.1 关于互联网/WEB1.6.1.1 学习Web浏览器1.6.1.2 学习域名系统(又叫DNS)1.6.1.3 学习HTTP/Networks(包括CORS和WebSockets)1.6.1.4 学习网页寄存(通称虚拟主机)1.6.1.5 学习前端开发1.6.1.6 学习用户界面/交互设计1 (JavaScript 对象表示法) 1.6.1.16 学习 JS 模板 1.6.1.17 学习静态网页生成器 1.6.1.18 通过JS学习计算机科学 1.6.1.19 学习前端应用架构 1.6.1.20 学习数据(例如,JSON)API 的设计 1.6.1.21 学习 React & Redux 1.6.1.22 学习渐进式 Web 应用 10 码力 | 164 页 | 6.43 MB | 2 年前3
OpenShift Container Platform 4.7 日志记录[Image](/uploads/documents/f/0/5/8/f058047a6bb5b564ffd8eb060ef4374c/p1_1.jpg) ### OpenShift Container Platform 4.7 日志记录 OpenShift Logging 安装、使用和发行注记 Powered by TCPDF (www.tcpdf.org) OpenShift Logging 安装、使用和发行注记 Enter owners. ## 摘要 本文档提供有关安装、配置和使用 OpenShift Logging 的说明,该 Logging 将汇总多个 OpenShift Container Platform 服务的日志。 ## 目录 第1章 RED HAT OPENSHIFT LOGGING 发行注记 ..... 7 1.1. 使开源包含更多 ..... 7 1.2. 支持的版本 ..... 7 1 弃用和删除的功能 ..... 8 1.2.1.2.1. Elasticsearch Curator 已被删除 ..... 8 1.2.1.2.2. 使用旧的 Fluentd 和旧 syslog 方法转发日志已被弃用 ..... 8 1.2.1.3. 程序错误修复 ..... 8 1.2.2. OpenShift Logging 5.0.9 ..... 9 1.2.2.1. 程序错误修复 .0 码力 | 183 页 | 1.98 MB | 2 年前3
OpenShift Container Platform 4.8 日志记录[Image](/uploads/documents/5/a/9/2/5a929cacb989bfad7a4ea2e6bae9886c/p1_1.jpg) ### OpenShift Container Platform 4.8 日志记录 OpenShift Logging 安装、使用和发行注记 Powered by TCPDF (www.tcpdf.org) OpenShift Logging 安装、使用和发行注记 ## 法律通告 本文档提供有关安装、配置和使用 OpenShift Logging 的说明,该 Logging 将汇总多个 OpenShift Container Platform 服务的日志。 ## 目录 第1章 LOGGING 发行注记 ..... 5 1.1 日志记录 5.4.9 ..... 5 1.2 LOGGING 5.4.8 ..... 7 1.3 LOGGING 5.4.6 ..... 8 1.4 LOGGING ..... 62 3.4 安装后的任务 ..... 69 第4章 配置日志部署 ..... 72 4.1 集群日志记录自定义资源 (CR) ..... 72 4.2 配置日志记录收集器 ..... 73 4.3. 配置日志存储 ..... 79 4.4. 配置日志可视化工具 ..... 93 4.5. 配置 OPENSHIFT LOGGING 存储 ...0 码力 | 223 页 | 2.28 MB | 2 年前3
PostgreSQL WAL日志解析与应用PostgreSQL WAL日志解析与应用 王硕 山东瀚高基础软件股份有限公司 ## CONTENTS Part 01 WAL 日志简介 Part 02 WAL 日志工作原理 Part 03 利用 WAL 日志我们可以做什么? ## Part 01 WAL 日志简介 www.highgo.com ## Write Ahead Log Files - WAL 日志一般存储在$PGD f37b8956629f5ab2ca83436c8eb/p4_1.jpg) - WAL 日志文件XLOG 文件是一个逻辑概念,每一个XLOG 文件,大小为4G(16*256),由256个segment组成; • Segment由2048个Block组成,其大小为16M; - Block为WAL日志的最小单位,其大小8k,由PageHeaderData、XlogRecord、XLogRecData组成。 prev, XLOG_HEAP_INSERT, rmid, crc Data:tupleid, infos oldtuples standby oldtuples ## Part 02 WAL 日志工作原理 ## Write Ahead Log Files  # 基于AngularJS的企业应用前端架构 徐飞 新浪微博:@民工精髓V ## 企业应用前端的特点 • 独占模式 • 重业务,轻视觉 - 界面规整,模式单一 • 键盘操作 • 逻辑复杂 • 加载速度的侧重不同 - 浏览器版本相对宽松 ## 传统的B/S企业应用前端 • B/S企业软件常用的展现层技术 - HTC 在浏览器端扩展标签 - - JSF等 在服务端生成界面 - GWT 编译阶段生成界面 – ExtJS 用JS封装界面组件 – Flex等 脱离HTML体系,另辟蹊径 • 业务逻辑 - 放后端比放前端的多。。。 ## 流行过什么样的技术 ## 獭吃馍香 →_→三大权在感慨过去,别忘了还有能跨帧显示的 项popup呢,b/s第四宝@民工精髓V:HTC,VML,XMLHTTP,那个时代企业B/S应用的三件宝,也有人 ## • 单页应用 - 每个功能都是部件 - 动态加载 - 整个系统共享一个作用域 ## 单页应用架构  ## 前端的分层 • 为什么单页应用一定要分层? - 前端逻辑有一定规模,分层有利协作 - 便于保证数据的一致性 - 业务逻辑的复用0 码力 | 13 页 | 517.57 KB | 2 年前3
IMWebConf 2017 前端开发者大会# IMWebConf2017 前端开发者大会 尊敬的先生/女士,您好! IMWebConf2017 前端开发者大会将于2017年09月在深圳召开。 ## 会议内容 作为业内有一定影响力的专业前端技术交流大会,IMWebConf已经成功举办五届,累计探讨的议题超过上百个,线上线下参会者达数千人,累计影响前端爱好者超过数万人。 这是一次难得的和国内外以及腾讯前端大神面对面交流的机会。 ## W3C、微软、Google、腾讯、阿里等)的前端达人为我们带来最新前端技术的分享。 ## 关于我们: IMWebConf 是由腾讯 IMWeb 团队发起的专注于 Web 前端领域的非营利性开发者大会。 IMWeb团队专注前端领域多年,曾负责腾讯最核心的基础海量业务QQ统一登录、QQ注册、QQ群等,目前主要聚焦腾讯在线教育战略产品腾讯课堂及企鹅辅导的研发,并精心打造前端工程师Next学位,开启在线教育变革之路。 革之路。 我们的工程师们也多次在Qcon、Velocity等业界大会进行分享。我们有着丰富的前端经验,也热衷于技术的开源与分享。每年,我们都会举办自己的前端大会——IMWebConf。 ## 会议日程 大会流程: 7 8:00 - 9:30 签到 9:30 - 9:40 9:40 - 10:20 The image is too blurry to recognize any text0 码力 | 8 页 | 698.99 KB | 2 年前3
2019-2021 美团技术年货 前端篇## 2019 -2021美团技术年货 CODE A BETTER LIFE 【蓝紫篇】 “ 才 ## 目录 前端 | 2021 1 让 Flutter 在鸿蒙系统上跑起来 1 FlutterWeb 在美团外卖的实践 14 FlutterWeb 性能优化探索与实践 36 设计稿(UI 视图)自动生成代码方案的探索 56 美团外卖终端容器无关化研发框架 186 前端 | 2020 202 移动端 UI 一致性解决方案 202 美团外卖 Flutter 动态化实践 227 美团开源 Logan Web:前端日志在 Web 端的实现 255 外卖客户端容器化架构的演进 270 Flutter 包大小治理上的探索与实践 297 美团外卖持续交付的前世今生 326 微前端在美团外卖的实践 352 积木 Sketch 插件进阶开发指南 372 积木 Sketch Plugin:设计同学的贴心搭档 400 Native 地图与 Web 融合技术的应用与实践 431 前端 | 2019 MTFlexbox 自动化埋点探索 447 Litho 在美团动态化方案 MTFlexbox 中的实践 459 开源 React Native 组件库 beeshell 20 码力 | 738 页 | 50.29 MB | 2 年前3
Kubernetes日志平台建设最佳实践-元乙## Kubernetes日志平台建设最佳实践 ## 张城-元乙 阿里巴巴 # TGO鲲鹏会 # 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  单机 Debug Grep 2013 












