使用Rust与ClickHouse构建高效可靠的日志系统## 使用Rust与ClickHouse构建高效可靠的日志系统 刘炜 腾讯云(专有云) ## 大纲 · 自我介绍 系统介绍 整体架构 系统实现 遇到问题 ## 😍 ## ⼀ ⾃我介绍 ## 自我介绍 · 大龄码农 - 做过嵌入式/CDN/数据库开发 - 从C/C++到Rust • 现在在腾讯云(专有云)从事日志系统的开发 ## 系统介绍  ## 系统介绍 · 属于腾讯专有云PaaS平台(TCS) • 承接TCS底座日志 • 从Loki=>Menicus • 提供日志的搜索/报警/处理等功能 ## 系统介绍 • 为什么放弃 Loki • 资源占用过大 • 统计/计算能力比较弱 • 组件过多,排查问题比较困难 • 资源占用更小,性能更好 • 更友好的开源协议 ## 系统介绍 - 多种接入方式 - Agent - Client - 查询 - LogQL - OpenTSDB - 其他功能 - 多租户 - 自定义索引 - 多维度统计 - 鉴权 - ... ## 系统介绍 · 写入 • 每天 100G · 磁盘 • 压缩比0 码力 | 19 页 | 2.66 MB | 2 年前3
构建openEuler面向RISC-V的操作系统## openEuler4RISC-V: 构建openEuler面向RISC-V的操作系统 周鹏 $ ^{1,2} $ 张旭舟 $ ^{2} $ 于佳耕 $ ^{1} $ 武延军 $ ^{1*} $ 赵琛 $ ^{1} $ $ ^{1} $ 中国科学院软件研究所 $ ^{2} $ openEuler SIG RISC-V 2020-07 ## 提纲 背景介绍 技术路线 通过社区合作,打造创新平台,构建支持多处理器架构、统一和开放的操作系统openEuler,推动软硬件生态繁荣发展 ## RISC-V ☑ 是一个通用处理器指令集架构(ISA),具有开源、开放、先进、生态协作等技术优势。 ## SIG RISC-V 中科院软件所智能软件中心发起,在openEuler 社区成立的一个RISC-V特别兴趣组 其基本工作是 构建openEuler 面向 RISC-V RISC-V 架构的操作系统 推动 RISC-V 架构上最新技术在 openEuler 社区集成 SIG - Special Interest Group 特别兴趣组 ## 背景介绍 ## SIG RISC-V主要目标和支持 为推动丰富 RISC-V 的软件生态做出贡献 满足广大技术爱好者、企业、组织等尝试在RISC-V环境上开发、使用openEuler操作系统的需要 技术支持 面向RI0 码力 | 18 页 | 985.45 KB | 1 年前3
1.5 Go 语言构建高并发分布式系统实践以360消息推送系统为例 周洋 部门:360手机助手 Weibo: @johntech-o Date: 2015.04.25 ## 目录 go语言在基础服务开发领域的优势? 我遭遇了哪些挑战? 如何应对的? 具有go特色的运维 在高并发,通信交互复杂,重业务逻辑的分布式系统中,Go语言优势体现在:开发体验好、一定量级下服务稳定、性能满足需要 ## 以360消息推送系统为例 ## 一 接受)  ## 消息系统规模架构:重业务逻辑 ## 消息系统简要架构 ## 接入层  Reset(tcpConnection) ## 目录 go语言在基础服务开发领域的优势? 我遭遇了哪些挑战? 如何应对的? 具有go特色的运维 ## go语言运维管理方面的独特魅力 go语言原生提供的各组工具,构建分布式系统配套设施方面,提供了便利 $$ 配套设施 = 测试 + 调优 + 监控 + 运维 $$ 便利 = 原生 profiling 工具 + 开协程模拟测试终端 + 协程协作模拟业务 具有a0语言特色的运维0 码力 | 39 页 | 5.23 MB | 2 年前3
大规模分布式系统架构下调测能力构建之道jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 大规模分布式系统架构下调测能力构建之道 天弘基金 李鑫 主办方 Geekbang. InfoQ ## 促进软件开发领域知识与创新的传播  解决之道:通过技术手段,降低系统对外部的依赖,而 “MOCK”,是最有效的手段。 ## 问题示例 ||| |---|---| |1\.|我依赖一个远程服务,但在负责它的团队把它上线之前,我什 么也做不了| |2\.|我负责的 |我的开发机性能还行,我想自己装一套依赖环境提高开发调测 效率,结果消息服务、缓存服务、服务框架装完一启动,80% 的系统资源就没有了,想想还有一堆的应用服务还没装,直接 泪崩...| |8\.|办公区断网,所有线上依赖环境都无法访问了,得,今天啥也 干不了了,回家洗洗睡吧...| |...|......| ## 分布式服务框架mock能力构建 ## ●将mock能力内置到分布式服务框架中 开发mock能力过滤器,在服务调用链路上对服务调用进行挡截。0 码力 | 19 页 | 2.74 MB | 2 年前3
超大规模高可用性云端系统构建之禅-蔡超com ## TGO鲲鹏会 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  简明高效的 Go 语言实战指南 视频课程 ## 你将获得 快速掌握 Go 语言基础语法和特性 学习性能调优方法并编写高性能代码 轻松搞定编程中的常见并发任务 设计并实现可扩展架构和高可用系统 ## 蔡超 Mobvista 技术副总裁 前亚马逊(中国)首席软件架构师 原价¥129 拼团价 ¥99 限时24⼩时  let foo: unknown; // never类型(Bottom Type) let bar: never; ## TypeScript 结构类型系统 #include#include using namespace std; struct Person1 { string name; of local variable 'p1' to 'Person2' ↔ More actions... Person2 p2 = p1; } ## 标明类型系统 即使两个类的结构完全一致,也不能互相赋值 interface Person1 { name: string; age: number; } interface Person2 { 0 码力 | 25 页 | 1.27 MB | 2 年前3
使用React构建Flutter应用## 使用 React 构建 Flutter 应用 探索新一代渲染技术 Kraken  元彦 https://github.com/yuanyan FSD 淘系前端团队 ## • 2011 - 2013年 • WebQQ • QQ0 码力 | 39 页 | 2.13 MB | 2 年前3
OpenShift Container Platform 4.4 构建(build)### OpenShift Container Platform 4.4 ## 构建(build) 在 OpenShift Container Platform 中执行构建并与之交互 Powered by TCPDF (www.tcpdf.org) 在 OpenShift Container Platform 中执行构建并与之交互 ## 法律通告 Copyright $ \copyright $ Container Platform 中的构建和构建配置,并且说明了执行和管理构建的各种方法。 ## 目录 第1章 理解镜像构建 ..... 4 1.1. 构建 (BUILD) ..... 4 第2章 了解构建配置 ..... 6 2.1. BUILDCONFIG ..... 6 第3章 创建构建输入 ..... 8 3.1. 构建输入 ..... 8 3.2. DOCKERFILE 凭证用于私有 REGISTRY ..... 23 3.9. 构建环境 ..... 25 3.10. 什么是 SECRET? ..... 26 3.11. 服务用(SERVICE SERVING)证书 SECRET ..... 30 3.12. SECRET 限制 ..... 31 第4章 管理构建输出 ..... 32 4.1. 构建输出 ..... 32 4.2. 输出镜像环境变量0 码力 | 101 页 | 1.12 MB | 2 年前3
CurveFs 用户权限系统调研CurveFs 用户权限系统调研(已实现) ## 一、 Curvefs测试 • 1. 启动curvefs • 问题1:root用户无法访问挂载目录 • 测试 allow root - 测试allow_other • 参考文献 - 问题2:本地文件系统挂载默认是共享的? - 问题3:文件系统访问控制是在哪一层实现的? ## 二、 文件系统权限管理 • 文件类型 • 文件权限 文件权限 • 特殊权限 (SUID, SGID, STICKY) - 文件默认权限mask - 用户&用户组 - 文件系统用户权限管理 - 对mode的管理 - 对ACL(Access Control Lists)的管理 - ACL Access Entry保存在哪? • ACL的表示 • 内存中的ACL 是如何与具体的 Inode 相关联 • • 如何存储和获取ACL信息 • Inode权限校验 • chmod、chown、setfacl、getfacl接口文件系统自己如何实现 • 结论: • 参考文献: ## 一、 Curvefs测试 代码:https://github.com/cw123/curve/tree/fs_s3_joint_debugging 环境:test2 ### 1. 启动curvefs0 码力 | 33 页 | 732.13 KB | 1 年前3
夏歌-使用Rust构建LLM应用## RUST CHINA CONF 2023 第三届中国 Rust 开发者大会 6.17-6.18 @Shanghai ## 使用 Rust 构建 LLM 应用 夏歌 ## 😍  ## Bojan Tunguz 












