## 分布式任务系统 cronsun 苏创绩 ## 目录 01 任务系统 02 分布式任务系统 03 cron sun 04 心得体会   ## 01 Part One 任务系统 ## 任务 1. 什么时间 2. 什么地点 3. 做什么事 ## 一 个简单的任务  星期数，范围：0-7（0和7都是星期天） b6c0e/p6_1.jpg) crontab cmd1 cmd2 cmd3 ## 早期的 cron V7, 1979 1. 在Version 7 Unix里是一个系统服务 2. 只用 root 运行任务 3. 算法简单直接 ## 早期的 cron 运行逻辑 1. 读 /usr/lib/crontab 文件 2. 如果有命令要在当前时间执行，就用 root 用去执行命令 3

## RUST CHINA CONF 2023 第三届中国 Rust 开发者大会 6.17-6.18 @Shanghai ## Rust 构建分布式账务系统 在 Fintech 公司落地 Rust 项目的经验分享 胡宇 ## 关于我们 ## Airwallex 我们是一家跨境支付领域的 Fintech 独角兽 ## 😍 ## 关于我们：Airwallex ## E2 轮 Fintech ## 分布式账务系统 从设计架构到实现细节 ## 😍 ## 分布式账务系统 ## Fintech 领域中的软件与互联网软件的不同 ||Fintech|互联网| |---|---|---| |正确性|bug= 资讯|bug 不可怕，快速迭代| |可靠性|丢数据 = 资讯|允许数据丢失| |性能|超低延迟 + 高吞吐|超高吞吐| |交易日志|审计，监管|调试使用| ## 分布式账务系统 需求分析 高可用：在部分节点失效的情况下，依旧可以提供正确的服务 超低延迟：实时交易，超低响应延迟 水平扩展性：利用分布式事务实现钱包集群的的水平扩展，应对高达100万TPS的流量 可演化性：业务逻辑与底层 API 解耦，当业务发生改变时，底层 API 不用改变 ## 分布式账务系统 ## 设计理念 - Rust 是我们可靠的基石 ## 存算分离 ● 事务层与账户层分离 ● 独立水平扩展

## 分布式KV存储Cellar演进之路 ## 美团点评·基础架构 齐泽斌 ## 促进软件开发领域知识与创新的传播  关注InfoQ官方信息 及时获取QCon软件开发者大会演讲视频信息 ![Image](/uploads/doc 咨询热线：010-64738142 ## 个人简介 美团点评基础架构部，存储研发团队负责人 • Cellar：分布式KV存储服务 • Databus：数据库变更实时传输服务 • Venus：图片服务 ## 11 年毕业于天津大学 11 年到 14 年任职于百度，负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 ## 目录 - Cellar起源 - 中心节点架构演进 - 节点高可用和异地容灾 越香。 ## Cellar起源 • 14年初 美团引入阿里Tair作为NoSQL存储 • 14年底 大范围应用，并对Tair修修补补，积累领域问题 • 16年初 基于开源版本研发新一代KV存储系统Cellar • Now Cellar日请求量达万亿级，美团点评最大NoSQL存储 ## Cellar起源—Tair架构 ![Image](/uploads/documents/e/7/7/a/

## 声明式自愈系统——高可用分布式系统的设计之道 王昕 高级技术专家 全球技术领导力峰会 # 500+高端科技领导者与你一起探讨 技术、管理与商业那些事儿 2019年6月14–15日 上海圣诺亚皇冠假日酒店  ![Imag 年软件系统开发和架构经验，在分布式系统领域经验丰富，长期参与高可用中间件系统、云平台基础管理系统和云原生自动运维系统的构建。在国内外有10多项授权和在审软件技术发明专利，并多次受邀出席技术会议，做技术专题分享。 ## 目录 > 分布式系统面临的高可用问题 > 设计和验证高可用分布式系统的工具与方法 > 设计和验证高可用分布式系统的案例分享 > 高可用系统的最佳实践总结 高可用系统的最佳实践总结 ## 无状态分布式系统的高可用问题 处理消息的服务节点可以随机选择 不必处理数据复制和同步的问题 系统容量和高可用能力可以同步提升 服务节点可以随意迁移，不必固定 IP 和存储 ## 有状态分布式系统的高可用问题 处理请求需要特定节点 ➢ 必须要考虑数据备份和同步的问题 容量扩展和高可用需要不同解决方案 服务节点不能随便迁移 ![Image](/uploads/docu

以360消息推送系统为例 周洋 部门：360手机助手 Weibo: @johntech-o Date: 2015.04.25 ## 目录 go语言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ 如何应对的？ 具有go特色的运维 在高并发，通信交互复杂，重业务逻辑的分布式系统中，Go语言优势体现在：开发体验好、一定量级下服务稳定、性能满足需要 ## 以360消息推送系统为例 ## 一 接受）  ## 消息系统规模架构：重业务逻辑 ## 消息系统简要架构 ## 接入层  go语言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ 如何应对的？ 具有go特色的运维 ## 经验一 go语言程序开发需要找到一种平衡，既利用协程带来的便利性又做适当集中化处理 套路：任务池集中数据合并请求、连接池+pipeline 利用全双工特性 ## 性能优化：io集中处理 性能优化 ## RPC版本1 通信库 ![Image](/uploads/documents/1/

## zookeeper vs etcd 起因以及一些差异 not gonna cover every details ## zookeeper vs etcd 起因: reborndb是一个分布式redis集群框架 支持透明切换引擎 为了同时支持zookeeper和etcd ## zookeeper vs etcd ## zookeeper: session etcd: stateless

p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 大规模分布式系统架构下调测能力构建之道 天弘基金 李鑫 主办方 Geekbang. InfoQ ## 促进软件开发领域知识与创新的传播  解决之道：通过技术手段，降低系统对外部的依赖，而 “MOCK”，是最有效的手段。

title: Electron 应用处理长任务 date: 2020-11-26 tags: electron, node ## description: 通过 Electron 托盘（tray）实现后台执行长任务。 Electron 应用在执行一些长时间任务（比如上传、下载），我们想关闭界面后任务依旧执行。再次打开界面，依旧可以看到正在执行的任务以及任务进度。托盘可以帮我们实现这个功能。 关闭应用前唤醒对话框二次确认 关闭应用时，触发对话框，可支持 3 种场景： 点击「取消」取消关闭操作； 点击「退出」，「后台运行」选中时，界面关闭，托盘不关闭，任务继续执行； 点击「退出」，「后台运行」不选中，界面、托盘关闭，直接退出，任务终止。 mainWindow.on('close', (e) => { dialog.showMessageBox({ resolve(__తిరిసె, 'icon.png')) message: '确定要退出吗？', detail: '选择后台运行。正在运行的任务将在系统托盘中继续运行。', checkboxLabel: '后台运行', checkboxChecked: true, buttons:

# 从百度文件系统 看大型分布式系统设计 颜世光 百度 搜索基础架构 ## 促进软件开发领域知识与创新的传播  关注InfoQ官方信息 及时获取QCon软件开发者 大会演讲视频信息 、集群调度系统（Galaxy）、分布式协调服务（Nexus）是核心服务 • 实时任务与批量任务混合部署  Machine 1 ![Image](/u

GO CN Go在百亿级分布式文件系统的实践 徐桑迪 Juicedata 核心系统工程师 JuiceFS 简介 01 为什么选择 Go 02 基础内存优化 03 深度内存优化 04 内存快照持久化 05 第一部分 JuiceFS 简介 ’ alt=‘OCR图片’/> JuiceFS 简介 为云环境设计的分布式文件系统 兼容POSIX、HDFS和S3协议 支持回收站、目录配额、克隆 单命名空间支持百亿级文件数 errs <- s.Put(key, p) }() } ’ alt=‘OCR图片’/> 第四部分 深度内存优化 ’ alt=‘OCR图片’/> 深度内存优化 文件系统元数据服务进程： 占用近百 GiB 内存 缓存尽可能多的文件（十亿级） 高速处理元数据请求（百微秒） ’ alt=‘OCR图片’/> 深度内存优化 自主管理小对象的分配 GC 全局能看到的指针要少 map[uint32, uintptr] nodeMap[n.id] = uintptr(unsafe.Pointer(n))) ’ alt=‘OCR图片’/> 深度内存优化 结构体打包序列化和压缩 文件系统天然具有组织结构（目录树） 访问请求通常具有局部性 ’ alt=‘OCR图片’/> 结构体序列化和压缩 struct encoding ’ alt=‘OCR图片’/> 深度内存优化 动态定义参数值的意义（类似union）