## Uber 派单系统 &运维演化 ## 李宁 Uber核心流稳定性负责人 ## 极客邦科技 会议推荐2019  QCon ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 北京 QCon ! 2013-2015 Twitter后端存储运维 — 旧金山 2015-2019 Uber派单系统运维 — 旧金山  ## 目录 运维改进介绍－20 mins ## Uber派单系统 If you're not embarrassed by the 29a106/p9_1.jpg) ## 三 年来的运维强化(2016-2019) 架构调整: 多活, 容器化, 软件网络 部署管理: 自动化部署uDeploy 变更管理: P3系统 监控优化: M3监控系统, Blackbox外部监控 故障恢复: 自愈力和自动排障 流程优化: Ring0和Post Mortem ## 架构调整: All Active ## 程序层面复制 ->

## TypeScript 类型系统 分享人：陈文岗 学校：中国科学院大学 2021年1月21日 ## 关于TypeScript TypeScript是微软推出的JavaScript静态类型版本，它是JavaScript的超集，可以编译为纯粹的JavaScript TypeScript How Does TypeScript Work? TypeScript file.ts JavaScript // unknown类型(Top Type) let foo: unknown; // never类型(Bottom Type) let bar: never; ## TypeScript 结构类型系统 #include #include using namespace std; struct Person1 { string name; of local variable 'p1' to 'Person2' ↔ More actions... Person2 p2 = p1; } ## 标明类型系统 即使两个类的结构完全一致，也不能互相赋值 interface Person1 { name: string; age: number; } interface Person2 {

CurveFs 用户权限系统调研（已实现） ## 一、 Curvefs测试 • 1. 启动curvefs • 问题1：root用户无法访问挂载目录 • 测试 allow root - 测试allow_other • 参考文献 - 问题2：本地文件系统挂载默认是共享的？ - 问题3：文件系统访问控制是在哪一层实现的？ ## 二、 文件系统权限管理 • 文件类型 • 文件权限 文件权限 • 特殊权限 (SUID, SGID, STICKY) - 文件默认权限mask - 用户&用户组 - 文件系统用户权限管理 - 对mode的管理 - 对ACL（Access Control Lists）的管理 - ACL Access Entry保存在哪? • ACL的表示 • 内存中的ACL 是如何与具体的 Inode 相关联 • • 如何存储和获取ACL信息 • Inode权限校验 • chmod、chown、setfacl、getfacl接口文件系统自己如何实现 • 结论： • 参考文献： ## 一、 Curvefs测试 代码：https://github.com/cw123/curve/tree/fs_s3_joint_debugging 环境：test2 ### 1. 启动curvefs

## 分布式任务系统 cronsun 苏创绩 ## 目录 01 任务系统 02 分布式任务系统 03 cron sun 04 心得体会   ## 01 Part One 任务系统 ## 任务 1. 什么时间 2. 什么地点 3. 做什么事 ## 一 个简单的任务  星期数，范围：0-7（0和7都是星期天） e42541490db6c0e/p6_1.jpg) crontab cmd1 cmd2 cmd3 ## 早期的 cron V7, 1979 1. 在Version 7 Unix里是一个系统服务 2. 只用 root 运行任务 3. 算法简单直接 ## 早期的 cron 运行逻辑 1. 读 /usr/lib/crontab 文件 2. 如果有命令要在当前时间执行，就用 root

## 声明式自愈系统——高可用分布式系统的设计之道 王昕 高级技术专家 全球技术领导力峰会 # 500+高端科技领导者与你一起探讨 技术、管理与商业那些事儿 2019年6月14–15日 上海圣诺亚皇冠假日酒店  ![Imag 年软件系统开发和架构经验，在分布式系统领域经验丰富，长期参与高可用中间件系统、云平台基础管理系统和云原生自动运维系统的构建。在国内外有10多项授权和在审软件技术发明专利，并多次受邀出席技术会议，做技术专题分享。 ## 目录 > 分布式系统面临的高可用问题 > 设计和验证高可用分布式系统的工具与方法 > 设计和验证高可用分布式系统的案例分享 > 高可用系统的最佳实践总结 高可用系统的最佳实践总结 ## 无状态分布式系统的高可用问题 处理消息的服务节点可以随机选择 不必处理数据复制和同步的问题 系统容量和高可用能力可以同步提升 服务节点可以随意迁移，不必固定 IP 和存储 ## 有状态分布式系统的高可用问题 处理请求需要特定节点 ➢ 必须要考虑数据备份和同步的问题 容量扩展和高可用需要不同解决方案 服务节点不能随便迁移 ![Image](/uploads/docu

## 电商消息系统架构演进 李历岷 阿里巴巴-淘宝高级技术专家 ## SPEAKER INTRODUCE ## 李历岷 淘宝高级技术专家 ## - 当前： 电商消息核心系统架构以及Team Leader ## 阿里： • 主导电商内容平台架构以及构建招选搭投一体化内容导购 - 阿里巴巴第四届中间件ServiceMesh性能挑战赛冠军 - 基于Facebook–GraphQL规范打造数据聚合产品TQL 曾任职于甲骨文公司，参与移动PCRF策略与计费规则系统研发 • 曾任职于亚信联创科技公司，从事移动BOSS支撑系统研发  ## TABLE OF CONTENTS 大纲 电商消息业务场景 电商消息系统架构 电商消息核心技术和挑战 电商消息全链路稳定性保障 电商消息全链路稳定性保障 电商消息系统未来展望 • Q&A  ## 电商消息业务场景 场景：社交互动、生意沟通、交易提醒、优惠通知、品牌资讯 目标：打造新零售业务商业连接，帮助消费者进行消费决策 ## 活动 9月会员日来袭 U 童装上新，网红爆款玩具等你来玩

## Golang与高性能DSP竞价系统  By @QLeelulu  舜飞科技 EXCHANGE 模式 ## DSP竞价系统的挑战 • 高并发量请求处理（峰值QPS 20万） • 每天上百亿竞价请求 • 每个竞价请求要在100毫秒内响应（包含网络延迟） • 复杂的出价算法与逻辑 ## 100 毫秒内要做些什么 - 竞价请求解析（JSON 或 Google Protobuf） 根据广告位属性过滤活动 根据客户端信息过滤活动（浏览器、操作系统类型等） • 根据地区过滤活动 根据地区过滤活动 • 查询Cookie Mapping得到访客在DSP系统的唯一ID 根据用户看过广告的频次过滤活动 根据访客的人群属性过滤活动 根据活动的出价选择胜出的活动 - 其他更细致的过滤条件 ## 为什么选择Golang ## 第一次签入 ## • 2012-11-29 ### • 在 Go 1.1 发布之后 ## 初始化 ![Image](/uploads/documents/f/0

## 感谢聆听！ 唯品会开源弹性调度系统 Saturn的“前世今生” 邱戈川（了哥） 微信公众号： VIPDOCK  黄国钦 (Chembo) 唯品会高级开发工程师 ## 内容主题 为何而生 GitHub 有女初长成 女大须嫁 ## 传统调度系统的问题、产品的定位与选型 ## 需要解决的问题 异构 / 多语言难以支持 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可用 难以问题追踪 5 无法合理利用机器资源 缺乏分布式处理 ## 选型对比 Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 阿里早期开源的分布式任务调度系统，代码略陈旧 作 Crontab TBSchedule 没有容器化选型？ Java事实任务标准 关注点在定时任务而非数据， 缺少分布式并行调度的功能 Elatic-Job 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏

INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • 产品最丰富 • 预定最流畅 ### 去哪儿？ Qunar.Com 聪明你的旅行 班期限制:☑1 ☐2 ☑3 ☐4 ☑5 ☐6 ☐7 周一至周日,周日用7表示*是否提供行程单·行程单 ☐行程单和差额发票 ☐仅提供发票是否有常旅客积分:·是 ☐否证件类型:单次搜索要计算所有供应商规则 • DB读写压力大 · 舱位状态变化频繁 - 热点航线问题 • 计算量巨大 ## 报价引擎 搜索引擎核心 ## 索引 ## 报价引擎 — 组织索引 • 规则库

## 异构系统链路追踪 ——滴滴trace实践 ## 促进软件开发领域知识与创新的传播  关注InfoQ官方信息 及时获取QCon软件开发者大会演讲视频信息  效率&成功率 问题追查诉求 日志数据诉求 子系统和模块间多次转化 多个接口人 转化检索条件 强依赖日志，日志内容参差不齐 用户=》客服=》技术支持=》模块接口人 问题阻断渠道 处理 漏斗收紧比率 重复不统一的日志数据处理建设灵活多样的日志处理诉求 挑战—在滴滴落地面临的挑战 日志数据格式化 规范的落地 各系统架构异构 技术栈不统一 Trace机制落地 5种语言8种框架 挑战 缺少统一rpc中间件 检索实时性 存储可扩展 大数据量 检索效率 日志数据 日志特性 无schema 低资源消耗(日志agent、存储消耗) 目标: 日志检索计算能力 系统链路追踪能力 系统信息透传能力 ## 方案 日志规范和组件