Uber 派单系统 &运维演化 李李宁 Uber核⼼心流稳定性负责⼈人 ⾃自我介绍 李李宁, 多年年运维: 2004-2007 浙⼤大Linux镜像和代理理运维 —杭州 2007-2012 百度⽹网⻚页搜索运维 —北北京，深圳 2013-2015 Twitter后端存储运维 —旧⾦金金⼭山 2015-2019 Uber派单系统运维 —旧⾦金金⼭山 ⽬目录 Uber派单系统简介和进化 Uber派单系统简介和进化 — 20 mins 运维改进介绍 — 20 mins Uber派单系统 If you're not embarrassed by the first version of your product, you've launched too late. —Reid Hoffman 那些让你痛苦的, 终有 ⼀一天你会笑着说出来 外部)联动，⾃自动回滚。 ⾃自动排查故障, 通过 tracking系统 开源: Jaeger@github 右侧是Uber在线服务依 赖关系图。对于⼤大规模 复杂系统，⼈人⼯工处理理故 障速度太慢 Ring0 • 单⼀一核⼼心组，拥有⾼高系统权 线，包括流量量切换 • 在较⼤大故障的处理理中起到领导 和汇报作⽤用 流程优化 Post Mortem • ⼀一切事故免责 • 对事不不对⼈人 • 分析问题根源并进⾏行行讨论

一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 外卖订单智能调度系统发展历程 6 人工派单模式 • 调度员根据订单地址和骑士 位置来进行订单分配 • 人力调度派单峰值为每人 800单/天 调度 系统 3.0 云端分组派单模式 A 组 B 组 • 系统综合考虑各因素进行 订单分组，然后再指派给 合适的骑士 订单云端分组 整体最优分配 调度 出餐时间预估 深度学习智能 调度 系统 2.0 系统派单模式 • 系统综合考虑配送距离、 骑士运力、期望送达时间 等因素来自动派单 配送距离 期望送达时间 骑士运力 订单相似度 调度 系统 1.0 外卖订单智能调度要解决的核心问题 7 调度系统算法 1 2 3 4 5 路线规划 • 动态规划最优配送路线，且合理 并单，以最低的配送成本最大化 满足用户配送体验。 • 考虑用户期望时间的TSP问题 Greedy分配解决特殊业务需求相关 • KM算法找到其余全局最优的分配方案 订单 骑士 订单 骑士 4 KM求解骑士和订单全局最优的分配 • 调度系统先对骑士和订单组（根据骑士的位置、身上的单量 等）进行打分，得到订单组和骑士的打分矩阵，然后根据业 务需求优先分配指定订单，其他的则根据KM算法找到骑士和 订单的最优分配方案 KM算法 （1） 初始化可行标杆 （2） 用匈牙利算法寻找完备匹配

BMC 生 态，已初步支持 openBMC。在南向，新增飞腾、海思、瑞萨、德州仪器、全志等硬件的支持，特别是提出了面向开发者的硬件开 发板概念“欧拉派 /Euler Pi”，并具体推出了第一款 openEuler Embedded 原生开发板“海鸥派 /HiEuler Pi”。在基础设施，正 式发布 openEuler Embedded 元工具 oebuild, 构建系统升级到 Yocto 4.0 openEuler Embedded Linux 当前主要支持 Arm64、x86-64、Arm32、RISC-V 等多种芯片架构，未来计划支持龙芯等架构， 24.03 LTS 版本的南向支持大幅改善，已经支持树莓派、海思、瑞芯微、瑞萨、德州仪器、飞腾、赛昉、全志等厂商的芯片。 openEuler Embedded 的弹性虚拟化底座是为了在多核片上系统（SoC, System On Chip）上实现多个操作系统共同运行的 CPU。目前关键能力如下： • 支持 Cortex-M、Arm64、x86_64、riscv64 架构，支持 M4、RK3568、RK3588、x86_64、Hi3093、树莓派 4B、鲲鹏 920、 昇腾 310、全志 D1s。 • 支持树莓派 4B、Hi3093、RK3588、x86_64 设备上通过裸金属模式和 openEuler Embedded Linux 混合部署。 • 支持通过 gdb 在 openEuler

DevOps： • 磁盘资源隔离，大数据性能提升30% • 应用感知调度，hbase性能提升20% • 容器/虚机混部， • 资源利用率15%-30% • 边云管理协同框架， • 跨边云单应用秒级发放 缘起：一个运动控制系统(机器人,数控机床….) 智能控制 （人机交互, 路径规划,导航) 行为控制 （轨迹追踪、碰撞检测，状态检测) 实时控制 （运动控制、传感器、动作 器) APP 融合模式 弹性融合底座 RTOS APP • 典型硬件: 树莓派4/MCU • 特点：OS承担全部功能 • 不足：无法实现分工协作 • 典型硬件:STM32MP15 • 特点：Linux和RTOS分工 协作资源静态分配 • 不足：Linux和RTOS之间 无法实现强隔离 • 典型硬件:树莓派４ • 特点：Linux和RTOS分工 协作 • 强隔离、资源动态分配 • Ultra Scale • 特点：异构多核，多种运 行时协同工作 • 不足：软件栈结构复杂 在不同模式下，openEuler Embedded始终是中心，提供富功能、富管理、富生态 混合关键系统：单节点极致“异构” 算力，多种OS/runtime共同部署， 各尽其才，充分利用硬件资源 弹性融合底座 实例0 实例2 实例3 实例4 实例1 RTOS1 Baremetal RTOS2 RTOS3

reserved. OpenPie Confidential πDataCS 赋能⼯业软件创新与实践 吴疆 拓数派产品社区总监 CONTENTS @2024 OpenPie. All rights reserved. OpenPie Confidential 杭州拓数派科技发展有限公司 ，简称“OpenPie” 企业简介 l OpenPie是立⾜于国内的基础数据计算领域⾼科技创新机构； 直 拓数派中国总部与全球分支机构 海 外 研 发 中 ⼼ 北京研发中⼼ 杭 州 总 部 上海全球品牌战略与⽣态发展中⼼ ⼴州研发中⼼ @2024 OpenPie. All rights reserved. OpenPie Confidential 国际顶级创始团队 原 Pivotal 中 国 领 团 队 和 原 Greenplum产品及社区核⼼成员 均已加⼊拓数派。成员毕业自 获得元⽲重元和东吴证券Pre-A轮投资 标 志着企业进⼊快速成长期 拓数派 正式成立 成立杭州总部、北京研发中⼼、 上海全球品牌战略与⽣态发展中⼼ 蓬勃发展的拓数派 驱动数据计算时代的到来 9月 成立加拿⼤研发中⼼ 7月 PieCloudDB云原⽣数据库存算分离等关键技术打造完成 引领数据库⾏业全面⾛向云时代 8月 成立⼴州研发中⼼ 10月 2022拓数派产品发布会 云原⽣数仓PieCloudDB 社区版与商业版正式发布

技术年货 ● 性能瓶颈：核心层的模型预估的 Size 扩展到数千级别文档的时候，单机已经 难以承载；近百万个特征值的传输开销已经难以承受。 ● 复用困难：模型预估能力已经成为一个通用的需求，单搜索就有几十个场景都 需要该能力；而老逻辑的业务耦合性让复用变得更加困难。 ● 平台缺失：快速的业务迭代下，需要有一个平台可以帮助业务快速地进行模型 和特征的管理，包括但不限于配置、上线、灰度、验证等等。 模型优化 知识融合 我们团队基于美团业务数据构建了餐饮娱乐领域知识图谱—“美团大脑”[32]，对于候 选 Doc（POI/SPU)，通过图谱可以获取到该 Doc 的大量结构化信息，如地址、品 类、团单，场景标签等。美团搜索场景中的 Query 和 Doc 都以短文本为主，我们尝 试在预训练和 Fine-tuning 阶段融入图谱品类和实体信息，弥补 Query 和 Doc 文本 信息的不足，强化语义匹配效果。 相关性程度。为了使得相关性特征对于排序结果更有区分度，我们借鉴排序 学习中 Pairwise 训练方式来优化 BERT Fine-tuning 任务。 Pairwise Fine-tuning 任务输入的单条样本为三元组，对于同一 Query 的多个候 选 Doc，选择任意一个正例和一个负例组合成三元组作为输入样本。在下游任务中 只需要使用少量的 Query 和 Doc 相关性的标注数据（有监督训练样本），对

提升配送全业务的运营效率，降低成本 履约流程：下单 -> 派单 -> 接单 -> 取货 -> 送达… 业务团队：招聘、采购、物料、培训、薪酬、保险.... 运营团队：运力结构、经营分析、绩效考核.... 客服团队：问题跟进、定责… 基础设施不断升级 与 用户消费升级 促使即时配送全面信息化 人工智能 大数据 GPS+GIS 移动互联网 智能手机/APP • 预测供需结构，智能派单调度 • 评估难度、ETA、骑手能力等数据 压测平台、自动巡检 系统容量规划、系统吞吐量提升 初期偏重流程建设（保证结果） 后期偏重系统建设（提升人效） 快速起量，系统质量、研发效率问题凸显 v1.0 基于open-falcon的基础监控 • 单接口、核心依赖降级 • 业务大盘、Trace • 容灾预案集成到系统 核心依赖 端到端 服务SLA分级 与 场景化 核心依赖 ->  端到端 ->  场景化 的监控与容灾预案 规模化阶段：容灾能力 Spatial-Temporal Data Mining 、Operations Research 、Machine Learning 智能调度 预测预估 定价机制 轨迹挖掘 智能规划 智能硬件 时间 预估 单量 预估 POI 定位 骑行 导航 供需 平衡 弹性 研究 配送 范围 站点 规划 订单 指派 路径 规划 语音 助手 配送 硬件 学科方向 技术方向 具体技术 同城建设方案

分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 12/120 真正⾦融级⾼可⽤ 真正⾦融级⾼可⽤ 相⽐于传统主从 (M-S) 复制⽅案，基于 Raft 的多数派选举协议可以提供⾦融级的 100% 数据强⼀致性保证，且在不丢失⼤多数副本的前提下，可以实现故障的⾃动恢复 (auto- failover)，⽆需⼈⼯介⼊。 产品优势 分布式NewSQL数据库 TiDB ETL ⼯具或者 TiDB 的同步⼯具将数据同步到 TiDB，在 TiDB 中可通过 SQL 直接⽣成报表 真正⾦融级⾼可⽤ 真正⾦融级⾼可⽤ 相⽐于传统主从 (M-S) 复制⽅案，基于 Raft 的多数派选举协议可以提供⾦融级的 100% 数据强⼀致性保证，且在不丢失⼤多数副本的前提下，可以实现故障的⾃动恢复 (auto- failover)，⽆需⼈⼯介⼊。 适⽤场景 分布式NewSQL数据库 TiDB 数量（个） 数量（个） 单节点内存（ 单节点内存（G） ）单节点存储（ 单节点存储（G） ） 计算节点 3 8 NA 存储节点 3 20 400 体验版 体验版 适⽤于⽤⼾测试或者⼩型业务线上使⽤。 ⽤⼾⽆需关⼼集群内部复杂的配置及故障迁移，集群固定3个配置4G内存的计算节点， 固定3个配置10G内存及200G RSSD 的存储节点。 限制项 限制项 数量（个） 数量（个） 单节点内存（ 单节点内存（G） ）单节点存储（

Agit 设置 个人资料 README Blame File View 邮件接收 标签 合并请求 - 3 - 本文档使用 书栈网 · BookStack.CN 构建 权限 模板仓库 工单与合并请求模板 自动链接引用 合并消息模板 推送 克隆过滤器 (部分克隆) Code Owners Webhooks 受保护的标签 仓库镜像 密钥管理 Multi-factor Authentication 式编写workflows，也可以重⽤⼤量的已有的 Actions 插件。Actions 插件支持从任意的 Git 网站中下 载。 项目管理：Gitea 通过看板和⼯单来跟踪⼀个项⽬的需求，功能和bug。⼯单⽀持分支，标签、⾥程碑、 指 派、时间跟踪、到期时间、依赖关系等功能。 制品库: Gitea支持超过 20 种不同种类的公有或私有软件包管理，包括：Cargo, Chef, Composer, 提供多种语言界面，适应全球范围内的用户，促进了国际化和本地化。 更多功能特性：详见：https://docs.gitea.com/installation/comparison#general-features 树莓派Pi3功能强大，足以运行 Gitea 来处理小型工作负载。 关于Gitea 目标 功能特性 系统要求 Gitea是什么? - 6 - 本文档使用 书栈网 · BookStack.CN 构建

Kearns通过重写Back Track来完成。Back Track是基于Ubuntu的一个Linux发行版。 Kali Linux有32位和64位的镜像，可用于x86指令集。同时它还有基于ARM架构的镜 像，可用于树莓派和三星的ARM Chromebook。用户可通过硬盘、Live CD或Live USB来运行Kali Linux操作系统。 大学霸 Kali Linux 安全渗透教程 9 1.3 Kali Linux简介 如今Linux的安装过程已经非常“傻瓜”化，只需要轻点几下鼠标，就能够完成整个系 统的安装。Kali Linux操作系统的安装也非常简单。本节将分别介绍安装Kali Linux 至硬盘、USB驱动器、树莓派、VMware Workstation和Womuare Tods的详细过 程。 1.4.1 安装至硬盘 安装到硬盘是最基本的操作之一。该工作的实现可以让用户不使用DVD，而正常的 运行Kali L UNetbootin安装完成 （7）此时，USB驱动器就创建成功了。在该界面单击“现在重启”按钮，进入BIOS 启动菜单里选择USB启动，就可以安装Kali Linux操作系统了。 1.4.3 安装至树莓派 树莓派（英文名为“Raspberry Pi”，简写为RPi）是一款基于ARM的微型电脑主板， 以SD卡为内存硬盘。为了方便携带，在树莓派上安装Kali Linux是一个不错的选 择。本小节将介绍在树莓派上安装Kali