.......................................................................................... 7 2.3 分布式事物消息 .............................................................................................. ......................................................................................... 11 2.2 分布式事物消息落地 ............................................................................................ messageQueueList [userId%messageQueueList.size()] 2.3 分布式事物消息 先引入官方文档图： 分布式事物是基于二阶段提交的 1) 一阶段，向 broker 发送一条 prepared 的消息，返回消息的 offset 即消息地址 commitLog 中消息偏移量。Prepared

....................................................................................... 8 4.13 分布式事务 ................................................................................................ 如果业务能容忍在集群异常情冴（如某个 Broker 宕机戒者重启）下，消息短暂的乱序，使用普通顺序方 式比较合适。  严格顺序消息 顺序消息的一种，无论正常异常情冴都能保证顺序，但是牺牲了分布式 Failover 特性，即 Broker 集群中只 要有一台机器丌可用，则整个集群都丌可用，服务可用性大大降低。 如果服务器部署为同步双写模式，此缺陷可通过备机自劢切换为主避免，丌过仍然会存在几分钟的服务丌 収送消息阶段，丌允许収送重复的消息。 (2). 消费消息阶段，丌允许消费重复的消息。 只有以上两个条件都满足情冴下，才能讣为消息是“Exactly Only Once”，而要实现以上两点，在分布式系统环 境下，丌可避免要产生巨大的开销。所以 RocketMQ 为了追求高性能，幵丌保证此特性，要求在业务上迕行去重， 也就是说消费消息要做到幂等性。RocketMQ 虽然丌能严格保证丌重复，但是正常情冴下很少会出现重复収送、消

MySQL 容器化 刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 搜狗商业平台 of complex stateful applications on behalf of a Kubernetes user. operator 是特殊的 controller，用来管理复杂的分布式应用 ü custom resource definition(CRD) ü custom controller Operator 是什么 • Kubernetes 中一切都可视为资源 • Mysql Operator pod … … mysql Pod-T 0. 创建 CRD 3. 集群管理 2. 调度 pod Ceph MySQL-Operator 数据存储 分布式存储 • 使用 Ceph RBD，基于产品线 创建 StorageClass • 优点：可靠性高，容器漂移时 数据不变 • 缺点：读写延迟较高 本地存储 • 基于 Host Path Volumes

⾃我介绍 • 开源项⽬爱好者： • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的⽣态和社区 streamnative.io Apache Pulsar 简介 - 跨地域复制 • 解除存储计算耦合 • 运维痛点：替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障： 持久化（fsync）、⼀致性（ack: all）、多Topic • IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构： • 存储计算分离 • 分层 + 分⽚ • Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper streamnative.io Pulsar： 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker 容错 ⽆感知容错 零数据catchup streamnative.io Bookie容错

Apache Ozone介绍 • Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 Apache Ozone • Ozone是 ⼀个分布式的KV对象存储 可扩展⾄数⼗亿个对象，从⽽对云原⽣类的应⽤更友好 强⼀致性 与HDFS 和 S3 API兼容 可在存储密集型设备中部署进⽽极⼤的减少设备开⽀ Apache Ozone – 数据存储的路径设计 (300M FILES) AI/ML HIVE/IMPALA/SPARK KAFKA / FLINK 计算 OZONE (2 BILLION Objects) AI/ML HIVE/IMPALA/SPARK KAFKA / FLINK 计算 OTHER WORKLOADS OTHER WORKLOADS X • 可⽤于承载实时和批处理的业务 • 更易于运维的控制⾯ • 只需要⼀个运维团队⽽不是多个 运维价值 OZONE STORAGE AI/ML HIVE/IMPALA/ SPARK KAFKA / Flink 计算 数据科学 数据仓库 S3 应⽤ S3 API OTHER WORKLOADS ⽬录 • Apache Hadoop HDFS⾯临的问题 • Apache Ozone介绍 • Apache

WebRTC 可以做什么 02. 副标题 • 用实现网页音/视频通话 • 低延迟直播系统(在线课堂) • 多人视频会议系统 • 高质量SIP/VOIP系统 • 视频监控系统 • 机器学习，视觉计算等 如何使用它 01. 副标题 • 在Web中使用JS API • 基于google libwebrtc实现原生客户端开发 (ios/android/c++) • 使用第三方堆栈实现兼容功能（Go） com/pion Pion 介子 纯Go语言的WebRTC 全家桶 作者: Sean DuBois ION 离子之光 分布式实时通讯系统 https://github.com/pion/ion • 基于pion/webrtc 开发 pion/ion-sfu • 分布式架构 • 基于grpc over NATS mq • 使用redis 存储媒体流全局位置 • 支持业务自定义开发 •

. . . . . . . 485 XI.I.I AMD64 只能用在 AMD 的处理器上吗？ . . . . . . . . . . . . . . . 485 XI.I.II 如何查看自己的计算机是否支持 AMD64？ . . . . . . . . . . . . . 485 XI.I.III 64 位 Ubuntu 的可用软件会不会很少？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 III.56 Ubuntu One 添加您的计算机页面 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 III.57 Ubuntu One 首选项 . . Ubuntu 的帮助 • 如何创建分区和使用双启动选项 目标对象和前提要求 本课程为家庭用户和办公室用户提供 Ubuntu 操作系统的培训。目标对象不必预先了 解 Ubuntu，但必须具备基本的计算机使用能力。要开始学习本课程，请先在您的计 算机硬盘上安装 Ubuntu 10.04 LTS。 28 学生职责 目录 Lucid Lynx 本课程以模块为单位来组织。在教室中进行全日制学习的话，两天就可以学习完整个

常规的容器服务 ，使用 gpu 的 zone ， 自行设定相应的镜像即 可，有完善的周边服务 训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作，用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像，不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态

Kubeflow 社区的联合创始⼈人 • kubeflow/tf-operator • 定义 TFJob Spec (CRD) • 跟踪 TensorFlow 任务运⾏行行状态 • ⽀支持分布式 TensorFlow 任务 KUBEFLOW 之上 • 借⼒力力容器器平台提供⽣生产级的集群资源管理理 • ⼯工作区隔离与共享 • 数据、模型、环境、应⽤用等 • 全⾯面⽀支持 AI

， 对 模 型 进 行 最 终 的 强 化 学 习 ， 以 对 齐 人 类 偏好。 降本提能：架构创新，技术增效 DeepSeek通过架构创新和模型蒸馏技术，在提升模型性能的同时，显著降低计算成本和内存占用。这些技术不仅在 长文本处理、代码生成、数学推理等任务中表现出色，还为大模型的轻量化和实际应用提供了有力支持。  模型蒸馏技术 DeepSeek采用模型蒸馏技术，通过将知识从大型复杂模型 系列和Llama 系列  架构创新 通过将模型划分为多个专家模块，实 现高效计算和推理。DeepSeek通过 无辅助损失的自然负载均衡和共享专 家机制，解决了专家模块工作量不平 衡的问题。 混合专家（MoE）架构 通过低秩压缩减少推理时的内存占用， 同时保持与传统多头注意力（MHA） 相当的性能。MLA在训练中减少了 内存和计算开销，在推理中降低了 KV缓存占用空间。 多头潜在注意力（MLA）机制 过程中使用更适宜的数据精度，减少 了计算量和存储需求。FP8混合精度 训练在保证训练准确性的基础上，显 著降低了计算成本，使得大规模模型 训练更加可行。 FP8混合精度训练 • 推 理 效 率 提 升 ： 蒸 馏 后 的 模 型 参 数 量 大 幅 减 少 ， 例 如 DeepSeek-R1-Distill-Qwen-7B的参数量仅为7B，相比原始 的DeepSeek-R1（671B参数），计算复杂度显著降低。