Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者： • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 持久化（fsync）、⼀致性（ack: all）、多Topic • IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构： • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream 的接⼝。 • 丰富的企业级特性 • 多租户隔离 — 百万Topics — 跨地域复制 Pulsar 简介 • Pulsar 的⽣态和社区 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper streamnative.io Pulsar： 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io

2008年10月发布，包括上百项改 进和完整的 3G 支持。支持到 2010年04月。 • Ubuntu 9.04 (Jaunty Jackalope，得意洋洋的怀俄明野兔) 2009年04月发布。 将云计算带到入 Ubuntu 社区。支持到 2010年10月。 • Ubuntu 9.10 (Karmic Koala， 幸 运 的 考 拉 ) 2009年10月 发 布 ， 支 持 到2011年04月。 23 启 动 Evolution 邮 件 小提示： Evolution 首 次 运 行 时 会 在 您 的 主 目 录 内 创 建 .evolution 目 录 ， 并 使 用 它 储 存 本 地 数 据 。 接 下 来 首 次 运 行 助 手 会 协 助 您 设 置 电 子 邮 件 帐 户 和 位 于.gconf/apps/evolution 的其他用户设置。 使用互联网 79 Ubuntu 进行更深入的探讨。 使用互联网 107 Ubuntu 桌面培训 目录 III.VII 使用 Ubuntu One 保持同步 Ubuntu One 是 Ubuntu 的赞助商 Canonical 有限公司基于云技术提供的同步服 务。所有 Ubuntu 用户皆免费拥有一个 Ubuntu One 帐号。Ubuntu One 使得您可 以将文件同步于网络之上，以便在任何需要的时候进行访问。您可以使用它同步您的 书

Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 • 隔离性和安全性 • 容错性与混合云 • 功能多样性与上线流程 • 如何实现 • K8s - 单『控制集群』， 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』，多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource 典型 CI/CD 流程 CAICLOUD/CYCLONE • 开源 • https://github.com/caicloud/cyclone Cyclone 技术架构 云原⽣生 CI/CD 引擎 设计 - 云原⽣生，k8s 亲和性 性能 - 为企业场景优化 扩展性 - ⽀支持 AI ⼯工作流 运⾏行行 AI 应⽤用 KUBEFLOW 的应⽤用 • Kubeflow 社区的联合创始⼈人

基于go和flutter的实时通信/视频直播解决方案 段维伟 湖北捷智云技术有限公司 创始人 目 录 背景 01 技术简介 02 客户端 03 服务端 04 开源社区 05 Q&A 06 背景 第一部分 即将讲述的内容 • WebRTC 实时通讯 • Flutter 跨平台UI 开发框架 • 基于Flutter UI 框架的WebRTC 插件 flutter-webrtc 多人视频会议系统 • 高质量SIP/VOIP系统 • 视频监控系统 • 机器学习，视觉计算等 如何使用它 01. 副标题 • 在Web中使用JS API • 基于google libwebrtc实现原生客户端开发 (ios/android/c++) • 使用第三方堆栈实现兼容功能（Go） https://github.com/pion/webrtc 一对一视频原理 基本通讯流程 5 RTP/RTCP/媒体流 或通过google 官方提供的源码编 译出原生sdk • iOS/macOS 使用WebRTC.framework + Obj-C/Swift • Android 使用libwebrtc.aar + java • Windows 使用libwebrtc.dll + C++ 实际开发中会遇到的困难 • 下载和编译Google WebRTC框架（防火墙，编译环境） • 原生SDK开发(每平台人力投入)

Consumer 消费 3 个队列，第二 consumer 消费 2 个队列。 返样即可达到平均消费的目的，可以水平扩展 Consumer 来提高消费能力。但是 Consumer 数量要小亍等亍队列数 量，如果 Consumer 超过队列数量，那举多余的 Consumer 将丌能消费消息。 队列数量 Consumer 数量 Rebalance 结果 5 2 C1: 3 C2: 2 1K 消息算，可以在物理内存缓存 1 亿条消 息。 (5). Consumer 拉消息（异常消费），消息直接从 PAGECACHE（数据在虚拟内存）转入 socket。 (6). Consumer 拉消息（异常消费），由亍 Socket 访问了虚拟内存，产生缺页中断，此时会产生磁盘 IO，从磁 盘 Load 消息到 PAGECACHE，然后直接从 socket 収出去。 (7). 同 客户端实例名称，客户端创建的多个 Producer、 Consumer 实际是共用一个内部实例（这个实例包含 网络连接、线程资源等） clientCallbackExecutorThreads 4 通信层异步回调线程数 pollNameServerInteval 30000 轮询 Name Server 间隔时间，单位毫秒 项目开源主页：https://github.com/alibaba/RocketMQ

所处层级选择优化的方式方法。 下面介绍MySQL数据库具体的调优思路和分析过程，如图1所示。 调优分析思路如下： 1. 很多情况下压测流量并没有完全进入到服务端，在网络上可能就会出现由于各种 规格（带宽、最大连接数、新建连接数等）限制，导致压测结果达不到预期。 2. 接着看关键指标是否满足要求，如果不满足，需要确定是哪个地方有问题，一般 情况下，服务器端问题可能性比较大，也有可能是客户端问题（这种情况比较 小）。 一般指的是CPU、内存、磁盘I/O方面的问题，分为服务器硬件瓶 颈、网络瓶颈（对局域网可以不考虑）。 操作系统 一般指的是Windows、UNIX、Linux等操作系统。例如，在进行性 能测试，出现物理内存不足时，虚拟内存设置也不合理，虚拟内 存的交换效率就会大大降低，从而导致行为的响应时间大大增 加，这时认为操作系统上出现性能瓶颈。 数据库 一般指的是数据库配置等方面的问题。例如，由于参数配置不合 理，导致数据库处理速度慢的问题，可认为是数据库层面的的问 BIOS配置 2.1 BIOS 配置 目的 对于不同的硬件设备，通过在BIOS中设置一些高级选项，可以有效提升服务器性能。 方法 步骤1 关闭SMMU。 说明 此优化项只在非虚拟化场景使用，在虚拟化场景，则开启SMMU。 1. 重启服务器过程中，单击Delete键进入BIOS，选择“Advanced > MISC Config”，单击Enter键进入。 2. 将“Support Smmu”设置为“Disable”

只是要手工切换从服务器比较麻烦，后面会介绍的 MMM 能将从服务器自动切 换）并且还能实现数据库的读写分离的情况，这样 backup 机器也能用起来，提 高系统资源的利用率，减少 master 端的负载。应用中读数据库配置读 VIP，写数 据库配置写 VIP。这个方案也能够很方便的进行单台数据库的管理维护以及切换 工作。比如进行大表的表结构更改、数据库的升级等都是非常方便的。 3.5 方案实战 3.5.1 实战环境介绍 服务器名 1 respawn hacluster /usr/lib64/heartbeat/ipfail  haresources 的配置 haresources 用来设置 master 的主机名、虚拟 IP、服务以及磁盘挂载等， master 和 backup 的配置是一样的，下面的 mysqld 需要做成服务，放在 /etc/rc.d/init.d/目录下，配置配置如下： vim /etc/ha drdb(假设你的 mysql 已经在该服务器上安装好了) DRBD 已经安装并且能正常同步了，那么我们接下来要做的就是将本机的 已安装的 mysql 的数据迁移到 drbd 上，这里为了简单就不考虑新安装数 据库的情形了，因为新安装的时候只需要将数据目录指定到 drbd 中并将 my.cnf 配置文件放到 drbd 中即可。具体的数据迁移步骤如下： a) 关闭 dbserver1 和 dbserver2

对数据进行诊断、预测、关联、聚类分析，常用于问题 定位、需求预测、推荐系统、异常检测等。 对数据进行分类、社交网络分析或时序模式挖掘，常用 于客户细分、信用评分、社交媒体营销、股价预测等。 将数据转化为统计图、热力图、网络关系图、词云、树形 图等，用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 AI o3mini 响应速度快，能够高效提 取所有需求链接，输出完 整可运行python脚本，代 码运行后生成文件，但数 据采集结果为空。 DeepSeek R1 能够提取所有网址并进行 筛选、去重，所撰写代码 运行后完成数据爬虫任务， 所获取数据准确，少量数 据有所遗漏。 提示词 测试结果受到数据样本、测试环境、AI抽卡、提示词模板等因素影响，仅供参考，无法作为决策制定、质量评估或产品验证的最终依据。 代码支持，Claude 3.5 Sonnet 负责图表逻辑优化 数据采集 数据预处理 数据分析 可视化呈现 新思路：DeepSeek R1的数据应用 中 文 数 据 处 理 优 势 创 意 写 作 生 成 能 力 数 据 读 取 分 析 能 力 低 成 本 高 性 能 优 势 编 程 代 码 生 成 能 力 • 智 能 中 文 古 籍 修 复 与 注 释 ： 利用 DeepSeek

Ozone的最近进展 • Apache Ozone的实践分享 ⼤数据存储的需求 能否提供⾼并发读取和写⼊ 是否兼容主流API，如HDFS/S3 是否可以扩展⾄数百PB的存储容量，数千个 物理节点以及数⼗亿个对象 扩展性 API 兼容性 性能 是否⽀持存算分离架构同时也可以兼容存算耦合 架构 应⽤对接 安全 加密 HDFS现有的⼀些解决⽅案 Namenode Federation Router 的数据存储系统 公有云的对象存储服务 ⽆法在线下部署 ⽬录 • Apache Hadoop HDFS⾯临的问题 • Apache Ozone介绍 • Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 Apache Ozone • Ozone是 ⼀个分布式的KV对象存储 可扩展⾄数⼗亿个对象，从⽽对云原⽣类的应⽤更友好 GC带来的⽆ 响应问题 运维价值 Apache Ozone – 使⽤场景 #2 • 可以快速的对接已适配S3 接⼝的应⽤ • 减少数据在多个平台间的迁移 • 使⽤单⼀的API协议来应对混合云架构 业务价值 • 集约化的⼀套存储来⾯向不同的业务负载 • 更易于运维的控制⾯ • 只需要⼀个运维团队⽽不是多个 运维价值 OZONE STORAGE AI/ML HIVE/IMPALA/

刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 搜狗商业平台 技术体系广 DevOps 测 试 账户 搜狗商业平台基础平台 物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 biz.sogou/v1/namespaces/default/mysqlclusters CLI 方式 REST 方式 商业云平台集成 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 回顾 • 商业云平台概况 • Operator 的基本原理 • MySQL-Operator 实践 ü 自定义 controller，使用