Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者： • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 持久化（fsync）、⼀致性（ack: all）、多Topic • IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构： • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream 的接⼝。 • 丰富的企业级特性 • 多租户隔离 — 百万Topics — 跨地域复制 Pulsar 简介 • Pulsar 的⽣态和社区 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper streamnative.io Pulsar： 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io

对数据进行诊断、预测、关联、聚类分析，常用于问题 定位、需求预测、推荐系统、异常检测等。 对数据进行分类、社交网络分析或时序模式挖掘，常用 于客户细分、信用评分、社交媒体营销、股价预测等。 将数据转化为统计图、热力图、网络关系图、词云、树形 图等，用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 5支持联网查询网址，Claude 3.5 sonnet暂不支持；  四个模型均能根据上传的网页代码，对多个网址链接进行筛选、去重，完全提取出符合指令要求的所有网址链接并形成列表；  在复杂爬虫任务上，DeepSeek R1与Open AI o3min生成的代码均能正常执行数据采集任务，o3响应速度更快，R1数据采集结果更加完 整准确；其他2个模型都存在多次调试但代码仍然运行不成功的问题，如代码 爬虫数据采集存在代码错误问题  数据分析能力相对较弱 数据应用情况总结 新思路：优势互补，协同应用 Claude+DeepSeek 数据处理的“洗髓易筋” Claude 3.5 Sonnet 在文本提取 上较稳定，可用于数据清洗， DeepSeek R1 可确保数据完整性 DeepSeek+Open AI 数据采集的“天罗地网” DeepSeek R1 负责精准爬取和筛 选数据，Open AI

刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 搜狗商业平台 技术体系广 技术体系 CRM 广告平台 物料展现 审核平台 大数据平台 基础架构 Golang C++ JavaScript Java Python 质量要求高 业务响应快 故障恢复快 Cluster1 搜狗商业平台业务系统 搜索推广 信息流 品牌 BizNginx （Load Balancer） Kafka Zookeeper etcd AppEngine（Resin/Tomcat…) DevOps 测 试 账户 搜狗商业平台基础平台 物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理

应⽤用（机器器学习） - 58s 视频演示 Kubeflow 的应⽤用 Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 • 隔离性和安全性 • 容错性与混合云 • 功能多样性与上线流程 • 如何实现 • K8s - 单『控制集群』， 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』，多仓库集成 管理理集群和节点 • 技术概览 - 集成旧系 统，并⾏行行跑业务。 • 资源对照表 • Tenant 与 Project • Namespace 与 Network(Neutron) • Service/Ingress 与 LBaaS(Neutron) • openstack/kuryr- kubernetes 运⾏行行和构建应⽤用 跑在 KUBERNETES 上的应⽤用 • k8s 基础资源之外 典型 CI/CD 流程 CAICLOUD/CYCLONE • 开源 • https://github.com/caicloud/cyclone Cyclone 技术架构 云原⽣生 CI/CD 引擎 设计 - 云原⽣生，k8s 亲和性 性能 - 为企业场景优化 扩展性 - ⽀支持 AI ⼯工作流 运⾏行行 AI 应⽤用 KUBEFLOW 的应⽤用 • Kubeflow 社区的联合创始⼈人

的数据存储系统 公有云的对象存储服务 ⽆法在线下部署 ⽬录 • Apache Hadoop HDFS⾯临的问题 • Apache Ozone介绍 • Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 Apache Ozone • Ozone是 ⼀个分布式的KV对象存储 可扩展⾄数⼗亿个对象，从⽽对云原⽣类的应⽤更友好 HIVE/IMPALA/SPARK KAFKA / FLINK 计算 OTHER WORKLOADS OTHER WORKLOADS X • 可⽤于承载实时和批处理的业务 • 扩展性提升 • ⽆需改变或改造业务应⽤代码 • 降低控制平⾯的节点数和服务依赖 业务价值 • 降低⼤规模集群的运维难度 • 可通过HDFS API和Distcp进⾏快速迁移 • 降低系统恢复时间 • 尽可能的减少NN 运维价值 Apache Ozone – 使⽤场景 #2 • 可以快速的对接已适配S3 接⼝的应⽤ • 减少数据在多个平台间的迁移 • 使⽤单⼀的API协议来应对混合云架构 业务价值 • 集约化的⼀套存储来⾯向不同的业务负载 • 更易于运维的控制⾯ • 只需要⼀个运维团队⽽不是多个 运维价值 OZONE STORAGE AI/ML HIVE/IMPALA/ SPARK

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220 V Ubuntu 和游戏 227 V.I 在 Ubuntu 上安装游戏 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 V.I.I 从软件仓库中安装一个游戏 . . . . . . . . . . . . . . . . . . . . . . . . . 245 V.III.II 在 Ubuntu 中玩 Microsoft Windows 操作系统上的 游戏 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 485 XI.I.I AMD64 只能用在 AMD 的处理器上吗？ . . . . . . . . . . . . . . . 485 XI.I.II 如何查看自己的计算机是否支持 AMD64？ . . . . . . . . . . . . . 485 XI

三、RocketMQ 3.x 基亍公司内部开源共建原则， RocketMQ 项目只维护核心功能，丏去除了所有其他运行时依赖，核心功能最 简化。每个 BU 的个性化需求都在 RocketMQ 项目乀上迕行深度定制。RocketMQ 吐其他 BU 提供的仁仁是 Jar 包，例如要定制一个 Broker，那举只需要依赖 rocketmq-broker 返个 jar 包即可，可通过 API 迕行交互， rocketmq-client 返个 jar 包，对其提供的 api 迕行再封装。 开源社区地址： https://github.com/alibaba/RocketMQ 在 RocketMQ 项目基础上衍生的项目如下  com.taobao.metaq v3.0 = RocketMQ + 淘宝个性化需求 为淘宝应用提供消息服务 项目开源主页：https://github.com/alibaba/RocketMQ commonmq v1.0 = Notify + RocketMQ + B2B 个性化需求 为 B2B 应用提供消息服务 3 与业术语  Producer 消息生产者，负责产生消息，一般由业务系统负责产生消息。  Consumer 消息消费者，负责消费消息，一般是后台系统负责异步消费。  Push Consumer Consumer 的一种，应用通常吐 Consumer

源码过程中的笔记中整理出来的，由于时间及能力原因，理 解有误之处还请谅解，希望对大家学习使用 rocketmq 有所帮助。 Rocketmq 是阿里基于开源思想做的一款产品，代码托管于 github 上，要想学好用好 rocketmq 请从 https://github.com/alibaba/RocketMQ 获取最权威的文档、问题解答、原理介 绍等。 //Topic_A --brokerName //代表发送消息到达的 broker --queueId //代表发送消息的在指定 broker 上指定 topic 下的队列编号 向指定 broker 的指定 topic 的指定 queue 发送消息 发送失败(1)重试次数不到两次(2)发送此条消息花费时间还没有到 3000(毫秒), 比如购买流程(1)下单(2)支付(3)支付成功，这三个消息需要根据 特定规则将这个三个消息按顺序发送到一个 queue 如何实现把顺序消息发送到同一个 queue: 一般消息是通过轮询所有队列发送的，顺序消息可以根据业务比如说订单号 orderId 相同的消息发送到同一个队列, 或者同一用户 userId 发送到同一队列等等 messageQueueList [orderId%messageQueueList

基于go和flutter的实时通信/视频直播解决方案 段维伟 湖北捷智云技术有限公司 创始人 目 录 背景 01 技术简介 02 客户端 03 服务端 04 开源社区 05 Q&A 06 背景 第一部分 即将讲述的内容 • WebRTC 实时通讯 • Flutter 跨平台UI 开发框架 • 基于Flutter UI 框架的WebRTC 插件 flutter-webrtc 分布式架构 • 基于grpc over NATS mq • 使用redis 存储媒体流全局位置 • 支持业务自定义开发 • 高性能，单个ion-sfu节点 1k 并发仅需 0.5核 ION 架构 多node 架构 主要模块 • ISLB 服务发现，负载均衡，媒体信息全局存储 • Biz 业务接入模块 • SFU 节点 (用于转发webrtc 流，与biz模块配合创建视频会议系 统) •

用这种架构模式 弱一致性 如果是弱一致性的话，可以通过在 M2 上面分担一些读压力 和流量，比如一些报表的读取以及静态配置数据的读取模块 都可以放到 M2 上面。比如月统计报表，比如首页推荐商品 业务实时性要求不是很高，完全可以采用这种弱一致性的设 计架构模式。 中间一致性 如果既不是很强的一致性又不是很弱的一致性，那 么我们就采取中间的策略，就是在同机房再部署一个 S1(R)  尽量不用触发器，特别是在大数据表上 尽量不用触发器，特别是在大数据表上 应用优化 应用优化 编写高效的 编写高效的 SQL SQL （三） （三）  更新触发器如果不是所有情况下都需要触发，应根据业务需要加 更新触发器如果不是所有情况下都需要触发，应根据业务需要加 上必要判断条件 上必要判断条件  使用 使用 union