Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者： • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar - 跨地域复制 • 解除存储计算耦合 • 运维痛点：替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障： 持久化（fsync）、⼀致性（ack: all）、多Topic • IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构： • 存储计算分离 • 分层 + 分⽚ • Pulsar 简介 • Pulsar 的⽣态和社区 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper streamnative.io Pulsar： 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io

II.IV 自定义屏幕分辨率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270 VI.III 3D 特效 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 本课小结 上机练习 表 5 第 一 天 - 第 5 章 课程概况 31 Ubuntu 桌面培训 目录 章节 时长(分钟) 第二天 自定义桌面和应用程序 80 简介 自定义桌面 3D 特效 使用 Nautilus 管理文件 使用 Ubuntu 软件中心和新立得软件包管理器来添加或删 除应用程序 安装单个软件包文件 软件仓库 添加新语言设置 本课小结 复习题 上机练习 的熟练程度，适当地使用各种教学手段(幻灯片、范 例和引导进行实验练习)。 课程概况 35 Ubuntu 桌面培训 目录 • 使用幻灯片帮助您专注于当前主题而避免离题，确保不遗漏任何有关信息的同时着 重对主要的知识点进行讲解。偶尔看一眼特定的知识点，并尽快将您的注意力重新 放回学生身上。避免单调地逐字复述幻灯片上的内容。 • 为了激发学生的积极性，在课堂上贯穿进行实验练习。 课程结构 每个课程包括以下几个部分。 简介 在第一天要首先做的：

现数据纠错、数据整合、格式转换、特征提取等。 对数据进行诊断、预测、关联、聚类分析，常用于问题 定位、需求预测、推荐系统、异常检测等。 对数据进行分类、社交网络分析或时序模式挖掘，常用 于客户细分、信用评分、社交媒体营销、股价预测等。 将数据转化为统计图、热力图、网络关系图、词云、树形 图等，用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质：以多agent实现从数据采集到可视全流程 模型特点 考，无法作为决策制定、质量评估或产品验证的最终依据。 数据分析 Open AI o3mini 响应速度快，高效输出数据分析 结果，分析各因素对关键指标生 存率的影响，语言表达自然，重 点突出结合历史背景对数据规律 进行验证，但没有察觉数据异常。 DeepSeek R1 详细展示长思维链，精准提取关键指 标“幸存率”，分析多个因素特征对 幸存率的影响，结合历史背景对数据 及规律进行验证，并敏锐察觉数据异 DeepSeek R1 负责精准爬取和筛 选数据，Open AI o3mini 提供额 外的数据补充 DeepSeek+Kimi 数据分析的“慧眼破局” DeepSeek R1 负责深入分析和异 常检测，Kimi k1.5 提供深度挖掘 的思路，助于更精准发现数据规律 Open AI+Kimi+Claude 数据呈现的“画龙点睛” Open AI o3mini 直接调用 DALLE 生成图表，Kimi

刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 搜狗商业平台 技术体系广 DevOps 测 试 账户 搜狗商业平台基础平台 物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 pod 都正常运行？ 重新调度 mha MGR 高可用简介 • 多主和单主两种工作模式 • MGR 只支持 InnoDB 引擎 • 开启 GTID，ROW 模式 binlog • 每张表必须有检测冲突的主键 • 目前最多只支持 9 个节点 • loose-group_replication_ • group_name • start_on_boot • local_address • group_seeds

因果分析（事件关联性） 语义分析 语义解析 情感分析（评论、反馈） 意图识别（客服对话、用户查询） 实体提取（人名、地点、事件） 文本分类 文本分类 主题标签生成（如新闻分类） 垃圾内容检测 编程与代码相关 代码调试 • 错 误 分 析 与 修 复 建议 • 代 码 性 能 优 化 提 示 技术文档处理 • API文档生成 • 代码库解释与示 例生成 代码生成 • 细化步骤，明确输入输出格式 “先解释快速排序原理，再写出代 码并测试示例” 模糊需求（如“写个排序代码”） 多轮对话 通用模型 自然交互，无需结构化指令 “你觉得人工智能的未来会怎样？” 强制逻辑链条（如“分三点回答”） 推理模型 需明确对话目标，避免开放发散 “从技术、伦理、经济三方面分析 AI的未来” 情感化提问（如“你害怕AI吗？”） 逻辑分析 推理模型 直接抛出复杂问题 “分析‘电车难题’中的功利主义 + 风格/约束 + 创新 方向 结合逻辑框架生成结构化 创意 自由发散，依赖示例引导 4. 验证需求 需检查逻辑自洽性、数 据可靠性或方案可行性 结论/方案 + 验证方法 + 风险点 自主设计验证路径并排查 矛盾 简单确认，缺乏深度推演 5. 执行需求 需完成具体操作（代码/ 计算/流程） 任务 + 步骤约束 + 输出格 式 自主优化步骤，兼顾效率 与正确性

tranStateTable 文件重建事物状态表 异常恢复： 先按照正常流程恢复 Tran Redo Log commitLog 异常恢复，commitLog 根据 checkpoint 时间点重新生成 redolog， 重新分发 消息 DispatchRequest, 分发消息到位置信息到 ConsumeQueue 更新 Transaction State Table d) 加载事物模块 e) 加载存储检查点 加载${user.home} \store\checkpoint 这个文件存储了 3 个 long 类型的值来记录存储 模型最终一致的时间点，这个 3 个 long 的值为 physicMsgTimestamp 为 commitLog 最后刷盘的时间 logicMsgTimestamp 为 consumeQueue 最终刷盘的时间 indexMsgTimestamp 读取${user.home} \store\checkpoint 获取最终一致的时间点 判断最终一致的点所在的文件是哪个 从最新的 mapedFile 开始，获取存储的一条消息在 broker 的生成时间，大 于 checkpoint 时间点的放弃找前一个文件，小于等于 checkpoint 时间点的 说明 checkpoint 在此 mapedfile 文件中 从 checkpoint

topic 解决就非常丌合 项目开源主页：https://github.com/alibaba/RocketMQ 5 适。如果要让 MQ 解决此问题，会对 MQ 的性能造成非常大的影响。返里要确保一点，业务上是否确实需 要返种严格的优兇级，如果将优兇级压缩成几个，对业务的影响有多大？ 4.3 Message Order 消息有序挃的是一类消息消费时，能挄照収送的顺序来消费。例如：一个订单产生了 (1). 収送消息阶段，丌允许収送重复的消息。 (2). 消费消息阶段，丌允许消费重复的消息。 只有以上两个条件都满足情冴下，才能讣为消息是“Exactly Only Once”，而要实现以上两点，在分布式系统环 境下，丌可避免要产生巨大的开销。所以 RocketMQ 为了追求高性能，幵丌保证此特性，要求在业务上迕行去重， 也就是说消费消息要做到幂等性。RocketMQ 虽然丌能严格保证丌 存储，文件记彔形式。 当消息丌能在内存 Cache 命中时，要丌可避免的访问磁盘，会产生大量读 IO，读 IO 的吞吏量直接决定了 消息堆积后的访问能力。 评估消息堆积能力主要有以下四点： (1). 消息能堆积多少条，多少字节？即消息的堆积容量。 (2). 消息堆积后，収消息的吞吏量大小，是否会叐堆积影响？ 项目开源主页：https://github.com/alibaba/RocketMQ

2021-09-14 11:22:40 获取 7 FFmpeg相关 ffmpeg与相关的ffprobe，ffplay，ffserver 的区别 ffmpeg：处理⾳视频 ffprobe：检测⾳视频 -》 获取相关⽂件的属性和信息 ffplay：播放⾳视频及其他⼀些辅助功能 辅助功能举例： 播放视频并显示⽔印位置：便于发现⽔印位置是否准确 播放效果： -》⽅便看出要去除的⽔印的位置有偏差 ASS中称为OutlineColour BackColour：阴影颜⾊，⽂字阴影的颜⾊ MarginL, MarginR. 左右缩进。⽂字距离视频最左 最右的最⼩距离。 MarginV： 上下缩进。 ⽂字热点（对⻬点）距离视频上下的最⼩间距 离。这取决于⽂字对⻬⽅式，如果该⽂字使⽤ 中对⻬，则上下缩进值⽆效。需要时⽂字可⽤ \n或\N命令换⾏。ASS⽂件中，Script Info部 分的⼀个参数“WrapStyle”也可以改变此值 panic fatal error warning info verbose debug ffmpeg强制覆盖输出⽂件 ffmpeg强制覆盖输出⽂件 = 不需要当每次检测到已存在⽂件再提示你是否 要覆盖 ffmpeg version 4.2-static https://johnvansickle.com/ffmpeg/ ffmpeg version 4.2-static

基于go和flutter的实时通信/视频直播解决方案 段维伟 湖北捷智云技术有限公司 创始人 目 录 背景 01 技术简介 02 客户端 03 服务端 04 开源社区 05 Q&A 06 背景 第一部分 即将讲述的内容 • WebRTC 实时通讯 • Flutter 跨平台UI 开发框架 • 基于Flutter UI 框架的WebRTC 插件 flutter-webrtc 云游戏，机器人，VR，直播等 • 如何用最容易的方案实现实时通讯 • 漂亮的app，最好全部(mobile, web, desktop)平台都支持. • 最容易使用的后端技术 真实世界的需求点 用开源方案实现需求 WebRTC + Flutter + Go 技术简介 第二部分 WebRTC 是什么 01. • 由 Google 发起的基于浏览器通讯标准 • 基于收购来的

应⽤用（机器器学习） - 58s 视频演示 Kubeflow 的应⽤用 Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 • 隔离性和安全性 • 容错性与混合云 • 功能多样性与上线流程 • 如何实现 • K8s - 单『控制集群』， 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』，多仓库集成 管理理集群和节点 • 技术概览 典型 CI/CD 流程 CAICLOUD/CYCLONE • 开源 • https://github.com/caicloud/cyclone Cyclone 技术架构 云原⽣生 CI/CD 引擎 设计 - 云原⽣生，k8s 亲和性 性能 - 为企业场景优化 扩展性 - ⽀支持 AI ⼯工作流 运⾏行行 AI 应⽤用 KUBEFLOW 的应⽤用 • Kubeflow 社区的联合创始⼈人