(bfsugxy@gmail.com) 版权 © 2010 Hunt Xu (mhuntxu@gmail.com) 版权 © 2010 JimHu (jimhuyiwei@gmail.com) 欢迎访问本课程网站：http://people.ubuntu.com/˜happyaron/udc-cn 生成时间：20100725T1630 版本：Daily 本课程由 Canonical 有限公司和 添加语言支持和更改默认语言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 II.III 创建一个用户账户和快速切换用户 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 II.IV 添加/删除应用程序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 II.13 快速用户切换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

院双聘教授 沈阳团队博士后 何静 能做什么？ 要怎么做？ 效果如何？ 一 能做什么？ 数据挖掘 数据分析 数据采集 数据处理 数据可视化 AIGC 数据应用 通过编写爬虫代码、访问数据库、读取文件、调用API等方式，采 集社交媒体数据、数据库内容、文本数据、接口数据等。 通过数据清洗、数据集成、数据变换、特征工程等方式，实 现数据纠错、数据整合、格式转换、特征提取等。 对 长文本处理：擅长处理长文本 和复杂文档，适合专业场景。  定制化能力：支持用户自定义 训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码，提取特定网页内容； 2、撰写python脚本； ，无法作为决策制定、质量评估或产品验证的最终依据。 文件数据读取 1、读取文件； 2、根据指定内容整理成表格。 任务 Open AI o3mini 暂不支持附件上传，响应速度 快，能够快速读取粘贴数据， 输出结果格式工整、简洁。 DeepSeek R1 能够详细全面地提取文件中的 数据，并整理成可视化数据表 格，逻辑性强、指标清晰。 所上传的“2025春运数据（1月14-2月8日）

少碎片、支持大文件、能够进行索引压缩 少碎片、支持大文件、能够进行索引压缩 • 二进制层次的文件可以移植 二进制层次的文件可以移植 (Linux (Linux   Windows) Windows) • 访问速度飞快，是所有 访问速度飞快，是所有 MySQL MySQL 文件引擎中速度最快的 文件引擎中速度最快的 • 不支持一些数据库特性，比如 事务、外键约束等 不支持一些数据库特性，比如 事务、外键约束等 • 事务、外键约束等数据库特性 • Rows level lock , Rows level lock , 读写性能都非常优秀 读写性能都非常优秀 • 能够承载大数据量的存储和访问 能够承载大数据量的存储和访问 • 拥有自己独立的缓冲池，能够缓存数据和索引 拥有自己独立的缓冲池，能够缓存数据和索引 MySQL 架构设计—应用架构 强一致性 对读一致性的权衡，如果是对读写实时性要求非常高的话， 设计合理架构，如果 设计合理架构，如果 MySQL MySQL 访问频繁，考虑 访问频繁，考虑 Master/Slave Master/Slave 读写分离；数据库分表、数据库切片（分 读写分离；数据库分表、数据库切片（分 布式），也考虑使用相应缓存服务帮助 布式），也考虑使用相应缓存服务帮助 MySQL MySQL 缓解访问 缓解访问 压力 压力 系统优化 系统优化  配置合理的 配置合理的

– 负责存储和汇报Storage Containers 5. Storage Containers – Ozone的存储单元，内置有RocksDB 数据库 Apache Ozone – 数据访问的API ofs hdfs dfs -mkdir /volume1/bucket1 o3fs hdfs dfs -ls o3fs://bucket.volume.om-host.com:5678/key 降低控制平⾯的节点数和服务依赖 业务价值 • 降低⼤规模集群的运维难度 • 可通过HDFS API和Distcp进⾏快速迁移 • 降低系统恢复时间 • 尽可能的减少NN Java GC带来的⽆ 响应问题 运维价值 Apache Ozone – 使⽤场景 #2 • 可以快速的对接已适配S3 接⼝的应⽤ • 减少数据在多个平台间的迁移 • 使⽤单⼀的API协议来应对混合云架构 业务价值 atelog_sales”) 均衡器Ozone Balancer(HDDS-4656) 时机 ● 新的节点加⼊Ozone集群 ● 删除⼤量数据后 好处 ● 充分利⽤集群资源 ● 均衡集群IO访问 实现 ● 均衡器实现为SCM的⼦功能 ● Container是数据迁移的最⼩单位， 只迁移CLOSE状态的Container ● 客户端发送命令给SCM，SCM负 责执⾏和控制流程 Ozone

b.com/alibaba/RocketMQ 4 在 RocketMQ 中，所有消息队列都是持丽化，长度无限的数据结构，所谓长度无限是挃队列中的每个存储 单元都是定长，访问其中的存储单元使用 Offset 来访问，offset 为 java long 类型，64 位，理论上在 100 年内丌会溢出，所以讣为是长度无限，另外队列中只保存最近几天的数据，乀前的数据会挄照过期时间来 删除。 Buffer 大小，而丏消息 堆积后，性能下降丌会太大，因为内存中数据多少对亍对外提供的访问能力影响有限。 (2). 消息堆积到持丽化存储系统中，例如 DB，KV 存储，文件记彔形式。 当消息丌能在内存 Cache 命中时，要丌可避免的访问磁盘，会产生大量读 IO，读 IO 的吞吏量直接决定了 消息堆积后的访问能力。 评估消息堆积能力主要有以下四点： (1). 消息能堆积多少条，多少字节？即消息的堆积容量。 项目开源主页：https://github.com/alibaba/RocketMQ 9 (3). 消息堆积后，正常消费的 Consumer 是否会叐影响？ (4). 消息堆积后，访问堆积在磁盘的消息时，吞吏量有多大？ 4.13 分布式事务 已知的几个分布式事务规范，如 XA，JTA 等。其中 XA 规范被各大数据库厂商广泛支持，如 Oracle，Mysql 等。 其中

，主要用于语言生成、语言理解、文本分类、翻译 等任务。 快思慢想：效能兼顾 全局视野 概率预测（快速反应模型，如ChatGPT 4o） 链式推理(慢速思考模型，如OpenAI o1) 性能表现 响应速度快，算力成本低 慢速思考，算力成本高 运算原理 基于概率预测，通过大量数据训练来快速预测可能 的答案 基于链式思维（Chain-of-Thought），逐步推理 问题的每个步骤来得到答案 能够处理多维度和非结构化问题，提供创造性的解 决方案 伦理问题 作为受控工具，几乎没有伦理问题 引发自主性和控制问题的伦理讨论 CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。 前者适合快速反馈，处理即时任务；后者通过推理解决复杂问题。了解它们的差异有助于根据任务需求选择合 适的模型，实现最佳效果。 提示语策略差异 1 2 推理模型 通用模型 • 提示语更简洁，只需明确任务目标和 问题，需分步验证结果）。 从“下达指令”到“表达需求” 策略类型 定义与目标 适用场景 示例（推理模型适用） 优势与风险 指令驱动 直接给出明确步骤或 格式要求 简单任务、需快速执行 “用Python编写快速排序函 数，输出需包含注释。” ✅ 结果精准高效 ❌ 限制模型自主优化空 间 需求导向 描述问题背景与目标， 由模型规划解决路径 复杂问题、需模型自主 推理 “我需要优化用户登录流程，

mysql 之间不使用复制，而是用共享存储或者 DRBD，这样能解决这个问题。 不方便扩展。 可能会发生脑裂问题。 4.3 方案架构图 4.4 适用场景 该方案适合只有两台数据库的情况，访问量不大，不需要实现读写分离的情况。 4.5 方案实战 4.5.1 实战环境介绍 服务器名 IP VIP 系统 Mysql Master 10.1.1.113 10.1.1 优点：安全性高、稳定性高、可用性高，出现故障自动切换， 缺点：只有一台服务器提供服务，成本相对较高。不方便扩展。可能会发生脑裂。 5.3 方案架构图 5.4 方案适用场景 本方案适用于数据库访问量不太大，短期内访问量增长不会太快，对数据库可用性要 求非常高的场景。 5.5 方案实战 5.5.1 实战环境介绍 主机名 Ip 系统 DRBD 磁盘 Heartbeat 版本 dbserver1 立即接管，其他的从服务器能自动切换，不用人工干预。 缺点：至少三个节点，对主机的数量有要求，需要实现读写分离，对程序来说是个 挑战。 6.3 方案架构图 6.4 适用场景 MMM 的适用场景为数据库访问量大，业务增长快，并且能实现读写分离的场景。 6.5 方案实战 6.5.1 实战环境介绍 实战环境服务器列表： 服务器 主机名 ip 地址 Serverid 系统 Mysql

-d mariadb 第三步 配置一主一从集群 3.1 接下来启动另一个容器作为从数据库，因为镜像不支持在容器内进入 mysql 控制 台，所以依然需要把端口暴露出来以供局域网访问,但主数据库容易可以链接进 来作为一个可访问的主机 master_db。 docker run --name <从数据库名> -e MYSQL_ROOT_PASSWORD=<从数据库 root 密码> --link <主数据库容器名>:master_db

Rudder 技术架构 ⼀一套基于 k8s 控制器器模式的原⽣生的应⽤用管理理 和编排运⾏行行时 安全性与扩展性：从 k8s 原⽣生模式中获益 状态可读：跟踪所有 k8s 对象状态 版本化：快速从历史版本回滚 构建应⽤用 典型 CI/CD 流程 CAICLOUD/CYCLONE • 开源 • https://github.com/caicloud/cyclone Cyclone

企业级流存储： BookKeeper streamnative.io Pulsar： 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker 容错 ⽆感知容错 零数据catchup streamnative.io Bookie容错 应⽤⽆感知 并发可控 数据恢复 streamnative