........................................................................................ 14 6.3 数据存储结构 .............................................................................................. ........................................................................................ 15 6.5 数据可靠性 ............................................................................................... ............................................................................... 34 11.3 Message 数据结构 ................................................................................................

要怎么做？ 效果如何？ 一 能做什么？ 数据挖掘 数据分析 数据采集 数据处理 数据可视化 AIGC 数据应用 通过编写爬虫代码、访问数据库、读取文件、调用API等方式，采 集社交媒体数据、数据库内容、文本数据、接口数据等。 通过数据清洗、数据集成、数据变换、特征工程等方式，实 现数据纠错、数据整合、格式转换、特征提取等。 对数据进行诊断、预测、关联、聚类分析，常用于问题 定位、需求预测、推荐系统、异常检测等。 定位、需求预测、推荐系统、异常检测等。 对数据进行分类、社交网络分析或时序模式挖掘，常用 于客户细分、信用评分、社交媒体营销、股价预测等。 将数据转化为统计图、热力图、网络关系图、词云、树形 图等，用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 中等规模任务。 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码，提取特定网页内容； 2、撰写python脚本； 3、提取并合并网址； 4、提取网址内容； 5、写入文件。 任务 你需要完成以下两个任务： 1.阅读网页【网址】源代码【对应网页源代码】。提取所

MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle 旗下产品。MySQL是最流行的关系型数据库管理系统之一，在Web应用方面，MySQL 是最好的RDBMS (Relational Database Management System，关系数据库管理系 统）应用软件之一。 MySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将 所有数据放在一个大 所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。 MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了 双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其 是开放源码这一特点，一般中小型网站的开发都选择 MySQL作为网站数据库。 1.2 调优原则 性能调优从大的方面来说，在系统设计之初，需要考虑硬件的选择，操作系统的选 择，基础软件的选择；从 用编译器的选项，如何发挥硬件最大的性能等等。 在性能优化时，我们必须遵循一定的原则，否则，有可能得不到正确的调优结果。主 要有以下几个方面： ● 对性能进行分析时，要多方面分析系统的资源瓶颈所在，因为系统某一方面性能 低，也许并不是它自己造成的，而是其他方面造成的。如CPU利用率是100%时， 很可能是内存容量太小，因为CPU忙于处理内存调度。 ● 一次只对影响性能的某方面的一个参数进行调整，多个参数同时调整的话，很难

互联网常用数据库市场占有率 互联网通用架构体制 谈谈 MySQL 数据库那些事  MySQL MySQL 基本介绍 基本介绍  MySQL MySQL 优化方式 优化方式  MySQL MySQL 技巧分享 技巧分享  Q Q & & AA MyISAM MyISAM 特点 特点 MyISAM vs MyISAM vs InnoDB InnoDB • 数据存储方式简单，使用 数据存储方式简单，使用 数据存储方式简单，使用 B+ Tree B+ Tree 进行索引 进行索引 • 使用三个文件定义一个表： 使用三个文件定义一个表： .MYI .MYD .frm .MYI .MYD .frm • 少碎片、支持大文件、能够进行索引压缩 少碎片、支持大文件、能够进行索引压缩 • 二进制层次的文件可以移植 二进制层次的文件可以移植 (Linux (Linux 不支持一些数据库特性，比如 事务、外键约束等 不支持一些数据库特性，比如 事务、外键约束等 • Table level lock Table level lock ，性能稍差，更适合读取多的操作 ，性能稍差，更适合读取多的操作 InnoDB InnoDB 特点 特点 •使用 使用 Table Space Table Space 的方式来进行数据存储 的方式来进行数据存储 (ibdata1

Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 ⼤数据存储的需求 能否提供⾼并发读取和写⼊ 是否兼容主流API，如HDFS/S3 是否可以扩展⾄数百PB的存储容量，数千个 物理节点以及数⼗亿个对象 扩展性 API 兼容性 性能 是否⽀持存算分离架构同时也可以兼容存算耦合 架构 应⽤对接 安全 加密 HDFS现有的⼀些解决⽅案 Namenode Federation Router Based Federation 是否需要⼀个新的⼤数据存储？ 现有的对象存储⽅案 ⽆法很好的横向扩展 HDFS的扩展性 达到了上限 ⽆法接受私有化 的数据存储系统 公有云的对象存储服务 ⽆法在线下部署 ⽬录 • Apache Hadoop HDFS⾯临的问题 • Apache Ozone介绍 • Apache Ozone适⽤场景 ⼀个分布式的KV对象存储 可扩展⾄数⼗亿个对象，从⽽对云原⽣类的应⽤更友好 强⼀致性 与HDFS 和 S3 API兼容 可在存储密集型设备中部署进⽽极⼤的减少设备开⽀ Apache Ozone – 数据存储的路径设计 Ozone的存储路径为 volumes, buckets, 和 keys. Volumes 类似与⽤户账号. 只有Admin 可以创建或删除Volumes Buckets 类似与S3

OpenOffice.org 演示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 IV.I.IV OpenOffice.org 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 目录 5 Ubuntu 桌面培训 目录 IV.I.V OpenOffice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391 VIII.56编辑新音乐文件的元数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392 VIII.57导出进度指示器 的样子的。 自由分发的源代码的想法是为了鼓励人们自愿地、相互协同地开发软件。用户不断参 与增强软件、修复缺陷、开发新功能并且和其他人分享。 大量的程序员参与到软件协作开发之中，用户可以获得质量和性能比专有软件更好的 开源软件。开源软件鼓励用户对软件进行自定义，使其满足自身需要。这是一个巨大 的进步，软件不再是一成不变的。 2 自由软件运动、开源和 Linux 目录 Lucid Lynx

是什么 streamnative.io Apache Pulsar 要解决的问题 • 企业需求和数据规模 • 多租户 - 百万Topics - 低延时 - 持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点：替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障： 持久化（fsync）、⼀致性（ack: all）、多Topic • IO不隔离：消费者读Ba IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构： • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream 的接⼝。 • 丰富的企业级特性 • 多租户隔离 — 百万Topics — 跨地域复制 — 鉴权认证 • Pulsar 的根本不同 • Apache 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker 容错 ⽆感知容错 零数据catchup streamnative.io Bookie容错 应⽤⽆感知 并发可控 数据恢复 streamnative.io 瞬时存储扩容 应⽤⽆感知 数据均匀分布 ⽆re-balance Pulsar： 云原⽣的架构优势 https://jack-vanlightly

不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 专精于逻辑密度高的任务 擅长多样性高的任务 翻译 等任务。 快思慢想：效能兼顾 全局视野 概率预测（快速反应模型，如ChatGPT 4o） 链式推理(慢速思考模型，如OpenAI o1) 性能表现 响应速度快，算力成本低 慢速思考，算力成本高 运算原理 基于概率预测，通过大量数据训练来快速预测可能 的答案 基于链式思维（Chain-of-Thought），逐步推理 问题的每个步骤来得到答案 决策能力 依赖预设算法和规则进行决策 通用模型适配策略 1. 决策需求 需权衡选项、评估风险、 选择最优解 目标 + 选项 + 评估标准 要求逻辑推演和量化分析 直接建议，依赖模型经验归纳 2. 分析需求 需深度理解数据/信息、 发现模式或因果关系 问题 + 数据/信息 + 分析 方法 触发因果链推导与假设验 证 表层总结或分类 3. 创造性需求 需生成新颖内容（文本/ 设计/方案） 主题 + 风格/约束 + 创新 方向

WebRTC框架（防火墙，编译环境） • 原生SDK开发(每平台人力投入) • UI 的一致性，更新迭代（类似SDK需按平台维护） • 性能问题(全部使用html5) 客户端是否有 更好的选择？ 为何选择 Flutter • 同样是 Google 发起的跨全平台高性能UI框架 • 基于 Skia 2D 渲染引擎 • 使用类似JS/TS的Dart 语言开发 • 支持代码编辑后热重载, Flutter 存储媒体流全局位置 • 支持业务自定义开发 • 高性能，单个ion-sfu节点 1k 并发仅需 0.5核 ION 架构 多node 架构 主要模块 • ISLB 服务发现，负载均衡，媒体信息全局存储 • Biz 业务接入模块 • SFU 节点 (用于转发webrtc 流，与biz模块配合创建视频会议系 统) • AVP 节点 (用于从SFU节点拉取数据进行数据处理，视频流存 储，音视频混合，CV ，语音识别，图形识别等)

Mysql 集群 软件环境介绍 操作系统：Ubuntu server 64bit 14.04.1 Docker 版本 1.6.2 数据库：Mariadb 10.10 （Mariadb 是 MySQL 之父在 MySQL 被 Oracle 收购之后 创建的分支，性能上优于 MySQL 开源版本） 第一步 安装 Docker 对于 Ubuntu，建议直接联网安装 Docker 最新版本，apt-get 第二步 运行 Mariadb 容器 首先要将数据镜像拉下来 docker pull mariadb:latest 注意，如果不加:latest 标签，docker 会把所有的镜像版本都拉下来。 然后我们就可以启动镜像了，参数方面需要注意的有一下几点： 1，-name <给容器取个好记的名称> 2，-e MYSQL_ROOT_PASSWORD =‘<给数据库一个 root 用户密码>’ 3，-p <映射到本机的端口>:3306 <映射到本机的端口>:3306 4，-v <本机的数据库存放目录>:/var/lib/mysql 5，设定 MYSQL_USER、MYSQL_PASSWORD、MYSQL_DATABASE 环境变量可以使容器在 运行时同时创建你所需要的数据库和带有全部权限的用户及其对应密码 6，设定 TERM 环境变量的值可以解决容器不能进入 mysql 控制台的问题。 对于不是自己建立的镜像，建立出来的容器未必能一次达到要求，建议是将