Apache Pulsar,云原生时代的消息平台 - 翟佳Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者: • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 持久化(fsync)、⼀致性(ack: all)、多Topic • IO不隔离:消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构: • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream 的接⼝。 • 丰富的企业级特性 • 多租户隔离 — 百万Topics — 跨地域复制 简介 • Pulsar 的⽣态和社区 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储: BookKeeper streamnative.io Pulsar: 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker0 码力 | 39 页 | 12.71 MB | 6 月前0.03
基于go和flutter的实时通信/视频直播解决方案 段维伟基于go和flutter的实时通信/视频直播解决方案 段维伟 湖北捷智云技术有限公司 创始人 目 录 背景 01 技术简介 02 客户端 03 服务端 04 开源社区 05 Q&A 06 背景 第一部分 即将讲述的内容 • WebRTC 实时通讯 • Flutter 跨平台UI 开发框架 • 基于Flutter UI 框架的WebRTC 插件 flutter-webrtc 多人视频会议系统 • 高质量SIP/VOIP系统 • 视频监控系统 • 机器学习,视觉计算等 如何使用它 01. 副标题 • 在Web中使用JS API • 基于google libwebrtc实现原生客户端开发 (ios/android/c++) • 使用第三方堆栈实现兼容功能(Go) https://github.com/pion/webrtc 一对一视频原理 基本通讯流程 5 RTP/RTCP/媒体流 或通过google 官方提供的源码编 译出原生sdk • iOS/macOS 使用WebRTC.framework + Obj-C/Swift • Android 使用libwebrtc.aar + java • Windows 使用libwebrtc.dll + C++ 实际开发中会遇到的困难 • 下载和编译Google WebRTC框架(防火墙,编译环境) • 原生SDK开发(每平台人力投入)0 码力 | 38 页 | 2.22 MB | 1 年前3
Ubuntu 桌面培训 20102008年10月发布,包括上百项改 进和完整的 3G 支持。支持到 2010年04月。 • Ubuntu 9.04 (Jaunty Jackalope,得意洋洋的怀俄明野兔) 2009年04月发布。 将云计算带到入 Ubuntu 社区。支持到 2010年10月。 • Ubuntu 9.10 (Karmic Koala, 幸 运 的 考 拉 ) 2009年10月 发 布 , 支 持 到2011年04月。 目录 图 III.10 无 线 网 络 对 话 框 3. 输入您想设定的连接名称。 4. 在无线选项页的 SSID 框里输入要连接到的无线网络的SSID(服务集标识),然后在 模式下拉列表中选择架构。 5. 在无线安全性选项卡的安全性下拉列表中选择无线网络的加密方式,如 WPA WPA2.0 6. 选择 IPv4 设置来配置连接。 a. 在方法复选框中,选择手动,并在地址右侧点击添加。 进行更深入的探讨。 使用互联网 107 Ubuntu 桌面培训 目录 III.VII 使用 Ubuntu One 保持同步 Ubuntu One 是 Ubuntu 的赞助商 Canonical 有限公司基于云技术提供的同步服 务。所有 Ubuntu 用户皆免费拥有一个 Ubuntu One 帐号。Ubuntu One 使得您可 以将文件同步于网络之上,以便在任何需要的时候进行访问。您可以使用它同步您的 书0 码力 | 540 页 | 26.26 MB | 1 年前3
Kubernetes Operator 实践 - MySQL容器化刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作,在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域,负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 搜狗商业平台 技术体系广 技术体系广 服务多迭代快 搜狗产品矩阵 商业平台 信息流广告 搜索广告 品牌广告 代理商 广告主 技术体系 CRM 广告平台 物料展现 审核平台 大数据平台 基础架构 Golang C++ JavaScript Java Python 质量要求高 业务响应快 故障恢复快 Cluster1 搜狗商业平台业务系统 搜索推广 信息流 品牌 BizNginx (Load DevOps 测 试 账户 搜狗商业平台基础平台 物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理0 码力 | 42 页 | 4.77 MB | 1 年前3
清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单对数据进行诊断、预测、关联、聚类分析,常用于问题 定位、需求预测、推荐系统、异常检测等。 对数据进行分类、社交网络分析或时序模式挖掘,常用 于客户细分、信用评分、社交媒体营销、股价预测等。 将数据转化为统计图、热力图、网络关系图、词云、树形 图等,用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质:以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet 平衡性能:在模型大小和 性能之间取得平衡,适合 create a table? 切分数据 Can you create a graph using this data? 制作一个图 Can you create a world cloud? 做一个词云 Can you create a chart using this data? 画一个图表 What are the rows and columns in this dataset? 描述一下行和列 语言逻辑清晰,条理分明, 各部分之间过渡自然,逻辑 连贯。在研究现状部分,按 照不同研究领域和主题进行 分类,逻辑性强 报告整体呈现出总分总的逻 辑架构,语言描述清晰,避 免冗长,使用简短的句子表 达复杂的信息 报告整体架构严谨,以引言、 技术原理、应用现状、技术 挑战、未来展望等部分进行 层层递进。语言中多使用中 性描述,客观呈现研究进展 与问题 语言逻辑严谨,条理清晰,各部分0 码力 | 85 页 | 8.31 MB | 8 月前3
基于 KUBERNETES 的 容器器 + AI 平台应⽤用(机器器学习) - 58s 视频演示 Kubeflow 的应⽤用 Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 • 隔离性和安全性 • 容错性与混合云 • 功能多样性与上线流程 • 如何实现 • K8s - 单『控制集群』, 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』,多仓库集成 管理理集群和节点 • 技术概览 KUBERNETES 上的应⽤用 • k8s 基础资源之外 • 资源分组和整体状态 • 重⽤用 YAML 配置 • 版本化 • 启动依赖 • Helm 很棒,但是 …… 典型企业应⽤用的架构 CAICLOUD/RUDDER • 2 CRDs - Release, Release History • 1 控制器器 - Rudder aka Release Controller • lease • https://github.com/caicloud/charts • https://github.com/caicloud/helm-registry Rudder 技术架构 ⼀一套基于 k8s 控制器器模式的原⽣生的应⽤用管理理 和编排运⾏行行时 安全性与扩展性:从 k8s 原⽣生模式中获益 状态可读:跟踪所有 k8s 对象状态 版本化:快速从历史版本回滚0 码力 | 19 页 | 3.55 MB | 1 年前3
2022 Apache Ozone 的最近进展和实践分享API 兼容性 性能 是否⽀持存算分离架构同时也可以兼容存算耦合 架构 应⽤对接 安全 加密 HDFS现有的⼀些解决⽅案 Namenode Federation Router Based Federation 是否需要⼀个新的⼤数据存储? 现有的对象存储⽅案 ⽆法很好的横向扩展 HDFS的扩展性 达到了上限 ⽆法接受私有化 的数据存储系统 公有云的对象存储服务 ⽆法在线下部署 Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 Apache Ozone • Ozone是 ⼀个分布式的KV对象存储 可扩展⾄数⼗亿个对象,从⽽对云原⽣类的应⽤更友好 强⼀致性 与HDFS 和 S3 API兼容 可在存储密集型设备中部署进⽽极⼤的减少设备开⽀ Apache Ozone – 数据存储的路径设计 Ozone的存储路径为 volumes GC带来的⽆ 响应问题 运维价值 Apache Ozone – 使⽤场景 #2 • 可以快速的对接已适配S3 接⼝的应⽤ • 减少数据在多个平台间的迁移 • 使⽤单⼀的API协议来应对混合云架构 业务价值 • 集约化的⼀套存储来⾯向不同的业务负载 • 更易于运维的控制⾯ • 只需要⼀个运维团队⽽不是多个 运维价值 OZONE STORAGE AI/ML HIVE/IMPALA/0 码力 | 35 页 | 2.57 MB | 1 年前3
MySQL高可用 - 多种方案....................................................................................... 3 2.2 方案架构图 ................................................................................................. ....................................................................................... 9 3.2 方案架构图 ................................................................................................. ...................................................................................... 16 4.3 方案架构图 .................................................................................................0 码力 | 31 页 | 874.28 KB | 1 年前3
谈谈MYSQL那点事互联网常用数据库市场占有率 互联网通用架构体制 谈谈 MySQL 数据库那些事 MySQL MySQL 基本介绍 基本介绍 MySQL MySQL 优化方式 优化方式 MySQL MySQL 技巧分享 技巧分享 Q Q & & AA MyISAM MyISAM 特点 特点 MyISAM vs MyISAM vs InnoDB InnoDB • 数据存储方式简单,使用 拥有自己独立的缓冲池,能够缓存数据和索引 拥有自己独立的缓冲池,能够缓存数据和索引 MySQL 架构设计—应用架构 强一致性 对读一致性的权衡,如果是对读写实时性要求非常高的话, 就将读写都放在 M1 上面, M2 只是作为 standby 。 比如,订单处理流程,那么对读需要强一致性,实时写实 时读,类似种涉及交易的或者动态实时报表统计的都要采 用这种架构模式 弱一致性 如果是弱一致性的话,可以通过在 M2 上面分担一些读压力 上面分担一些读压力 和流量,比如一些报表的读取以及静态配置数据的读取模块 都可以放到 M2 上面。比如月统计报表,比如首页推荐商品 业务实时性要求不是很高,完全可以采用这种弱一致性的设 计架构模式。 中间一致性 如果既不是很强的一致性又不是很弱的一致性,那 么我们就采取中间的策略,就是在同机房再部署一个 S1(R) ,作为备库,提供读取服务,减少 M1(WR) 的 压力,而另外一个0 码力 | 38 页 | 2.04 MB | 1 年前3
清华大学 DeepSeek 从入门到精通”。 提示语链的设计和应用建立在多个理论基础之上,包括认知 心理学、信息处理理论、系统理论、创造性思维理论和元认 知理论,核心特征包括: 提示语链的作用机制(一) 任务分解与整合 思维框架构建 在提示语设计中,提示语链发挥着至关重要的作用,通过系统性地引导AI生成高质量、创新性的内容。以下 是提示语链在内容生成过程中的七个主要作用机制 1. 将这个复杂的主题分解为几个主要部分,逐一讨论每个部分。 Extrapolate(推演):将原理应用到新领域 �实战技巧:操作方法 1. 使用“评估矩阵”提示进行系统性筛选 2. 应用“优化循环”提示迭代改进想法 3. 设计“创意组合”提示融合不同概念 4. 使用“叙事架构”提示创建统一的故事线 5. 应用“综合提炼”提示形成最终观点 �实战技巧:操作方法 1. 使用“随机输入”提示引入跨领域元素 2. 应用“类比映射”提示建立领域间的联系 3. 设计“抽象化”提示提取核心原理0 码力 | 103 页 | 5.40 MB | 8 月前3
共 10 条
- 1













