数据迁移
数据迁移 数据迁移 存量 存量 MySQL 迁移到 迁移到 TiDB 服务 服务 UDTS 产品⽀持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移, 及增量数据同步。 可协助⽤⼾在不停机的情况下轻松将业务从MySQL 切换⾄ TiDB。 ⾃建 ⾃建 TiDB 迁移到 迁移到 TiDB 服务 服务 UDTS 产品⽀持 TiDB 全量数据迁移⾄ TiDB服务。 ⽤⼾在源TiDB开启Pump ⽤⼾在源TiDB开启Pump, Drainer 可进⾏数据增量同步。 UDTS与源端Pump, Drainer⼀起可协助⽤⼾在不停机的情况下轻松将业 务从⾃建TiDB 切换⾄ TiDB 服务。 为 为 TiDB 服务建⽴ 服务建⽴ MySQL 从库 从库 UDTS 产品⽀持 TiDB 全量数据迁移⾄ MySQL 数据库。 ⽤⼾在TiDB服务上开启 Binlog 可将数据增量同步⾄下游MySQL。 UDTS 与 TiDB 服务建⽴ TiDB 从库 从库 UDTS 产品⽀持 TiDB 全量数据迁移⾄ TiDB 数据库。 ⽤⼾在源TiDB服务上开启 Binlog 可将数据增量同步⾄下游TiDB。 UDTS 与 TiDB Binlog服务⼀起可协助⽤⼾轻松建⽴TiDB从 数据迁移 Copyright © 2012-2021 UCloud 优刻得 1/2 库。 数据迁移 Copyright © 2012-2021 UCloud0 码力 | 2 页 | 42.01 KB | 5 月前32024 中国开源开发者报告
点 编委会 21 | 2024 年中国开源模型:崛起与变革 26 | 开源模型未必更先进,但会更长久 30 | 大模型撞上“算力墙”,超级应用的探寻之路 36 | AI 的三岔路口:专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024:随需而变,从狂热到理性 51 | 大模型训练中的开源数据和算法:机遇及挑战 57 | 2024 年 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化:构建未来 AI 基础设施的关键 Part 1:中国开源开发者生态数据 04 | Gitee 数据篇 Part 3:国内 AI 运营 设计:张琪 开发者是开源生态的重要支柱。 本章结合 、 的数据分 析,勾勒 2024 年中国开源开发者的整体画像趋势轮廓,主要 反映中国开源开发者使用开源大模型概况、开源项目/组织健康 度,以及中国开源社区的生态评估等情况。 Gitee 数据篇 本报告数据来源:2024年1月至2024年12月 Gitee及Gitee AI平台相关公开数据 4 / 111 开发者是社区的力量源泉0 码力 | 111 页 | 11.44 MB | 8 月前3PolarDB开源生态介绍 - 杭州Meetup 2022.10.15
PolarDB开源生态介绍 阿里云 digoal为什么开源是未来?阿里巴巴开源缩略图数据库开源大图PolarDB开源云原生分布式数据库家族 : 兼容MySQL&PostgreSQL用户 生态伙伴 人才 降本提效 团队成长 商业服务 用户合作 • 联合实验室 PolarDB云原生分布式开源数据库产品 高校合作 • 课程合作 • 科研项目合作 • 工作组 高校 协同育人、教学优化成果 参与社区分享 • 编程之夏 • 黑客松 开源课程: (学习、实验、评 测、认证、实践、 代码协作) • 训练营 • 电子书 • 评测局 • 开源认证考试 • 开源学堂 • 内核课程 PolarDB开源社区 (2W+用户) github、官网、钉钉、微信、B站、知乎、csdn、... • 峰会 • 大咖说.对话开源 • meetup • 荣誉墙 技能栏目: 曝光流量 • SIG • Issue 开源代码协作 • 理事会 • 人才发展委员会 • 技术委员会 开源社区治理 • 联合解决方案|产品 • OxM发型版 • 数据库管理产品 • 数据迁移、联邦产品 生态伙伴合作 高校合作 学习、分享、比赛、贡献 服务客户 开源共建 社区运营 生态建设 获得生态 商业服务 使用开源 PolarDB 开源学习 开源共建 人才招聘 产品适配 OxM0 码力 | 7 页 | 1.45 MB | 5 月前3Curve元数据节点高可用
© XXX Page 1 of 30 Curve元数据节点高可用© XXX Page 2 of 30 1. 需求 2. 技术选型 3. etcd clientv3的concurrency介绍 3.1 etcd clientV3的concurrency模块构成 3.2 Campaign的流程 3.2.1 代码流程说明 3.2.2 举例说明Campagin流程 3.3 Observe的流程 Etcd集群与MDS1(当前leader)出现网络分区 4.2.5.1 事件一先发生 4.2.5.2 事件二先发生 4.2.6 异常情况4:Etcd集群的follower节点异常 4.2.7 各情况汇总 1. 需求 mds是元数据节点,负责空间分配,集群状态监控,集群节点间的资源均衡等,mds故障可能会导致client端无法写入。 因此,mds需要做高可用。满足多个mds, 但同时只有一个mds节点提供服务,称该提供服务的 的就是zookeeper和etcd, 考虑当前系统中mds有两个外部依赖模块,一是mysql, 用于存储集群拓扑的相关信息;二是etcd,用于存储文件的元数据信息。而etcd可以用于实现mds高可用,没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制: TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期,到期后key会被自动删0 码力 | 30 页 | 2.42 MB | 5 月前3go-zero开源项目的成长史
万俊峰Kevin go-zero 开源项⽬成⻓史 About me • go-zero 作者 • 阿⾥云MVP • 腾讯云TVP • ArchSummit 明星讲师 • GopherChina 主持⼈&⾦牌讲师 • 极客时间 Go 专题出品⼈ • 腾讯云开发者⼤会讲师 TOC ● go-zero 的由来 ● go-zero 的现状 ● go-zero 的成⻓阶段 ● go-zero go-zero 的现状 • star 增⻓趋势 • contributors • ⽤户 • 社区⽤户 • 企业⽤户 • 质量标准 • 需求 • PR 标准 go-zero 数据统计 star 增⻓趋势 Contributors 社区⽤户 企业⽤户 代码质量 功能评估 & 代码合并 • 功能评估 • 如⾮必要,勿增实体 • MVP,最⼩化接⼝ • 社区需求驱动 两年两万星 • 第三个年头 go-zero 开源伊始 • 开源 ≠ 代码提交到 GitHub • 规划发展路线 • 梳理推⼴思路 • 找渠道、建社区 • 分析⽤户 go-zero 开源伊始 • 定⽬标 • 找渠道 • 建社区 • 有数据驱动的思维 • 分析渠道 • 分析⽤户 • 分析ROI go-zero 开源伊始 • 技术分享 • GoCN0 码力 | 31 页 | 4.83 MB | 9 月前3分布式NewSQL数据库TiDB
优刻得科技股份有限公司 版权所有 分布式 分布式NewSQL数据库 数据库 TiDB 产品⽂档 2 9 11 12 12 12 12 12 13 14 14 14 14 15 15 16 16 18 ⽬录 ⽬录 ⽬录 ⽬录 概览 概览 什么是 什么是TiDB 产品优势 产品优势 ⾼度兼容 MySQL 动态扩展 分布式事务 HTAP 真正⾦融级⾼可⽤ 适⽤场景 适⽤场景 对数据⼀致性及⾼可靠、系统⾼可⽤、可扩展性、容灾要求较⾼的⾦融⾏业属性的场景 灾要求较⾼的⾦融⾏业属性的场景 对存储容量、可扩展性、并发要求较⾼的海量数据及⾼并发的 OLTP 场景 Real-time HTAP 场景 数据汇聚、⼆次加⼯处理的场景 真正⾦融级⾼可⽤ UCloud 云上 云上 TiDB 架构⽰意图 架构⽰意图 TiDB TiDB Serverless ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 2/120 重置⽤⼾密码 删除⾮root⽤⼾ ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 3/120 38 39 40 40 41 41 43 43 43 46 49 49 52 53 55 57 57 58 58 59 60 备份恢复 备份恢复 设置备份策略 调整⾃动备份策略 ⼿动备份 删除备份数据 备份恢复 Dashboard/监控访问 监控访问 代理节点0 码力 | 120 页 | 7.42 MB | 5 月前3Curve文件系统元数据管理
of 24 Curve文件系统元数据管理(已实现)© XXX Page 2 of 24 1. 2. 3. 4. Inode 1、设计一个分布式文件系统需要考虑的点: 2、其他文件系统的调研总结 3、各内存结构体 4、curve文件系统的元数据内存组织 4.1 inode定义: 4.2 dentry的定义: 4.3 内存组织 5 元数据分片 5.1 分片方式一:in 1、设计一个分布式文件系统需要考虑的点: 文件系统的元数据是否全缓存? 元数据持久化在单独的元数据服务器上?在磁盘上?在volume上? inode+dentry方式?当前curve块存储的kv方式? 是否有单独的元数据管理服务器? 2、其他文件系统的调研总结 fs 中心化元数据 内存namespace元数据 内存空间分配元数据 元数据持久化 元数据扩展 小文件优化 空间管理单位 数据持久化 其他© XXX Page moosefs(mfs) 有元数据服务器 全内存 fsnode → hashtable(inode id) fsedge → hashtable (parent inode + name) 全内存 chunk → hashtable(chunk id) log + dump record 差 否 chunk 链式多副本 overwirte有数据不一致风险 chubaofs(cfs) 有元数据服务器 inode0 码力 | 24 页 | 204.67 KB | 5 月前3Curve支持S3 数据缓存方案
© XXX Page 1 of 9 Curve支持S3 数据缓存方案© XXX Page 2 of 9 版本 时间 修改者 修改内容 1.0 2021/8/18 胡遥 初稿 背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程 基于s3的daemon版本基于基本的性能测试发现性能非常差。具体数据如下: 通过日志初步分析有2点原因© XXX Page 3 of 9 1.append接口目前采用先从s3 get,在内存中合并完后再put的方式,对s3操作过多 2.对于4k 小io每次都要和s3交互,导致性能非常差。 因此需要通过Cache模块解决以上2个问题。 整体设计 整个dataCache的设计思路,在写场景下能将数据尽可能的合并后flush到s3 读场景上,能够预读1个block大小,减少顺序读对于底层s3的访问频次。从这个思路上该缓存方案主要针对的场景是顺序写和顺序 读,而对于随机写和随机读来说也会有一定性能提升,但效果可能不会太好。 元数据采用2层索引 由于chunk大小是固定的(默认64M),所以Inode中采用maps3ChunkInfoMap用于保存对象存储的位置信息。采用2 0 码力 | 9 页 | 179.72 KB | 5 月前3蚂蚁金服ServiceMesh数据平面 SOFAMosn深层揭秘
蚂蚁金服ServiceMesh数据平面 SOFAMosn深层揭秘 奕杉Agenda Ø背景 Ø构架 Ø能力 Ø性能 ØRoadMap背景为什么蚂蚁需要ServiceMesh Ø拥抱微服务,云原生 • SOFA 5规划落地 • 兼容K8S的智能调度体系 Ø运维体系的有力支撑 • LDC • 弹性伸缩 • 蓝绿/容灾/.. Ø金融级网络安全 • 金融级鉴权体系 • 云原生zero trust网络安全趋势 2SOFAMosn内数据流 3NET/IO 4 Ø屏蔽IO处理细节 Ø定义网络链接生命周期,事件机制 Ø定义可编程的网络模型,核心方法,监控指标 Ø定义可扩展的插件机制PROTOCOL 5 Ø定义编解码核心数据结构 üMesh处理三段式:Headers + Data + Trailers Ø定义协议Codec核心接口 ü编码:对请求数据进行编码并根据控制指令发送数据 ü解码:对IO数据进行解码并通过扩展机制通知订阅方 为网络协议请求/响应提供可编程的抽象载体 ü 考虑PING-PONG,PIPELINE,分帧STREAM三种典型流程特征 Ø定义Stream生命周期,核心事件 Ø定义Stream层编/解码核心接口 ü 核心数据结构复用Protocol层 Ø定义可扩展的插件机制 Ø对于满足请求Stream池化的需求 Ø需处理上层传入的状态事件PROXY 7 Ø基于Stream抽象提供多协议转发能力 Ø执行Stream扩展Filters0 码力 | 44 页 | 4.51 MB | 5 月前3Curve文件系统元数据Proto(接口定义)
© XXX Page 1 of 15 curve文件系统元数据proto(代码接口定义,已实现)© XXX Page 2 of 15 1、代码结构和代码目录 curve文件系统是相对于curve块设备比较独立的一块,在当前curve项目的目录下,增加一个一级目录curvefs,curvefs下有自己独立的proto\src\test。 2、文件系统proto定义 2.1 mds.proto0 码力 | 15 页 | 80.33 KB | 5 月前3
共 192 条
- 1
- 2
- 3
- 4
- 5
- 6
- 20