JumpServer ⼴受欢迎的开源堡垒机
⼴受欢迎的开源堡垒机 2023 年 10 ⽉ 1 2 企业为什么需要堡垒机? JumpServer 堡垒机的优势 JumpServer 堡垒机企业版 JumpServer 案例研究(江苏农信、东⽅明珠、⼩红书) 4 JumpServer 堡垒机⼀体机及信创⽅案 3 5 为什么要使⽤堡垒机? - 以更安全的⽅式管控和登录各种类型的资产 - 系统管理员 外包⼈员 普通⽤户 临时访客 临时访客 运维资产集 服务器 ⽹络设备 数据库 安全设备 事前授权 事中监察 事后审计 管理者期望 堡垒机的 4A 能⼒ 堡垒机 身份鉴别 Authentication 授权控制 Authorization 安全审计 Auditing 账号管理 Accounting 堡垒机需要具备的四个核⼼能⼒ 身份鉴别 账号管理 授权控制 安全审计 - 运维安全审计的 4A 规范 - 案例研究(江苏农信、东⽅明珠、⼩红书) 4 JumpServer 堡垒机⼀体机及信创⽅案 3 5 JumpServer 堡垒机是谁? • 中国明星开源项⽬; • 2017 年 11 ⽉正式加⼊ FIT2CLOUD ⻜致云; • 荣获 2018 OSCAR 尖峰开源技术创新奖; • 《计算机信息系统安全专⽤产品销售许可证》 (公安部颁发) • IT 产品信息安全认证证书(中国⽹络安全审查技 术与认证中⼼颁发)0 码力 | 49 页 | 14.87 MB | 1 年前3PolarDB开源生态介绍 - 杭州Meetup 2022.10.15
PolarDB开源生态介绍 阿里云 digoal为什么开源是未来?阿里巴巴开源缩略图数据库开源大图PolarDB开源云原生分布式数据库家族 : 兼容MySQL&PostgreSQL用户 生态伙伴 人才 降本提效 团队成长 商业服务 用户合作 • 联合实验室 PolarDB云原生分布式开源数据库产品 高校合作 • 课程合作 • 科研项目合作 • 工作组 高校 协同育人、教学优化成果 参与社区分享 • 编程之夏 • 黑客松 开源课程: (学习、实验、评 测、认证、实践、 代码协作) • 训练营 • 电子书 • 评测局 • 开源认证考试 • 开源学堂 • 内核课程 PolarDB开源社区 (2W+用户) github、官网、钉钉、微信、B站、知乎、csdn、... • 峰会 • 大咖说.对话开源 • meetup • 荣誉墙 技能栏目: 曝光流量 • SIG • Issue 开源代码协作 • 理事会 • 人才发展委员会 • 技术委员会 开源社区治理 • 联合解决方案|产品 • OxM发型版 • 数据库管理产品 • 数据迁移、联邦产品 生态伙伴合作 高校合作 学习、分享、比赛、贡献 服务客户 开源共建 社区运营 生态建设 获得生态 商业服务 使用开源 PolarDB 开源学习 开源共建 人才招聘 产品适配 OxM0 码力 | 7 页 | 1.45 MB | 5 月前3Curve元数据节点高可用
© XXX Page 1 of 30 Curve元数据节点高可用© XXX Page 2 of 30 1. 需求 2. 技术选型 3. etcd clientv3的concurrency介绍 3.1 etcd clientV3的concurrency模块构成 3.2 Campaign的流程 3.2.1 代码流程说明 3.2.2 举例说明Campagin流程 3.3 Observe的流程 Etcd集群与MDS1(当前leader)出现网络分区 4.2.5.1 事件一先发生 4.2.5.2 事件二先发生 4.2.6 异常情况4:Etcd集群的follower节点异常 4.2.7 各情况汇总 1. 需求 mds是元数据节点,负责空间分配,集群状态监控,集群节点间的资源均衡等,mds故障可能会导致client端无法写入。 因此,mds需要做高可用。满足多个mds, 但同时只有一个mds节点提供服务,称该提供服务的 的就是zookeeper和etcd, 考虑当前系统中mds有两个外部依赖模块,一是mysql, 用于存储集群拓扑的相关信息;二是etcd,用于存储文件的元数据信息。而etcd可以用于实现mds高可用,没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制: TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期,到期后key会被自动删0 码力 | 30 页 | 2.42 MB | 5 月前3古月《ROS入门21讲》20.常用可视化工具的使用.pdf
20.常用可视化工具的使用 主 讲 人 : 古 月 Qt工具箱 Rviz Rviz ➢ ➢ ➢ Rviz ➢ 0 :3D视图区 ➢ 1 :工具栏 ➢ 2 :显示项列表 ➢ 3 :视角设置区 ➢ 4 :时间显示区 Gazebo • • • • • • • Gazebo ➢ 0 :3D视图区 ➢ 1 :工具栏 ➢ 2 :模型列表 ➢ 3 :模型属性项0 码力 | 8 页 | 1.67 MB | 1 年前3Curve文件系统元数据管理
of 24 Curve文件系统元数据管理(已实现)© XXX Page 2 of 24 1. 2. 3. 4. Inode 1、设计一个分布式文件系统需要考虑的点: 2、其他文件系统的调研总结 3、各内存结构体 4、curve文件系统的元数据内存组织 4.1 inode定义: 4.2 dentry的定义: 4.3 内存组织 5 元数据分片 5.1 分片方式一:in 1、设计一个分布式文件系统需要考虑的点: 文件系统的元数据是否全缓存? 元数据持久化在单独的元数据服务器上?在磁盘上?在volume上? inode+dentry方式?当前curve块存储的kv方式? 是否有单独的元数据管理服务器? 2、其他文件系统的调研总结 fs 中心化元数据 内存namespace元数据 内存空间分配元数据 元数据持久化 元数据扩展 小文件优化 空间管理单位 数据持久化 其他© XXX Page moosefs(mfs) 有元数据服务器 全内存 fsnode → hashtable(inode id) fsedge → hashtable (parent inode + name) 全内存 chunk → hashtable(chunk id) log + dump record 差 否 chunk 链式多副本 overwirte有数据不一致风险 chubaofs(cfs) 有元数据服务器 inode0 码力 | 24 页 | 204.67 KB | 5 月前3Curve支持S3 数据缓存方案
© XXX Page 1 of 9 Curve支持S3 数据缓存方案© XXX Page 2 of 9 版本 时间 修改者 修改内容 1.0 2021/8/18 胡遥 初稿 背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程 基于s3的daemon版本基于基本的性能测试发现性能非常差。具体数据如下: 通过日志初步分析有2点原因© XXX Page 3 of 9 1.append接口目前采用先从s3 get,在内存中合并完后再put的方式,对s3操作过多 2.对于4k 小io每次都要和s3交互,导致性能非常差。 因此需要通过Cache模块解决以上2个问题。 整体设计 整个dataCache的设计思路,在写场景下能将数据尽可能的合并后flush到s3 读场景上,能够预读1个block大小,减少顺序读对于底层s3的访问频次。从这个思路上该缓存方案主要针对的场景是顺序写和顺序 读,而对于随机写和随机读来说也会有一定性能提升,但效果可能不会太好。 元数据采用2层索引 由于chunk大小是固定的(默认64M),所以Inode中采用maps3ChunkInfoMap用于保存对象存储的位置信息。采用2 0 码力 | 9 页 | 179.72 KB | 5 月前3openEuler : 面向数字基础设施的开源操作系统
openEuler 开源社区 2024年Q2 openEuler 是由开放原子开源基金会 (OpenAtom Foundation)孵化及运营的开源项目 为世界提供开源软件 为开源软件提供指导、虚拟协作空间、创新平台和服务 在社区开发、管理和孵化开源软件,并且与其他许多开源社区合作 openEuler : 面向数字基础设施的开源操作系统 openEuler 是? openEuler 愿景 愿景 openEuler 使命 为世界提供数字基础设施的开源操作系统 234万 社区用户 610万 装机量 谁在使用 openEuler 谁在贡献 openEuler 105 SIG组 1,500 成员单位 18,127 社区贡献者 战略捐赠人 白金捐赠人 黄金捐赠人 白银捐赠人 青铜捐赠人 学术机构和非营利组织 openEuler 治理架构 openEuler Maintainer Committer 贡献者 子项目 《openEuler组织架构》 《openEuler项目群开源治理制度》 openEuler 技术优势 Information Technology Communication Technology + + 主流应用:云原生,大数据,CDN,MEC,工业控制 … 主流应用场景100%支持 覆盖全场景应用 Operational Technology0 码力 | 12 页 | 2.87 MB | 1 年前3Curve文件系统元数据Proto(接口定义)
© XXX Page 1 of 15 curve文件系统元数据proto(代码接口定义,已实现)© XXX Page 2 of 15 1、代码结构和代码目录 curve文件系统是相对于curve块设备比较独立的一块,在当前curve项目的目录下,增加一个一级目录curvefs,curvefs下有自己独立的proto\src\test。 2、文件系统proto定义 2.1 mds.proto0 码力 | 15 页 | 80.33 KB | 5 月前3openEuler全新升级,成为数字基础设施开源操作系统
实时内核UniProton及其混合关键性部署的实践 openEuler全新升级,成为数字基础设施开源操作系统 Communication Technology Information Technology Operational Technology + + ERP BSS/OSS CRM DCS NFV SCADA … 覆盖全场景应用 服务器 云计算 边缘计算 嵌入式 支持多样性设备 创新版本 2021.09 创新版本 2022.03 全场景 LTS版本 全场景 创新版本 2022.09 2023~ 创新版本 代码正式开源 2019.12 内核可编程,场景算力最佳 异构直连聚合,应用跨算力流转 分布式数据管理,数据共享 … 嵌入式 服务器 全场景能力 持续增强 基础能力 持续创新 南向创新 • 可编程内核 • 实时内核 北向创新 • 容器/虚机混部 提供us级软/硬实时内核 • OpenAMP混合部署模式 • 分布式软总线,欧拉/鸿蒙设备互通 云计算 边缘计算 openEuler SDK openEuler DevOps: • 磁盘资源隔离,大数据性能提升30% • 应用感知调度,hbase性能提升20% • 容器/虚机混部, • 资源利用率15%-30% • 边云管理协同框架, • 跨边云单应用秒级发放 缘起:一个运动控制系统(机器人0 码力 | 15 页 | 1.35 MB | 1 年前3CurveFS S3数据整理(合并碎片、清理冗余)
1 of 3 curvefs s3数据整理(合并碎片、清理冗余)© XXX Page 2 of 3 1. 2. 3. 1. 2. 3. 4. 5. 6. 1. 2. 背景 只考虑单客户端, 单metaserver 为了解决的问题: 客户端在对一个文件的某个部分多次写入后, 同一个chunk会产生很多版本数据; 而客户端在读的时候, 会需要对这些chunk进行筛选和构建 会需要对这些chunk进行筛选和构建, 得到有效的部分, 越是散乱的状态, 就越需要发送更多次读请求至s3. 最后导致无效旧数据的堆积和读请求性能的下降, 所以需要在合适的时候进行重叠元数据和数据的合并 原则是尽力而为, 并不能做到完美 方案 基于一下3个基础的数据结构, 2层索引 s3chuninfolist[index] = [s3chunkinfo(s)] s3chunkinfo { } s3 object命名: chunkid_version_index (index为obj在chunk内的index) 执行步骤 数据整理作为一个后台服务(线程池), 运行于metaserver, 遍历metaserver的inode进行数据整理的尝试, 入队inodekey, 如果是已有inode任务, enqueue直接返回, 不入队 任务开始执行, 尝试根据inodekey获取inode信息0 码力 | 3 页 | 101.58 KB | 5 月前3
共 134 条
- 1
- 2
- 3
- 4
- 5
- 6
- 14