o copy files efficiently ## • Part 2: • psutil 第1部分 ○基础的 Unix 概念 ○基础的 Socket 操作 ○高效的传输文件 ☐高效的复制文件 第2部分 ○ psutil ## UNIX concepts (oversimplified) [简单聊聊 Unix 的相关概念] ## System call / 系统调用 - 系统调用 I/O • open() • read() • write() Processes / 进程 • fork() • kill() • wait() Filesystem / 文件系统 • chmod() • mkdir() • getcwd() Communication / 通信 • pipe() • splice() • mmap() ## Kernel / 203d8521/p10_1.jpg) ## File descriptors / 文件描述符 - it's a reference to "something" (usually a file) - it can be mixed with system calls - 是对文件/套接字等资源的引用 ● 可以和系统调用连用 ## Print >>>

## 静态类型的Python PYTHON 30th Lyzh（刘知杭） ## 目录 CONTENTS ➤ 有关类型的概念 使用mypy对Python源代码进行静态分析 代数数据类型 拓展知识 ## 关于类型的一些基本概念 有类型不等于有类型系统 PYTHON 30th 动态语言类型化的必要性 ## 不久前的一个案例 ☀️ ☀️ ☁️ rl = filter(lambda x: 甚至Haskell程序员们能够在HGoogle中通过函数的类型签名来寻找函数。 程序效率：动态类型不利于编译优化 ## 渐进式类型系统 相对于静态语言的类型系统。 为动态语言添加类型系统需要考虑到过渡与历史包袱 一种叫做渐进式类型系统的东西完美的符合了这个应用场景 这种类型系统同时允许动态类型与静态类型的存在 声明类型系统、鸭子类型与结构类型系统 类型系统的分类——声明式类型系统与结构化类型系统 声明类型系统通过名字来检查类型 支持。尽管没有为注释指定任何含义，但始终存在一个隐式目标，即将它们用于类型提示。 该PEP旨在为类型注释提供标准语法，开放Python代码以简化静态分析和重构，潜在的运行时类型检查，以及（可能在某些情况下）利用类型信息生成代码。 在这些目标中，静态分析是最重要的。这包括对类型检查器（如mypy）的支持，以及提供可由IDE实现的代码重构操作。 虽然这些注释可以在运行时通过 __annotations__

## 基于静态分析的Rust内存安全缺陷检测研究 报告人：徐辉 复旦大学 报告日期：2022.11.25 ## 大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 ## 大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 ## Rust语言 ## 系统级安全编程语言 研究挑战：指针分析是NP-hard问题 准确性：应采用路径敏感的指针分析算法，避免过多误报 分析效率：应基于Rust MIR的特点对算法进行优化，使其可行 ☐ 整体思路：基于编译过程中的生成的MIR进行静态分析 ■ 路径提取：控制流图=>生成树 别名分析：分析指针之间的关联关系 ■ 模式识别：根据预定义的缺陷模式检测指针漏洞 路径提取 ![Image](/uploads/documen

Curve文件系统空间分配方案（基于块的方案，已实现） - 背景 - 本地文件系统空间分配相关特性 - 局部性 - 延迟分配/Allocate-on-flush - Inline file/data - 空间分配 - 整体设计 - 空间分配流程 - 特殊情况 - 空间回收 - 小文件处理 - 并发问题 - 文件系统扩容 - 接口设计 根据CurveFS方案设计（总体设计，只实现了部分），文件系统基于当前的块进行实现，所以需要设计基于块的空间分配器，用于分配并存储文件数据。 ## 本地文件系统空间分配相关特性 局部性 尽量分配连续的磁盘空间，存储文件的数据。这一特性主要是针对HDD进行的优化，降低磁盘寻道时间。 延迟分配/Allocate-on-flush 在sync/flush之前，尽可能多的积累更多的文件数据块才进行空间分配，一方面可以提高局部性，另一方面可以降低磁盘碎片。 Inline file/data 几百字节的小文件不单独分配磁盘空间，直接把数据存放到文件的元数据中。 针对上述的本地文件系统特性，Curve文件系统分配需要着重考虑局部性。 虽然Curve是一个分布式文件系统，但是单个文件系统的容量可能会比较大，如果在空间分配时，不考虑局部性，inode中记录的extent数量很多，导致文件系统元数据量很大。 假如文件系统大小为1PiB，空间分配粒度为1MiB，

Curve文件系统元数据管理（已实现） Inode 1、设计一个分布式文件系统需要考虑的点： • 2、其他文件系统的调研总结 • 3、各内存结构体 • 4、curve文件系统的元数据内存组织 • 4.1 inode定义： • 4.2 dentry的定义： • 4.3 内存组织 5元数据分片 • 5.1 分片方式一：inode和dentry都按照parentid分片 5.1 1.1 场景分析 查找：查找/A/C。 - 创建：/A/C不在，创建/A/C - 删除文件：删除/A/C • 删除目录：删除/A - rename: rename /A/C到/B/E - symbolic link: - hardlink: 生成一个hardlink /B/E，指向文件/A/C - list: 遍历/A目录 5.1.2 好处 5.1.2 问题 • 生成一个hardlink /B/E，指向文件/A/C • 6、curve文件系统的多文件系统的设计 ## 1、 设计一个分布式文件系统需要考虑的点： 1. 文件系统的元数据是否全缓存？ 2. 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ 3. inode+dentry方式？当前curve块存储的kv方式？ 4. 是否有单独的元数据管理服务器？ ## 2、 其他文件系统的调研总结

curvefs client 删除文件和目录功能设计 背景 相关调研 moosefs chubaofs 方案设计思考 1. Trash机制是实现1个(类似chubaofs)，还是2个（类似moosefs）？ 2. Trash 放在哪里? 3. 是否需要做 session 机制（在 metaserver 打开），来维护 inode 的打开情况？ • 方案设计 • Trash机制： ret; ## 存在两个问题： 一是删除时nlink字段未考虑： 文件的nlink用于实现hard link。hard link使用nlink字段表示文件的link的引用计数，第一次创建文件是nlink字段为1。每创建一个新的指向该文件的hard link时，nlink字段+1，每删除一个hard link或指向的原文件时，nlink字段-1。 当nlink字段减到0时，才真正删除inode 目录的nlink字段与文件的nlink字段不同，目录的nlink字段初始值为2，并且在目录下，每创建一个新目录，nlink字段也会+1，删除目录nlink相应的减1。 目录不支持硬链接。 ## 二 是删除时lookup count未考虑： lookup count 指的是文件的访问计数。当文件/目录被打开时，即使文件/目录已经被另一个进程删除了（nlink=0），该文件/目录仍然可以被打开的

curve文件系统元数据proto（代码接口定义，已实现） ## 1、 代码结构和代码目录 curve文件系统是相对于curve块设备比较独立的一块，在当前curve项目的目录下，增加一个一级目录curvefs，curvefs下有自己独立的proto\src\test。  ## 2、 文件系统proto定义 #### 2.1 mds.proto mds.proto /* * Copyright (c) 2020 NetEase Inc. * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use

元数据持久化 • 前言 • Raft Log • Raft Snapshot - 持久化文件 - key value pairs - 其他说明 实现 • 1、inode、entry 的编码 • 2、KVStore • Q&A • 单靠 redis 的 AOF 机制能否保证数据不丢失? • redis 的高可用、高可扩方案? • redis + muliraft 根据之前讨论的结果，元数据节点的架构如下图所示，这里涉及到两部分需要持久化/编码的内容： • Raft Log: 记录 operator log • Raft Snapshot：将内存中的数据结构以特定格式 dump 到文件进行持久化 copyset-2 copyset-1 ![Image](/uploads/documents/8/5/d/d/85dd03b9408f6e1cf2e67a368b5b940b/p2_1 | Raft Snapshot ## 持久化文件 |字段|字节数|说明| |---|---|---| |CURVEFS|7|magic number（常量字符 "CURVEFS"），用于标识该文件为 curvefs 元数据持久化文件| |version|4|文件版本号（当文件格式变化时，可以 100% 向兼容加载旧版持久化文件）| |size|8|键值对数量| |key\_

## 面向亿行C/C++代码的 静态分析系统设计及实践 肖枭 ## 500+高端科技领导者与你一起探讨 技术、管理与商业那些事儿 2019年6月14–15日 上海圣诺亚皇冠假日酒店   2016年香港科技大学取得博士学位 过去10年一直以极高的热情从事静态分析技术的学术用研究 合作创办源伞科技，致力于推动静态分析技术在企业中的应用 ## 目录 代码质量管理是个大问题 静态分析+代码评审的实践 ## 生产质量是责任 ☐ 学习和强调，红线和惩罚，100%的测试 覆盖率，和事后复盘并不够 ☐ 有经验的程序员也会犯错 [Image](/uploads/documents/d/f/4/2/df4204d40f8d9990146651d100a36efb/p6_1.jpg) ## 自动化工具+流程才是未来 ☐ 静态分析工具：半智能的代码分析机器人 ☐ 静态分析辅助代码评审 ## Bug! Thx! Bug! ## 代码质量改进工具、流程落地难 □ 投入大 ☐ KPI不痛不痒 使用主体和责任主体不一致 ☐ 一步登天想要终极AI

GO CN Go在百亿级分布式文件系统的实践 徐桑迪 Juicedata 核心系统工程师 JuiceFS 简介 01 为什么选择 Go 02 基础内存优化 03 深度内存优化 04 内存快照持久化 05 第一部分 JuiceFS 简介 ’ alt=‘OCR图片’/> JuiceFS 简介 为云环境设计的分布式文件系统 兼容POSIX、HDFS和S3协议 支持回收站、目录配额、克隆 单命名空间支持百亿级文件数 单命名空间支持百亿级文件数 高性能、高可靠、高扩展性 ’ alt=‘OCR图片’/> 第二部分 为什么选择 Go ’ alt=‘OCR图片’/> 为什么选择 Go 快速开发 多线（协）程：go 关键字，channel 特性 性能分析：go tool pprof 等 故障分析：详细的 stack trace 编译速度快 内存管理：自带GC ’ alt=‘OCR图片’/> 为什么选择 Go 性能优秀：编译型语言 性能优秀：编译型语言 可移植性好：静态编译（第三方库容易有动态依赖） ’ alt=‘OCR图片’/> 为什么选择 Go 支持多语言 SDK go build -buildmode=c-shared -ldflags="$(LDFLAGS)" -o libjfs.so . Java：用JNI或JNR加载共享库 C/C++:dlopen 函数加载，或者直接混合编译 Python:ctypes 模块加载共享库