理理解 Python 中的 AST 何翔宇（正⼩小歪） 字节跳动 · 效率⼯工程 · 后端开发⼯工程师 ⽬目录 CONTENTS Intro CPython’s Compiler How to Use AST Library Use AST to Solve Problems Suggestion and Reference Intro CPython’s Compiler Intro to bytecode source code parse tree parse AST CFG transform A transform B bytecode emit source code: ⽂文本形式的 Python 源码 parser tree: 保留留具体语法信息的树 AST: 对语法的⾼高度抽象，不不会保留留细节 CFG: 记录着程序流程的有向图 bytecode: - 使⽤用 Python/ast.c 中的 PyAST_FromNode() 从解析树中读取 - 根据转换规则 Parser/Python.asdl 使⽤用 Python/python-ast.c ⽣生成 AST - PyAST_CompileObject()、PySymtable_BuildObject()、compiler_mod() - 遍历 AST 各个节点创建符号表 -

trait CandidType { fn ty() -> AST } impl CandidType for u8 { fn ty() -> AST { AST::Nat8 } } impl CandidType for Option { fn ty() -> AST { AST::Opt(Box::new(T::ty())) } } impl CandidType for Box { fn ty() -> AST { T::ty() } } fn typeOf(_: &T) -> AST { T::ty() } Derive CandidType for struct/enum • Use procedure macro to derive CandidType trait fn ty() { AST::Record(vec![ field(“name”, String::ty()), ]) } } #[derive(CandidType)] struct Profile { name: String, } impl CandidType for Tree { fn ty() { AST::Variant(vec![

Syntax Tree，AST），涉及的包： • go/token 词法单元定义 • go/scanner 词法扫描 • go/ast 抽象语法树定义 • go/parser 语法解析 Golang 编译流程简介 源代码 抽象语法树 抽象语法树 （带语义信息） 静态单赋值 目标代码 1 + 2 * 3 *ast.BinaryExpr (+) *ast.BasicLit BasicLit 1 : INT *ast.BinaryExpr (*) *ast.BasicLit 2 : INT * ast.BasicLit 3 : INT Golang 编译流程简介 01-AST 源代码 抽象语法树 抽象语法树 （带语义信息） 静态单赋值 目标代码 package main import ( "go/ast" "go/parser" "go/token" AllErrors) ast.Print(nil, f) } *ast.File *ast.GenDecl (var) *ast.Ident “answer” *ast.BinaryExpr (+) *ast.BasicLit 40 : INT *ast.BasicLit 2 : INT *ast.FuncDecl *ast.Ident “main” *ast.BlockStmt

1:3999/gofmt-cn.slide#1 10/34 处理源代码 使用`go/scanner`, `go/parser`及其相关的库 给每一个go文件生成一个抽象语法树 每一个语法结构都有相应的AST节点 // Syntax of an if statement. IfStmt = "if" [ SimpleStmt ";" ] Expression Block [ "else" ( IfStmt Else Stmt // else branch; or nil } AST节点有（选择性的）位置信息。 4/21/2015 gofmt 的文化演变 http://127.0.0.1:3999/gofmt-cn.slide#1 11/34 基本的格式化 遍历AST然后打印每个节点 case *ast.IfStmt: p.print(token.IF) p.controlClause(false nil { p.print(blank, token.ELSE, blank) switch s.Else.(type) { case *ast.BlockStmt, *ast.IfStmt: p.stmt(s.Else, nextIsRBrace) default: p.print(token

一个特殊的程序（编译器）解析，转换成抽象句法树（abstract syntax tree, AS ）. AST 是去掉了空白、注释和缩进用的制表符或空格之后的数据结构。 编译器把 AST 转换成一种字节码（bytecode） 的低（底？）层表示。 字节码再传给运行时程序计算，最终得到结果。 ● 综上 1. 把程序解析成AST 2. 把AST编译成字节码 3. 运行时计算字节码 TS 的特殊之处在于，它不直接编译成字节码，而是编译成JS代码 的特殊之处在于，它不直接编译成字节码，而是编译成JS代码 ● TS 1. TS 源码 => TS AST 2. 类型检查器检查AST 3. TS AST => JS 源码 ● JS 4. JS 源码 => JS AST 5. AST => 字节码 6. 运行时计算字节码 在这个过程中，第1-2 步骤中使用程序的类型，第三步不使用。就是说 TS TS 编译成 JS 时，不会考 类型。 这意味着，程序中的类型

emit 初始化option 开始编译 从entry开始递归的 分析依赖，对每个 依赖模块进行build 对模块位置进行解析 将loader加载完成的 module进行编译，生成 AST树 遍历AST，当遇到 require等一些调用表 达式时，收集依赖 所有依赖build完 成，开始优化 输出到dist目录 build-module 开始构建某个模块 WebpackOptionsApply er'], function (large-number) { // ... largeNumber.add('999', '1'); }); AST 基础知识 抽象语法树（abstract syntax tree 或者缩写为 AST），或者语法树（syntax tree），是 源代码的抽象语法结构的树状表现形式，这里特指编程语言的源代码。树上的每个节点都 表示源代码中的一种结构。 在线demo: 动手实现一个简易的 webpack 可以将 ES6 语法转换成 ES5 的语法 可以分析模块之间的依赖关系 生成的 JS 文件可以在浏览器中运行 ·通过 babylon 生成AST ·通过 babel-core 将AST重新生成源码 · 通过 babel-traverse 的 ImportDeclaration 方法获取依赖属性

"运⾏ 时"涵盖了编译期执⾏和可执⾏⽂件的代码执⾏。 编译器将 Nim 源码解析成称为 abstract syntax tree (AST) "抽象语法树"的内部数据结构，在执⾏代码或将其编译为可执⾏⽂件之 前，通过 semantic analysis "语义分析"对AST进⾏转换，增加了语义信息，如表达式类型、标识符的含义，以及在某些情况下表达 式的值。在语义分析中检测到的错误被称为 static error 符串被传递给该标识符。可调⽤标识符需要⽤特定的 ' 前缀声明。 更确切地说，⾃定义的数值字⾯值 123'custom 在解析步骤中被转换为 r"123". 'custom 。并没有对应于这种转换的 AST 节点种 类。通过这种转换，在额外参数传递给被调⽤者时，处理更合理。 echo -1 echo(-1) echo [-1] echo 3,-1 "abc";-1 echo x-1 echo 忽略过程的返回值⽽不使⽤丢弃语句将是静态错误。 如果调⽤的 proc/iterator 已使⽤ discardable "可丢弃"编译指示声明，则可以隐式忽略返回值: 但是可丢弃编译指示不适⽤于模板，因为模板会替换掉 AST。 例如: 此模板将解析为字符串字⾯值 "https://nim-lang.org (https://nim-lang.org)" ，但由于 {.discardable.} 不适⽤于字⾯值，编译器会出

flutter build web 命令和参数并开始编译流程，同时等待处理结果回调，在回调中我 们可对编译产物进行二次加工； ● frontend_server 负责将 Dart 转换为 AST，生成 kernel 中间产物 app. dill 文件（实际上各平台的编译过程都会生成这样的中间产物），并交由各平台 Compiler 进行转译； ● Dart2JS Compiler –responsiveSystem 命令行参数； ● 我 们 在 flutter_tools 中 的 AST 分 析 阶 段 增 加 了 额 外 的 处 理：Respon- siveSystem 关键字的匹配，同时结合编译平台（PC 或 Mobile）来进行 AST 节点的改写； 前端 < 53 ● 去除无用 AST 节点后，生成各个平台的代码快照（每份快照仅包含单独平台 代码）； ● 根据代码快照编译生成 -h5。 除了扩展新的容器平台，我们还可以通过继承现有的容器插件，来编写一些特殊的定 制化功能插件。 1. 对代码进行预处理 基于开放式插件能力，我们可以像 Babel 插件一样，通过对 AST 语法的修改对代码 源文件进行编译前后的修改。比如：修改文件引用路径、插入代码片段、处理本地图 片等等。 2. 对文件产物进行修改 在编译产出生成时，我们可以对编译文件的内容、文件路径、文件结构进行修改。结

. . . . . . . . . . . 1149 92.2 Julia 的 AST . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1149 Surface syntax AST . . . . . . . . . . . . . . . . . . . . . 工作方式类似于 eval(:x)，其返回 x 的值，而 两个 $ 行为相当于 eval(eval(:x))。 194 CHAPTER 19. 元编程 QuoteNode quote 形式在 AST 中通常表示为一个 head 为 :quote 的 Expr ： julia> dump(Meta.parse(":(1+2)")) Expr head: Symbol quote args: with 2 methods) julia> @m "asd" 1 arguments julia> @m 1 2 Two arguments 但是应该记住，宏派发基于传递给宏的 AST 的类型，而不是 AST 在运行时进行求值的类型： julia> macro m(::Int) println("An Integer") end 19.4. 代码生成 203 @m (macro with

Manager 02 用 Rust 重写 KCL Python 代码翻译 栈式虚拟机 Rust 编译器 KCL 编译器架构升级 Source Code AST LLVM IR Native/WASM Source Code AST Bit code VM Source Code Python code Pros Cons 简单易上手 生态丰富 研发效率高 性能问题 友好的编译器架构 RustCodeBook: Rust源码解读 Compiler Base: 更通用的编译器组件 KCL Source Code AST LLVM IR Native/WASM Smart Contract Source Code AST LLVM IR ABI • Error • Span & SourceMap • Session • Paraller • …… IDE