理理解 Python 中的 AST 何翔宇（正⼩小歪） 字节跳动 · 效率⼯工程 · 后端开发⼯工程师 ⽬目录 CONTENTS Intro CPython’s Compiler How to Use AST Library Use AST to Solve Problems Suggestion and Reference Intro CPython’s Compiler Intro to bytecode source code parse tree parse AST CFG transform A transform B bytecode emit source code: ⽂文本形式的 Python 源码 parser tree: 保留留具体语法信息的树 AST: 对语法的⾼高度抽象，不不会保留留细节 CFG: 记录着程序流程的有向图 bytecode: - 使⽤用 Python/ast.c 中的 PyAST_FromNode() 从解析树中读取 - 根据转换规则 Parser/Python.asdl 使⽤用 Python/python-ast.c ⽣生成 AST - PyAST_CompileObject()、PySymtable_BuildObject()、compiler_mod() - 遍历 AST 各个节点创建符号表 -

*Context) : ClangTidyCheck(Name, Context) {} void registerMatchers(ast_matchers::MatchFinder *Finder) override; void check(const ast_matchers::MatchFinder::MatchResult &Result) override; };Proprietary *Context) : ClangTidyCheck(Name, Context) {} void registerMatchers(ast_matchers::MatchFinder *Finder) override; void check(const ast_matchers::MatchFinder::MatchResult &Result) override; };Proprietary *Context) : ClangTidyCheck(Name, Context) {} void registerMatchers(ast_matchers::MatchFinder *Finder) override; void check(const ast_matchers::MatchFinder::MatchResult &Result) override; };Compilation

trait CandidType { fn ty() -> AST } impl CandidType for u8 { fn ty() -> AST { AST::Nat8 } } impl CandidType for Option { fn ty() -> AST { AST::Opt(Box::new(T::ty())) } } impl CandidType for Box { fn ty() -> AST { T::ty() } } fn typeOf(_: &T) -> AST { T::ty() } Derive CandidType for struct/enum • Use procedure macro to derive CandidType trait fn ty() { AST::Record(vec![ field(“name”, String::ty()), ]) } } #[derive(CandidType)] struct Profile { name: String, } impl CandidType for Tree { fn ty() { AST::Variant(vec![

Syntax Tree，AST），涉及的包： • go/token 词法单元定义 • go/scanner 词法扫描 • go/ast 抽象语法树定义 • go/parser 语法解析 Golang 编译流程简介 源代码 抽象语法树 抽象语法树 （带语义信息） 静态单赋值 目标代码 1 + 2 * 3 *ast.BinaryExpr (+) *ast.BasicLit BasicLit 1 : INT *ast.BinaryExpr (*) *ast.BasicLit 2 : INT * ast.BasicLit 3 : INT Golang 编译流程简介 01-AST 源代码 抽象语法树 抽象语法树 （带语义信息） 静态单赋值 目标代码 package main import ( "go/ast" "go/parser" "go/token" AllErrors) ast.Print(nil, f) } *ast.File *ast.GenDecl (var) *ast.Ident “answer” *ast.BinaryExpr (+) *ast.BasicLit 40 : INT *ast.BasicLit 2 : INT *ast.FuncDecl *ast.Ident “main” *ast.BlockStmt

implements formatted I/O with functions analogous to C's printf and scanf. go ast Package ast declares the types used to represent syntax trees for Go packages. build Package source code documentation from a Go AST. parser Package parser implements a parser for Go source files. printer Package printer implements printing of AST nodes. scanner Package BSD license. Terms of Service | Privacy Policy Directory /src/pkg/go Name Synopsis ast Package ast declares the types used to represent syntax trees for Go packages. build Package build

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1908 32 Python 语言服务 1909 32.1 ast --- 抽象语法树 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1909 32 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1912 32.1.3 ast 中的辅助函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1939 32.1.4 编译器旗标 flags=0, dont_inherit=False, optimize=-1) 将 source 编译成代码或 AST 对象。代码对象可以被exec() 或eval() 执行。source 可以是常规的字 符串、字节字符串，或者 AST 对象。参见ast 模块的文档了解如何使用 AST 对象。 filename 实参需要是代码读取的文件名；如果代码不需要从文件中读取，可以传入一些可辨识的值 （经常会使用

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1904 32 Python 语言服务 1905 32.1 ast --- 抽象语法树 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1905 32 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1908 32.1.3 ast 中的辅助函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1935 32.1.4 编译器旗标 flags=0, dont_inherit=False, optimize=-1) 将 source 编译成代码或 AST 对象。代码对象可以被exec() 或eval() 执行。source 可以是常规的字 符串、字节字符串，或者 AST 对象。参见ast 模块的文档了解如何使用 AST 对象。 filename 实参需要是代码读取的文件名；如果代码不需要从文件中读取，可以传入一些可辨识的值 （经常会使用

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1876 32 Python 语言服务 1877 32.1 ast --- 抽象语法树 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1877 32 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1880 32.1.3 ast 中的辅助函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1908 32.1.4 编译器旗标 flags=0, dont_inherit=False, optimize=-1) 将 source 编译成代码或 AST 对象。代码对象可以被exec() 或eval() 执行。source 可以是常规的字 符串、字节字符串，或者 AST 对象。参见ast 模块的文档了解如何使用 AST 对象。 filename 实参需要是代码读取的文件名；如果代码不需要从文件中读取，可以传入一些可辨识的值 （经常会使用

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1876 32 Python 语言服务 1877 32.1 ast --- 抽象语法树 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1877 32 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1880 32.1.3 ast 中的辅助函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1908 32.1.4 编译器旗标 flags=0, dont_inherit=False, optimize=-1) 将 source 编译成代码或 AST 对象。代码对象可以被exec() 或eval() 执行。source 可以是常规的字 符串、字节字符串，或者 AST 对象。参见ast 模块的文档了解如何使用 AST 对象。 filename 实参需要是代码读取的文件名；如果代码不需要从文件中读取，可以传入一些可辨识的值 （经常会使用

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1834 32 Python 语言服务 1835 32.1 ast --- 抽象语法树 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1835 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1838 32.1.3 ast 中的辅助函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1865 32.1.4 编译器旗标 flags=0, dont_inherit=False, optimize=- 1) 将 source 编译成代码或 AST 对象。代码对象可以被exec() 或eval() 执行。source 可以是常规的字符 串、字节字符串，或者 AST 对象。参见ast 模块的文档了解如何使用 AST 对象。 filename 实参需要是代码读取的文件名；如果代码不需要从文件中读取，可以传入一些可辨识的值（经 常会使用