基于 Golang 构建⾼可扩展的云原⽣ PaaS 平台 刘浩杨 端点 技术专家 个⼈简介 - 18年加⼊端点，现任微服务和监控团队负责⼈ - 端点开源 PaaS Erda 的核⼼架构师 - 开源爱好者， Apache SkyWalking PMC 成员 ⽬ 录 ⾯向云原⽣的软件交付 01 端点⼀站式 PaaS - Erda 02 Erda 架构的思考 03 模块化开发框架 release_id: ${release:id} pipeline.yml 定义 - 屏蔽掉流⽔线定义的复杂度 - 丰富的通⽤Action，开箱即⽤ - Action 扩展规范，任意扩展 Workload 管理 - Create - Update - Delete - Describe - Scale - Restart services: trade-server: 接⼝设计、以及拦截器 • 提供快速构建模块的代码⽣成⼯具 Erda Infra 如何设计 Erda Infra 有什么不同 - 不是重复造轮⼦ - 不仅是web框架 - 不仅是微服务框架 - 为扩展⽽⽣ - 以模块化的开发为核⼼ VS 模块化开发原则 - ⾯向接⼝进⾏开发，⽽不是⾯向实现 - 模块拆分的粒度尽可能⼩ - 模块内聚，模块间松耦合 - 模块间的引⽤使⽤DI⽽不是直接依赖实现包

趣链科技 版权所有 ©2016-2021 6 趣链科技 版权所有 ©2016-2021 6 趣链科技 版权所有 ©2016-2021 6 区块链技术定义 区块链是由分布式数据存储、点对点传输、共识机制、加密算法等计算机技术构成的多中心 化系统 不可篡改（可信存证） ü 可对存储的文件、数据进行真实性校验 ü 可信追溯历史数据 去中心化共识（协作共享） ü 多方业务系统数据共享 ü 跨机构业务协作 参与交易验证。 仅在机构内使用，读写权，记账 权由组织内自由定制。中心控制 者制定可参与和进行交易验证成 员范围。 联盟链仅限于联盟成员参与，系 统内交易确认节点为事先设定， 并通过共识机制确认。 『非许可链』公有链 私有链『许可链』 联盟链『许可链』 区块链发展的主力军 不同的组织形态分别对应不同的“区块链产品架构” 11 趣链科技 版权所有 ©2016-2021 11 趣链科技 公有�架构（⾮�可�架构） 应⽤层 数据层 块链式结构 账户模型 时间戳 ⽹络层 共识层 激励层 发⾏机制 分配机制 PoW PoS DPoS 可编程货币 可编程⾦融 可编程社会 合约层 智能合约脚本 算法机制 合约执⾏引擎 哈希算法 数字签名 P2P⽹络 传播机制 验证机制 默克尔树 轮胎、悬架等 基础硬件配置 电路油路 等传导系统 引擎、动⼒系统 汽油等润滑系统

雨痕(review第二章) 授权许可 授权许可 1 除特别声明外，本书中的内容使用CC BY-SA 3.0 License（创作共用 署名-相同方式共享3.0许可协议）授权，代码 遵循BSD 3-Clause License（3项条款的BSD许可协议）。 开始阅读 开始阅读 开始阅读 2 Copyright (c) 2012, AstaXie and The Contributors 13.如何设计一个Web框架 13.1 项目规划 13.2 自定义路由器设计 13.3 controller设计 13.4 日志和配置设计 13.5 实现博客的增删改 13.6 小结 14.扩展Web框架 14.1 静态文件支持 14.2 Session支持 14.3 表单支持 14.4 用户认证 14.5 多语言支持 14.6 pprof支持 14.7 小结 附录A 参考资料 5 游刃有余，动态类型语言的开发效率，以及静态类型的安全性。它也打 算成为现代的，支持网络与多核计算的语言。要满足这些目标，需要解决一些语言上的问题：一个富有表达能力但轻 量级的类型系统，并发与垃圾回收机制，严格的依赖规范等等。这些无法通过库或工具解决好，因此Go也就应运而生 了。 在本章中，我们将讲述Go的安装方法，以及如何配置项目信息。 目录 目录 links links 目录

言的函数式和面向对象编程进行透彻的讲解，包括如何使用 Go 语言来构造大型项目（第 9 章）。 在本书的第三部分，你将会学习到如何处理不同格式的文件（第 12 章）和如何在 Go 语言中巧妙地使用 错误处理机制（第 13 章）。然后我们会对 Go 语言中最值得称赞的设计 goroutine 和 channel 进行并发 和多核应用的基本技巧的讲解（第 14 章）。最后，我们会讨论如何将 Go 语言应用到分布式和 CSP（通信序列进程 Communicating Squential Processes）理 论影响的 Limbo 和 Newsqueak 的实践中借鉴了一些经验，并使用了和 Erlang 类似的机制。 这是一门完全开源的编程语言，因为它使用 BSD 授权许可，所以任何人都可以进行商业软件的开发而不需 要支付任何费用。 尽管为了能够让目前主流的开发者们能够对 Go 语言中的类 C 语言的语法感到非常亲切而易于转型，但是 关系而使得构建一个大型的项目需要长达几个小时的时间。人们越来越需要一门具有严格的、简洁的依赖 关系分析系统从而能够快速编译的编程语言。这正是 Go 语言采用包模型的根本原因，这个模型通过严格 的依赖关系检查机制来加快程序构建的速度，提供了非常好的可量测性。 整个 Go 语言标准库的编译时间一般都在 20 秒以内，其它的常规项目也只需要半秒钟的时间来完成编译 工作。这种闪电般的编译速度甚至比编译 C 语言或者

@glight2000 @songleo 除特别声明外，本书中的内容使用 CC BY-SA 3.0 License（创作共用 署名-相同方式共享3.0 许可协议）授 权，代码遵循 BSD 3-Clause License（3 项条款的 BSD 许可协议）。 授权许可 阅前必读 - 9 - 本文档使用 书栈(BookStack.CN) 构建 内容介绍 在接触 Go 语言之后，对这门编程语言非常 的 CSP（通信序列进程 Communicating Squential Processes）理论影响的 Limbo 和 Newsqueak 的实践中借鉴了一些经验，并使用了和 Erlang 类似的机制。 这是一门完全开源的编程语言，因为它使用 BSD 授权许可，所以任何人都可以进行商业软件的开发而不需要支付任 何费用。 尽管为了能够让目前主流的开发者们能够对 Go 语言中的类 C 语言的语法感到非常亲切而易于转型，但是它在极大 构建一个大型的项目需要长达几个小时的时间。人们越来越需要一门具有严格的、简洁的依赖关系分析系统从而能够 快速编译的编程语言。这正是 Go 语言采用包模型的根本原因，这个模型通过严格的依赖关系检查机制来加快程序构 建的速度，提供了非常好的可量测性。 整个 Go 语言标准库的编译时间一般都在 20 秒以内，其它的常规项目也只需要半秒钟的时间来完成编译工作。这种 闪电般的编译速度甚至比编译 C

https://github.com/baidu/bfe-book • 2021年Q3将由电子工业出版社正式出版 BFE开源项目公众号 目 录 BFE涉及的相关技术原理 01 BFE的设计思想 02 BFE的实现机制 03 为什么需要BFE？ • 没有统一七层接入的问题 • 功能重复开发 • 运维成本高 • 流量统一控制能力低 • 引入BFE后 • 功能统一开发 • 运维统一管理 • 流量控制能力增强 稳定性 • 内存方面错误降低 • 可以捕捉异常 • 安全性 • 缓存区溢出风险降低 • 代码可维护性 • 可读性好 • 易于编写高并发逻辑 • 网络协议栈支持 BFE的短板 • 没有在内存拷贝上做极致优化 • 使用Go系统协议栈 • 无法利用CPU亲和性（CPU Affinity） • 无法控制底层线程 七层负载均衡的生态选择 Nginx / OpenResty 生态 • APISIX Envoy 生态 • 最早用于 Service Mesh • 也可用于网关 • 代表：Envoy Go 生态 • 基于Go语言的生 态积累 • 更好的稳定性和安 全性 • 易于开发扩展功能 • 代表：BFE， Traefik API网关 七层负载均衡 BFE主要设计思想 • 转发模型优化 • 支持多租户 • 引入条件表达式，减少正则表达式使用 • 降低动态配置加载的难度

架构 • 整体架构图 架构—接口设计 • 原则 – 扩展性 – 稳定性（最好不用升级） • 解决方法 – Protobuf（golang） – 接口设计分层 • 框架层：模块间通信协议（类似tcp/udp） • 业务层：bytes（类似应用层）留给业务自己定义就好了 架构—性能 • conn svr 架构—集群扩展 • Proxy本身无限扩容（无状态） • 依赖的存储可无限扩容（状态交给存储） • 要求 – 正常情况下： • 任何一个机房可推送到所有机房app – 异常情况下： • 本机房内推送可达 • 架构图如下 （核心解决路由共享问题） 架构—总结 • 异步通信接口 • 协议包业务态隔离 • 简单无状态 • 有状态的服务（涉及到存储）做到可降级 • 核心业务有自愈逻辑 简单实用，避免过度设计 目录 • 背景 • 架构 心得—coding • 代码分层 – 提高开发效率 15 50000 10 672448 8/24 81 心得—channel优化 • 方案一：无锁队列（cas） 心得—channel优化 • 方案一：fqueue没有触发机制 – 轮训（no） – 做一个通知机制（yes） 心得—channel优化 • 效果 – GOMAXPROCS = A – Send goruntine = B – Read goruntine = C

应用层防火墙WAF • 百度GOLANG委员会成员 内容提要 • 后台程序开发的需求和难点 –C, Python and Go对比 • 采用Go语言重构BFE –背景和技术路线 –GC问题 –协议一致性 –分布式架构 后台程序开发的需求(1) • 性能 –C/C++, Java –Python, Ruby • 并发性 –Process, Thread, Event(编程难度) • –数据的封装和互斥访问； –并行运算逻辑的同步 C vs Python (1) • 性能： – 相差10倍以上 – Python: 解释执行，动态类型 • 并发性能 – C：直接用系统的机制 – Python: 自己实现的thread, 只能使用一个CPU • 开发效率 – 相差5-10倍 – 内存的处理是一个难点 – dict/map, list C vs Python (2) 可编译为独立可执行程序(包括依赖的库) –Python: 需要python运行环境，及依赖的库 Golang (1) • 性能 –和C接近 • 并发性 –Go routine: 屏蔽底层的机制，充分利用cpu资源 –多线程模型：容易思考 • 开发效率 –描述能力和python接近 –较丰富的库（系统库，第三方库） Golang (2) • 大型程序的组织 –Package –数据访问的限制(首字母大小写的区别)

Resource  Fairness)  调度机制。 YARN自带FIFO、Capacity  Scheduler和Fair  Scheduler(借鉴了 Mesos的DRF)。  ② Mesos中的DRF调度算法过分的追求公平，没有考虑到实际的应 用需求。在实际生产线上，往往需要类似于Hadoop中Capacity  Scheduler的调度机制，将所有资源分成若干个queue，每个 Mesos采用了Resource  Offer机制，这种调度机制面临着资源碎 片问题，即：每个节点上的资源不可能全部被分配完，剩下的一 点可能不足以让任何任务运行，这样，便产生了类似于操作系统 中的内存碎片问题。  ④ YARN适合Long  running  job和数据分析类资源的调度，对于数 据库类等短运行时场景资源调度效果较差  ⑤ YARN采用了增量资源分配机制（当应用程序申请的资源暂时无 无 法保证时，为应用程序预留一个节点上的资源直到累计释放的空 闲资源满足应用程序需求），这种机制会造成浪费，但不会出现 饿死现象  ⑥ Mesos  和  YARN的调度器的扩展和定制在开发上都比较繁琐。  Gopher  China  2015  求解之路的探索  n 他们是否解决了我们的问题?  n No   ① Kubernetes

如果感觉以下内容理解困难，可以在读完“栈”章节后再来复习。 那么，迭代和递归具有什么内在联系呢？以上述递归函数为例，求和操作在递归的“归”阶段进行。这意味 着最初被调用的函数实际上是最后完成其求和操作的，这种工作机制与栈的“先入后出”原则异曲同工。 事实上，“调用栈”和“栈帧空间”这类递归术语已经暗示了递归与栈之间的密切关系。 1. 递：当函数被调用时，系统会在“调用栈”上为该函数分配新的栈帧，用于存储函数的局部变量、参数、 编号，确保每个内存空间都有唯一的内存地址。有了这些地址，程序便可以访问内存中的数据。 图 3‑2 内存条、内存空间、内存地址 � 值得说明的是，将内存比作 Excel 表格是一个简化的类比，实际内存的工作机制比较复杂，涉 及地址空间、内存管理、缓存机制、虚拟内存和物理内存等概念。 内存是所有程序的共享资源，当某块内存被某个程序占用时，则无法被其他程序同时使用了。因此在数据结 构与算法的设计中，内存资源是一个重要的考虑因素 的表示方式包含指数位，导致其取值范围远大于 int 。根据以上计算， float 可表示的最大正数为 2254−127 × (2 − 2−23) ≈ 3.4 × 1038 ，切换符号位便可得到最小负数。 尽管浮点数 float 扩展了取值范围，但其副作用是牺牲了精度。整数类型 int 将全部 32 比特用于表示数字， 数字是均匀分布的；而由于指数位的存在，浮点数 float 的数值越大，相邻两个数字之间的差值就会趋向越 大。