《Go Web 编程》 《Go Web 编程》 因为自己对Web开发比较感兴趣，所以最近抽空在写一本开源的书籍《Go Web编程》《Build Web Application with Golang》。写这本书不表示我能力很强，而是我愿意分享，和大家一起分享Go写Web应用的一些东西。 对于从PHP/Python/Ruby转过来的同学了解Go怎么写Web应用开发的 对于从C/C++转过来的同学了解Web到底是怎么运行起来的 这样读者就可以把相应的Markdown文件编译成html文件，执行go build build.go，执行生成的文件，就会在底目 录下生成相应的html文件 交流 交流 欢迎大家加入QQ群：259316004 《Go Web编程》专用交流群 大家有问题还可以上德问上一起交流学习：http://www.dewen.org/topic/165 致谢 致谢 首先要感谢Golang-China的QQ群102319854 7.文本文件处理 7.1 XML处理 7.2 JSON处理 7.3 正则处理 7.4 模板处理 7.5 文件操作 7.6 字符串处理 7.7 小结 8.Web服务 8.1 Socket编程 8.2 WebSocket 8.3 REST 8.4 RPC 8.5 小结 9.安全与加密 9.1 预防CSRF攻击 9.2 确保输入过滤 9.3 避免XSS攻击 9.4 避免SQL注入 9

可视化学习 Go 并发编程 2017.8.5 黄庆兵 - 网易 bingohuang.com 并发 简单来说，并发是一种构造程序的方式 Concurrency is not Parallelism Slide (http://talks.golang.org/2012/waza.slide) 1. 并发很强大 2. 并发帮助实现并行，使并行(扩展等)变得容易 3. 并发不是并行 并发(CONCURRENCY) 这是并发 (/2017/go-concurrency-visualize/pingpong36.html) 为什么要关注并发？当今是多核的时代，并发的世界 多核的时代 并发编程并不容易，但 Go 对并发有很好的支持 Go 语言中的并发 goroutine - 并发执行 channel - 同步和消息传输 select - 多路并发控制 Goroutine 类似于 // 可选 fmt.Println("neither channel was ready") } Go 让并发编程变的简单起来 但是问题来了 我们怎样去讲解 Go 的并发？ 我们怎样思考 Go 的并发过程？ 最终，我们怎样更好的实践 Go 并发编程？ 祭出法宝 - GoTrace 一种将 Go 并发过程可视化的开源 (https://github.com/divan/gotrace)

业务性能优化概览 By Xargin 《Go 语⾔⾼级编程》合著者 Go contributor ⽬ 录 优化的前置知识 01 ⽣产环境的优化 02 Continuous profiling 03 优化的前置知识 第⼀部分 Latency numbers every programmer should know https://colin-scott.github.io/p 缩⼩临界区：只锁必须锁的对象，临界区内尽量不放慢操作，如 syscall • 降低锁粒度：全局锁 -> 对象锁，全局锁 -> 连接锁，连接锁 -> 请求锁，⽂ 件锁 -> 多个⽂件各种锁 • 同步改异步：如同步⽇志 -> 异步⽇志，若队列满则丢弃，不阻塞业务逻辑 CPU 使⽤太⾼了-编解码使⽤ CPU 过⾼ 通过更换 json 库，就可以提⾼系统的吞吐量 本质上就是请求的 CPU 使⽤被优化了 我们可以使⽤固定 如每个连接⼀读⼀写 -> 合并为⼀个连接⼀个 goroutine • Goroutine pool 限制最⼤ goroutine 数量 • 使⽤裸 epoll 库(evio，gev 等)修改⽹络编程⽅式(只适⽤于对延迟不敏感的业务) • 通过修改代码，减少函数调⽤层级(难) 总结⼀下 • 阻塞问题 • 上游系统阻塞 • 让上游赶紧解决！ • 锁阻塞 • 减少临界区范围 • 降低锁粒度

司机乘客撮合 • 实时计价 – 高频度的数据交互 • 坐标数据 • 计价数据 – App和服务端双向可达 • 上行（抢单） • 下行（派单） 背景—why golang？ • 开发效率 • 异步模型，同步原语 – C：代码上各种回调、思维中保持冷静 – Go：代码上同步，思维自然 • 性能够用，工具齐全 – 100w？10w？~~ – Memprof、cpuprof~ • 社区活跃，发展迅猛 • 异步通信接口 • 协议包业务态隔离 • 简单无状态 • 有状态的服务（涉及到存储）做到可降级 • 核心业务有自愈逻辑 简单实用，避免过度设计 目录 • 背景 • 架构 心得—coding • 代码分层 – 提高开发效率 – 代码合理复用，各司其职 • 实现 – 过程编程 – 对象编程 心得—coding-分层 • 代码分层 心得—coding-实现 • 过程编程 – – conn svr • 常驻内存，内存中有个大连接对象map（资源问题） • 请求都是基于连接的(如果模块间存在资源的互相引用，当资源变更的情况 下，容易发生panic)（竟态问题） • 对象编程 – 封装：conn资源（包括goruntine）作为结构体封装起来，保证所有资源 销毁干净 – 解耦：保证其他模块不直接使用对象中资源 – 同步：竞态需要锁 特点：有状态，存在大量的公共资源并发访问

–GC问题 –协议一致性 –分布式架构 后台程序开发的需求(1) • 性能 –C/C++, Java –Python, Ruby • 并发性 –Process, Thread, Event(编程难度) • 开发效率 –语言的描述效率：代码量 –语言的简洁、易用 –库支持 后台程序开发的需求(2) • 大型程序的组织 –数据封装能力 –Namespace • 可测试能力 –单测，覆盖度测量 –单测，覆盖度测量 • 错误检查能力 –编译 –程序异常的trouble shooting 后台程序开发的需求(3) • 上线和运维 –对运行环境的依赖 –对库（动态库）的依赖 后台程序编程的难点 • 内存的管理 –C程序中很大比例的Bug和内容有关 • 分布式/高并发的处理 –10年前还是一个很hot的话题；目前也还没有普 遍掌握 –CPU资源的调度：Process/Thread/Event 现存问题 –修改成本高 • 事件驱动的编程模型：编码和调试难度大 • C语言本身的难度和开发效率 –配置管理方式落后 • 为单产品线设计，无法支持平台化要求 • 配置变更(修改、重载、验证)能力差 –变更和稳定性的矛盾 • 程序出core 技术选型：Go vs Nginx • 学习成本 • 开发成本 –并发编程模型：同步(Go) vs 异步(Nginx) –内存管理 –语言描述能力

©2016-2021 11 公有�架构（⾮�可�架构） 应⽤层 数据层 块链式结构 账户模型 时间戳 ⽹络层 共识层 激励层 发⾏机制 分配机制 PoW PoS DPoS 可编程货币 可编程⾦融 可编程社会 合约层 智能合约脚本 算法机制 合约执⾏引擎 哈希算法 数字签名 P2P⽹络 传播机制 验证机制 默克尔树 轮胎、悬架等 基础硬件配置 电路油路 等传导系统 引擎、动⼒系统 数据部分 句柄管理组件 ... ... Filelog存储引擎 持久化层 Multicache存储引擎 内存层 memory-table write-ahead log ... ... 异步写入 0802 0803 0804 leveldb leveldb leveldb 只读 读写 元数据 索引数据 区块数据库 索引数据库 区块链平台底层采用Filelog+IndexDB HyperBench • 可以适配Hyperchain、Fabric等 多种不同的区块链主流平台 • 单机器性能优化 • 多压⼒机分布式可扩展 • 基于Lua脚本和虚拟机，user hook提供可编程的⽤例扩展 • 配置操作⽅便 • 脚本定制简单 • 虚拟机内置接⼝统⼀的Go区块链客 户端，可快速构建平台测试 28 趣链科技 版权所有 ©2016-2021 28 趣链科技 版权所有 ©2016-2021

Result{RequeueAfter: waitTime}, nil } 1 获取应用期望状态 控制器初始化 2 解析期望的WTS状态 3 调谐动作-更新与新增 4 调谐动作-删除 5 调谐动作-状态同步 6 异步轮询 func (r *components) Render(ctx context.Context, ac *v1alpha2.ApplicationConfiguration) { workloads 73eec338-c3c1-4936-bc5b-3c47f2eb63bc 使用ownerRef做事件触发 新的复杂度-可观测 应用为什么没有到终态？ • 关联资源太多 • 关联控制器太多 • 异步响应式 status: � workloads: - componentName: oamhsf-group-1 componentRevisionName: oamhsf-group-1-v5 标准化平台应用模型与机制 标准化用户应用模型 • 开发者体验 • Serverless = FaaS + BaaS • GitOps-自动化 • ServiceMesh-下一代分布式应用编程模式 • 应用运维可编程 • 多元化（云，工作负载，服务） • 平台 • 可观测是重中之重 • 智能化-AIOps • 一体化-扩展屏蔽基础设施 • 轻量化-下沉 • 自动化-端到端 Thanks

RPC 场景下的问题 2. BIO 式编程, 连接量大时, 调度开销大 1. Conn 难以探活, 维护连接池成本高 Go net 在 RPC 场景下的问题 2. BIO 式编程, 连接量大时, 调度开销大 1. Conn 难以探活, 维护连接池成本高 Go net 在 RPC 场景下的问题 2. BIO 式编程, 连接量大时, 调度开销大 1. }() multisyscall.read(i=[0,n]) add all poller go handle() go handle() go handle() io_uring – 异步调用 gopool go func() { uring := io_uring_setup(...) for { n, _ := io_uring_enter(fd, submit

都将成为知识的传承者。 致谢 - 7 - 本文档使用 书栈(BookStack.CN) 构建 阅前必读 在接触 Go 语言之后，对这门编程语言非常着迷，期间也陆陆续续开始一些帮助国内编程爱好者了解和发展 Go 语言 的工作，比如开始录制视频教程《Go编程基础》。但由于目前国内并没有比较好的 Go 语言书籍，而国外的优秀书籍 因为英文的缘故在一定程度上也为不少 Go 语言爱好者带来了一些学习上的困扰，不仅为了加快扩散 许可协议）。 授权许可 阅前必读 - 9 - 本文档使用 书栈(BookStack.CN) 构建 内容介绍 在接触 Go 语言之后，对这门编程语言非常着迷，期间也陆陆续续开始一些帮助国内编程爱好者了解和发展 Go 语言 的工作，比如开始录制视频教程《Go编程基础》。但由于目前国内并没有比较好的 Go 语言书籍，而国外的优秀书籍 因为英文的缘故在一定程度上也为不少 Go 语言爱好者带来了一些学习上的困扰，不仅为了加快扩散 @spawnris @domainname @leisore @dake @glight2000 @songleo 适合有一定编程基础，初学 Go 语言的爱好者。 > Martini&Macaron 交流群：371440803 > Golang 编程：245386165 更新日期 更新内容 2015-1-6 14.6 协程和恢复（recover） 内容介绍 本书介绍 关于译者

• 推送业务信息到手机端 • 始终保持连接 推送服务器要求 • 高并发 • 可靠性 • 高性能 • 支持水平扩展 • 无单点故障 Go语言特性 • 静态的、编译的 • 自动内存回收 • 命令式编程 • 函数可以作为值 • 面向并发 • 内置RPC支持 推送服务器要求的应对 • 高并发 – goroutine • 可靠性 – 使用Redis暂存消息 • 高性能 – 静态编译语言 GOMAXPROCS(runtime.NumCPU()) • 使用“go”命令创建goroutine go sockstore.Start() • goroutine使用channel交换消息 – 异步场景，直接往指定channel发送数据 – 同步场景，往channel发送的数据中，包含一 个获取返回值的channel 议程 • 推送服务器介绍 • 推送服务架构 • 部分代码 • 上线效果