Golang 在接入层长连接服务中的实践 黄欣 基础平台－架构部 目录 • 背景 • 架构 • 心得 目录 • 架构 • 心得 背景—why 长连接？ • 业务场景 – 大量实时计算 • 司机乘客撮合 • 实时计价 – 高频度的数据交互 • 坐标数据 • 计价数据 – App和服务端双向可达 • 上行（抢单） • 下行（派单） 背景—why golang？ • 开发效率 rsp || nil So easy, So efficient 心得—coding—实现 • what’s diff？ – conn svr • 常驻内存，内存中有个大连接对象map（资源问题） • 请求都是基于连接的(如果模块间存在资源的互相引用，当资源变更的情况 下，容易发生panic)（竟态问题） • 对象编程 – 封装：conn资源（包括goruntine）作为结构体封装起来，保证所有资源 statusLoop() 心得—profiling • Timer优化 • Channel使用优化 心得—timer优化 • 为什么需要优化？ – 万级别的连接 – 每个连接上大量的定时任务（心跳检测，注册检测，认证检测） 实际情况：当10w左右连接，什么数据不收发，只有定时器检测心跳超时，cpu 能耗掉一个core • 怎么优化？ – 特点： • 秒级别定时任务 • 范围最多60s – 方案：

s 转换为 []byte 类型 c[0] = 'c' s2 := string(c) // 再转换回 string 类型 fmt.Printf("%s\n", s2) Go中可以使用+操作符来连接两个字符串： s := "hello," m := " world" a := s + m fmt.Printf("%s\n", a) 修改字符串也可写为： s := "hello" s 后通过IP地址找到IP对应的服务器后，要求建立TCP连接，等浏览 器发送完HTTP Request（请求）包后，服务器接收到请求包之后才开始处理请求包，服务器调用自身服务，返回HTTP Response（响应）包；客户端收到来自服务器的响应后开始渲染这个Response包里的主体（body），等收到全部的内 容随后断开与该服务器之间的TCP连接。 图3.1 用户访问一个Web站点的过程 TTP协议与客户端通信。这个客户端通常指的是Web浏览器(其实手机端 客户端内部也是浏览器实现的)。 Web服务器的工作原理可以简单地归纳为： 客户机通过TCP/IP协议建立到服务器的TCP连接 客户端向服务器发送HTTP协议请求包，请求服务器里的资源文档 服务器向客户机发送HTTP协议应答包，如果请求的资源包含有动态语言的内容，那么服务器会调用动态语言 的解释引擎负责处理“动态内容”，并将处理得到的数据返回给客户端

术相互促进，融合发展，共同开创更大价值空间，加快新兴技术商业落地 利用区块链的去中心化、数据 不能篡改的特性，解决制约云 计算发展的“可信、可靠、可 控”的问题。 融入大数据采集和共享中，作 为数据源接入大数据分析平台。 强化分布式数据存 储和边缘计算能力， 拓展物联安全边界 和应用范围。 为训练深度学习系统提供可信数据， 优化分析决策的准确性和可信性。 人工智能 区块链 云计算 锚节点 按需可扩展多层⼦链，基础⼦链为 扩展⼦链提供存证、互通等能⼒ 共识节点 ⾮共识节点 轻节点 轻客户端 共识节点 节点数量有限，参与交易的共识，存储全 量数据，节点间采⽤GRPC全连接⽅式互联 ⾮共识节点 节点数量较多，不参与共识，存储全量数 据，节点间使⽤gossip协议同步数据 轻节点 节点数量较多，存储部分数据， ⽤于交易的证明验证 轻客户端 节点数量较多，⼀般为物联⽹终端 Pacemaker机制保证系统活性 区块链平台关键技术-共识算法 20 趣链科技 版权所有 ©2016-2021 全连接 双向通信 • 统⼀配置 • ⾼效转发 • 并发能⼒强 全连接 双向通信 ⽹络⾃发现 ⾃适应路由 跨域转发 • 简化配置 • 动态调整 • 跨域通信 全连接转发策略 ⾃发现转发策略 区块链平台关键技术-自发现网络 21 趣链科技 版权所有 ©2016-2021

微服务管理 资源管理 标签管理 系统监控 集群管理 服务⽬录 埋点 数据库 ⽇志 画像 标签 报表 推荐 … 代码管理 持续集成 编排部署 应⽤运维 测试管理 协同管理 数据源管理 数据集成 数据开发 数据资产 数据服务 数据应⽤ 资源统计 运维报告 审计⽇志 K8S 管理 数据监控 多云管理平台 MySQL Redis Kafka ES MQ Minio 简化平台的上⼿难度 - 解耦对中间件的强依赖 - 平台应⽤可独⽴安装和部署 - 像搭积⽊⼀样拼装系统 云端和本地⼀致的开发体验 - 本地⽆需启动完整的环境 - 借助IDE插件实现云端服务连接 - 本地和云端服务可交互 微信公众号 : Github : https://github.com/erda-project/erda Erda Cloud : https://www.erda

| if err != nil { 15 | log.Println(err) 16 | } 17 | // 在一个新协程中处理客户端连接。 18 | go ClientHandler(conn) 19 | } 20 | } 21 | 22 | func ClientHandler(c net.Conn) 演示目的产生的一个恐慌 31 | } 运行此服务器程序，并在另一个终端窗口运行telnet localhost 12345，我们 可以观察到服务器程序不会因为客户连接处理协程中的产生的恐慌而导致崩 溃。 如果我们在上例中不捕获客户连接处理协程中的潜在恐慌，则这样的恐慌将使 整个程序崩溃。 用例2：自动重启因为恐慌而退出的协程 当在一个协程将要退出时，程序侦测到此协程是因为一个恐慌而导致此次退出 本用例可以看作是上例中只使用一个通道变种的增强。 有时候，一份数据可能同时从多个数据源获取。这些数据源将返回相同的数 据。 因为各种因素，这些数据源的回应速度参差不一，甚至某个特定数据源 的多次回应速度之间也可能相差很大。 同时从多个数据源获取一份相同的数 据可以有效保障低延迟。我们只需采用最快的回应并舍弃其它较慢回应。 注意：如果有N个数据源，为了防止被舍弃的回应对应的协程永久阻塞，则传 输数据用的通道必须为一个容量至少为N-1的缓冲通道。

err := listener.Accept() if err != nil { log.Println(err) } // 在一个新协程中处理客户端连接。 go ClientHandler(conn) } } func ClientHandler(c net.Conn) { defer func() { if // 演示目的产生的一个恐慌 } 运行此服务器程序，并在另一个终端窗口运行telnet localhost 12345，我们 可以观察到服务器程序不会因为客户连接处理协程中的产生的恐慌而导致崩 溃。 如果我们在上例中不捕获客户连接处理协程中的潜在恐慌，则这样的恐慌将使 整个程序崩溃。 用例2：自动重启因为恐慌而退出的协程 当在一个协程将要退出时，程序侦测到此协程是因为一个恐慌而导致此次退出 本用例可以看作是上例中只使用一个通道变种的增强。 有时候，一份数据可能同时从多个数据源获取。这些数据源将返回相同的数 据。 因为各种因素，这些数据源的回应速度参差不一，甚至某个特定数据源的 多次回应速度之间也可能相差很大。 同时从多个数据源获取一份相同的数据可 以有效保障低延迟。我们只需采用最快的回应并舍弃其它较慢回应。 注意：如果有N个数据源，为了防止被舍弃的回应对应的协程永久阻塞，则传 输数据用的通道必须为一个容量至少为N-1的缓冲通道。

14| if err != nil { 15| log.Println(err) 16| } 17| // 在一个新协程中处理客户端连接。 18| go ClientHandler(conn) 19| } 20| } 21| 22| func ClientHandler(c net.Conn) { 第30章：一些恐慌/恢复用例 319 运行此服务器程序，并在另一个终端窗口运行telnet localhost 12345，我们可 以观察到服务器程序不会因为客户连接处理协程中的产生的恐慌而导致崩溃。 如果我们在上例中不捕获客户连接处理协程中的潜在恐慌，则这样的恐慌将使整个 程序崩溃。 用例2：自动重启因为恐慌而退出的协程 当在一个协程将要退出时，程序侦测到此协程是因为一个恐慌而导致此次退出时， 本用例可以看作是上例中只使用一个通道变种的增强。 有时候，一份数据可能同时从多个数据源获取。这些数据源将返回相同的数据。 因 为各种因素，这些数据源的回应速度参差不一，甚至某个特定数据源的多次回应速 度之间也可能相差很大。 同时从多个数据源获取一份相同的数据可以有效保障低延 迟。我们只需采用最快的回应并舍弃其它较慢回应。 注意：如果有N个数据源，为了防止被舍弃的回应对应的协程永久阻塞，则传输数据 用的通道必须为一个容量至少为N-1的缓冲通道。

src; ./all.bash -v) CL举例 1. 跑全量用例 (cd src; ./all.bash -v) 2. commit信息 a. 信息要完整，改了什么， 为什么要改 b. 引用数据源 c. 如果有对应bug，那么要带上bug号 CL举例 1. 跑全量用例 (cd src; ./all.bash -v) 2. commit信息 cmd/link: fix loadelf 修复的就用Fixed 没修复就用Update CL举例 1. 跑全量用例 (cd src; ./all.bash -v) 2. commit信息 a. 信息要完整，改了什么， 为什么要改 b. 引用数据源 c. 如果有对应bug，那么要带上bug号 3. git mail 提交 a. 记住Change ID b. 下次提交时commit消息要加上这个Change ID 提交完了 1. 终于可以放松了？

Go 应用？ 02 Metrics 系统架构演进 03 Why VictoriaMetrics so good？ 04 总结与展望 05 监控架构概览 第一部分 监控系统架构概览 -- 数据源 监控系统架构概览 -- 告警配置 监控系统架构概览 -- 告警通道 如何监控 Go 应用？ 第二部分 基于 Prometheus Go 应用监控接入流程 确定指标 为应用埋点 部署应用

管理理接⼝口 简单 · 可信赖 调度算法 简单 · 可信赖 ⾃自动化运维 简单 · 可信赖 监控⽅方案 • logkit：七⽜牛pandora团队开发的纯go语⾔言数据收集、推 送⼯工具，⽀支持多种数据源，⾼高效易易⽤用 • 时序数据库（TSDB）：兼容influxdb，适配grafana 简单 · 可信赖 系统热点⾃自动感知与调整 • ⼀一⽅方⾯面依靠⽇日志对服务做审计、趋势预测，宏观上预知