基于Go的⼤大数据平台 七⽜牛云—党合萱 什什么是Pandora 简单 · 可信赖 Pandora架构图 Export Service API / Portal / 消息 消息 计算 计算 消息 导出任务 导出任务 导出任务 导出任务 导出任务 计算 消息

基于 Golang 构建⾼可扩展的云原⽣ PaaS 平台 刘浩杨 端点 技术专家 个⼈简介 - 18年加⼊端点，现任微服务和监控团队负责⼈ - 端点开源 PaaS Erda 的核⼼架构师 - 开源爱好者， Apache SkyWalking PMC 成员 ⽬ 录 ⾯向云原⽣的软件交付 01 端点⼀站式 PaaS - Erda 02 Erda 架构的思考 03 模块化开发框架 DevOps 平台来⽀撑敏捷开发的落地 这⾥需要有⼀个标准的交付平台 运⾏环境 业务 数据 业务系统 C 业务 数据 业务系统 A 业务 数据 业务系统 B 资源管理在统⼀平台 应⽤运⾏在统⼀平台 构建标准的交付环境 交付产物标准化 - 业务配置 - 资源配置 - 依赖配置 - 流⽔线配置 配置即代码 : 实现⼤规模交付的部署过程可被验证 PaaS 平台：资源管理，容器编排，基础监控和告警 Erda 第⼆部分 端点 PaaS 发展历程 有状态服务 Job / JobFlow 批计算 流计算 ⽆状态服务 DaemonSet Workloads 多集群调度 混合云调度 跨云迁移 多环境调度 业务数据统⼀调度 集群核⼼服务 Helm 镜像服务 Add-on filebeat / telegraf 监控 ⽇志 HPA Operator 注册中⼼ 配置中⼼

golang 在隐私计算平台建设中的实践 刘敬 杭州趣链科技有限公司 2021-10 ⽬目录 隐私计算介绍 01 隐私计算平台架构 02 构建隐私计算算法框架的实践 03 ⼀一些优化技巧 04 01 隐私计算介绍 趣链科技版权所有©2016 – 2021 4 隐私计算概念 隐私计算（Privacy preserving computation）是指在保证数据提供⽅方不不泄露露原始 基于TEE硬件保障计算环境安全 可信，提供计算模型及数据双维 度安全 • 联邦学习 结合机器器学习和密码学算 法，数据联邦化训练，充 分释放数据价值 02 隐私计算平台 架构 趣链科技版权所有©2016 – 2021 9 平台体系 • 区块链协同层 数据共享⽬目录，数据确权授 权、追溯审计以及联盟治理理 • 隐私计算⽹网络 多节点通过p2p组⽹网，并基于安 全多⽅方计算、联邦学习、可信执

开发的原因。 内置并发编程支持也算是Go的卖点，虽然我个人认为它不是Go的主要卖点。 良好的代码可读性是Go的另一个重要卖点。 我感觉可读性是Go在设计的时候 考虑的最重要的一个因素。 良好的跨平台支持也应该算是Go的一个卖点，尽管如今这个卖点并不是很新 鲜。 一个稳定的Go核心设计和开发团队以及一个活跃的社区也可以被视为Go的一个 卖点。 《Go语言101》做了什么来消除Go编程中可能出现的困惑？ 支持延迟函数调用（defer）。 支持类型内嵌（type embedding）。 支持类型推断（type deduction or type inference）。 内存安全。 自动垃圾回收。 良好的代码跨平台性。 自定义泛型（从Go 1.18开始）。 除了以上特性，Go还有如下亮点： Go的语法很简洁并且和其它流行语言相似。 这使得具有一定编程经验的程 序员很容易上手Go编程。 当然，对于没有编程经验的初学者，Go也比很 但是标准编译器gc却在不断地 改进。 使用早期的gc编译的程序在运行的时候在每次垃圾回收的结尾常常会有 明显的停顿。 但是自从Go 1.8，使用gc编译的程序在运行时刻已经基本消除了 停顿现象。 gc支持跨平台编译。 比如，我们可以在Linux平台上编译出Windows程序，反之 亦然。 使用Go编写的程序常常编译得非常快。 编译时间的长短是开发愉悦度的一个重 要因素。 编译时间短是很多程序员喜欢Go的一个原因。 Go

Web开发的原因。 内置并发编程支持也算是Go的卖点，虽然我个人认为它不是Go的主要卖点。 良好的代码可读性是Go的另一个重要卖点。 我感觉可读性是Go在设计的时候 考虑的最重要的一个因素。 良好的跨平台支持也应该算是Go的一个卖点，尽管如今这个卖点并不是很新 鲜。 一个稳定的Go核心设计和开发团队以及一个活跃的社区也可以被视为Go的一 个卖点。 《Go语言101》做了什么来消除Go编程中可能 出现的困惑？ 支持延迟函数调用（defer）。 支持类型内嵌（type embedding）。 支持类型推断（type deduction or type inference）。 内存安全。 自动垃圾回收。 良好的代码跨平台性。 自定义泛型（从Go 1.18开始）。 除了以上特性，Go还有如下亮点： Go的语法很简洁并且和其它流行语言相似。 这使得具有一定编程经验的 程序员很容易上手Go编程。 当然，对于没有编程经验的初学者，Go也比 改进。 使用早期的gc编译的程序在运行的时候在每次垃圾回收的结尾常常会 有明显的停顿。 但是自从Go 1.8，使用gc编译的程序在运行时刻已经基本消除 了停顿现象。 gc支持跨平台编译。 比如，我们可以在Linux平台上编译出Windows程序，反 之亦然。 使用Go编写的程序常常编译得非常快。 编译时间的长短是开发愉悦度的一个 重要因素。 编译时间短是很多程序员喜欢Go的一个原因。 G

内置并发编程支持也算是Go的卖点，虽然我个人认为它不是Go的主要卖点。 良好的代码可读性是Go的另一个重要卖点。 我感觉可读性是Go在设计的时候考虑的 最重要的一个因素。 第0章：关于《Go语言101》 5 良好的跨平台支持也应该算是Go的一个卖点，尽管如今这个卖点并不是很新鲜。 一个稳定的Go核心设计和开发团队以及一个活跃的社区也可以被视为Go的一个卖 点。 《Go语言101》做了什么来消除Go编程中可能出现 支持延迟函数调用（defer）。 支持类型内嵌（type embedding）。 支持类型推断（type deduction or type inference）。 内存安全。 自动垃圾回收。 良好的代码跨平台性。 自定义泛型（从Go 1.18开始）。 除了以上特性，Go还有如下亮点： Go的语法很简洁并且和其它流行语言相似。 这使得具有一定编程经验的程序 员很容易上手Go编程。 当然，对于没有编程经验的初学者，Go也比很多其它 进。 使用早期的gc编译的程序在运行的时候在每次垃圾回收的结尾常常会有明显 的停顿。 但是自从Go 1.8，使用gc编译的程序在运行时刻已经基本消除了停顿现 象。 gc支持跨平台编译。 比如，我们可以在Linux平台上编译出Windows程序，反之亦 然。 使用Go编写的程序常常编译得非常快。 编译时间的长短是开发愉悦度的一个重要因 素。 编译时间短是很多程序员喜欢Go的一个原因。 G

Scala（Java 的并发语言）有更低的门槛，真可谓是 21 世纪的 C 语言！ 作为一门系统编程语言，你不应该为 Go 语言的大多数代码示例和练习都和控制台有着密不可分的关系而 感到惊奇，因为提供平台依赖性的 GUI（用户界面）框架并不是一个简单的任务。有许多由第三方发起的 GUI 框架项目正在如火如荼地进行中，或许我们会在不久的将来看到一些可用的 Go 语言 GUI 框架。不过 现阶段的 Go 的形式第一次向人们宣告了 Go 语言的存在。 直到 2009 年 11 月 10 日，开发团队将 Go 语言项目以 BSD-style 授权（完全开源）正式公布在 Linux 和 Mac OS X 平台上的版本。Hector Chu 于同年 11 月 22 日公布了 Windows 版本。 作为一个开源项目，Go 语言借助开源社区的有生力量达到快速地发展，并吸引更多的开发者来使用并改 善它。自该开源项目发布以来，超过 第2章：安装与运行环境 2.1 平台与架构 Go 语言开发团队开发了适用于以下操作系统的编译器： Linux FreeBSD Mac OS X（也称为 Darwin） 目前有2个版本的编译器：Go 原生编译器 gc 和非原生编译器 gccgo，这两款编译器都是在类 Unix 系统 下工作 。其中，gc 版本的编译器已经被移植到 Windows 平台上，并集成在主要发行版中，你也可以通

目 录 致谢 阅前必读 内容介绍 前言 第1章：Go 语言的起源，发展与普及 1.1 起源与发展 1.2 语言的主要特性与发展的环境和影响因素 第2章：安装与运行环境 2.1 平台与架构 2.2 Go 环境变量 2.3 在 Linux 上安装 Go 2.4 在 Mac OS X 上安装 Go 2.5 在 Windows 上安装 Go 2.6 安装目录清单 2.7 Go Scala（Java 的并发语言）有更低的门槛，真可谓是 21 世纪的 C 语言！ 作为一门系统编程语言，你不应该为 Go 语言的大多数代码示例和练习都和控制台有着密不可分的关系而感到惊奇， 因为提供平台依赖性的 GUI（用户界面）框架并不是一个简单的任务。有许多由第三方发起的 GUI 框架项目正在如 火如荼地进行中，或许我们会在不久的将来看到一些可用的 Go 语言 GUI 框架。不过现阶段的 Go 的形式第一次向人们宣告了 Go 语言的存在。 直到 2009 年 11 月 10 日，开发团队将 Go 语言项目以 BSD-style 授权（完全开源）正式公布了 Linux 和 Mac OS X 平台上的版本。Hector Chu 于同年 11 月 22 日公布了 Windows 版本。 作为一个开源项目，Go 语言借助开源社区的有生力量达到快速地发展，并吸引更多的开发者来使用并改善它。自该开

的关 系。 ‧“增长趋势”表示复杂度分析关注的是算法时间与空间的增长趋势，而非具体的运行时间或占用空间。 复杂度分析克服了实际测试方法的弊端。首先，它独立于测试环境，因此分析结果适用于所有运行平台。其 次，它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 如果你对复杂度分析的概念仍感到困惑，无需担心，我们会在后续章节详细介绍。 2.1.3. 复杂度分析重要性 复杂度分 成简单案例的复杂度分析。 2.2. 时间复杂度 2.2.1. 统计算法运行时间 运行时间可以直观且准确地反映算法的效率。然而，如果我们想要准确预估一段代码的运行时间，应该如何 操作呢？ 1. 确定运行平台，包括硬件配置、编程语言、系统环境等，这些因素都会影响代码的运行效率。 2. 评估各种计算操作所需的运行时间，例如加法操作 + 需要 1 ns，乘法操作 * 需要 10 ns，打印操作需要 5 ns 时间。 例如以下代码，输入数据大小为 ? ，根据以上方法，可以得到算法运行时间为 6? + 12 ns 。 1 + 1 + 10 + (1 + 5) × ? = 6? + 12 // 在某运行平台下 func algorithm(n int) { a := 2 // 1 ns a = a + 1 // 1 ns a = a * 2 // 10 ns // 循环 n 次 for i

‧“时间和空间的增长趋势”表示复杂度分析关注的不是运行时间或占用空间的具体值，而是时间或空间 增长的“快慢”。 复杂度分析克服了实际测试方法的弊端，体现在以下两个方面。 ‧ 它独立于测试环境，分析结果适用于所有运行平台。 第 2 章 复杂度分析 hello‑algo.com 18 ‧ 它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 � 如果你仍对复杂度的概念感到困惑，无须担心，我们会在后续章节中详细介绍。 确定运行平台，包括硬件配置、编程语言、系统环境等，这些因素都会影响代码的运行效率。 2. 评估各种计算操作所需的运行时间，例如加法操作 + 需要 1 ns，乘法操作 * 需要 10 ns，打印操作 print() 需要 5 ns 等。 3. 统计代码中所有的计算操作，并将所有操作的执行时间求和，从而得到运行时间。 例如在以下代码中，输入数据大小为 ? ： // 在某运行平台下 func 6? + 12 ns ： 1 + 1 + 10 + (1 + 5) × ? = 6? + 12 但实际上，统计算法的运行时间既不合理也不现实。首先，我们不希望将预估时间和运行平台绑定，因为算 法需要在各种不同的平台上运行。其次，我们很难获知每种操作的运行时间，这给预估过程带来了极大的难 度。 2.3.1 统计时间增长趋势 时间复杂度分析统计的不是算法运行时间，而是算法运行时间随着数据量变大时的增长趋势。