数据 业务系统 C 业务 数据 业务系统 A 业务 数据 业务系统 B 资源管理在统⼀平台 应⽤运⾏在统⼀平台 构建标准的交付环境 交付产物标准化 - 业务配置 - 资源配置 - 依赖配置 - 流⽔线配置 配置即代码 : 实现⼤规模交付的部署过程可被验证 PaaS 平台：资源管理，容器编排，基础监控和告警 APM 监控：应⽤诊断，链路追踪，⽇志分析 微服务治理组件 可靠的业务 APP 监控 慢SQL JVM 诊断 ⾃定义告警 APM 微服务管理 资源管理 标签管理 系统监控 集群管理 服务⽬录 埋点 数据库 ⽇志 画像 标签 报表 推荐 … 代码管理 持续集成 编排部署 应⽤运维 测试管理 协同管理 数据源管理 数据集成 数据开发 数据资产 数据服务 数据应⽤ 资源统计 运维报告 审计⽇志 K8S 管理 数据监控 多云管理平台 ⻚⾯错误 特点: ⽆埋点的实现⽅案 运⾏时拓扑 访问明细: TraceId SpanId 报告: 实时⽹络拓扑图 实时调⽤延迟展示 特点: 实时反应系统状况 运营决策 视⻆: 系统资源使⽤，系统健康度 报告: 周报 ⽇报 ⼤盘 特点: 提供⾼视⻆的IT运营决策分析 Erda 的可观察性能⼒ 可观察性数据采集 - ⾃动发现并识别 services、 jobs 和 addons

云原生生态（CNCF） 云原生应用 云原生是以容器技术为基础围绕着Kubernetes进行的一场技术标准化演进。通过标准可扩展的调度，网络， 存储，容器运行时接口来提供基础设施；通过标准可扩展的声明式资源和控制器来提供运维能力。两层标 准化推进了细化的社会分工，各领域进一步提升规模化和专业化，全面达到成本，效率，稳定性的优化。 4 6 7 2 3 5 1 1 Kubectl plugins 2 ation； • 稳定性不足：没有设置Pod的QoS等级，导致频繁被驱逐，没有设置反亲和性策略，导致节点流量不均; • 扩展效率低：需要负责安装，升级丰富的云原生插件，无法解决插件的依赖，冲突和资源浪费问题； • 运维成本高：Apiserver, etcd, Controller-Manager, Kubelet,等组件都具有一定复杂度，无法做到定期升 级以维持安全，高可用，高性能的状态； 云原生生态（CNCF） 云原生应用 4 6 7 2 3 5 1 云原生PaaS平台 8 9 8 9 向下设计平台策略与机制融入云原生生态 向上提供应用管理策略与机制使用平台 插入：K8s核心机制-声明式资源与控制器 控制器 期望状态 被控制系统 管控动作 监控状态 apiVersion: apps/v1 kind: Deployment metadata: name: nginx-deployment

批量选取用户群 特征 • 离线及实时用户指 标，单用户业务个 性化属性数值 指标 • 短信、Tips、邮 件、站内信通知 触达 • 礼包发放、积分 赠送、体验资格 营销 • 服务编排、运营策略 策略 微服务实践 • CDB + CKV / ETCD 服务注册发现 • CL5 / LVS CAE自动伸缩容 负载均衡 • ID / Token / IP 鉴权 • Atomic 并行执行单元 消息总线 屏蔽本地网络差异 微执行单元 水平伸缩 运营监控 旁路实时上报 自定义告警策略 收敛算法 海量日志查询 DSL加速敏捷 微服务编排 Node API调用 Graph 条件分支 Flow 编排策略 DSL设计 应用落地 • 正职开发核心服务，流程编 排外包 开发外包 • 运营填写表单，活动一键上 线 运营自助 • 策略嵌套、一键复制 流程复用 流程复用 • 自动Mock、分支覆盖 自动测试 • 流程固化，沉淀运营模型 模型沉淀 基准数据 基准数据 总结及展望 总结及展望 服务网关 快速集成 服务编排 流程沉淀 执行单元 并发并行 技术驱动 业务优化 微服务 敏捷迭代

Machine Learning Libraries ○ Spark Streaming TiDB on K8S TiDB with Kubernetes 1/3 ● Kubernetes 是容器编排的最佳方案 ● 难点 ○ Stateless is Easy, Stateful is Hard ○ Application domain knowledge ○ IO Isolation

China  2015  Resource  Scheduling  &  Container  Technology  for  Financial  Service  动态资源管理和容器技术  在金融行业的架构探索和明天  余军  Gopher  China  2015  Gopher  China  2015  关于我  n  Platform  Service   Business  Service  ?  Gopher  China  2015  归根结底是构造一个高效的资源管控模型  Gopher  China  2015  求解之路的探索  n 是否已经存在相关问题域的解?  n 他们是是否解决了我们的问题?  n 我们的研究和探索 它并不保证任务被指派到执行它最快的主机上，而仅关心如何最小化任务完成时间，因而可能导致任务在资源上的 运行时间过长，从而潜在地增加了调度跨度。  ④ Min-Min算法，利用MCT矩阵，首先分别找到能够最短完成该任务的机器及最短完成时间，然后在所有的最短完成 时间中找出最小的最短完成时间对应的任务。Min-Min算法存在着一个很大的缺点，就是算法的资源负载均衡性能 (Load  Balancing)不高。  ⑤

预防CSRF攻击 9.2 确保输入过滤 9.3 避免XSS攻击 9.4 避免SQL注入 9.5 存储密码 9.6 加密和解密数据 9.7 小结 10.国际化和本地化 10.1 设置默认地区 10.2 本地化资源 10.3 国际化站点 4 10.4 小结 11.错误处理，调试和测试 11.1 错误处理 11.2 使用GDB调试 11.3 Go怎么写测试用例 11.4 小结 12.部署与维护 12 可以在函数中添加多个defer语句。当函数执行到最后时，这些 defer语句会按照逆序执行，最后该函数返回。特别是当你在进行一些打开资源的操作时，遇到错误需要提前返回， 在返回前你需要关闭相应的资源，不然很容易造成资源泄露等问题。如下代码所示，我们一般写打开一个资源是这样 操作的： func ReadWrite() bool { file.Open("file") // 做一些工作 客户端内部也是浏览器实现的)。 Web服务器的工作原理可以简单地归纳为： 客户机通过TCP/IP协议建立到服务器的TCP连接 客户端向服务器发送HTTP协议请求包，请求服务器里的资源文档 服务器向客户机发送HTTP协议应答包，如果请求的资源包含有动态语言的内容，那么服务器会调用动态语言 的解释引擎负责处理“动态内容”，并将处理得到的数据返回给客户端 客户机与服务器断开。由客户端解释HTML文档，在客户端屏幕上渲染图形结果

数据在边缘产生 边侧逐步具备AI能力 分布式协同AI 核心驱动力 分布式协同AI核心驱动力 • 随着边侧算力逐步强化，边缘AI持续演变至分布式协同AI 分布式协同AI技术挑战 1. 边缘资源碎片化 2. 边缘数据孤岛 3. 边缘样本少 4. 边缘数据异构 分布式协同AI 技术挑战 边云协同AI框架 第二部分 首个分布式协同AI开源项目Sedna 基于KubeEdge提供 Shallow Model Hard example mining Edge 3 App Shallow Model Hard example mining 边云协同推理： 边侧资源受限条件下，提升整体推理性能 EdgeNode 2 Sedna LC Cloud Edge Sedna GM EdgeNode 1 Feature Extraction Sedna 部署在不同边缘节点的多个摄像头，可以 提供不同视角、不同时间、不同光照的多 维度信息，以提升整体识别准确度。 ② 运行在不同边缘节点的AI算法可以灵活资源 卸载，包括卸载到其他边缘或云端，以提升 整体推理效率。 多边协同推理： 联合多边缘信息提升精度，卸载任务到多边缘提升资源利用率 Sedna-GM： 一个K8S Operator 第三部分 Operator：特定应用扩展K8S API的控制器 •API:

锁 锁是⼀一种同步机制， 它可以保证⼀一项资源在任何时候只能被⼀一个进程使⽤用， 如果有其他进程想要 使⽤用相同的资源， 那么它们就必须等待， 直到正在使⽤用资源的进程放弃使⽤用权为⽌止。 锁 锁是⼀一种同步机制， 它可以保证⼀一项资源在任何时候只能被⼀一个进程使⽤用， 如果有其他进程想要 使⽤用相同的资源， 那么它们就必须等待， 直到正在使⽤用资源的进程放弃使⽤用权为⽌止。 ⼀一个锁实 se）这两种操作： 锁 锁是⼀一种同步机制， 它可以保证⼀一项资源在任何时候只能被⼀一个进程使⽤用， 如果有其他进程想要 使⽤用相同的资源， 那么它们就必须等待， 直到正在使⽤用资源的进程放弃使⽤用权为⽌止。 ⼀一个锁实现通常会有获取（acquire）和释放（release）这两种操作： • 获取操作⽤用于取得资源的独占使⽤用权。 在任何时候， 最多只能有⼀一个进程取得锁， 我们把成功 所有尝试再次获取锁的操作都会 失败。 锁 锁是⼀一种同步机制， 它可以保证⼀一项资源在任何时候只能被⼀一个进程使⽤用， 如果有其他进程想要 使⽤用相同的资源， 那么它们就必须等待， 直到正在使⽤用资源的进程放弃使⽤用权为⽌止。 ⼀一个锁实现通常会有获取（acquire）和释放（release）这两种操作： • 获取操作⽤用于取得资源的独占使⽤用权。 在任何时候， 最多只能有⼀一个进程取得锁， 我们把成功

CPU、内存、磁盘等抽象成一个资源池 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 4/36 Mesos 调度 各个 Agent 启动后, 向 Master 注册，携带统计资源, 由 Master 决定给每个框架多少资源, 默认 采用分级主导资源公平算法 每个框架收到资源后 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 5/36 upone 为云处理服务定制的容器调度框架，支持长期服务和定时任务 2017/8/3 基于 mesos 的容器调度框架 http://go-talks com/huangnauh/slides/upone.slide#3 9/36 OFFERS 事件处理 ACCEPT 消息： 接受此 o�er， 包括启动任务，预留资源等调度操作 DECLINE 消息： 明确拒绝此 o�er Filter : 可以设定资源的拒绝时间， 默认是 5s REVIVE 消息 ： 取消之前设定 �lter 2017/8/3 基于 mesos 的容器调度框架 http://go-talks

常驻内存，内存中有个大连接对象map（资源问题） • 请求都是基于连接的(如果模块间存在资源的互相引用，当资源变更的情况 下，容易发生panic)（竟态问题） • 对象编程 – 封装：conn资源（包括goruntine）作为结构体封装起来，保证所有资源 销毁干净 – 解耦：保证其他模块不直接使用对象中资源 – 同步：竞态需要锁 特点：有状态，存在大量的公共资源并发访问 心得—coding—实现