搜狗商业平台 技术体系广 服务多迭代快 搜狗产品矩阵 商业平台 信息流广告 搜索广告 品牌广告 代理商 广告主 技术体系 CRM 广告平台 物料展现 审核平台 大数据平台 基础架构 Golang C++ JavaScript Java Python 质量要求高 业务响应快 故障恢复快 Cluster1 搜狗商业平台业务系统 搜索推广 信息流 品牌 BizNginx of complex stateful applications on behalf of a Kubernetes user. operator 是特殊的 controller，用来管理复杂的分布式应用 ü custom resource definition(CRD) ü custom controller Operator 是什么 • Kubernetes 中一切都可视为资源 • 集群高可用 • 支持 MySQL 集群弹性伸缩 • 支持 MySQL 5.5 & 5.7 Master Slave1 Slave2 MySQL 集群：1 主 2 从 MySQL 容器化系统架构 REST CLI Kubernetes Master API Server Scheduler Controller Manager NodeM kubelet kube-proxy

ION 离子之光 分布式实时通讯系统 https://github.com/pion/ion • 基于pion/webrtc 开发 pion/ion-sfu • 分布式架构 • 基于grpc over NATS mq • 使用redis 存储媒体流全局位置 • 支持业务自定义开发 • 高性能，单个ion-sfu节点 1k 并发仅需 0.5核 ION 架构 多node 架构 主要模块

持久化（fsync）、⼀致性（ack: all）、多Topic • IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构： • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream 的接⼝。 • 丰富的企业级特性 • 多租户隔离 — 百万Topics — 跨地域复制 • Pulsar 的⽣态和社区 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper streamnative.io Pulsar： 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker 数据均匀分布 ⽆re-balance Pulsar： 云原⽣的架构优势 https://jack-vanlightly.com/sketches/2018/10/2/kafka-vs-pulsar-rebalancing-sketch • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper Apache

KUBERNETES 上的应⽤用 • k8s 基础资源之外 • 资源分组和整体状态 • 重⽤用 YAML 配置 • 版本化 • 启动依赖 • Helm 很棒，但是 …… 典型企业应⽤用的架构 CAICLOUD/RUDDER • 2 CRDs - Release, Release History • 1 控制器器 - Rudder aka Release Controller • lease • https://github.com/caicloud/charts • https://github.com/caicloud/helm-registry Rudder 技术架构 ⼀一套基于 k8s 控制器器模式的原⽣生的应⽤用管理理 和编排运⾏行行时 安全性与扩展性：从 k8s 原⽣生模式中获益 状态可读：跟踪所有 k8s 对象状态 版本化：快速从历史版本回滚 构建应⽤用 典型 CI/CD 流程 CAICLOUD/CYCLONE • 开源 • https://github.com/caicloud/cyclone Cyclone 技术架构 云原⽣生 CI/CD 引擎 设计 - 云原⽣生，k8s 亲和性 性能 - 为企业场景优化 扩展性 - ⽀支持 AI ⼯工作流 运⾏行行 AI 应⽤用 KUBEFLOW 的应⽤用 • Kubeflow

能否提供⾼并发读取和写⼊ 是否兼容主流API，如HDFS/S3 是否可以扩展⾄数百PB的存储容量，数千个 物理节点以及数⼗亿个对象 扩展性 API 兼容性 性能 是否⽀持存算分离架构同时也可以兼容存算耦合 架构 应⽤对接 安全 加密 HDFS现有的⼀些解决⽅案 Namenode Federation Router Based Federation 是否需要⼀个新的⼤数据存储？ 现有的对象存储⽅案 Apache Ozone介绍 • Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 Apache Ozone • Ozone是 ⼀个分布式的KV对象存储 可扩展⾄数⼗亿个对象，从⽽对云原⽣类的应⽤更友好 强⼀致性 与HDFS 和 S3 API兼容 可在存储密集型设备中部署进⽽极⼤的减少设备开⽀ Apache Ozone – 数据存储的路径设计 GC带来的⽆ 响应问题 运维价值 Apache Ozone – 使⽤场景 #2 • 可以快速的对接已适配S3 接⼝的应⽤ • 减少数据在多个平台间的迁移 • 使⽤单⼀的API协议来应对混合云架构 业务价值 • 集约化的⼀套存储来⾯向不同的业务负载 • 更易于运维的控制⾯ • 只需要⼀个运维团队⽽不是多个 运维价值 OZONE STORAGE AI/ML HIVE/IMPALA/

目录 图 III.10 无 线 网 络 对 话 框 3. 输入您想设定的连接名称。 4. 在无线选项页的 SSID 框里输入要连接到的无线网络的SSID(服务集标识)，然后在 模式下拉列表中选择架构。 5. 在无线安全性选项卡的安全性下拉列表中选择无线网络的加密方式，如 WPA WPA2.0 6. 选择 IPv4 设置来配置连接。 a. 在方法复选框中，选择手动，并在地址右侧点击添加。 http://www.linphone.org III.VI.II Skype Skype 是另一个可以在 Ubuntu 上使用的软电话软件。Skype 的源代码是私有的， 但是使用是免费的。您的呼叫会由分布式部署的服务器群传递，Skype 使用了它私有 的点对点的去中心技术。Skype 连接是加密的，可以保证您和别人的通话不被窃听。 在这里我们不对 Skype 进行更深入的探讨。 使用互联网 107 对于这种技术并不热心，所以，最早支持这种架构的软件通常称之为 AMD64，Ubuntu 也从 Debian 中延续这这种叫法。 基本上来说，06年之后生产的 Intel 和 AMD 处理器都支持这种架构。Atom 系列是 不支持这种架构的，另外威盛的处理器产品至今也不支持这种架构。 IA64(安腾2)并不是这种架构 IA64 是另外一种完全不同的处理器架构—— EPIC。Intel 当时就是为了推广

....................................................................................... 8 4.13 分布式事务 ................................................................................................ 如果业务能容忍在集群异常情冴（如某个 Broker 宕机戒者重启）下，消息短暂的乱序，使用普通顺序方 式比较合适。  严格顺序消息 顺序消息的一种，无论正常异常情冴都能保证顺序，但是牺牲了分布式 Failover 特性，即 Broker 集群中只 要有一台机器丌可用，则整个集群都丌可用，服务可用性大大降低。 如果服务器部署为同步双写模式，此缺陷可通过备机自劢切换为主避免，丌过仍然会存在几分钟的服务丌 収送消息阶段，丌允许収送重复的消息。 (2). 消费消息阶段，丌允许消费重复的消息。 只有以上两个条件都满足情冴下，才能讣为消息是“Exactly Only Once”，而要实现以上两点，在分布式系统环 境下，丌可避免要产生巨大的开销。所以 RocketMQ 为了追求高性能，幵丌保证此特性，要求在业务上迕行去重， 也就是说消费消息要做到幂等性。RocketMQ 虽然丌能严格保证丌重复，但是正常情冴下很少会出现重复収送、消

.......................................................................................... 7 2.3 分布式事物消息 .............................................................................................. ......................................................................................... 11 2.2 分布式事物消息落地 ............................................................................................ messageQueueList [userId%messageQueueList.size()] 2.3 分布式事物消息 先引入官方文档图： 分布式事物是基于二阶段提交的 1) 一阶段，向 broker 发送一条 prepared 的消息，返回消息的 offset 即消息地址 commitLog 中消息偏移量。Prepared

常规的容器服务 ，使用 gpu 的 zone ， 自行设定相应的镜像即 可，有完善的周边服务 训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作，用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像，不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态

....................................................................................... 3 2.2 方案架构图 ................................................................................................. ....................................................................................... 9 3.2 方案架构图 ................................................................................................. ...................................................................................... 16 4.3 方案架构图 .................................................................................................