SOFAMOSN 持续演进路径及实践案例 陈逸凡 wugou.cyf@antfin.com 2019.1.6 Service Mesh Meetup #5 广州站Agenda Ø 背景 & 概览 Ø 持续演进路径 & 技术案例 Ø 实践案例 Ø 规划 & 展望 Ø QA背景 & 概览数据平面概览 SOFAMOSN • C实现，支持多语言扩展 • 基于Nginx扩展 • 开发不活跃 开发活跃，最新版为0.4.0 • 蚂蚁+UC主导，重点搭载 SOFAMesh使用，目标服 务通用场景，金融场景SOFAMOSNSOFAMOSN内部模块设计SOFAMOSN数据流SOFAMOSN数据流持续演进路径 & 技术案例能力 0.1.0 0.2.0 0.3.0 0.4.0 Ø TCP代理/7层通用代理 Ø 简单匹配路由 Ø 集群管理 & 基本负载均衡(RR、 RANDOM) Ø SofaRpc及HTTP/1 临时对象多，GC占比高 4. 基本实现了RFC中MUST部分，部分功 能需求上不匹配，如GRPC trailer实现技术案例 – HTTP/2.0优化 优化思路：适配MOSN框架，复用官方实现核心结构体和解析流程 Ø 框架适配 ü IO框架 ü 内存复用框架 ü workerpool协程池框架 Ø 功能支持 ü 请求流式处理模式 ü 热升级 ü metrics ü 修复HTTP/2 headers

《基于深度学习的视频结构化实践》 七牛云 AI实验室首席架构师／姚唐仁� • 围绕海量数据提供创新的云服务，帮助客户缩短想法到产品的距离 • 创立6年，每年超过300%的业绩增长 • 已完成5轮融资，累计超过20亿 • 长期服务70多万企业用户和开发者 • 文件数超过2000亿，每日新增文件20亿 • 覆盖全球300个节点 • 覆盖金融、公安、广电媒体、互联网等行业 视觉-最重要的信息感知 2017中国网络视频用户情况 ����2017������������� 传统视频摘要 vs AI视频结构化 内容不完整 依赖经验 实时性差 时效性差 识别范围广 效率高 可迭代 创新基础 传统手工摘要 AI视频结构化 视频结构化场景 视频分解 基础模型要素 ��1�01:02:03-01:10:05� ��1����� �� �� 2 ������ ��PA� ������ 3 4 5 6 ���L ������ ��PA� ����� ���L ��������� ������L 大规模视频训练框架 结构化策略 ���� ������ ���� ���� 主题分类-特征提取 DPN SENet ResNeXt NASNet 主题分类-模型训练 模型融合 a) Early

架构概述 Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。 HDFS架构概述 1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、 文件权限），以及每个文件的块列表和块所在的DataNode等。 2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。 3）Secondary ss1505_wuma.a vi Container MapTask SecondaryNa meNode 1.6 大数据技术生态体系 大数据技术生态体系 数据库（结构化数据） 文件日志（半结构化数据） 视频、ppt等（非结构化数据） Sqoop数据传递 Flume日志收集 Kafka消息队列 HDFS文件存储 HBase非关系型数据库 YARN资源管理 MapReduce离线计算 Spark 作业（job）的工作流程调度管理系统。 7）Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库， 它是一个适合于非结构化数据存储的数据库。 8）Hive：Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张 数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运 行。其优点是学习成本低，可以通过类

标准化开发测试和生产环境 12. 安全 i. 内核名字空间 ii. 控制组 iii. 服务端防护 iv. 内核能力机制 v. 其它安全特性 vi. 总结 13. Dockerfile i. 基本结构 ii. 指令 iii. 创建镜像 14. 底层实现 i. 基本架构 ii. 名字空间 iii. 控制组 iv. 联合文件系统 v. 容器格式 vi. 网络 15. Docker Successfully built 324104cde6ad 其中 -t 标记来添加 tag，指定新的镜像的用户信息。 “.” 是 Dockerfile 所在的路径（当前目录），也可以 替换为一个具体的 Dockerfile 的路径。 可以看到 build 进程在执行操作。它要做的第一件事情就是上传这个 Dockerfile 内容，因为所有的操作都要 依据 Dockerfile 来进行。 然后，Dockfile T \ -e SEARCH_BACKEND=sqlalchemy \ -p 5000:5000 \ registry ` 此外，还可以指定本地路径（如 /home/user/registry-conf ）下的配置文件。 $ sudo docker run -d -p 5000:5000 -v /home/user/registry-conf:/registry-conf

ls 替换 docker images 命令为 docker image ls 修改 安装 Docker 一节中部分文字表述 移除历史遗留文件和错误的文件 优化文字排版 调整目录结构 修复内容逻辑错误 修复 404 链接 0.9.0-rc1: 2017-11-29 根据最新版本（v17.09）修订内容 增加 Dockerfile 多阶段构建( multistage ubuntu:14.04 ，或者 ubuntu:16.04 来具体指定所需哪个版本的镜 像。如果忽略了标签，比如 ubuntu ，那将视为 ubuntu:latest 。 仓库名经常以 两段式路径 形式出现，比如 jwilder/nginx-proxy ，前者往往意味着 Docker Registry 多用户环境下的用户名，后者则往往是对应的软件名。但这并非绝对，取决于所使 用的具体 Docker 间的总和，因为镜像到本地后，查看空间的时候，更关心的是本地磁盘空间占用的大小。 另外一个需要注意的问题是， docker image ls 列表中的镜像体积总和并非是所有镜像实际硬 盘消耗。由于 Docker 镜像是多层存储结构，并且可以继承、复用，因此不同镜像可能会因为 使用相同的基础镜像，从而拥有共同的层。由于 Docker 使用 Union FS，相同的层只需要保 存一份即可，因此实际镜像硬盘占用空间很可能要比这个列表镜像大小的总和要小的多。

云原生安全威胁分析...................................................................................19 2.2 路径 1：镜像攻击....................................................................................... 21 2 ....22 2.2.5 针对镜像不安全配置的攻击................................................................ 22 2.3 路径 2：容器攻击....................................................................................... 23 2 容器网络攻击........................................................................................26 2.4 路径 3：编排工具攻击................................................................................26 2.4.1k8s

具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14 试验 46. AWS Control Tower 47. Bloc 48. cdk-nag 49. Checkov 50. Chromatic 51. Cilium 52. 云服务的碳足迹 53. 容器结构测试 54. Devbox 55. DX DevEx 360 56. GitHub Copilot 57. Insomnia 58. IntelliJ HTTP 客户端插件 59. KEDA 60. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14

3. 安装插件 7.3.1. Plug-in Loader 7.3.1.1. 搜索顺序 7.4. 编写插件 7.4.1. plugin.yaml Descriptor 7.4.2. 建议的目录结构 7.4.3. 访问运行时属性 37 38 38 38 39 39 40 目 目录 录 3 OpenShift Container Platform 3.11 CLI 参考 参考 另外，如果集群管理员启用了它，您可以在 web 控制台的 About 页面中下载并解压缩 CLI。 然后，解包存档，并将 oc 二进制文件移到 PATH 的目录中。要查看路径，请运行： 解包存档： 注意 注意 如果不使用 RHEL 或 Fedora，请确保将 libc 安装在库路径的目录中。如果 libc 不可用， 您在运行 CLI 命令时可能会看到以下错误： 2.4. 基本设置和登录 oc login 命令是初始设置 在发出 CLI 操作时，CLI 配置的加载和合并顺序遵循这些规则： 1. 使用以下层次结构和合并规则从工作站检索 CLI 配置文件： 如果设置了 --config 选项，则只加载该文件。标志可能仅设置为一次，也没有合并发生。 如果设置了 $KUBECONFIG 环境变量，则会使用它。变量可以是路径列表，如果将路径合并 在一起。修改值后，会在定义该节的文件中对其进行修改。创建值时，会在存在的第一个文

启了深度学习的第三次复兴之路。 1.2.1 浅层神经网络 1943 年，心理学家 Warren McCulloch 和逻辑学家 Walter Pitts 根据生物神经元(Neuron) 结构，提出了最早的神经元数学模型，称为 MP 神经元模型。该模型的输出?(?) = ℎ(?(?))，其中?(?) = ∑ ?? ? , ?? ∈ {0,1}，模型通过?(?)的值来完成输出值的预测，如图 感知机模型 预览版202112 1.2 神经网络发展简史 5 图 1.6 Frank Rosenblatt 和 Mark 1 感知机① 图 1.7 Mark 1 感知机网络结构② 1969 年，美国科学家 Marvin Minsky 等人在出版的《Perceptrons》一书中指出了感知 机等线性模型的主要缺陷，即无法处理简单的异或 XOR 等线性不可分问题。这直接导致 等并行加速芯片训练模型参数。如围棋程序 AlphaGo Zero 在 64 块 GPU 上从 零开始训练了 40 天才得以超越所有的 AlphaGo 历史版本；自动网络结构搜索算法使用了 800 块 GPU 同时训练才能优化出较好的网络结构。 目前普通消费者能够使用的深度学习加速硬件设备主要来自 NVIDIA 的 GPU 显卡， 图 1.12 例举了从 2008 年到 2017 年 NVIDIA

annotations.yaml 示例 示例 Operator 捆绑包的介质类型或格式。registry+v1 格式表示它包含 CSV 及其关联的 Kubernetes 对 象。 镜像中的该路径指向含有 Operator 清单的目录。该标签保留给以后使用，当前默认为 annotations: operators.operatorframework.io.bundle.mediatype "stable" 6 第 第 2 章 章 了解 了解 OPERATOR 9 2 3 4 5 6 镜像中的该路径指向含有 Operator 清单的目录。该标签保留给以后使用，当前默认为 manifests/。manifests.v1 值表示捆绑包包含 Operator 清单。 镜像中的该路径指向包含捆绑包元数据文件的目录。该标签保留给以后使用，当前默认为 metadata/。metadata.v1 2，也可指定一系列版本，如 >0.5.1。 olm.gvk 使用这个类型，作者可以使用 group/version/kind(GVK)信息指定依赖项，类似于 CSV 中现有 CRD 和基于 API 的使用量。该路径使 Operator 作者可以合并所有依赖项、API 或显式版本，使它们处于同 一位置。 olm.constraint 这个类型在任意 Operator 属性上声明通用限制。 在以下示例中，为