1 2022年01月 机器学习-人工神经网络 黄海广 副教授 2 本章目录 01 发展历史 02 感知机算法 03 BP算法 3 1.人工神经网络发展历史 01 发展历史 02 感知机算法 03 BP算法 4 1.人工神经网络发展历史 发展历史 1943年，心理学家McCulloch和逻辑学家Pitts建立神经网络的数学模型， MP模型 神经元生理结构 输入层 输出层 隐藏层 5 1.人工神经网络发展历史 1960年代，人工网络得到了进一步地发展 感知机和自适应线性元件等被提出。 M.Minsky仔细分析了以感知机为代表的神 经网络的局限性，指出了感知机不能解决 非线性问题，这极大影响了神经网络的研 究。 单层感知机的数学模型  1 w b 2 w iw N w 1x 2x ix N x . . . i  n 1  i L  1  L  ny 1个输出 层神经元 ?个隐藏 层神经元 ?个输入 层神经元 9 2.感知器算法 01 发展历史 02 感知机算法 03 BP算法 10 2.感知机算法 感知机（Perceptron）是二分类问题的 线性分类模型。 用 ? ∈ ??×? 表示数据集，用 ? 表示标 签。 需要学习的目标函数是

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 4 多层感知机 127 4.1 多层感知机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 2 激活函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 4.2 多层感知机的从零开始实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 4.2.1 初始化模型参数 . 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 4.3 多层感知机的简洁实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 4.3.1 模型 .

章 调 调度 度 NUMA 感知工作 感知工作负载 负载 6.1. 关于 NUMA 感知调度 6.2. 安装 NUMA RESOURCES OPERATOR 6.3. 创建 NUMARESOURCESOPERATOR 自定义资源 6.4. 部署 NUMA 感知辅助 POD 调度程序 6.5. 使用 NUMA 感知调度程序调度工作负载 6.6. 对 NUMA 感知调度进行故障排除 5 5 Container Platform 4.10 可伸 可伸缩 缩性和性能 性和性能 58 第 6 章 调度 NUMA 感知工作负载 了解 NUMA 感知调度以及如何使用它来在 OpenShift Container Platform 集群中部署高性能工作负载。 重要 重要 NUMA 感知调度只是一个技术预览功能。技术预览功能不受红帽产品服务等级协议 （SLA）支持，且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览 Operator 允许您在相同的 NUMA 区域中调度高性能工作负载。它部署一个节点资源导 出代理，该代理在可用的集群节点 NUMA 资源以及管理工作负载的辅助调度程序上报告。 6.1. 关于 NUMA 感知调度 非统一内存访问 (NUMA) 是一个计算平台架构，允许不同的 CPU 以不同速度访问不同区域。NUMA 资源 拓扑引用与计算节点上相互相对的 CPU、内存和 PCI 设备的位置。在一起的资源表示在同一

AR/VR/MR 智能手机 穿戴设备 SACC2017 万物互联的核心技术 视觉感知 语音感知 语义理解 人工智能 大数据分析 物 环境 SACC2017 图像 视频 检测 识别 分割 跟踪 物 环境 数 据 核 心 云端 移动端 业 务 视觉感知模型 SACC2017 视觉感知核心问题 Object Segmentation Object Classification 小模型 线上速度快 预测准 Frequent remote upgrade CPU-constrained, real-time Cloud processing SACC2017 视觉感知模型 分割 Forward Block Forward Block deconvolution deconvolution convolution convolution 检测 Forward Forward Block Forward Block convolution convolution 识别 Forward Block Forward Block SACC2017 视觉感知模型-融合 分割 Forward Block Forward Block deconvolution deconvolution convolution convolution 检测

集群部署的最佳实践 二、故障分析 当得知一台机器故障导致故障持续 10 分钟，我的第一反应是不应该呀，因为 RocketMQ 集群是分布式部署架构，天然支持故障发现与故障恢复，消息发送客户端能自 动感知 Broker 异常的的时间绝对不会超过 10 分钟，那故障又是怎么发生的呢？ 首先我们先来回顾一下 RocketMQ 的路由注册与发现机制。 1. RocketMQ 路由注册与剔除机制 其路由注册、剔除机制说明如下： 端的长连接断开，NameServer 会立即感知 Broker 下线并从路由表中将该 Broker 移除。  消息客户端(消息发送者、消息消费者)在任意时刻只会和其中一台 NameServer 建立 连接，并每隔 30s 向 NameServer 查询路由信息，如果查询到结果会更新发送者的 本地路由信息。 从上述的路由注册、剔除机制来看，当一台 Broker 服务器宕机，消息发送者感知路由 信息发生变化需要的时间是多长呢？ 信息发生变化需要的时间是多长呢？ 分如下两种情况分别讨论：  NameServer 与 Broker 服务器 TCP 连接断开，此时 NameServer 能立即感知路由 信息变化，将其从路由表中移除，从而消息发送端应该在 30s 左右就能感知路由发送 变化，在此 30s 内在发送端会出现消息发送失败,但结合发送规避机制，并不会对发送 方带来重大故障，可接受。  如果 NameServer 与 Broker

用云程度持续加深，用户对云服务的要求从能用转变为好用，促使 云服务商更加关注优质云能力的供给。一是更注重敏捷迭代，提升 效率。用户对加速创新，缩短研发周期，提高迭代效率的需求日益 增大，以 Serverless（服务器无感知）、低/无代码为代表的技术能够 屏蔽复杂的底层基础设施，让用户以最低学习成本、最小使用代价 最大化释放云的生产力，实现快速创新。AWS 贯彻全面 Serverless 化战略，提供计算、存储、数据库等全领域的 “1-5-10 机制”、华为云的“确定性运维”、腾讯云的“混沌蓝军机 制”。二是可观测性成系统“中枢神经”。可观测性提供了实时监测 和系统分析的能力，完善的系统可观测性相当于人体的“神经系统”， 感知系统状态、定位系统故障，协助进行容量治理及性能调优，并 通过建立基线模型和监测系统的行为模式，来检测和预测异常情况， 实现自动化运维和自愈能力。三是机器学习与人工智能提升稳定性 保障的建设成效 的 数字映射。数字技术实现了对现实世界的数据采集、存储，并能提 供分析处理数据所需的算力。云计算作为链接数字世界计算资源与 数字应用的纽带，能够有效整合海量、泛在的算力资源，加速数字 应用的感知、判断和执行。 （一）数字应用方式与算力资源供给的变革，推动云计 算作用转变 人工智能大模型的快速发展，引发数字应用使用方式和算力资 源供给的双向变革，加速了云计算向面向大体量分布式应用体系化、

EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 优于内核态 swap。 夯实云化基座 容器操作系统 KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案：iSulad 冷热分级：用户态触发对指定进程进行内存访问扫描，根据分级策略配置文件，对内存访问结果进行分级，区分 出热内存和冷内存。 3. 淘汰策略：根据配置文件和系统环境配置，对冷内存进行淘汰，淘汰流程使用内核原生能力，安全可靠，用户无感知。 新增功能： 1. 进程级控制：etMem 支持通过配置文件来进行内存扩展的进程，相比于操作系统原生的基于 LRU 淘汰的 kswap 机制，更加灵活和精准。 应用场景 应用场景：节点内业务进程内存分级扩展 能力。支持单集群多架构、 支持在线和离线部署模式多种部署模式，结合 GitOps 管理能力、感知集群配置变化，驱动集群 OS 统一高效部署。 功能描述 1. 集群配置版本化管理：配置统一 Git repo 版本化管理，使用仓库汇总和跟踪集群的配置信息 ; 2. 配置感知：GitOps 会感知 git 配置库中集群配置信息的变化，给部署引擎发起集群相应的操作请求； 3. 部署引擎：部

是⼀个集服务注册发现以及配置管理于⼀体的组件，因此对于集群下，各个节点之间 的数据⼀致性保障问题，需要拆分成两个方面 从服务注册发现来看 服务发现注册中心，在当前微服务体系下，是十分重要的组件，服务之间感知对方服务的当前可正 常提供服务的实例信息，必须从服务发现注册中心进行获取，因此对于服务注册发现中心组件的可 用性，提出了很高的要求，需要在任何场景下，尽最大可能保证服务注册发现能力可以对外提供服 非数据怎么存储、怎么保障数据⼀致性， 数据存储以及多节点⼀致的问题应该交由存储层来保证。为了进⼀步降低⼀致性协议出现在服务注 册发现以及配置管理两个模块的频次以及尽可能让⼀致性协议只在内核模块中感知，Nacos 这里又 做了另⼀份工作——数据存储抽象。 数据存储抽象 正如前面所说，⼀致性协议，就是用来保证数据⼀致的，如果利用⼀致性协议实现⼀个存储，那么 服务模块以及配置模块，就由原来的 客户端 SDK 需要感知服务节点列表，并按照某种策略选择其中⼀个节点进行连接；底层连接 断开时，需要进行切换 Server 进行重连。 ○ 客户端基于当前可用的长链接进行配置的查询，发布，删除，监听，取消监听等配置领域的 R PC 语意接口通信。 ○ 感知配置变更消息，需要将配置变更消息通知推送当前监听的客户端；网络不稳定时，客户端 接收失败，需要支持重推，并告警。 ○ 感知客户端连接断开事