Sequential 顺序模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2.2 常用 Sequential 属性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 目录 III 4.2.3 Sequential 模型方法 . Model 类 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.2 Model 的实用属性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.3 Model 类模型方法 . . . . . . Keras 拥有强大的多 GPU 和分布式训练支持 • Keras 内置对多 GPU 数据并行的支持。 • 优步的 Horovod 对 Keras 模型有第一流的支持。 • Keras 模型可以被转换为 TensorFlow 估计器并在 Google Cloud 的 GPU 集群上训练。 • Keras 可以在 Spark（通过 CERN 的 Dist-Keras）和 Elephas 上运行。

2019,36(01) 项目 特征提取 特征选择 共同点 都从原始特征中找出最有效的特征 都能帮助减少特征的维度、数据冗余 区别 ➢ 强调通过特征转换的方式得 到一组具有明显物理或统计 意义的特征 ➢ 有时能发现更有意义的特征 属性 ➢ 从特征集合中挑选一组具 有明显物理或统计意义的 特征子集 ➢ 能表示出每个特征对于模 型构建的重要性 特征提取VS特征选择 1. 相关概念 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 特征构建：是指从原始数 据中人工的找出一些具有 物理意义的特征。 方法：经验、属性分割和 结合 操作：使用混合属性或者 组合属性来创建新的特征 ，或是分解或切分原有的 特征来创建新的特征 2. 特征构建 在原始数据集中的特征 的形式不适合直接进行 建模时，使用一个或多 个原特征构造新的特征 可能会比直接使用原有 布的。 数据标准化为了不同特征之间具备可比性 ，经过标准化变换之后的特征数据分布没 有发生改变。 就是当数据特征取值范围或单位差异较大时 ，最好是做一下标准化处理。 数据规范化 使不同规格的数据转换到同一规格。 2. 特征构建 10 定量特征二值化 设定一个阈值，大于阈值的赋值为1，小于等于阈值的赋值为0，使 用preproccessing库的Binarizer类对数据进行二值化的代码如下：

CRD 和基于 API 的使用量。该路径使 Operator 作者可以合并所有依赖项、API 或显式版本，使它们处于同 一位置。 olm.constraint 这个类型在任意 Operator 属性上声明通用限制。 在以下示例中，为 Prometheus Operator 和 etcd CRD 指定依赖项： dependencies.yaml 文件示例 文件示例 其他 其他资源 源 Operator 护人员可以在其自己的自定义工具上构建有趣的扩展，以供其自身的自定义工具用于实现任意数量的 变异。 例如，工具可以将一个高级 API （如(mode=semver)） 转换为升级边缘基于文件的低级别目录格式。 或目录维护人员可能需要通过添加新属性到符合特定标准的捆绑包来自定义所有捆绑包元数据。 第 第 2 章 章 了解 了解 OPERATOR 11 虽然这种可扩展性允许在低级别 API 上开发额外的官方工具，用于将来的 Blob 存储在单独的子 目录中。每个单独的文件可以是 JSON 或 YAML；目录中的每一文件并不需要使用相同的格式。 基本推荐 基本推荐结构 此推荐结构具有目录层次结构中的每个子目录都是自包含目录的属性，它使得目录组成、发现和导航简单 文件系统操作。通过将目录复制到父目录的根目录，目录也可以包含在父目录中。 2.2.2.2. 模式 模式 # Ignore everything except non-object

5 节省内存 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2.1.6 转换为其他Python对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 2.2 数据预处理 . . . . 2.2 处理缺失值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 2.2.3 转换为张量格式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 2.3 线性代数 . . . 692 14.9.1 为预训练任务定义辅助函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693 14.9.2 将文本转换为预训练数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695 14.10 预训练BERT . . . . .

当机或者添加，会导致分配到 mqSet 变 化， a) 将不在被本 consumer 消费的 messagequeue 的 ProcessQueue 删除， 其实是设 置 ProcessQueue 的 droped 属性为 true b) 将超过两份中没有拉取动作 ProcessQueue 删除 //TODO 为什么要删除掉，两分钟后来了消息怎么办? // 2) 添加新增队列， 比对 mqSet，给新增的 集合中，消费调后会删除掉，用来控制 consumer 消息堆积， TreeMap key 是消息在此 ConsumeQueue 队列中索引 (2) 对于顺序消息消费 处理 locked 属性:当 consumer 端向 broker 申请锁队列成功后设置 true， 只有被锁定 的 processqueue 才能被执行消费 rollback: 将消费在 msgTreeMapTemp 中的消息，放回 queue 被某个 client 锁定。 Broker 会返回成功锁定队列的集合， 根据成功锁定的 MessageQueue,设置对应的正 在处理队列 ProccessQueue 的 locked 属性为 true 没有锁定设置为 false 通过长轮询拉取到消息后会提交到消息服务 ConsumeMessageOrderlyService， ConsumeMessageOrderlyService

使用节点选择器移动监控组件 2.7. 为监控组件分配容忍（TOLERATIONS） 2.8. 配置专用服务监控器 2.9. 配置持久性存储 2.10. 配置远程写入存储 2.11. 控制用户定义的项目中未绑定指标属性的影响 第 第 3 章 章 配置外部 配置外部 ALERTMANAGER 实 实例 例 3.1. 在时间序列和警报中附加额外标签 3.2. 为监控组件设置日志级别 3.3. 为 PROMETHEUS 将警报 发送到 Alertmanager 进行处理。 Prometheus Adapter Prometheus Adapter（上图中的 PA）负责转换 Kubernetes 节点和 Pod 查询以便在 Prometheus 中使 用。转换的资源指标包括 CPU 和内存使用率指标。 Prometheus Adapter 会公开用于 Pod 横向自动扩展 的集群资源指标 API。Prometheus Alertmanager 还负责将警报发送到外部通知系统。 kube-state-metrics 代理 kube-state-metrics 导出器代理（上图中的 KSM） 将 Kubernetes 对象转换为 Prometheus 可使用的指 标。 openshift-state-metrics 代理 openshift-state-metrics 导出器（上图中的 OSM）通过添加了对特定 OpenShift

1.2.11.1. Operator 版本依赖项 1.2.11.2. Operator 捆绑包中支持的其他对象 1.2.11.3. 使用 opm进行有选择的捆绑包镜像镜像 1.2.11.4. 转换（Conversion）webhook 支持全局 Operators 1.2.11.5. 现在支持 Operator API 1.2.11.5.1. 在集群进行升级前，会删除 Operator API 网络设置。这需要设置静态 IP 配置，然后在从 vSphere 的 OVA 引导虚拟机前设置 guestinfo 属性。 1. 设置静态 IP: 示例命令 示例命令 2. 在从 vSphere 中的 OVA 引导虚拟机前，设置 guestinfo.afterburn.initrd.network-kargs 属性： 这降低了在没有 DHCP 的环境中自动部署 Red Hat Enterprise Linux Performance Addon Operator 可帮助管理员为低延迟和实时工作负载调整 worker 节点。它以 PerformanceProfile 自定义资源的形式采用高级别调整意图，并将其转换为为低延迟目的配置 Linux 内 核、操作系统、巨页和 kubelet 的所有所需操作。 除之前的发行前提供的功能外，这个版本还包括以下功能： 可以为每个 pod 启用 CPU 负载均衡。 可以同时指定多个巨页大小。

对潜在资源过度利用或发生任何事件的用户加以跟踪和警告。 � 任务调度程序 - 调度像 VMotion 之类的在给定时间发生的任务。 � 整合 - 分析数据中心物理资源的容量和利用率。通过发现可转换为虚拟机并整合到 ESX Server 的物理系统，为提高利用率提供建议。自动化整合过程，但也要允许 用户能够灵活地调整整合参数。 分布式服务是扩展 VMware Infrastructure 的功能到下一层 上并添加附加特性和功能的应用程序。插件包括： � VMware Converter Enterprise for VirtualCenter - 允许用户以各种格式将物理机 和虚拟机转换为 ESX Server 虚拟机。转换的系统可导入到 VirtualCenter 清单中的 任何位置。 � VMware Update Manager - 允许安全管理员在 ESX Server 主机和受管虚拟机上执 lockout （管理锁定） 为 Windows 主机制定的全局设置，可提供密码保护。管理锁定可限制用户创建新 的虚拟机、编辑虚拟机配置以及更改网络设置。 alarm （警报） 监控一个或多个虚拟机属性 （如 CPU 负载）的实体。警报使用绿色、红色和黄色 码来发出通知 （由可配置警报定义来发送）。 allocated disk （分配的磁盘） 在创建磁盘时，为虚拟机分配所有磁盘空间的某一类型的虚拟磁盘。这是

*_like  如torch.rand_like()  创建与其他张量具有相似类型但大小不同的张量，请使 用tensor.new_*创建操作。 1.Tensors张量的概念 6  查看张量的属性  查看Tensor类型  tensor1 = torch.randn(2,3) #形状为(2,3)一组从标准正态分布 中随机抽取的数据  tensor1.dtype # torch 查看Tensor是否存储在GPU上  tensor1.is_cuda  查看Tensor的梯度  tensor1.grad 1.Tensors张量的概念 7  Tensor在CPU和GPU之间转换，以及numpy之间的转换  CPU tensor转GPU tensor  cpu_tensor.cuda()  GPU tensor 转CPU tensor  gpu_tensor.cpu() cat 线性代数 np.dot torch.mm 属性 x.ndim x.dim() x.size x.nelement() 形状操作 x.reshape x.reshape(相当于 tensor.contiguous().view()); x.view x.flatten x.view(-1)；nn Flatten() 类型转换 np.floor(x) torch.floor(x);

得到模型的输出 y = 1.477 * x + 0.089 + eps data.append([x, y]) # 保存样本点 data = np.array(data) # 转换为 2D Numpy 数组 通过 for 循环进行 100 次采样，每次从均匀分布?(−1 ,1 )中随机采样一个数据?，同时从 均值为 0，方差为 .12的高斯分布?( , .12)中随机采样噪声 都可以非常方便地通过数行代码自动下载、管理和加载 MNIST 数据集，不需要开发者额 外编写代码，使用起来非常方便。这里利用 PyTorch 附带的 torchvision 库自动在线下载 MNIST 数据集，并转换为 PyTorch 的数据对象 DataLoader 格式。代码如下： import torch # 导入 pytorch from torch import nn # 导入 pytorch transform=torchvision.transforms.Compose([ # 转换为张量 torchvision.transforms.ToTensor(),