1 2021年06月 机器学习-机器学习项目流程 黄海广 副教授 2 本章目录 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 3 1.机器学习项目流程概述 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 4 机器学习的一般步骤 5 机器学习的一般步骤 数据搜集 数据清洗 数据清理和格式化 • 探索性数据分析(EDA) • 特征工程 • 特征选择 • 网络下载 • 网络爬虫 • 数据库读取 • 开放数据 • …… 7 2.数据清洗 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 8 2.数据清洗 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查数据 拼写错误 命名习惯 数理统计技术 数据挖掘技术 脏数据 数据清理策略、规则 满足数据质量要求的数据 数据清理原理 10 探索性数据分析(EDA) 探索性数据分析（EDA）是一个开放式流程，我们制作绘图并计算 统计数据，以便探索我们的数据。 •目的是找到异常，模式，趋势或关系。 这些可能是有趣的（例如， 找到两个变量之间的相关性），或者它们可用于建模决策，例如使 用哪些特征。

Kubernetes 运行大数据工作负 载的探索和实践 Leibo Wang(wang.platform@Hotmail.com) Huawei CloudBU Principal Engineer 王雷博 Principal Software Engineer • Huawei(Now) - Cloud Native batch system (Volcano) development

在应用程序中添加服务 4.8. 从应用程序中删除服务 4.9. 用于 TOPOLOGY 视图的标签和注解 4.10. 其他资源 第 第 5 章 章 导 导出 出应 应用程序 用程序 5.1. 先决条件 5.2. 流程 第 第 6 章 章 将 将应 应用程序 用程序连 连接到服 接到服务 务 6.1. SERVICE BINDING OPERATOR 发行注记 6.2. 了解 SERVICE BINDING POWER SYSTEMS、IBM Z 和 LINUXONE 上使用服务绑定 6.6. 从服务公开绑定数据 6.7. 投射绑定数据 6.8. 使用 SERVICE BINDING OPERATOR 绑定工作负载 6.9. 使用 DEVELOPER 视角将应用程序连接到服务 第 第 7 章 章 使用 使用 HELM CHART 7.1. 了解 HELM 7.2. 安装 HELM 7.3. 配置自定义 使用。作为集群管理员，您可以选择闲置这些可 扩展资源来减少资源消耗。 1.2.3. 将应用程序连接到服务 应用程序使用后端服务来构建和连接工作负载，这因服务提供商而异。使用 Service Binding Operator 作 为开发人员，您可以将工作负载与 Operator 管理的后端服务绑定在一起，而无需手动步骤配置绑定连 接。您还可以在 IBM Power Systems、IBM Z 和

第 第 6 章 章 调 调度 度 NUMA 感知工作 感知工作负载 负载 6.1. 关于 NUMA 感知调度 6.2. 安装 NUMA RESOURCES OPERATOR 6.3. 创建 NUMARESOURCESOPERATOR 自定义资源 6.4. 部署 NUMA 感知辅助 POD 调度程序 6.5. 使用 NUMA 感知调度程序调度工作负载 6.6. 对 NUMA 感知调度进行故障排除 14.1. 了解低延迟 14.2. 安装 PERFORMANCE ADDON OPERATOR 14.3. 升级 PERFORMANCE ADDON OPERATOR 14.4. 置备实时和低延迟工作负载 14.5. 使用性能配置集调整节点以实现低延迟 14.6. 使用 PERFORMANCE ADDON OPERATOR 减少 NIC 队列 14.7. 调试低延迟 CNF 调整状态 14 17 章 章 创 创建性能配置集 建性能配置集 17.1. 关于性能配置集创建器 17.2. 其他资源 第 第 18 章 章 单节 单节点 点 OPENSHIFT 上的工作 上的工作负载 负载分区 分区 18.1. 使用工作负载分区最大化 CPU 分配 第 第 19 章 章 处 处于 于边缘 边缘网 网络 络的集群 的集群 19.1. 网络边缘的挑战 19.2. 为 ZTP 准备 HUB

OPENSHIFT 的不同 1.4. 其他资源 第 第 2 章 章 OPENSHIFT VIRTUALIZATION 架 架构 构 2.1. OPENSHIFT VIRTUALIZATION 架构如何工作 2.2. 关于 HCO-OPERATOR 2.3. 关于 CDI-OPERATOR 2.4. 关于 CLUSTER-NETWORK-ADDONS-OPERATOR 2.5. 关于 HOSTPAT 9 上的 OPENSHIFT VIRTUALIZATION 7.2. 关于更新 OPENSHIFT VIRTUALIZATION 7.3. 防止在 EUS 到 EUS 更新过程中进行工作负载更新 7.4. 配置工作负载更新方法 7.5. 批准待处理的 OPERATOR 更新 7.6. 监控更新状态 7.7. 其他资源 5 5 5 6 6 7 7 8 9 10 11 11 12 13 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 第 第 8 章 章 安全策略 安全策略 8.1. 关于工作负载安全性 8.2. KUBEVIRT-CONTROLLER 服务帐户的其他 OPENSHIFT CONTAINER PLATFORM 安全性上下文约束和 LINUX 功能 8.3. 授权 8.4

POWER SYSTEMS、IBM Z 和 LINUXONE 上使用服务绑定 5.6. 从服务公开绑定数据 5.7. 投射绑定数据 5.8. 使用 SERVICE BINDING OPERATOR 绑定工作负载 5.9. 使用 DEVELOPER 视角将应用程序连接到服务 第 第 6 章 章 使用 使用 HELM CHART 6.1. 了解 HELM 6.2. 安装 HELM 6.3. 配置自定义 使用。作为集群管理员，您可以选择闲置这 些可扩展资源来减少资源消耗。 1.2.3. 将应用程序连接到服务 应用程序使用后端服务来构建和连接工作负载，这因服务提供商而异。使用 Service Binding Operator 作 为开发人员，您可以将工作负载与 Operator 管理的后端服务绑定在一起，而无需手动步骤配置绑定连 接。您还可以在 IBM Power Systems、IBM Z 和 default、kube- system、kube-public、openshift-node、openshift-infra、openshift。您不能使用这些 命名空间用来运行 pod 或服务。 流程 1. 浏览至 Home → Project。 2. 点击 Create Project。 3. 输入项目详情。 4. 点击 Create。 2.1.2. 在 Web 控制台中使用 Developer

为什么在 什么在 Kubernetes 上部署？ 上部署？ Kubernetes（扩展至 OpenShift Container Platform）包含构建复杂分布式系统（可在本地和云提供 商之间工作）需要的所有原语，包括 secret 处理、负载均衡、服务发现、自动扩展。 为什么使用 什么使用 Kubernetes API 和 和 kubectl 工具来管理您的 工具来管理您的应用程序？ 用程序？ 创建基于文件的目录的说明，请参阅管理自定义目录。 有关管理基于文件的目录的 opm CLI 命令的参考文档，请参阅 CLI 工具。 2.2.2.7. 自 自动化 化 建议 Operator 作者和目录维护人员使用 CI/CD 工作流自动化其目录维护。目录维护人员可通过构建 GitOps 自动化以完成以下任务来进一步改进： 检查是否允许拉取请求 (PR) 作者进行请求的更改，例如更新其软件包的镜像引用。 检查目录更新是否通过 的版本。捆绑包部署可被视为 pod 概念的 一般化。 捆绑包部署如何根据引用的捆绑包对集群进行更改，具体由配置为监视该捆绑包部署的置备程序定义。 配置 配置为与普通置 与普通置备程序一起工作的 程序一起工作的 BundleDeployment 对象示例 象示例 ├── cluster_role.yaml ├── cluster_role_binding.yaml └── deployment

VIRTUALIZATION 第 第 5 章 章 更新 更新 OPENSHIFT VIRTUALIZATION 5.1. 关于更新 OPENSHIFT VIRTUALIZATION 5.2. 配置自动工作负载更新 5.3. 批准待处理的 OPERATOR 更新 5.4. 监控更新状态 5.5. 其他资源 第 第 6 章 章 为 为 KUBEVIRT-CONTROLLER 和 和 VIRT-LAUNCHER 日志 日志记录 记录、事件和 、事件和监 监控 控 13.1. 查看虚拟化概述 13.2. 查看虚拟机日志 13.3. 查看事件 13.4. 使用事件和条件诊断数据卷 13.5. 查看有关虚拟机工作负载的信息 13.6. 监控虚拟机健康状况 13.7. 使用 OPENSHIFT CONTAINER PLATFORM DASHBOARD 获取集群信息 13.8. 查看虚拟机的资源使用情况 的作用 OpenShift 虚拟化（OpenShift virtualization）是 OpenShift Container Platform 的一个附加组件，可用 于运行和管理虚拟机工作负载以及容器工作负载。 OpenShift Virtualization 通过 Kubernetes 自定义资源添加新对象至 OpenShift Container Platform 集群 中，以启用虚拟化任务。这些任务包括：

. . . . . . . . . . . . 目 目录 录 第 第 1 章 章 了解 了解 OPENSHIFT 更新 更新 1.1. OPENSHIFT 更新简介 1.2. 集群更新如何工作 1.3. 了解更新频道和发行版本 1.4. 了解 OPENSHIFT CONTAINER PLATFORM 更新持续时间 第 第 2 章 章 准 准备 备更新集群 更新集群 2.1. 准备升级到 Container Platform 集群的状态。 available: 条件类型 Available 表示 Operator 功能且在集群中可用。如果状态是 False，则操作 对象中的至少一个部分无法正常工作，并且条件要求管理员干预。 progressing: 条件类型 Progressing 表示 Operator 正在主动推出新的代码、传播配置更改，或 者从一个稳定状态移到另一个状态。 当 Operator 注意 第 第 1 章 章 了解 了解 OPENSHIFT 更新 更新 5 注意 注意 此条件类型仅表示可能需要调查和调整某项。只要 Operator 可用，Degraded 条 件就不会造成用户工作负载失败或应用程序停机。 Upgradeable: 条件类型 Upgradeable 表示 Operator 是否根据当前的集群状态安全更新。 message 字段包含管理员对集群成功更新需要执行的操作的人类可读描述。当此条件为

横向自动扩展，您可以 自动扩展 pod。 OpenShift Container Platform 4.6 节 节点 点 10 安装和使用垂直 pod 自动缩放器。 管理员和开发人员 作为管理员，通过监控资源和工作负载的 资源要求，使用垂直 pod 自动缩放器来更 好地利用集群资源。 作为开发人员，使用垂直 pod 自动缩放 器，通过将 pod 调度到每个 pod 有充足资 源的节点，来确保 pod 在高需求期间保持 您可以查看与特定项目关联的 pod 列表，或者查看 pod 的使用情况统计。 2.2.2. 查看项目中的 pod 您可以查看与当前项目关联的 pod 列表，包括副本数、当前状态、重启次数和 pod 的年龄。 流程 流程 查看项目中的 pod： 1. 切换到对应项目： 2. 运行以下命令： 例如： 输 输出示例 出示例 添加 -o wide 标记来查看 pod IP 地址和 pod 所在的节点。 输 时环境。这些用量统计包括 CPU、内存和 存储的消耗。 先决条件 先决条件 您必须有 cluster-reader 权限才能查看用量统计。 必须安装 Metrics 才能查看用量统计。 流程 流程 查看用量统计： 1. 运行以下命令： 例如： 输 输出示例 出示例 2. 运行以下命令，以查看带有标签的 pod 用量统计： 您必须选择过滤所基于的选择器（标签查询）。支持 =、==