1 2021年06月 机器学习-机器学习项目流程 黄海广 副教授 2 本章目录 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 3 1.机器学习项目流程概述 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 4 机器学习的一般步骤 5 机器学习的一般步骤 数据搜集 数据清洗 数据清理和格式化 • 探索性数据分析(EDA) • 特征工程 • 特征选择 • 网络下载 • 网络爬虫 • 数据库读取 • 开放数据 • …… 7 2.数据清洗 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 8 2.数据清洗 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查数据 拼写错误 命名习惯 数理统计技术 数据挖掘技术 脏数据 数据清理策略、规则 满足数据质量要求的数据 数据清理原理 10 探索性数据分析(EDA) 探索性数据分析（EDA）是一个开放式流程，我们制作绘图并计算 统计数据，以便探索我们的数据。 •目的是找到异常，模式，趋势或关系。 这些可能是有趣的（例如， 找到两个变量之间的相关性），或者它们可用于建模决策，例如使 用哪些特征。

大纲 数据类型 常量和变量 关键字与标识符 运算符与表达式 从键盘获得输入 语句 分支结构 循环结构 Java 应用与开发 Java 语言基础与流程控制 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 August 28, 2018 大纲 数据类型 常量和变量 关键字与标识符 运算符与表达式 从键盘获得输入 语句 分支结构 循环结构 参考书目 1. 陈国君等编著 运算符与表达式 从键盘获得输入 语句 分支结构 循环结构 学习目标 ▶ Java 语言基础 1. 数据类型 2. 常量和变量 3. 关键字与标识符 4. 运算符与表达式 5. 从键盘输入数据 ▶ 流程控制 1. 语句和复合语句 2. 分支结构（选择结构） 3. 循环结构 4. 跳转语句 大纲 数据类型 常量和变量 关键字与标识符 运算符与表达式 从键盘获得输入 语句 分支结构 循环结构 大纲 System.out.println(i); 5 } 大纲 数据类型 常量和变量 关键字与标识符 运算符与表达式 从键盘获得输入 语句 分支结构 循环结构 循环中的跳转 break 语句 使程序的流程从一个语句块（switch 或循环结构） 内跳出。 continue 语句 终止当前这一轮（次）的循环，进入下一轮（次） 循环。 return 语句 用来使程序从方法（函数）中返回，可返回一个值。

OpenShift Container Platform 4.10。 以具有 cluster-admin 权限的用户身份登录到 OpenShift Container Platform web 控制台。 流程 流程 1. 从 Administrator 视角中，点 Operators → OperatorHub。 2. 在 Filter by keyword 字段中输入 OpenShift Virtualization。 openshift-cnv 命名空间的访问权限。 为了订阅，在您的集群中应用一个单独的清单（manifest）来配置 Namespace、OperatorGroup 和 Subscription 对象。 流程 流程 1. 创建一个包含以下清单的 YAML 文件： 使用 stable 频道可确保您安装与 OpenShift Container Platform 版本兼容的 OpenShift Virtualization Virtualization Operator。 先决条件 先决条件 在 openshift-cnv 命名空间中的一个有效的 OpenShift virtualization 目录订阅。 流程 流程 1. 创建一个包含以下清单的 YAML 文件： 2. 运行以下命令来部署 OpenShift Virtualization Operator: 验证 验证 通过观察 openshift-cnv

本。这可确保精确地重新生成 镜像。 1.1.3. Custom 构建 采用 Custom 构建策略时，开发人员可以定义负责整个构建过程的特定构建器镜像。通过利用自己的构建 器镜像，可以自定义构建流程。 自定义构建器（Custom builder）镜像是嵌入了构建过程逻辑的普通 Docker 格式容器镜像，例如用于构 建 RPM 或基础镜像。 Custom 构建以级别很高的特权运行，默认情况 BuildConfig 定义，它是一种 REST 对象，可在对 API 服务器的 POST 中使用以创建新实例。 构建配置或 BuildConfig 的特征就是构建策略和一个或多个源。策略决定流程，而源则提供输入。 根据您选择使用 OpenShift Container Platform 创建应用程序的方式，如果使用 Web 控制台或 CLI，通 常会自动生成 BuildConfig，并且 mysecret \ 'build.openshift.io/source-secret-match-uri-1=ssh://bitbucket.atlassian.com:7999/*' 流程 流程 如果多个 Secret 与特定 BuildConfig 的 Git URI 匹配，OpenShift Container Platform 将选择匹配内容最 长的 secret。这可以实现下例中所示的基本覆盖。

没有可用的验证机制来确认您对这些对象所做修改是适当的。如果修改了这些对象，集群 可能会无法运行。由于存在这种风险，修改 Kubernetes 和 Ignition 配置文件不受支持，除 非您遵循记录的流程或在红帽支持指示下操作。 安装配置文件转换为 Kubernetes 清单，然后清单嵌套到 Ignition 配置文件中。安装程序使用这些 Ignition 配置文件来创建集群。 运行安装程序时， registry 才能进行镜像(mirror)。 重要 重要 您必须可以访问互联网来获取所需的容器镜像。在这一流程中，您要将镜像 registry 放在 可访问您的网络以及互联网的镜像(mirror)主机上。如果您没有镜像主机的访问权限，请使 用 镜像 Operator 目录 流程将镜像复制到可跨网络界限的设备中。 3.1. 先决条件 您必须在托管 OpenShift Container Platform Platform 4.7 中的所有命令。 下载并安装新版本的 oc。 3.3.1.1. 在 在 Linux 上安装 上安装 OpenShift CLI 您可以按照以下流程在 Linux 上安装 OpenShift CLI（oc）二进制文件。 流程 流程 1. 进入到红帽客户门户网站上的 OpenShift Container Platform 下载页面。 2. 在 Version 下拉菜单中选择相应的版本。

OpenShift Container Platform 4.13。 以具有 cluster-admin 权限的用户身份登录到 OpenShift Container Platform web 控制台。 流程 流程 1. 从 Administrator 视角中，点 Operators → OperatorHub。 2. 在 Filter by keyword 字段中，键入 Virtualization。 openshift-cnv 命名空间的访问权限。 为了订阅，在您的集群中应用一个单独的清单（manifest）来配置 Namespace、OperatorGroup 和 Subscription 对象。 流程 流程 1. 创建一个包含以下清单的 YAML 文件： 使用 stable 频道可确保您安装与 OpenShift Container Platform 版本兼容的 OpenShift Virtualization Virtualization Operator。 先决条件 先决条件 在 openshift-cnv 命名空间中的一个有效的 OpenShift virtualization 目录订阅。 流程 流程 1. 创建一个包含以下清单的 YAML 文件： 2. 运行以下命令来部署 OpenShift Virtualization Operator: 验证 验证 通过观察 openshift-cnv

没有可用的验证机制来确认您对这些对象所做修改是适当的。如果修改了这些对象，集群 可能会无法运行。由于存在这种风险，修改 Kubernetes 和 Ignition 配置文件不受支持，除 非您遵循记录的流程或在红帽支持指示下操作。 安装配置文件转换为 Kubernetes 清单，然后清单嵌套到 Ignition 配置文件中。安装程序使用这些 Ignition 配置文件来创建集群。 运行安装程序时， DEGRADED 状 态取决于 Operator 自己的资源，而不是节点的状态。 安装完成后，您可以继续使用以下步骤监控集群中的节点状况。 先决条件 先决条件 安装程序会在终端中成功解析。 流程 流程 1. 显示所有 worker 节点的状态： 输出示例 出示例 2. 显示所有 worker 机器的阶段： $ oc get nodes NAME registry 才能进行镜像(mirror)。 重要 重要 您必须可以访问互联网来获取所需的容器镜像。在这一流程中，您要将镜像 registry 放在 可访问您的网络以及互联网的镜像(mirror)主机上。如果您没有镜像主机的访问权限，请使 用 镜像 Operator 目录 流程将镜像复制到可跨网络界限的设备中。 3.1. 先决条件 您必须在托管 OpenShift Container Platform

没有可用的验证机制来确认您对这些对象所做修改是适当的。如果修改了这些对象，集群 可能会无法运行。由于存在这种风险，修改 Kubernetes 和 Ignition 配置文件不受支持，除 非您遵循记录的流程或在红帽支持指示下操作。 安装配置文件转换为 Kubernetes 清单，然后清单嵌套到 Ignition 配置文件中。安装程序使用这些 Ignition 配置文件来创建集群。 运行安装程序时， DEGRADED 状态取决于 Operator 自己的资源，而不是节点的状态。 安装完成后，您可以使用以下步骤继续监控集群中的节点条件。 先决条件 先决条件 安装程序在终端中成功解决。 流程 流程 1. 显示所有 worker 节点的状态： 输 输出示例 出示例 2. 显示所有 worker 机器节点的阶段： $ oc get nodes NAME registry，可以使用 mirror registry for Red Hat OpenShift 创建镜像 registry。 3.1.2. 为断开连接的安装 mirror 镜像 您可以使用以下流程之一将 OpenShift Container Platform 镜像存储库镜像到您的镜像 registry： 为断开连接的安装 mirror 镜像 使用 oc-mirror 插件为断开连接的安装

OpenShift Container Platform 是面向开发人员的企业就绪 Kubernetes 平台，使组织能够通过 DevOps 实践（如持续集成(CI)和持续交付(CD)）自动化应用程序交付流程。为了满足您的机构需求，OpenShift Container Platform 提供以下 CI/CD 解决方案： OpenShift 构建 OpenShift Pipelines OpenShift OpenShift Container Platform 4.13 CI/CD 4 采用自定义构建策略时，开发人员可以定义负责整个构建过程的特定构建器镜像。通过利用自己的构建器 镜像，可以自定义构建流程。 自定义构建器镜像是嵌入了构建过程逻辑的普通容器镜像，例如用于构建 RPM 或基本镜像的逻辑。 自定义构建以级别很高的特权运行，默认情况下不可供用户使用。只有可赋予集群管理权限的用户才应被 授予运行自定义构建的权限。 BuildConfig 定义，它是一种 REST 对象，可在对 API 服务器的 POST 中使用以创建新实例。 构建配置或 BuildConfig 的特征就是构建策略和一个或多个源。策略决定流程，而源则提供输入。 根据您选择使用 OpenShift Container Platform 创建应用程序的方式，如果使用 Web 控制台或 CLI，通 常会自动生成 BuildConfig，并且

件。但是，没有可用的验证机制来确认您对这些对象所做修改是适当的。如果修改了这些 对象，集群可能会无法运行。由于存在这种风险，修改 Kubernetes 和 Ignition 配置文件不 受支持，除非您遵循记录的流程或在红帽支持指示下操作。 安装配置文件转换为 Kubernetes 清单，然后清单嵌套到 Ignition 配置文件中。安装程序使用这些 Ignition 配置文件来创建集群。 运行安装程序时， Operator 的 DEGRADED 状态取决于 Operator 自己的资源，而不是节点的状态。 安装完成后，您可以继续监控集群中的节点条件。 先决条件 先决条件 安装程序在终端中成功解决。 流程 流程 1. 显示所有 worker 节点的状态： 输 输出示例 出示例 2. 显示所有 worker 机器节点的阶段： $ oc get nodes NAME registry，可以使用 mirror registry for Red Hat OpenShift 创建镜像 registry。 4.1.2. 为断开连接的安装 mirror 镜像 您可以使用以下流程之一将 OpenShift Container Platform 镜像存储库镜像到您的镜像 registry： 为断开连接的安装 mirror 镜像 使用 oc-mirror 插件为断开连接的安装镜像镜像