1 2021年09月 机器学习-特征工程 黄海广 副教授 2 本章目录 01 相关概念 02 特征构建 03 特征提取 04 特征选择 3 1. 相关概念 01 认识Python 01 相关概念 02 特征构建 03 特征提取 04 特征选择 4 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019 是把原始数据转变为模型的训练数据的过程 获取更好的训练数据特征，使得机器学习模型逼 近这个上限 ➢ 使模型的性能得到提升 ➢ 在机器学习中占有非常重要的作用 构成 ➢ 特征构建 ➢ 特征提取 ➢ 特征选择 特征工程相关概念 1. 相关概念 5 通过这张图可以看出，各种不 同算法在输入的数据量达到一 定级数后，都有相近的高准确 度。于是诞生了机器学习界的 名言： 成功的机器学习应用不是 拥有最好的算法，而是拥 Learning. Stanford University 2. 《统计学习方法》，清华大学出版社，李航著，2019年出版 3. 《机器学习》，清华大学出版社，周志华著，2016年出版 4. 《特征工程及 XGBoost模型》，武汉理工大学课件 38 谢 谢！

了解有关 了解有关 OPENSHIFT CONTAINER PLATFORM 的更多信息 的更多信息 2.1. 架构 2.2. CLUSTER ADMINISTRATOR 2.3. 应用程序站点可靠性工程师 (APP SRE) 2.4. 开发者 3 3 4 5 7 7 7 7 8 目 目录 录 1 OpenShift Container Platform 4.10 关于 关于 2 配置、克隆，并使用持久性存储 的快照。 管理 管理 Operator ：Red Hat, ISV, 和社区 Operators 列表，集群管理员可对其进行审核并 在集群上 进行安装安装后，您可以运行、升级、备份或以其他方式管理集群上的 Operator。 1.3.2. 更改集群组件 使用自定 使用自定义资 义资源定 源定义 义(CRD)修改集群 修改集群 ：通过 Operator 实施的集群功能可使用 OpenShift blog 架构 安全性与合规性 OpenShift Container Platform 新 功能 网络 OpenShift Container Platform 生 命周期 备份和恢复 2.2. CLUSTER ADMINISTRATOR 了解 了解 OpenShift Container Platform 部署 部署 OpenShift Container Platform

了解有关 了解有关 OPENSHIFT CONTAINER PLATFORM 的更多信息 的更多信息 2.1. 架构 2.2. CLUSTER ADMINISTRATOR 2.3. 应用程序站点可靠性工程师 (APP SRE) 2.4. 开发者 3 3 4 5 8 8 8 8 9 目 目录 录 1 OpenShift Container Platform 4.13 关于 关于 2 并使用持久性存储的 快照。 管理 管理 Operator ：Red Hat, ISV, 和社区 Operators 列表，集群管理员可对其进行审核并 在集群上 进行安装。安装之后，您可以运行、升级、备份或者管理集群中的 Operator。 了解 了解 Windows 容器工作 容器工作负载 负载。Red Hat OpenShift for Windows Containers 提供了在 OpenShift OpenShift blog 架构 安全性与合规性 OpenShift Container Platform 新 功能 网络 OpenShift Container Platform 生 命周期 备份和恢复 2.2. CLUSTER ADMINISTRATOR 了解 了解 OpenShift Container Platform 部署 部署 OpenShift Container Platform

是否可视化⻚页⾯面，部署⻔门槛？ a. 集群如何⽆无缝升级？ b. 集群如何快速扩容？ c. 监控、告警、⽇日志是否完善？ d. 如何进⾏行行快速安全加固？ e. 集群如何进⾏行行备份和恢复？ 1 2 企业在云原⽣生时代的挑战 3 KubeOperator 开源容器器平台的技术优势 KubeOperator 开源容器器平台企业版 KubeOperator 的使命 KubeOperator 是开源的轻量量级 Kubernetes 发⾏行行版，专注于帮助企业规划、部署和运营 ⽣生产级别的 Kubernetes 集群。 计算 ⽹网络 存储 ⽤用途 ⼀一键部署 可视化安装 管理理 备份 伸缩 监控 ⽇日志 Day 0 Day 1 Day 2 规 划 部 署 运 营 升级 在线 / 离线 KubeOperator 的开发团队和运作模式 • 由 Jumpserver OpenStack / FusionCompute 等 Ansible / Terraform CentOS / RHEL / EulerOS 集群规划 集群部署 集群运维 集群升级 集群伸缩 集群备份 应⽤用商店 开源的轻量量级 Kubernetes 发⾏行行版 KubeOperator 的技术优势 按需创建 ⼀一键创建和部署 K8S 集群 按需伸缩 快速伸缩 K8S 集群， 提升资源使⽤用效率

进入容器 v. 导出和导入 vi. 删除 7. 仓库 i. Docker Hub ii. 私有仓库 iii. 配置文件 8. 数据管理 i. 数据卷 ii. 数据卷容器 iii. 备份、恢复、迁移数据卷 9. 使用网络 i. 外部访问容器 ii. 容器互联 10. 高级网络配置 i. 快速配置指南 ii. 配置 DNS iii. 容器访问控制 iv. 端口映射实现 命令来指定同时删除关联的容器。 这可 以让用户在容器之间升级和移动数据卷。具体的操作将在下一节中进行讲解。 数据卷容器 Docker —— 从入门到实践 49 数据卷容器 可以利用数据卷对其中的数据进行进行备份、恢复和迁移。 首先使用 --volumes-from 标记来创建一个加载 dbdata 容器卷的容器，并从本地主机挂载当前到容器的 /backup 目录。命令如下： $ sudo docker 命令来将 dbdata 卷备份为本地的 /backup/backup.tar 。 如果要恢复数据到一个容器，首先创建一个带有数据卷的容器 dbdata2。 $ sudo docker run -v /dbdata --name dbdata2 ubuntu /bin/bash 然后创建另一个容器，挂载 dbdata2 的容器，并使用 untar 解压备份文件到挂载的容器卷中。 $ sudo

年成立的 Hortonworks 是雅虎与硅谷风投公司 Benchmark Capital 合资组建。 （2）公司成立之初就吸纳了大约 25 名至 30 名专门研究 Hadoop 的雅虎工程师，上述 工程师均在 2005 年开始协助雅虎开发 Hadoop，贡献了 Hadoop80%的代码。 （3）Hortonworks 的主打产品是 Hortonworks Data Platform（HDP），也同样是 的DataNode等。 2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。 3）Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。 1.5.2 YARN 架构概述 Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。 scp -r atguigu@hadoop102:/opt/module/* atguigu@hadoop104:/opt/module 2）rsync 远程同步工具 rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更 新。scp 是把所有文件都复制过去。

performance profile Observerbility 日志、系统指标等采集、分析；监控配置与报警；性能 指标收集与分析等等。 Backup & Restore 备份策略、备份方式、恢复方式、备份管理等等。 Disaster Recovery & High Availability Failover/Switchover、多可用区、数据恢复等等。 Security & 有一个全面熟悉和了解 3. 实验以实现一个生产环境可用的 Operator 为目标，以便整个过程更加接近实际的 Operator 开发 技能点： 1. 熟悉 kubebuilder operator 工程结构 2. 熟悉 K8s Declaretive API 如何设计 3. 熟悉 CR（custom resource）相关事件如何获取 4. 熟悉 Operator Control Loop（即

. . . . . . . . . . .37 4 技术指南 全球支持服务 — 2007 年 10 月 有效支持关系的最佳做法 能否有效地在支持方面进行交互，取决于您的管理员和我们的技术支持工程师 (TSE) 所具备的技术 知识、解决问题能力以及沟通技巧。此外，双方对各自角色和职责的充分了解对于有效沟通也非 常重要。为了确保您的 VMware 技术支持体验尽可能地有效和高效，我们将定义相关角色，并共享 记录到我们的电话跟踪系统 • 向您提供用于标识您的 SR 的跟踪号 • 根据您的支持协议设置有关首次响应时间的适当预期安排 • 创建和 / 或维护准确的客户档案 技术支持工程师：您的 SR 将被指派给技术支持工程师 (TSE)。TSE 是为您提供技术支持和指导的主 要联系人。他们的职责包括但不限于： • 对 SR 做出响应（主要通过电子邮件和电话方式） • 重新创建客户技术环境 • 为特殊升级提供 站点支持 提供 不提供 不提供 不提供 不提供 不提供 ** 在白金服务基础上购买了业务关键支持的客户，可在当地工作时间内直接联系指定的小组成员。非工作时间内，将由高级技术支持工程师组成的 服务小组提供支持。 *** 仅提供基于 Web 支持的 Fusion 除外。 8 技术指南 全球支持服务 — 2007 年 10 月 支持请求的生命周期 当产品发生技术问题时，VMware

资源占用量最大的应用程序也可以 在 VMware ESX 上快速运行。因此，最终用户不会知道其应用程序是从虚拟环境提供的，而 且他们通常不会觉察到任何延迟或开销。VMware 与 EMC 中端合作伙伴解决方案工程团队 最近进行的一项测试表明，单个 ESX 主机具有高达 100,000 IOPS 的驱动能力，最大限度 地提高了 SAN 中的 500 个磁盘驱动器的吞吐量。举例来说，要生成 100,000 IOPS 。 “通过 [VMware] DRS，我们能够将 VI 团队解放出来，让他们进行其他项目。” — Fazil Habibulla，Natixis Capital Markets 副总裁兼系统工程师 此 IT 服务需要实时迁移，因为它必须对最终用户透明。VMware DRS 由于使用了 VMware vMotion 在群集中移动虚拟机，因此对最终用户完全透明。尝试在没有实时迁移的情况下实现自动工作负载平 键的 Microsoft 应用程序，如 Exchange 和 SQL。” — Bill Frost，Boise Inc. 高级 IS 工程师 通过使用 VMware vCenter Site Recovery Manager 管理从生产数据中心到备份站点的故障切换，帮 助达到您的恢复时间目标 (RTO) 和遵从性要求。通过将两个站点设置为彼此的恢复站点来管理两个活 动站点之间的故障切换。