尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————————————————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 尚硅谷大数据技术之 Hadoop（生产调优手 册） （作者：尚硅谷大数据研发部） 版本：V3.3 第 1 章 HDFS—核心参数 1.1 NodeManager 2611 NameNode 3271 JobHistoryServer 2744 DataNode 尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————————————————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 3579 HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m" 尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————————————————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 1.2

commitLog 中消息偏移量。Prepared 状态消息不被消费 发送消息 ok，执行本地事物分支， 本地事物方法需要实现 rocketmq 的回调接口 2）2） 2) LocalTransactionExecuter ， 处 理 本 地 事 物 逻 辑 返 回 处 理 的 事 物 状 态 LocalTransactionState 3) 二阶段，处理完本地事物中业务得到事物状态， 根据 offset RequestCode.SEND_MESSAGE 选 择 对 应 的 处 理 器 SendMessageProcessor 根据请求消息内容构建消息内部结构 MessageExtBrokerInner 调 DefaultMessageStore 加消息写入 commitlog 2.2 分布式事物消息落地 2.2.1 消息落地 commitLog 针对事物消息的处理，消息的第 20 2.2.4 事物回查 定时回查线程会定时扫描（默认每分钟）每个存储事务状态的表格文件， 遍历存储事 务状态的表格记录 如果是已经提交或者回滚的消息调过过， 如果是 prepared 状态的如果消息小于事务回查至少间隔时间（默认是一分钟）跳出终 止遍历 调 transactionCheckExecuter.gotocheck 方法向 producer 回查事物状态， 根据

之后对于此连接的所有处理都在此线程进行，包括下游数据集解码，路由选择、上游数据编 码发送等。 • 同时此工作线程还要处理定期观测信息与主线程同步（通过异步加回调）、线程内配置及集 群管理器状态更新等工作。 • 请求完成后延迟释放内存，解决本次事件处理中回调所引用对象可以被安全访问，并在下次 事件处理中安全删除。 admin连接 数据面连接 主 机 健 康 检 查 看 门 狗 线 程 Copyright All rights reserved. Page 12 Envoy网络及线程模型-共享数据同步 • 1. 调度器通过epoll监控文件事件(网络）及定时器事件进行排队任务处理 • 2. 线程间通信通过post接口发送任务，此任务通过定时器事件激活 • 3. 线程间数据交换通过post更新TLS，这样每个线程内代码都不需要加锁处理 • 4. 每个线程的TLS对象本身只保存真实对象的共享指针进行读操作，减少内存消耗。 • 每个TLS slot通过allocateSlot分配，在使用前通过set在每个线程中创建一个拷贝并保存。 • 在主线程中调用此slot的runOnAllThreads在所有线程中延迟执行回调，回调内更新每个线程内拷贝对象状态 Copyright © Huawei Technologies Co., Ltd. All rights reserved. Page 13 Envoy网络及线程模型-集群信息更新

部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式，存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法是部署容器，容器基于操作系统级别的虚拟化⽽不是硬件虚拟化。这些容器彼此隔离并且与宿主机隔离：它们有 ⾃⼰的⽂件系统，看不到对⽅的进程，并且它们的计算资源 最后，通过在每个容器中使⽤单个应⽤程序的⽅式，管理容器⽆异于管理应⽤程序的部署。 容器好处概要： 灵活的应⽤创建和部署 ：与VM映像相⽐，容器镜像的创建更加容易、有效率。 持续开发，集成和部署 ：通过快速轻松的回滚（由于镜像的不可变性）提供可靠且频繁的容器镜像构建和部署。 Dev和Ops分离问题 ：在构建/发布期间⽽⾮部署期间创建镜像，从⽽将应⽤程序与基础架构分离。 开发、测试和⽣产环境⼀致 ：在笔记本电脑运⾏与云中⼀样。 install python36 –y 在ansible-client机器上配置免密登录 ⽣成ssh公钥和私钥 在ansible-cilent机器上执⾏： ~]# ssh-keygen 然后三次回⻋，⽣成ssh公钥和私钥。 建⽴ssh单向通道 在ansible-cilent机器上执⾏： ~]# ssh-copy-id root@172.20.0.88 #将公钥分发给88机器

摘要 摘要 本文提供有关在集群中配置和管理节点、Pod 和容器的说明。它还提供有关配置 Pod 调度和放置、 使用作业（job）和 DaemonSet 来自动执行操作，以及确保集群保持高效性的其他任务信息。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 配置优先级和抢占 2.10. 使用节点选择器将 POD 放置到特定节点 2.10.1. 使用节点选择器控制 pod 放置 第 第 3 章 章 控制 控制节 节点上的 点上的 POD 放置（ 放置（调 调度） 度） 3.1. 使用调度程序控制 POD 放置 3.1.1. 调度程序用例 3.1.1.1. 基础架构拓扑级别 3.1.1.2. 关联性 3.1.1.3. 反关联性 3.2. 配置默认调度程序以控制 descheduler 第 第 4 章 章 使用作 使用作业 业和 和 DAEMONSET 4.1. 使用 DAEMONSET 在节点上自动运行后台任务 4.1.1. 通过默认调度程序调度 4.1.2. 创建 daemonset 4.2. 使用任务在 POD 中运行任务 4.2.1. 了解作业和 cron 作业 4.2.1.1. 了解如何创建作业 4.2.1.2. 了解如何为作业设置最长持续时间 4

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18.2. 运行 LDAP 同步 18.3. 运行组修剪任务 18.4. 自动同步 LDAP 组 18.5. LDAP 组同步示例 18.6. LDAP 同步配置规格 第 第 19 章 章 管理云供 管理云供应 应商凭 商凭证 证 19.1. 关于 的请求中提供 OAuth 访问 令牌或 X.509 客户端证书 进行验证。 注意 注意 如果您没有提供有效的访问令牌或证书，则您的请求会未经身份验证，您会收到 HTTP 401 错误。 管理员可以通过以下任务配置身份验证： 配置身份提供程序：您可以在 OpenShift Container Platform 中定义任何支持的身份提供程序， 并将其添加到集群中。 配置内部 OAuth 服务器 ：OpenShift 令牌发送请求时，必须指定接收和使用令牌的默认或自定义 OAuth 客户端。 使用 Cloud Credentials Operator 管理云供应商凭证：集群组件使用云供应商凭证来获取执行集 群相关任务所需的权限。 模拟系统管理员用户：您可以通过模拟系统管理员用户来授予用户集群管理员权限。 1.3. 关于 OPENSHIFT CONTAINER PLATFORM 中的授权 授权涉及确定用户是否有权限来执行请求的操作。

RocketMQ 集群。本书不仅由浅入深的介绍了 RocketMQ 的架 构与实现，而且包含了多年线上超大规模集群开发运维经验的总结，通过本书不仅能够掌握 分布式消息平台的设计原理，对线上疑难问题排查分析、性能调优与架构设计也大有帮助。 目录 开篇：我的另一种参与 RocketMQ 开源社区的方式 6 1.1 RocketMQ 核心概念扫盲篇 10 1.2 生产环境中，autoCreateTopicEnable 提交一个文档被接受也同样可以，难的是持续贡献，最终被开源项目的 PMC 认为对该项目 有着突出贡献。 我比较“苦逼”，在带娃方面我的资源只有我老婆，父母在老家无法分身，故下班后我 没有连续的空闲时间专心投入一项任务中，而开源最需要的是精益求精，不只是需要完成功 能，而是要编写结构优良的代码，设计所占据的时间比代码开发时间要多的多，故我个人认 为我暂时不方便走代码贡献这条道路。但我零碎时间还是充足的，故现阶段我会好好利用这 15 > 1.1 RocketMQ 核心概念扫盲篇 上述整个过程无需应用程序干预，由 RocketMQ 完成。大概的做法就是将将原先分配 给自己但这次不属于的队列进行丢弃，新分配的队列则创建新的拉取任务。 3. 消费进度 消费者消费一条消息后需要记录消费的位置，这样在消费端重启的时候，继续从上一次 消费的位点开始进行处理新的消息。在 RocketMQ 中，消息消费位点的存储是以消费组为 单位的。

OpenShift Container Platform 产品堆 栈不同级别的扩展的步骤和示例。它包括构建、扩展和调整 OpenShift Container Platform 集群的建议实 践。 调优注意事项可能会因集群设置而异，并建议本指南中的任何性能建议都有利弊。 OpenShift Container Platform 3.11 扩 扩展和性能指南 展和性能指南 4 第 2 章 推荐的安装实践 qps 和 burst 值。如果每个节点上运行的 pod 有限，默认值 就足够了。如果节点上有足够 CPU 和内存资源，可以在 /etc/origin/node/node-config.yaml 文件中调 整 qps 和 burst 值： 注意 注意 以上 qps 和 burst 值是 OpenShift Container Platform 的默认值。 3.3. OPENSHIFT CONTAINER 版本配置为使用 NVMe 并启动 etcd 节点。 3.4. 使用 TUNED 配置集扩展主机 tuned 是 Red Hat Enterprise Linux(RHEL)和其他红帽产品默认启用的调优配置文件交付机制。 tuned 自 定义 Linux 设置，如 sysctl、电源管理和内核命令行参数，以针对不同的工作负载性能和可扩展性要求优 化操作系统。 OpenShift Container

摘要 摘要 本文提供有关在集群中配置和管理节点、Pod 和容器的说明。它还提供有关配置 Pod 调度和放置、 使用作业（job）和 DaemonSet 来自动执行操作，以及确保集群保持高效性的其他任务信息。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 配置优先级和抢占 2.10. 使用节点选择器将 POD 放置到特定节点 2.10.1. 使用节点选择器控制 pod 放置 第 第 3 章 章 控制 控制节 节点上的 点上的 POD 放置（ 放置（调 调度） 度） 3.1. 使用调度程序控制 POD 放置 3.1.1. 调度程序用例 3.1.1.1. 基础架构拓扑级别 3.1.1.2. 关联性 3.1.1.3. 反关联性 3.2. 配置默认调度程序以控制 descheduler 第 第 4 章 章 使用作 使用作业 业和 和 DAEMONSET 4.1. 使用 DAEMONSET 在节点上自动运行后台任务 4.1.1. 通过默认调度程序调度 4.1.2. 创建 daemonset 4.2. 使用任务在 POD 中运行任务 4.2.1. 了解作业和 cron 作业 4.2.1.1. 了解如何创建作业 4.2.1.2. 了解如何为作业设置最长持续时间 4

2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 Hadoop102 Hadoop103 Hadoop104 Hadoop105 Hadoop106 双11、618可以动 态增加服务器 Hadoop102 Hadoop103 Hadoop104 Hadoop优势（4高） 3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处 理速度。 4） 4）高容错性：能够自动将失败的任务重新分配。 Hadoop102 Hadoop103 Hadoop104 Hadoop101 单台服务 器工作 计算任务 集群工作 计算子任务 计算子任务 计算任务汇总 Hadoop102 Hadoop103 Hadoop104 计算子任务 计算子任务 计算任务汇总 计算子任务 尚硅谷大数据技术之 Hadoop（入门） Hadoop1.x 时 代 ， Hadoop中的MapReduce同 时处理业务逻辑运算和资 源的调度，耦合性较大。 在Hadoop2.x时代，增 加了Yarn。Yarn只负责 资 源 的 调 度 ， MapReduce 只负 责 运算 。 Hadoop3.x在组成上没 有变化。 1.5.1 HDFS 架构概述 Hadoop Distributed File System，简称