监控 1.2. 了解监控堆栈 1.3. OPENSHIFT CONTAINER PLATFORM 监控的常见术语表 1.4. 其他资源 1.5. 后续步骤 第 第 2 章 章 配置 配置监 监控堆 控堆栈 栈 2.1. 先决条件 2.2. 对监控的维护和支持 2.3. 准备配置监控堆栈 2.4. 配置监控堆栈 2.5. 可配置的监控组件 2.6. 使用节点选择器移动监控组件 2.7. 为 10 监 监控 控 4 1.2.1. 默认监控组件 默认情况下，OpenShift Container Platform 4.10 监控堆栈包括以下组件： 表 表 1.1. 默 默认监 认监控堆 控堆栈组 栈组件 件 组 组件 件 描述 描述 Cluster Monitoring Operator Cluster Monitoring Operator (CMO) 是监控堆栈的核 心组件。它部署、管理和自动更新 Kubernetes 标签查询来自动生成监控目标配置。 第 第 1 章 章 监 监控概述 控概述 5 Prometheus Prometheus 是 OpenShift Container Platform 监控堆 栈所依据的监控系统。Prometheus 是一个时间序列数 据库和用于指标的规则评估引擎。Prometheus 将警报 发送到 Alertmanager 进行处理。 Prometheus Adapter

环境中定义的数据源服务。 另外，调整应通过检查容器的 cgroups 设置来实现。这使得镜像可根据可用内存、CPU 和其他资源自行 调整。例如，基于 Java 的镜像应根据 cgroup 最大内存参数调整其堆大小，以确保不超过限值且不出现 内存不足错误。 有关如何在容器中管理 cgroup 配额的更多信息，请参阅以下参考资料： 博客文章 - Docker 中的资源管理 Docker 文档 - 运行时指标 这些值控制 Jenkins JVM 的最大 堆大小。如果设置了 JAVA_MAX_heap_PARAM， 则优先使用其值。否则，最大堆大 小将动态计算为容器内存限值的 CONTAINER_HEAP_PERCE NT，可选上限为 JENKINS_MAX_HEAP_UPPE R_BOUND_MB MiB。 默认情况下，Jenkins JVM 的最大 堆大小设置为容器内存限值的 50%，且无上限。 M、CONTAINER_INITIAL_PE RCENT 这些值控制 Jenkins JVM 的初始 堆大小。如果设置了 JAVA_INITIAL_heap_PARAM ，则优先使用其值。否则，初始堆 大小将动态计算为动态计算的最大 堆大小的 CONTAINER_INITIAL_PERC ENT。 默认情况下，JVM 设置初始堆大 小。 java_INITIAL_heap_PARAM 示例设置：-Xms32m

环境中定义的数据源服务。 另外，调整应通过检查容器的 cgroups 设置来实现。这使得镜像可根据可用内存、CPU 和其他资源自行 调整。例如，基于 Java 的镜像应根据 cgroup 最大内存参数调整其堆大小，以确保不超过限值且不出现 内存不足错误。 设置镜像元数据 定义镜像元数据有助于 OpenShift Container Platform 更好地使用您的容器镜像，允许 OpenShift Container 这些值控制 Jenkins JVM 的最大 堆大小。如果设置了 JAVA_MAX_heap_PARAM， 则优先使用其值。否则，最大堆大 小将动态计算为容器内存限值的 CONTAINER_HEAP_PERCE NT，可选上限为 JENKINS_MAX_HEAP_UPPE R_BOUND_MB MiB。 默认情况下，Jenkins JVM 的最大 堆大小设置为容器内存限值的 50%，且无上限。 M、CONTAINER_INITIAL_PE RCENT 这些值控制 Jenkins JVM 的初始 堆大小。如果设置了 JAVA_INITIAL_heap_PARAM ，则优先使用其值。否则，初始堆 大小将动态计算为动态计算的最大 堆大小的 CONTAINER_INITIAL_PERC ENT。 默认情况下，JVM 设置初始堆大 小。 java_INITIAL_heap_PARAM 示例设置：-Xms32m

这些值控制 Jenkins JVM 的最大 堆大小。如果设置了 JAVA_MAX_heap_PARAM， 则优先使用其值。否则，最大堆大 小将动态计算为容器内存限值的 CONTAINER_HEAP_PERCE NT，可选上限为 JENKINS_MAX_HEAP_UPPE R_BOUND_MB MiB。 默认情况下，Jenkins JVM 的最大 堆大小设置为容器内存限值的 50%，且无上限。 M、CONTAINER_INITIAL_PE RCENT 这些值控制 Jenkins JVM 的初始 堆大小。如果设置了 JAVA_INITIAL_heap_PARAM ，则优先使用其值。否则，初始堆 大小将动态计算为动态计算的最大 堆大小的 CONTAINER_INITIAL_PERC ENT。 默认情况下，JVM 设置初始堆大 小。 java_INITIAL_heap_PARAM 示例设置：-Xms32m 这些值控制 Jenkins JVM 的最大 堆大小。如果设置了 JAVA_MAX_heap_PARAM， 则优先使用其值。否则，最大堆大 小将动态计算为容器内存限值的 CONTAINER_HEAP_PERCE NT，可选上限为 JENKINS_MAX_HEAP_UPPE R_BOUND_MB MiB。 默认情况下，Jenkins JVM 的最大 堆大小设置为容器内存限值的 50%，且无上限。

里面不可避免会有锁的问题，在并发的读写操作情况下，会出现缺页中断 降低，内存加锁，污染页的回写。 第二种，DirectByteBuffer(堆外内存)+PageCache 的两层架构方式，这样子可以实 现读写消息分离，写入消息时候写到的是 DirectByteBuffer——堆外内存中,读消息走的是 PageCache(对于,DirectByteBuffer 是两步刷盘，一步是刷到 PageCache，还有一步 追加消息时，如果持有 锁的时间超过 1s，则会抛出该错误；在开启 transientStorePoolEnable 机制时，其判断 依据是如果 TransientStorePool 中不存在可用的堆外内存时抛出该错误。 2. too many requests and system thread pool busy, RejectedExecut ionException 其抛出的源码入口 ble 在 broker.config 中将 transientStorePoolEnable=true。 方案依据：启用“读写”分离，消息发送时消息先追加到 DirectByteBuffer(堆外内存) 中，然后在异步刷盘机制下，会将 DirectByteBuffer 中的内容提交到 PageCache，然后 刷写到磁盘。消息拉取时，直接从 PageCache 中拉取，实现了读写分离，减轻了

12.5.4. 已达到 Elasticsearch 节点磁盘高水位线 12.5.5. 已达到 Elasticsearch 节点磁盘的洪水水位线 12.5.6. Elasticsearch JVM 堆使用率是高 12.5.7. 聚合日志记录系统 CPU 为高 12.5.8. Elasticsearch 进程 CPU 为高 12.5.9. Elasticsearch 磁盘空间现为低 12.5.10 指标 标 描述 描述 Elasticsearch 节 节点 点 fielddata Fielddata 是一个 Elasticsearch 数据结构，它以索引形式保存术语列表，并保存在 JVM 堆中。因为 fielddata 构建非常昂贵，所以 Elasticsearch 会缓存 fielddata 结构。当底层索引分段被删除或合并 时，或者没有足够 JVM HEAP 内存用于所有 fielddata OpenShift Container Platform 4.7 日志 日志记录 记录 132 Fielddata 内存大小 用于所选 Elasticsearch 节点上的 fielddata 缓存的 JVM 堆数量。 Fielddata 驱除 从所选 Elasticsearch 节点中删除的 fielddata 结构数 量。 指 指标 标 描述 描述 Elasticsearch 节 节点 点查询缓 查询缓存

Big Data 的好朋友 7 / 74 Hadoop + Big Data 的預測 然後就可以寄更精準的型錄給你(女兒)！ 8 / 74 Hadoop + Big Data 的分析 然後一堆書(作者)就被打臉了！ 9 / 74 1. Submit Job 2. JT 分派 Task 給 TT 3. TT 執行 Task 4. TT 向 JT 回報 Hadoop 1.x 架構 - MapReduce Service 讓各種不同技術，不需要知道資料真實存放的位置，也能夠很方便 地存取資料 31 / 74 Yahoo! 做出了 Pig，把 PigLatin 翻成一堆 MapReduce Job Facebook 做出了 Hive，把 HiveQL 翻成一堆 MapReduce Job Hive 與 Pig 大家都想用 Hadoop 處理 Big Data，但不是每個人都會寫 MapReduce / Java，於是： operational operating systems with its distributions (RedHat, Ubuntu, Fedora, Debian etc.) 所以，市面上就有了一堆大同小異的 Hadoop Distribution： Cloudera 有 Cloudera Distribution for Hadoop (CDH) Oracle 有 Oracle Big Data

指标 标 描述 描述 Elasticsearch 节 节点 点 fielddata Fielddata 是一个 Elasticsearch 数据结构，它以索引形式保存术语列表，并保存在 JVM 堆中。因为 fielddata 构建非常昂贵，所以 Elasticsearch 会缓存 fielddata 结构。当底层索引分段被删除或合并 时，或者没有足够 JVM HEAP 内存用于所有 fielddata 描述 描述 第 第 11 章 章 查 查看集群 看集群仪 仪表板 表板 171 Fielddata 内存大小 用于所选 Elasticsearch 节点上的 fielddata 缓存的 JVM 堆数量。 Fielddata 驱除 从所选 Elasticsearch 节点中删除的 fielddata 结构数 量。 指 指标 标 描述 描述 Elasticsearch 节 节点 点查询缓 查询缓存 JVM 堆 堆统计 统计 Logging/Elasticsearch Nodes 仪表板包含以下有关 JVM Heap 操作的图表。 表 表 11.8. JVM Heap 统计图 统计图表 表 OpenShift Container Platform 4.8 日志 日志记录 记录 172 指 指标 标 描述 描述 使用的堆 所选 Elasticsearch 节点上分配的 JVM 堆空间量。

8）mapreduce.map.cpu.vcores 默认MapTask的CPU核数1。计算密集型任 务可以增加CPU核数 7）mapreduce.map.java.opts：控制MapTask堆内存大小。（如果内存不够， 报：java.lang.OutOfMemoryError） 尚硅谷大数据技术之 Hadoop（生产调优手册） —————— 例达到该值后才会为ReduceTask申请资源。默认是0.05。 10）如果可以不用Reduce，尽可能不用 5）mapreduce.reduce.java.opts：控制ReduceTask堆内存大小。（如果内 存不够，报：java.lang.OutOfMemoryError） 8.3 MapReduce 数据倾斜问题 1）数据倾斜现象 数据频率倾斜——某一个区域的数据量要远远大于其他区域。 mapreduce.task.io.sort.factor 10 mapreduce.map.memory.mb -1

迕入 java 堆。 (2). Producer 収送消息，消息从 java 堆转入 PAGACACHE，物理内存。 (3). Producer 収送消息，由异步线程刷盘，消息从 PAGECACHE 刷入磁盘。 (4). Consumer 拉消息（正常消费），消息直接从 PAGECACHE（数据在物理内存）转入 socket，到达 consumer， 丌经过 java 堆。返种消费场景最多，线上