 减少对象数的方法： – 提高分区粒度 – 避免大范围使用列存储  pg_class对象数如果不进行约束，可能会产生以下问题： – gprecoverseg –F效率低，数据库实例修复如果增量同步失败，我们一般会建议使用gprecoverseg –F进行全量同 步，全量同步是在两个节点之间全量拷贝文件，超过10 0000个对象，在数据目录下地文件数会可能达到上百万 个档，这些文件的拷贝需要花费很长时间 memory  常见的OOM原因 – 因为没有Analyze table，错误的执行计划导致 – 并发度太高，内存不足 – 品质不高的SQL，例如LEFT JOIN大表，如果大表在关联条件上倾斜严重，可能导致OOM – 耗内存SQL，如window function  OOM的后果 – SQL执行错误，并且可能影响当时正在执行的SQL都会报错 – 如果过多的侵占到OS的内存，可能导致Instance ； 日常巡检事项  检查操作系统日志 – gpssh检查所有节点的/var/log/message，grep过滤是否有硬件错误、系统错误等信息  检查数据库日志 – 检查数据库pg_log日志是否有Panic错误、OOM等错误  检查Raid卡和磁盘状态 – 检查磁盘状态是否正常，是否有degrade – 检查Raid卡状态和WriteBack – DCA

......................................................................................... - 244 - 错误记录处理 .............................................................................................. 载。 GP 通过外部表(External Table)支持高速并行数据装载。外部表可以使用[单条记 录出错隔离]模式，以允许在装载数据过程中将出错的数据记录下来。可以设置错误容 忍的阈值，以实现对数据装载质量的控制。也可以对错误信息进行分析，以帮助改善数 据装载的质量。 结合使用外部表和 GP 的并行文件分发服务(gpfdist)，管理员可以实现最大化 的利用网络带宽资源以实现高速并行装载。 conf 文件控制着客户端连接到 GP 系统的认证。 在 Instance 上也存在 pg_hba.conf 文件，通常此文件已经被正确配置为允许从 Master 访问。不过根据以往的经验来看，也出现过配置错误的情况，该情况会导致 gpexpand 之类的操作报错失败。通常来说，Instance 是不需要接受外部客户端连 接的(如果需要，必须通过 Utility 模式连接)，不太有必要去修改 Instance

加， 通过这种方式改造后，达到了很好的效果。 ·预留一台硬件服务器作为整个集群的灾备机，提前装好操作系统和 数据库软件，并放在与现有集群相同的网络环境中，一旦硬件出现 故障，我们可以迅速采取相应的修复措施，如果底层 RAID 没有损坏， 在单台机器数据量过大比如接近 10T 的情况下，我们可以直接将磁 盘插入到灾备机，由于 RAID 信息写在磁盘上，对调磁盘后，所有 数据信息仍然保留，这样就能避免数据同步带来的性能损耗，这种 ·表倾斜：表倾斜情况应该 DBA 的关注点之一，但无需每天处理。 ·表膨胀：基于 postgresql 的 MVCC 机制，表膨胀情况不能忽视。 重点应该关注日常更新和删除操作的表。 ·报错信息：在日志中错误信息多种多样，大部分不是 DBA 需要关 注的。应该重点关注 PANIC、OOM、Internal error 等关键信息。 Greenplum 已经开源了，我们的生态圈在迅速地壮大，Greenplum 路。在产品实施过 程中的关键阶段，还应该更多地寻求专业顾问的支持。 Big Date2.indd 33 16-11-22 下午3:38 34 五、Greenplum 系统表的维护及修复技巧 Greenplum 与其他所有关系型数据库一样，拥有一套管理数据库内 部对象及关联关系的元数据表，我们称之为 Greenplum 系统表。 Greenplum 的产品内核是基于 postgresql

基于日志捕获技术的实时性非常高 • 支持从过去的某一指定时间开始捕获 • 条件过滤 • 支持触发器捕获技术作为补充 基于数据库事务日志的变化数据捕获 9 • 避免人为错误 • 在迁移结束前校验数据 • 支持异构 异构平台间数据校验域修复 10 内置监控与报警 • 实时监控HVR进程 • 自动告警 • 与第三方企业监控平台集成 • 丰富的统计报表 LDAP authenticated

primarySegmentCount参数 ● Master节点检测及修复 ○ 自动执行gpactivatestandby ○ 重定向Service路由 ● Segment节点检查及修复 ○ 自动执行gprecoverseg ○ 无需Segment Rebalance ● Node失效 ○ Node节点上Master/Segment节点自动修复 Kubernetes 生态集成 ● 日志收集 ○

中文社区开发者在欧拉开源操作系统上完善直至形成在 ARM 平台上可用的版本。 3. ARM 平台测试问题的修复 原本 Greenplum 开源社区配套的测试框架以及测试用例都是基于 X86 平台来进行适配的，对于新的硬件架构，在浮 点数、底层汇编指令都有所不同，此次移植同样对这类问题进行了修复，保证欧拉开源操作系统在多硬件平台构建 RPM 软件包时行为一致，并且通过了 openEuler CICD

查看日志。 这里面有2种类型的日志： ○ startup.log ○ gpdb-.csv 2.2.3 初始化 master 数据库失败 手动执行initdb查看详细错误信息，然后分析具体错误信息采取相应错误。不同的版本可 能参数不同，可以通过在 gpinitsystem 脚本中找到完整的命令。 $ initdb ​-​E UNICODE ​-​D ​/​data​/​master​/​gpseg​-​1​ gp_role​=​utility ​-​M master ​-​b ​1​ ​-​C ​-​1​ ​-​z ​0​ ​-m 2.2.5 启动Segment出错 如果启动 segment 时出错，并且看不到具体错误信息（通常由于错误信息被重定向到 /dev/null 了），则可以尝试手动启动 segment。 手动启动segment的命令参加下面，需要根据自己的环境修改某些路径或者参数： export​

OS用户（注：不是数据库用户）就能使用本用户映射的数据库用户不需密码 登录数据库。 很多初学者都会遇到psql -U username登录数据库却出现“username ident 认证失败”的错误，明明数据库用户已经createuser。 原因就在于此，使用了ident认证方式，却没有同名的操作系统用户或没 有相应的映射用户。 md5 密码是以md5形式传送给数据库，较安全，且不需建立同名的操作系统用 内核参数overcommit_memory ，指定内存分配策略 可选值：0、1、2。 0， 表示内核将检查是否有足够的可用内存供应用进程使用； 如果有足够的可用内存，内存申请允许；否则，内存申请 失败，并把错误返回给应用进程。 1， 表示内核允许分配所有的物理内存，而不管当前的内存 状态如何。 2， 表示内核允许分配超过所有物理内存和交换空间总和的 内存 2018年PostgreSQL中国技术大会 微信号：laohouzi999

4.2.tar.gz cd fab-1.4.2 python setup.py install 升级pip pip install --upgrade pip 备注：如果pip升级过程报版本错误，请执⾏下⾯操作 请先 mv /usr/bin/pip /usr/bin/pip.bak 然后执⾏ ln -s /usr/local/python3/bin/pip /usr/bin/pip 安装psycopg2 hosts ⽂件，我们会将这个⽂件中的内容添加 到 Udw 集群的 hosts ⽂件当中。(请尽量确保上传的 hosts ⽂件只包含集群各节点的 IP 信息，以免造在更新 Udw hosts ⽂件后造成错误) 上传配置之后，需要重启 PXF 服务使配置⽣效，控制台上提供了 PXF 服务的 停⽌/开启/重启 等操作功能。 配置 配置 PXF 服务 服务 在控制台 PXF 配置⻚⾯，有对应的⽂件列表与上传功能，点击 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 193/206 PXF 默认会以 postgres 这个⽤⼾名访问 HDFS，所以如果遇到权限错误，请将要访问/写⼊的 HDFS ⽬录授权给 postgres ⽤⼾ 访问 访问 Hive 准备 Hive 测试数据： $ echo 'Prague,Jan,101,4875.33 Rome,Mar