......................................................................................... - 244 - 错误记录处理 .............................................................................................. Core 的 CPU，可根据不同的场景，配置 4 ~ 12 个不等的 Primary，这个数字的选择需要由富有经验的专业技术支持人员进行评估， 每个 Instance 所在主机配置的 Primary 越多，响应并发的能力越弱，但单个任务的 处理能力越强(这也不是绝对的，当 Primary 数量多到，即便运行单个任务时都会出 现资源争抢，可能运行的效率就会下降)。实际上，每个计算主机的 Primary 个数， 确保计算节点机器的资源不会被耗尽，否则，都应该尽最大可能避免 Master 和 Standby 设置到 Instance 主机上，因为，这种模式下，一旦系统在处理负载很高的 任务，Master 将很难获得足够的资源，其响应会变慢，稳定性会下降。从两一个角度 来说，如果可以确保集群是非常良性的运转，不会有任务造成 Master 很大的压力， 可以适当配置计算能力稍差的机器。 网络层冗余 网络层关系到

) 另外，Greenplum 还是建立在实例级别上的并行计算，可在一次 SQL 请求中利用到每个节点上的多个 CPU CORE 的计算能力，对 X86 的 CPU 超线程有很好的支持，提供更好的请求响应速度。在 PoC 中接触 到其它一些国内外基于开放平台的 MPP 软件，大都是建立在节点级的 并行，单个或少量的任务时无法充分利用资源，导致系统加载和 SQL 执行性能不高。 记忆较深的一次 PoC 类应用对 应的表放在 SSD 设备上，从而有效的隔离底层 IO，达到更好 SLA。 某电信用户存在大量对 400 个字段以上大宽表的随机查询场景，之 前由于 IO 资源争用，在批量作业调起时随机查询响应时间显著增加， 通过这种方式改造后，达到了很好的效果。 ·预留一台硬件服务器作为整个集群的灾备机，提前装好操作系统和 数据库软件，并放在与现有集群相同的网络环境中，一旦硬件出现 故障，我们可以迅速采取相应的修复措施，如果底层 ·表倾斜：表倾斜情况应该 DBA 的关注点之一，但无需每天处理。 ·表膨胀：基于 postgresql 的 MVCC 机制，表膨胀情况不能忽视。 重点应该关注日常更新和删除操作的表。 ·报错信息：在日志中错误信息多种多样，大部分不是 DBA 需要关 注的。应该重点关注 PANIC、OOM、Internal error 等关键信息。 Greenplum 已经开源了，我们的生态圈在迅速地壮大，Greenplum

电子政务 法规实施和监管 人力资本管理 信息传播 合规性报告 资产组合分析 客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 预防亏损 优化供应链 当今的数据仓库方案 基于硬件 专有，昂贵 不可扩展 针对OLTP进行了优化 • 数据规模 • 20TB，每天增长400GB • 优势 • 将响应时间缩短90% “借助运行Greenplum数据引擎的Sun数据仓库设备，Reliance可以在快速发展，用户需求不断增加 的数据环境中达到预期的高度响应能力。” - Reliance 的副总裁和主管（决策支持系统）Raj Joshi 25 响应时间 (分) 以前的数据库 客户实例： PLDT • 业务问题 CDR分析 呼叫 中心 航线 分析 结算 系统 呼叫 中心 其他 航线 分析 结算 系统 呼叫 中心 BO报表响应速度 BO报表响应速度测试： 报表名 Oracle查 询时长 Greenplu m查询时 长 GP提升倍数 备注 报表一： 查询09年1月份数据 无法响应 查询 30秒 N 基于查询 语句 SQL1 报表一： 查询09年5月份数据 49秒 N 同上 报表二： 查询09年1月份数据

memory  常见的OOM原因 – 因为没有Analyze table，错误的执行计划导致 – 并发度太高，内存不足 – 品质不高的SQL，例如LEFT JOIN大表，如果大表在关联条件上倾斜严重，可能导致OOM – 耗内存SQL，如window function  OOM的后果 – SQL执行错误，并且可能影响当时正在执行的SQL都会报错 – 如果过多的侵占到OS的内存，可能导致Instance ； 日常巡检事项  检查操作系统日志 – gpssh检查所有节点的/var/log/message，grep过滤是否有硬件错误、系统错误等信息  检查数据库日志 – 检查数据库pg_log日志是否有Panic错误、OOM等错误  检查Raid卡和磁盘状态 – 检查磁盘状态是否正常，是否有degrade – 检查Raid卡状态和WriteBack – DCA start排序，检查时间最长的SQL)  检查硬件和OS状态 – 查看command Centre中系统监控情況 – MegaCli检查磁片和Raid卡状态 – 检查OS是否有硬件错误告警 – gpcheckperf检查网络和磁片性能 问题定位方法 现象-数据库不能访问 对于此类问题，相对来说比较容易定位。  gpstate检查系統状态，此时很可能不会有任何输出

查看日志。 这里面有2种类型的日志： ○ startup.log ○ gpdb-.csv 2.2.3 初始化 master 数据库失败 手动执行initdb查看详细错误信息，然后分析具体错误信息采取相应错误。不同的版本可 能参数不同，可以通过在 gpinitsystem 脚本中找到完整的命令。 $ initdb ​-​E UNICODE ​-​D ​/​data​/​master​/​gpseg​-​1​ gp_role​=​utility ​-​M master ​-​b ​1​ ​-​C ​-​1​ ​-​z ​0​ ​-m 2.2.5 启动Segment出错 如果启动 segment 时出错，并且看不到具体错误信息（通常由于错误信息被重定向到 /dev/null 了），则可以尝试手动启动 segment。 手动启动segment的命令参加下面，需要根据自己的环境修改某些路径或者参数： export​

OS用户（注：不是数据库用户）就能使用本用户映射的数据库用户不需密码 登录数据库。 很多初学者都会遇到psql -U username登录数据库却出现“username ident 认证失败”的错误，明明数据库用户已经createuser。 原因就在于此，使用了ident认证方式，却没有同名的操作系统用户或没 有相应的映射用户。 md5 密码是以md5形式传送给数据库，较安全，且不需建立同名的操作系统用 内核参数overcommit_memory ，指定内存分配策略 可选值：0、1、2。 0， 表示内核将检查是否有足够的可用内存供应用进程使用； 如果有足够的可用内存，内存申请允许；否则，内存申请 失败，并把错误返回给应用进程。 1， 表示内核允许分配所有的物理内存，而不管当前的内存 状态如何。 2， 表示内核允许分配超过所有物理内存和交换空间总和的 内存 2018年PostgreSQL中国技术大会 微信号：laohouzi999

进程发起连接请求 PG fork 出⼀个 postgres 进程与该客户端建⽴连接，postmaster 进程不再处理与该客户端的相关请求 postgres 进程接收客户端的请求，处理并返回结果。当然，响应需要经过 libpq 库的处理 基本查询流程 Query Dispatcher 当 client 向 Master 发起查询请求时，Master 节点上的 postmaster 进程将会

4.2.tar.gz cd fab-1.4.2 python setup.py install 升级pip pip install --upgrade pip 备注：如果pip升级过程报版本错误，请执⾏下⾯操作 请先 mv /usr/bin/pip /usr/bin/pip.bak 然后执⾏ ln -s /usr/local/python3/bin/pip /usr/bin/pip 安装psycopg2 hosts ⽂件，我们会将这个⽂件中的内容添加 到 Udw 集群的 hosts ⽂件当中。(请尽量确保上传的 hosts ⽂件只包含集群各节点的 IP 信息，以免造在更新 Udw hosts ⽂件后造成错误) 上传配置之后，需要重启 PXF 服务使配置⽣效，控制台上提供了 PXF 服务的 停⽌/开启/重启 等操作功能。 配置 配置 PXF 服务 服务 在控制台 PXF 配置⻚⾯，有对应的⽂件列表与上传功能，点击 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 193/206 PXF 默认会以 postgres 这个⽤⼾名访问 HDFS，所以如果遇到权限错误，请将要访问/写⼊的 HDFS ⽬录授权给 postgres ⽤⼾ 访问 访问 Hive 准备 Hive 测试数据： $ echo 'Prague,Jan,101,4875.33 Rome,Mar

tion函数读取pg_twophase目录下的文件并进行相关操 作，为该事务重新获取锁。 3. 恢复成功后，删掉pg_twophase目录下的文件 《数据库系统概念》19.4.1.3节，参与者在响应prepare消息之前记录 32 Greenplum实现分布式事务与并发控制 • 分布式事务管理 • 分布式事务的创建、状态迁移等 • QD向QE发起两阶段提交 •

非侵入式技术对生产没有影响 • 基于日志捕获技术的实时性非常高 • 支持从过去的某一指定时间开始捕获 • 条件过滤 • 支持触发器捕获技术作为补充 基于数据库事务日志的变化数据捕获 9 • 避免人为错误 • 在迁移结束前校验数据 • 支持异构 异构平台间数据校验域修复 10 内置监控与报警 • 实时监控HVR进程 • 自动告警 • 与第三方企业监控平台集成 • 丰富的统计报表 LDAP