CPU 超线程有很好的支持，提供更好的请求响应速度。在 PoC 中接触 到其它一些国内外基于开放平台的 MPP 软件，大都是建立在节点级的 并行，单个或少量的任务时无法充分利用资源，导致系统加载和 SQL 执行性能不高。 记忆较深的一次 PoC 公开测试中，有厂商要求在测试中关闭 CPU 超 线程，估计和这个原因有关（因为没有办法利用到多个 CPU core 的 计算能力，还不如关掉超线程以提高单 故障，我们可以迅速采取相应的修复措施，如果底层 RAID 没有损坏， 在单台机器数据量过大比如接近 10T 的情况下，我们可以直接将磁 盘插入到灾备机，由于 RAID 信息写在磁盘上，对调磁盘后，所有 数据信息仍然保留，这样就能避免数据同步带来的性能损耗，这种 方式要求集群所有机器采用相同规格的 RAID 卡。 以下是我们新一代一体机硬件和机柜配置，大家可以参考： Big Date2.indd 27 16-11-22 提供的工具，编写监控程序，SNMP 协议对接企业监控平台等手段提 升日常巡检和监控的效率。 针对 Greenplum，DBA 需要关注重点： ·Greenplum 的状态：Standby master 的同步状态往往容易被忽略。 通过监控平台或者脚本程序，能够及时告警则最好。 ·系统表：日常系统表维护（vacuum analyze），在系统投产时就 应该配置好每天执行维护。 Big Date2.indd

...................................................................................... - 269 - 开启超线程 .................................................................................................. ....................................................................................... - 278 - 时钟同步................................................................................................... ..................................................................................... - 370 - 通过数据同步的方式升级 ...................................................................................... - 372 -

cn/udw/gettingstart UDW⽀持从 ⽀持从mysql导⼊数据吗？ 导⼊数据吗？ ⽀持。我们提供了⼀种从MySQL向UDW导⼊数据的⼯具。这个⼯具可以全量、也可以增量从MySQL导⼊到UDW单线程可以到达每秒4000-8000条,多线程可以达到4w-10w条每秒。具体 使⽤请参考mysql数据导⼊到udw.pdf HDFS/Hive与 与UDW之间可以导⼊导出数据吗？ 之间可以导⼊导出数据吗？ 可以。 为

Disaster Recovery 6 扩展性—高性能架构 7 • 创建并装载目标表 • 用于实时复制的初始化 • 也可以单独使用 • 可以被定义为任务，定时调度执行 异构平台环境下初始化同步 8 • 非侵入式技术对生产没有影响 • 基于日志捕获技术的实时性非常高 • 支持从过去的某一指定时间开始捕获 • 条件过滤 • 支持触发器捕获技术作为补充 基于数据库事务日志的变化数据捕获 支持MySQL的全量以及增量备份 ➢ 支持Oracle的全量以及增量备份 ➢ 支持SQL Server的全量同步 ➢ 对于增量备份可以支持准实时的同步也可以支持延时同步 ➢ 同步软件不会对源库造成负载上升的问题 ➢ 同步中断后能够记录中断点，在下次同步时可以自动从中断点开始继续同步数据 ➢ 能够提供对同步组件的监控 ➢ 操作简单，运维效率高 参考：https://mp.weixin.qq.com/ 支持全量同步，但增量同步延时，数据量越大，延时更久。 ➢ JDBC驱动强依赖。 ➢ 版本更新不及时，对GreenPlum新版本无法持续性支持，不稳定。 ➢ 需开发人员支持，二次开发或脚本支持，开发时间成本和人力成本高。 ➢ 支持数据库版本少，无法支持跨多版本的Oracle、MySQL、PostgresSQL、SQL Server等 ➢ 断点续传不支持 ➢ 大量数据同步的情况下，同步组件效率低

QD/QE/火山模型/Gang Confidential │ ©2021 VMware, Inc. 25 Greenplum，或者说 PostgreSQL 是进程模型，而不是类似于 MySQL 的线程模型。 主进程 postmaster 是整个数据库实例的总控进程，负责启动和关闭数据库实例。当客户端和 Coordinator 建立连接时，postmaster 会 fork 出一个子进程来为该连接提供服务。

Greenplum运维体系 数据库数据传输与同步 • 数据同步情况分类 Ø reader端与writer端 Ø 全量，id列增量，date列增量 Ø datax,csv,load,copy Ø 数据同步结果确认与显示 • 数据同步方式 Ø gpfdist+外部表 ： UMGW大表 Ø db_sync同步程序 ： 底层库 + 同步逻辑 + Django界面 Ø 临时同步需求： datax , copy 29 Greenplum运维体系 数据库数据传输与同步-db_sync 30 Greenplum运维体系 数据库数据传输与同步-db_sync 31 Greenplum运维体系 Greenplum任务调度 • greenplum内部存储过程调度 Ø大批量任务采用 kettle调度 Ø单个存储过程，可以在shell中 select func_name() 的方式调度 • 外部任务调度

避免大范围使用列存储  pg_class对象数如果不进行约束，可能会产生以下问题： – gprecoverseg –F效率低，数据库实例修复如果增量同步失败，我们一般会建议使用gprecoverseg –F进行全量同 步，全量同步是在两个节点之间全量拷贝文件，超过10 0000个对象，在数据目录下地文件数会可能达到上百万 个档，这些文件的拷贝需要花费很长时间 – 使用gpexpan  常用可选参数  -f：显示standbymaster同步状态  -e:显示Primary和Mirror同步状态 -m：只列出mirror实例的状态和配置信息 -c：primary instance和 mirrorinstance的对应关系  -s：查看详细状态，如在同步，可显示数据同步完成百分比  --version,查看数据库version __gp_user_tables; – 登录数据库，执行Checkpoint – 查看Command Center，是否有报警信息  检查standby同步状态 – 执行gpstate -f  检查Primary、mirror同步状态 – 执行gpstate -e  检查运行时间长的SQL – select*from pg_stat_activity order by

greenplum会变成只读，不能写了。如果模式是 “continue”模式时，一个segment坏了的时候，数据 库仍然可以继续工作。但由于segment的primary与 mirror端的数据不同步了，所以恢复的时候需要花比较 长的时间。对于Greenplum 3.X的版本，恢复时，需要 把好的节点上的所有数据都copy到坏的机器上。而 Greenplum4.0版本增加了功能，当备份节点坏的时 mirror之间是做的逻辑同步，mirror端的数据库实际上 也是可以读写的。而Greenplum4.0版本后，primary与 mirror实际上是物理同步，这时mirror一直处于恢复状 态，不能读也不能写。 高可用之Master Mirroring 对于Greenplum Master的primary与mirror之间的同步 就是使用PostgreSQL的日志同步方案。master的

的实时抢占及抖 动抑制，创新业务优先级 00M 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步 时间，提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 优于内核态 swap。 2. 夯实云化基座 节点，一旦主节点 出现故障，会用从节点来替代，但这仅限于一个数据中心内部。整个事务提交是同步的，当主集群提交事务时，需要 等备集群把日志传到主集群才能提交，对于跨区域或者是两地三中心数据中心来说，保证完全同步的开销是很难接受 的，针对这种情况，Greenplum 7 版本采用了多个集群间异步的方式来处理，来确保数据同步。这样备份集群和主 集群之间可能会存在延迟，延迟的大小是由传输管道的带宽决定的，

mirror preferred_role 初始化时的值，对于一个被promote成primary的mirror节点，role 为’p’，preferred_role为’m’ mode 主从同步状态，’s’同步，’n’不同步 status 运行状态，’u’在线，’d’不在线 port 该节点的运行端口 hostname 节点的hostname address 通常和hostname相同 datadir