Greenplum Database 管理员指南 6.2.1查询固定的数据,或者外部表的数据有周期性变化,编者认为,通过物化视图来加速外 部表的访问并不是物化视图特有的功能,在外部表上创建物化视图同样需要读取外部表 的全部数据,这与,把数据加载到一张普通的数据表,没有任何差异。而物化视图的刷 新与普通数据表的TRUNCATE并重新INSERT效果相同。 如果一种SQL查询只是在个别语句中用到,可以使用SELECT命令的WITH子句来实 现,可能不需要为此而创建一张很少用到的视图。编者再次提醒,不要乱用视图,更不 完全放 弃了filerep的机制,使用了WAL同步策略,这将从根本上避免了损毁page被同步到 Mirror的情况发生。 GP数据库对数据的修改操作是在内存中完成的,之后,数据会被刷入磁盘,在将 数据刷入磁盘时,数据库会自动计算checksum的值,并与数据一同保存到page中, checksum的值将会作为page的header被一同存储到磁盘上。当从磁盘读取page时, 会根据chec 文件中的ignore_checksum_failure参数为on,这样,数据库在发现checksum校 验异常时,只是输出警告信息,而不会中断事务,并继续将磁盘上的数据读取到内存中。 之后,如果损毁的数据被再次修改,修改后的数据会被刷入磁盘,并且一定会被扩散到 Mirror(虽然在6版本是基于WAL同步,但由于更新的是错误的数据,WAL同步的也是 错误的更新结果),这可能会导致更严重的数据损坏或者数据丢失,所以,仅应该在进 行数据的灾难性恢复时考虑开启该参数。0 码力 | 416 页 | 6.08 MB | 1 年前3
Greenplum分布式事务和两阶段提交协议No-Force Force: 事务提交时,所修改的页面必须强制刷回到持久存储中 No-Force: 事务提交时,所修改的页面不需要强制刷回到持久存储中 ■ Steal / No-Steal Steal: 允许Buffer Pool里未提交事务所修改的脏页刷回到持久存储 No-steal: 不允许Buffer Pool里未提交事务所修改的脏页刷到持久存储中 缓冲区管理策略Buffer Management 有更好的性能,但是怎么保证事务的原子性和持久 性? ❏ No-Force: 事务提交,所修改的数据页没有刷回至持久存储,如果发生断电 或者系统崩溃。 ❏ Steal: Buffer Pool中未提交的事务所修改的脏页刷回到持久存储,如果发生 断电或者系统崩溃。 缓冲区管理策略 14 ■ No-Force → Redo Log 事务提交时,数据页不需要刷回持久存储,为了保证持久性,先把Redo Log写 入日志文件。Redo 入日志文件。Redo log记录修改数据对象的新值(After Image, AFIM) ■ Steal → Undo Log 允许Buffer Pool未提交事务所修改的脏页刷回到持久存储,为了保证原子性, 先把Undo Log写入日志文件。Undo Log记录修改数据对象的旧值(Before Image, BFIM) Solution: Logging 15 缓冲区管理策略和事务恢复的关系 Force0 码力 | 42 页 | 2.12 MB | 1 年前3
Greenplum 精粹文集当时,开放的X86服务器技术已经能很好的支持商用,借助高速网络(当 时是千兆以太网)组建的 X86 集群在整体上提供的计算能力已大幅高 于传统 SMP 主机,并且成本很低,横向的扩展性还可带来系统良好 的成长性。 问 题 来 了, 在 X86 集 群 上 实 现 自 动 的 并 行 计 算, 无 论 是 后 来 的 MapReduce 计算框架还是 MPP(海量并行处理)计算框架,最终还 是需要软件来实现,Greenplum 全文检索在 Greenplum 中的并 行化风格。 Big Date2.indd 10 16-11-22 下午3:38 Greenplum 精粹文集 11 最 后, 也 许 你 会 有 问 题,Greenplum 采 用 Master-slave 架 构, Master 是否会成为瓶颈?完全不用担心,Greenplum 所有的并行任务 都是在 Segment 数据节点上完成后,Master 集群出现故障时,会有可能导致系统表数据有问题。 系统表出现问题会导致很多种故障产生,如:某些数据库对象不可 用,实例恢复不成功,实例启动不成功等。针对系统表相关的问题, 我们应该结合各个实例的日志信息,系统表的检查结果一起定位问 题,本文将介绍一些定位、分析及解决问题的方法和技巧。 1. 检查工具 Greenplum 提 供 了 一 个 系 统 表 检 查 工 具 gpcheckcat。 该 工 具 在 $GPHOME/bin/lib0 码力 | 64 页 | 2.73 MB | 1 年前3
共 3 条
- 1













