子句中使用数据修改命令 ........................................................................... - 221 - 使用函数和运算符 ................................................................................................... .................................................................................. - 225 - 内置函数和运算符 .................................................................................................. - 能够保证数据的完整性，在 Instance 或者 Host 主机宕 机时，GP 系统仍可继续保持服务可用的状态。 每当 Master 无法连接到 Primary 时，该 Primary 在 GP 的系统表中将被标记 为失败状态，Master 会激活/唤醒对应的 Mirror 取代原有的 Primary。在采取相应 的措施将失败的 Primary 恢复到健康状态之前，该 Primary 一直保持失败状态。失 败的

26 16-11-22 下午3:38 Greenplum 精粹文集 27 ·加强硬件的监控，所有故障中，最怕硬件半死不活的状态，曾遇到 一客户，由于硬盘发生坏道，但 RAID 卡并未将其标记为 down，导 致坏盘在读写性能非常差的情况下仍然对外提供服务，最终将整个 集群拖慢。 ·如果客户的实际应用还存在大量较高并发的小 IO 操作，比如随机 查询，可以考虑 SSD+SAS+ 表空间的方式，并将随机 请参考数学知识进行拆解。 Big Date2.indd 48 16-11-22 下午3:38 Greenplum 精粹文集 49 4. 关于函数 首先，Greenplum 更喜欢动态 SQL，就是没有占位符的那种，因为所 有的变量都可以在编译时完全获取，尤其是分区条件，相信已经有大 批开发人员在 function 中深受此问题困扰多年。 其次，你也许和我一样，更喜欢在 function 中能够直接将变量写进 的敏感数据。 Protegrity 可以使用各种加密算法，但此种数据标记对数据科学家而言 尤其适用。不断对数据启用常用加密将增加额外的处理费用，且常用 加密通常会导致在解密之前无法使用数据。与此相反，标记可以将数 据转变为一种形式，即隐藏其实际数值，与此同时数据仍可为分析算 法所用。 5. 利用 Protegrity 数据保护器标记化实施 SQL 一旦 ESA 安装完毕 PEP 流程就将运行，且

p_store_sales (date); 7、序列 、序列 通过使⽤序列，系统可以在新的纪录插⼊表中时，⾃动地按照⾃增⽅式分配⼀个唯⼀ID。使⽤序列⼀般就是为插⼊表中的纪录⾃动分配⼀个唯⼀标识符。您可以通过声明⼀个 SERIAL 类型 的标识符列，该类型将会⾃动创建⼀个序列来分配 ID。 创建序列 CREATE SEQUENCE myid START 0; 使⽤序列 INSERT INTO test VALUES 列出模式 (加 "+" 获取更多的信息) 开发指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 105/206 \do [名字] 列出操作符 \dl 列出⼤对象, 和 lo_list ⼀样 \dp [模式] 列出表, 视图, 序列的访问权限 \dT [模式] 列出数据类型 (加 "+" 获取更多的信息) \du [模式] 列出⽤⼾ [字串] 设置表标题, 如果参数空则取消标题 \f [字串] 为⾮对⻬查询输出显⽰或设置域分隔符 \H 在 HTML 输出模式之间切换 (当前是 关闭) \pset 变量 [值] 设置表的输出选项 \t 只显⽰⾏ (当前是 关闭) \T [字串] 设置 HTML <表> 标记属性, 如果没有参数就取消设置 \x 在扩展输出之间切换 (⽬前是 关闭) 12、常⽤ 、常⽤SQL命令

Truncate操作不会丢失字段级统计信息，在适当条件下可仅针对系统字段执行Analyze 垃圾空间回收 • GPDB采用MVCC机制，UPDATE 或 DELETE并非物理删除，而只是对无效记 录做标记； • Update/delete操作后，数据库不会自动释放这些空间，这些垃圾空间的回收方 式： 1）Vacuum 2）Vacuum full 3）REORGANIZE 垃圾空间回收  Vacuum：标记垃圾空间为可再利用 Vacuum用于将数据表垃圾空间标记到FSM（自由空间映射），一般也不回收空间，当往该表插入新数据时，数据库会重 新这些空间。 FSM驻留在内存中，FSM的大小必须足够标记数据库中的所有过期记录。如果尺寸不够大,超出自由映像空间的过期记录 占用的空间将无法被VACUUM命令标记。可通过修改max_fsm_pages

如， 在 TPC-DS 中，111 个查询中有 46 个使用了 CTE。GPORCA 为 WITH 子句引入了一种新的生成者 - 使用者模式。利用该模 式，只需计算一个复杂表达式一次，便可由多个操作符使用其计算输出。这就使得 Pivotal Greenplum 能够处理复杂得多 的 CTE，因为它不必将其完全展开，只需对其进行动态处理即可。GPORCA 生成 CTE 计划的速度比传统规划器优化器平 要整理大型表中的数据，一种常见方法就是使用分区。Greenplum 5 采用 GPORCA 作为默认查询优化器，可确定消除与结 果无关的分区的经济方式，从而改进动态分区消除。这是通过引入以下三个新的查询操作符实现的，这三个操作符在生成 者 / 使用者模式下配合使用以便对分区表执行扫描：PartitionSelector、DynamicScan 和 Sequence。通过在查询计划中放置 这些 PartitionSelector，GPORCA Pivotal Greenplum 5 支持多种新的内置数据类型，并针对现有数据类型进行了改进。新增的类型包括符合 RFC 4122 和 ISO/IEC 9834-8:2005 标准的通用惟一标识符 (UUID)。JSON 类型可用于存储和处理不限长度的可变 JSON 数据，新 增了用于查询和解析 JSON 记录的内置函数。与 JSON 类似，HSTORE 可用于在数据库中存储和查询半结构化数据。

抽取会话特征 根据原始特征 对用户聚类 验证聚 类结果 评分 对API请求结合超时和 K-means聚类处理理 主题模型 对主题进⾏行行K- means聚类 S 标记回话 ⼈人⼯工审查 新会话 建模过程 2017.thegiac.com 会话识别 API 请求 ⽇日志 对API请求结合超时和 K-means聚类处理理 建模过程 2017.thegiac.com 会话识别 API 请求 ⽇日志 抽取会话特征 根据原始特征 对用户聚类 评分 主题模型 对主题进⾏行行K- Means聚类 S 标记会话 人工审查 新会话 建模过程 对API请求结合超时和 K-means聚集处理理 验证聚 类结果 2017.thegiac.com 主题分布热⼒力力图检测异常 2017

mirror，当segment primary不能写 的时候，greenplum会自动切换到mirror。当master不 能连接到一个segment instance时，会把这个instance 标记为invalid。 Greenplum中的高可用方案 默认情况下，greenplum的失败操作模式是“read- only"模式，也就是说如果一个segment坏了，整个 greenplum会变成只读，不能写了。如果模式是