的文件数非常多，将这些目的档重分布到新扩展的节 点时间会很长 – 系统表（pg_class,pg_attribute）太大，影响系统工作效率 – 系统元数据检查pg_checkcat等工具运行时间比较长 物理模型经验分享 物理模型对于系统性能有很大影响，因此需要我们特别关注。 以下来自于在某大型银行的使用经验： 行存储和列存储： • 避免过多使用列存储的原因是防止小档数过多。 function  OOM的后果 – SQL执行错误，并且可能影响当时正在执行的SQL都会报错 – 如果过多的侵占到OS的内存，可能导致Instance down – 系统运行缓慢 – 其它异常 OOM-解决办法  优化查询以减少内存的消耗  在资源队列中降低查询的并发数  降低GP集群中单节点的Segment Instance数量  增加机器的内存 –m对应使用 -M fast | -f：停止数据库，中断所有数据库连接，回滚正在运行的事务  -u：不停止数据库，只加载pg_hba.conf 和postgresql.conf 中运行时参数，当改动参数配置时候使用。  -r： 重启数据库 Admin常用命令  查看实例配置和状态  select * from gp_segment_configuration order

定的方式实现网络的高可用。建议采用支持 802.3ad 协议的交换机以实现多网口的链 路聚合，这样，在操作系统层面，多个物理网口将聚合并表现为一个 IP 地址，当任何 的网络或者交换机出现故障时，在操作系统级别将不会有任何的连接性异常的感知，只 是网络带宽出现下降，整个数据库集群的 Instance 状态将不会受到任何影响。如果 选择将 Primary 和 Mirror 分布在不同的网段，出现任何的网络故障时，总会有 Instance max_connections=500 max_prepared_transactions=100 修改最大连接数的步骤 1. 通过 gpstate 命令确认数据库状态无异常，如： $ gpstate –e $ gpstate $ gpstate –f 2. 使用 gpconfig 命令修改参数值： $ gpconfig -c max_connections - 55 -  事务请求更多的内存。 当预留了一些全局共享内存(例如 10%到 20%)时，数据库通过资源组来管理内存 使用将会更有效。全局共享内存会有助于降低大量内存消耗型查询出现异常的概率。 算子内存配额 大多数的算子(我们将执行计划中的 Hash，Sort，Join，Agg 等运算操作统一 称为算子)都不是内存密集型的算子，也就是说，在执行过程中，数据库分配的内存足

18 Compare Products ➢ 案例需求全部满足 ➢ 生产环境实验同步 ➢ 支持全量同步、增量实时同步，无延时 ➢ 支持多种数据同构、异构数据同步 ➢ 过滤器制作规则处理异常数据 ➢ 可以达到BI系统的实时要求 ➢ 网络带宽利用率低，且支持数据的安全传输 一些事前没有考虑到的问题： 1. 数据质量问题 0000-00-00 00:00:00 28:00:00 2

S 标记会话 人工审查 新会话 建模过程 对API请求结合超时和 K-means聚集处理理 验证聚 类结果 2017.thegiac.com 主题分布热⼒力力图检测异常 2017.thegiac.com 股票分析师 固定收益分析师 客户行为热图 建模效果示例例 2017.thegiac.com 改良前 改良后 X 在R上对data sample进⾏行行分析，

........................................................................................... 8 高效运行时 ..................................................................................................

一 个 系 统 表 检 查 工 具 gpcheckcat。 该 工 具 在 $GPHOME/bin/lib 目录下。该工具必须要在 Greenplum 数据库空闲的 时候检查才最准确。若在大量任务运行时，检查结果将会受到干扰， 不利于定位问题。因此，在使用 gpcheckcat 前建议使用限制模式启动 数据库，确保没有其他应用任务干扰。 Big Date2.indd 35 16-11-22