Big Date2.indd 11 16-11-22 下午3:38 12 而 MPP 数据库都不擅长做 OLTP 交易系统，所谓交易系统，就是高 频的交易型小规模数据插入、修改、删除，每次事务处理的数据量不大， 但每秒钟都会发生几十次甚至几百次以上交易型事务，这类系统的衡 量指标是 TPS，适用的系统是 OLTP 数据库或类似 GemFire 的内存数 据库。 5. Greenplum 16-11-22 下午3:38 Greenplum 精粹文集 25 这样做的好处是，所有链路 设备同时对外提供服务，并 互相备份，网络设备达到了 最大的高可用和吞吐，任意 网络硬件故障都不会影响集 群的正常使用。 ·Greenplum 软件本身不支持 RDMA（Remote Direct Memory Access）协议，所以如果基于 Infiniband 交换机对 Greenplum 集 群组网 该问题可能会导致实例启动失败。可在问题的实例（postgresql. conf）中设置参数 gp_persistent_repair_global_sequence=true， 便可修复相应问题，让相应实例正常启动。 3) 报错的实例日志中出现类似信息 Persistent 1663/17226/21248339, segment file #1, current new EOF is greater

Master 的自动故障切换，不过，已经有很多人适用工具或者 脚本的形式实现了 Master 和 Standby 的自动 FailOver 效果，编者也实现了自动 切换命令，当 Master 出现无法正常工作的故障时，自动激活 Standby 来接管 Master 的任务。下面的流程图，是编者实现的 Master 和 Standby 自动切换的逻辑流程图， 可以供读者参考，不过，编者不方便公开实现的代码。 分布策 略很不吻合，这时很可能导致工作负载的倾斜。例如，有一张交易流水表。该表的 DK为公司名称，那么数据分布的HASH算法将基于公司名称的值来计算，假如有一 个查询以某个特定的公司名称作为查询条件，该查询任务将仅在一个Instance 上执行。这里需要解释一下，这种交易流水表，特定公司名称可能会对应大量的记 录，这就导致，针对某些交易规模很大的公司进行查询时，繁重的计算任务由一个 Instanc Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 127 - 分区中存储的数据与其他普通的分区不应该有重叠，当然，在正常的插入数据时也是这 样检查的。经过编者测试，直接插入非法数据到默认分区是会报错的，只能通过设置 gp_enable_exchange_default_partition参数为on然后交换默认分区 WITHOUT

以下来自于在某大型银行的使用经验： 行存储和列存储： • 避免过多使用列存储的原因是防止小档数过多。 • 列存储能够提升查询性能，对于更新和全字段类操作性能反而会下降 • 对于少数频繁查询的宽表，例如交易表、帐户表、客户表等采用列存储，其它表采用行存储 数据压缩： • 在金融业，行压缩的数据压缩比在1:6左右，一般采用zlib5级压缩 • 数据压缩对于高并发查询分析系统可以大幅降低IO消耗，提升并行处理、混合负载的性能 con#sess_id#‖查看是否有进程处于 waiting状态  解决方法： – 如果是被其它回话锁了，需要等待其它回话结束或者Cancel； – 极端的情况下，某些回话虽然终止了，但事务没有正常终止，此时可以用UTILITY模式访问对应的Instance，将 其终止 ex： PGOPTIONS='-c gp_session_role=utility' psql-h segment_host 式 – PGOPTIONS='-c gp_session_role=utility' psql dbname –p xxxx – 可以通过这个命令登录实例，一般用于检测单个实例是否运行正常，还有就是用于在集群发生不一致时（只有在非常特殊的情况下才 有可能发生，如表不一致等），进行表维护 Admin常用命令  查看数据库、表占用空间 – select pg_size

Storage/Big Query 13 Compare Products 天天拍车是国内领先的二手车竞拍平台，现有核心业务是二手车线上 竞拍。同时，天天拍车还提供上门检测、线上竞拍、包办手续等一站 式二手车交易服务。 天天拍车运用互联网技术，从根本上解决了二手车跨各区域成交和流 通效率低下等问题，持续推进行业升级变革。全国二手车经销商传统 的线下收车方式正在被快速颠覆——二手车经销商通过天天拍车的在 线竞 和运营效率得以提升，这有助于二手车经销商专注于车辆整备和二手 车零售，加速行业专业化分工、实现规模化发展。 同时，天天拍车也正在布局二手车金融、二手车保卖等创新业务。截 至目前，天天拍车已在全国超过50个多城市设立线下交易服务中心。 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 14 Compare Products 需求：利用GP自建数据仓库面临的数据集成问题

的副总裁和主管（决策支持系统）Raj Joshi 25 响应时间 (分) 以前的数据库 客户实例： PLDT • 业务问题 CDR分析 • 竞争对手 Oracle • 数据规模 2200万用户 / 7亿次交易 • 优势 数据装载时间减少8倍，查询速度 从2小时提高到15分钟 “我们业务所面临的一个关键挑战就是要处理很大的数据量。 Greenplum技术可以帮助我们更好地了 解我们的客户及其需求。” 每台T3500服务器可以自带24TB硬盘 • 每台服务器含有两个四核的CPU(8 Intel X5560) • 每台机器含有32GB内存 • 每台机器配置6个千兆网口 • Raid10 • Solaris 10 网站日志 交易数据 详细数据 Greenplum •海量基础数据 •大数据量查询 Oracle 加工数据 •门户网站 •高并发查询 。。。。。。 用户信息 Hardware Architecture

Greenplum 中国研发团队。2014 年 Greenplum 从 EMC 独立出来创立 Pivotal，并获得通用电气、 福特汽车和微软的投资。2018 年 4 月 Pivotal 在纽约证券交易所上市，目前市值 60 多亿美元。 开源社区和生态 Greenplum 基于世界上最先进的开源数据库 PostgreSQL。 2015 年 10 月 Pivotal 正式把投资超过 10

云和私有云）中。Greenplum 6 及未来发布的 Greenplum 7 丰富的 HTAP 特性，具备良好性能、可靠性和稳定性，使得 Greenplum 不仅可以作为全能的分析化平台，也能满足交易型业 务场景，能够处理多种并发混合工作负载，专为满足在多结构数据环境中进行实时分析的需求而设计。 欧拉开源操作系统是一款面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多