PostgreSQL 开发最佳实践 digoal 阿里云 2016Postgres中国用户大会 目录 • 规约的重要性 • 命名规约 • 设计规约 • 管理规约 • 稳定性与性能建议 • 云数据库使用建议 2016Postgres中国用户大会 规约的重要性 2016Postgres中国用户大会 目录 • 规约的重要性 • 命名规约 • 设计规约 explain analyze query; rollback; • create index CONCURRENTLY idx on tbl(id); • 密码复杂度、认证方法 • 业务系统，开发测试账号，不要使用数据库超 级用户。 • 长连接relcache , syscache • 数据隔离(cluster -> database -> schema) • 主备切换(prewarm)

JAVAEE 课程系列 ————————————————————————————— 1 更多 Java –大数据 –前端 –python 人工智能资料下载，可访问百度：尚硅谷官网 MyBatis 框架 尚硅谷 java 研究院 版本：V 1.0 第 1 章 MyBatis 简介 1.1 MyBatis 历史 1）MyBatis 是 Apache 的一个开源项目 iBatis, 2010 2010 年 6 月这个项目由 Apache Software Foundation 迁移到了 Google Code，随着开发团队转投 Google Code 旗下， iBatis3.x 正式更名为 MyBatis ，代码于 2013 年 11 月迁移到 Github 2）iBatis 一词来源于“internet”和“abatis”的组合，是一个基于 Java 的持久层框架。 iBatis 提供的持久层框架包括 Java 对象）映射成数据库中的记录 1.3 为什么要使用 MyBatis – 现有持久化技术的对比 1） JDBC 1 SQL 夹在 Java 代码块里，耦合度高导致硬编码内伤 2 维护不易且实际开发需求中 sql 是有变化，频繁修改的情况多见 2） Hibernate 和 JPA 1 长难复杂 SQL，对于 Hibernate 而言处理也不容易 2 内部自动生产的 SQL，不容易做特殊优化

均已加⼊拓数派。成员毕业自 CMU、北⼤、清华和科⼤少年班 等顶级学术机构，并有成员获有 奥赛奖牌。 郭罡（Paul Guo） 合 伙 ⼈ & C T O • 中国科技⼤学少年班 • 18年+底层基础软件领域开发经验 • 原Greenplum首席内核架构师 • Apache HAWQ PMC成员 陆公瑜（Brian Lu） 合伙⼈&COO • 英国约克⼤学 • 15年+产品⽣态建设和运营管理经验 ：全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 是⼀个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题， 是⼤数据技术中的基⽯。让用户可以在不了解分布式底层细节的情况下，开发 分布式程序，以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼，需要掌握 多种组件的不同使用⽅法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也⽆法直接利用云 资源的弹性能⼒。组件太多，导致集群部署和后期运维管理很麻烦，市场上相 关⼈才储备量不多，技术兜底依赖于Cloudera，国内第三⽅公司主要是基础运 维和开发为主。 ⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎

今天的演讲内容来自我最近的一个真实经历。。。。 一个真实的故事 老板：怎么应用那么卡？ 前端开发：是不是你网络不行 老板：换了个网还是一样 前端开发：找到原因了，这个 REST API 卡了几秒返回 后端开发：这个 API 没啥逻辑，肯定是 TiDB 的问题 DBA：没有啊，我看数据库响应时间也就几 ms，肯定是你的应用写得? 后端开发：....（事后一看果然是） Logging / Tracing /

图形界⾯的⽅式访问UDW 数据导⼊ 数据导⼊ insert加载数据 copy加载数据 外部表并⾏加载数据 从hdfs加载数据 从mysql中导⼊数据 从oracle中导⼊数据 从ufile加载数据 开发指南 开发指南 1、连接数据库 2、数据库管理 3、模式管理 4、表格设计 5、加载数据 6、分区表 7、序列 8、索引 9、 ANALYZE/VACUUM 10、常⽤SQL⼤全 12、常⽤SQL命令 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 5/206 概览 概览 产品架构 快速上⼿ 操作指南 访问UDW数据仓库 数据导⼊ 开发指南 udw优化指南 表膨胀 UDW中Json类型 接⼊第三⽅ BI ⼯具 UDW 使⽤案例 Pxf 扩展功能 迁移数据 使⽤ pg_dump 使⽤ pxf 外部表 FAQs 数据仓库价格 Copyright © 2012-2021 UCloud 优刻得 6/206 产品架构 产品架构 数据仓库（UCloud Data Warehouse）是⼤规模并⾏处理数据仓库产品，基于开源的Greenplum开发的⼤规模并发、完全托管的PB级数据仓库服务。UDW可以通过SQL让数据分析更简 单、⾼效，为互联⽹、物联⽹、⾦融、电信等⾏业提供丰富的业务分析能⼒。⽀持MADlib扩展，客⼾可以在udw上使⽤MA

1 并行不悖 – OLAP 在互联网公司的实践与思考 赵飞祥 2 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 3 数据仓库体系架构 业务数据与数据使用归类 时间维度：过去 - 现在 - 未来 （数据的生命周期） • “现在”的数据 —— 业务数据的中转 —— ETL服务器 • 3 数据的存储和计算 —— OLAP集群 • 4 结果数据的展现 —— 数据集市 • 5 访问接口的封装 —— API接口服务器 • 6 最终数据的显示 —— 前端界面 • 7 结果数据的交互 —— OLTP，趋势分析 • 8 OLAP数据流转 —— dbsync平台 7 数据仓库体系架构 数据架构示意图 8 数据仓库体系架构 架构的具体技术实现 – 可以很好支持各种方式的数据加载和DML操作 – 具备海量的数据存储和计算性能 9 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 10 greenplum体系架构 postgresql体系结构 11 greenplum体系架构 postgresql体系结构

414 9.4.2 服务器错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414 10 开发者手册 415 10.1 运行模式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Java 任意 性能 损耗低 损耗略高 无中心化 是 否 静态入口 无 有 3.3 混合部署架构 ShardingSphere‐JDBC 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。 Apache 7.1.1 应用场景 Apache ShardingSphere‐JDBC 可以通过 Java 和 YAML 这 2 种方式进行配置，开发者可根据场景选择适 合的配置方式。 7.1.2 使用限制 目前仅支持 JAVA 语言 7.1.3 前提条件 开发环境需要具备 Java JRE 8 或更高版本。 7.1.4 操作步骤 1. 规则配置。 详情请参见用户手册。 2. 引入 maven

394 9.4.2 服务器错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 10 开发者手册 395 10.1 运行模式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Java 任意 性能 损耗低 损耗略高 无中心化 是 否 静态入口 无 有 3.3 混合部署架构 ShardingSphere‐JDBC 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。 Apache 7.1.1 应用场景 Apache ShardingSphere‐JDBC 可以通过 Java 和 YAML 这 2 种方式进行配置，开发者可根据场景选择适 合的配置方式。 7.1.2 使用限制 目前仅支持 JAVA 语言 7.1.3 前提条件 开发环境需要具备 Java JRE 8 或更高版本。 7.1.4 操作步骤 1. 规则配置。 详情请参见用户手册。 2. 引入 maven

440 9.4.2 服务器错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440 10 开发者手册 441 10.1 运行模式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Java 任意 性能 损耗低 损耗略高 无中心化 是 否 静态入口 无 有 3.3 混合部署架构 ShardingSphere‐JDBC 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。 Apache 7.1.1 应用场景 Apache ShardingSphere‐JDBC 可以通过 Java 和 YAML 这 2 种方式进行配置，开发者可根据场景选择适 合的配置方式。 7.1.2 使用限制 目前仅支持 JAVA 语言 7.1.3 前提条件 开发环境需要具备 Java JRE 8 或更高版本。 7.1.4 操作步骤 1. 规则配置。 详情请参见用户手册。 2. 引入 maven

. 270 运行状态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270 5 开发者手册 271 5.1 SQL 解析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 进行扩展。目前，数据分片、读写分离、数据加密、影子库压测等功能，以及对 MySQL、PostgreSQL、 SQLServer、Oracle 等 SQL 与协议的支持，均通过插件的方式织入项目。开发者能够像使用积木一样定 制属于自己的独特系统。Apache ShardingSphere 目前已提供数十个 SPI 作为系统的扩展点，而且仍在不 断增加中。 ShardingSphere 已于 任意 任意 性能 损耗低 损耗略高 损耗低 无中心化 是 否 是 静态入口 无 有 无 1.1.4 混合架构 ShardingSphere‐JDBC 采用 无中心化架构， 适用 于 Java 开发的高性能的轻量级 OLTP 应用； ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，适用于 OLAP 应用以及对分片数据库 进行管理和运维的场景。 Apache ShardingSphere