PostgreSQL 开发最佳实践 digoal 阿里云 2016Postgres中国用户大会 目录 • 规约的重要性 • 命名规约 • 设计规约 • 管理规约 • 稳定性与性能建议 • 云数据库使用建议 2016Postgres中国用户大会 规约的重要性 2016Postgres中国用户大会 目录 • 规约的重要性 • 命名规约 • 设计规约 explain analyze query; rollback; • create index CONCURRENTLY idx on tbl(id); • 密码复杂度、认证方法 • 业务系统，开发测试账号，不要使用数据库超 级用户。 • 长连接relcache , syscache • 数据隔离(cluster -> database -> schema) • 主备切换(prewarm)

微信 SQLite 数据库 损坏恢复实践 johnwhe (何俊伟) ◊ 问题背景 ◊ 常规做法 ◊ 数据备份 ◊ Repair Kit ◊ 组合方案 SQLite 恢复 ◊ 微信聊天记录只存客户端 ◊ SQLCipher 加密数据库 问题背景 ◊ SQLite 概率性损坏 ◊ 1/20,000 ~ 1/10,000 ◊ 256MB ~1%，1GB ~1‰ ◊ 设备断电、kernel

基于GP打造SaaS化电商服务平台 聚水潭 秃鹰 赵坚密 2019.08.10 聚水潭成立于2014年1月，创始人兼CEO骆海东拥有超过二十年传统 及电商ERP的研发和实施部署经验，公司核心管理团队来自于阿里巴 巴、亚马逊、中国平安和麦包包等知名公司。 聚水潭创建之初，以电商SaaS ERP切入市场，凭借出色的产品和服务， 快速获得市场领先地位。随着客户需求的不断变化，如今聚水潭已经 发展成为以SaaS 发展成为以SaaS ERP为核心，集多种商家服务为一体的SaaS协同平台， 为全国近20万家电商企业提供全面的信息化解决方案。 经过5年多的发展，公司员工从2014年成立之初的9人增加到现在 1200多人。聚水潭已在全国设立了40多个线下服务分支机构，服务范 围覆盖超过268个城市，为客户提供及时、周到和专业的服务。 来自阿里巴巴旗下商家服务市场的最新数据显示，聚水潭已是企业 ERP类目中使用商家 析，有待验证 数据集市 报表 CRM 胜算 …… …… …… …… 数据仓库演变 2015 2016 2017 2018 2019 2014原始阶段 2016.4全新报表界面：梳理业务、开发报表 2016.9自建GP集群，上线工作量统计 2018.3HDB4PG 2017.1报表全面迁移至GP 2017.6集群拆分 2018.9全面切换HDB4PG 2018.6ADB储备、2019

上海电信微信营业厅 TiDB 实践 业务 痛点 选择 测试 上线 特性 业务介绍 ● 运营活动 ● 套餐查询 ● 业务办理 ● 话费充值 ● 账单缴费 当前粉丝：400万+ 月活跃人数：110万+ 7*24小时的服务 业务痛点 DBA 分表 分库 运维 中间件 稳定性 ... 选择 MyCat TIDB Mysql 分片 ... 选型测试 Mysql 主从分表：活动 延迟 Mycat

图形界⾯的⽅式访问UDW 数据导⼊ 数据导⼊ insert加载数据 copy加载数据 外部表并⾏加载数据 从hdfs加载数据 从mysql中导⼊数据 从oracle中导⼊数据 从ufile加载数据 开发指南 开发指南 1、连接数据库 2、数据库管理 3、模式管理 4、表格设计 5、加载数据 6、分区表 7、序列 8、索引 9、 ANALYZE/VACUUM 10、常⽤SQL⼤全 12、常⽤SQL命令 接⼊ SuperSet UDW 使⽤案例 使⽤案例 案例⼀ 利⽤ logstash+Kafka+UDW 对⽇志数据分析 案例⼆ 基于UDW实现⽹络流分析 PXF 扩展 扩展 配置 PXF 服务 创建 EXTENSION 读写 HDFS ⽬录 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 4/206 194 196 198 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 5/206 概览 概览 产品架构 快速上⼿ 操作指南 访问UDW数据仓库 数据导⼊ 开发指南 udw优化指南 表膨胀 UDW中Json类型 接⼊第三⽅ BI ⼯具 UDW 使⽤案例 Pxf 扩展功能 迁移数据 使⽤ pg_dump 使⽤ pxf 外部表 FAQs 数据仓库价格

引入 Maven 依赖 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 4.2 作业开发 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 4.3 作业配置 23 6.1.1 作业 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 作业开发 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 使用 Java API . 39 6.1.2 作业监听器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 监听器开发 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 使用 Java API . . .

过⼤量的实践应⽤， Redis 简洁⾼效、安全稳定的印象已经深⼊⼈⼼。 ⽆论是国内还是国外， 从财富五百强到⼩ 型初创公司都在使⽤ Redis ， 很多云服务提供商还以 Redis 为基础构建了相应的缓存服务、消息队列服务以及内 存存储服务 —— 当你使⽤这些服务时， 你实际上就是在使⽤ Redis 。 除了变得越来越受欢迎之外， Redis 在过去数年的另⼀个变化就是更新速度越来越快， 功能也变得越来越多、越 有了近乎⽆限的扩展能⼒。 综上所述， 我们可以说现在的 Redis 跟五年前⽐起来已经完全不⼀样了， ⽽如何向读者讲述新版 Redis ⽅⽅⾯ ⾯的变化， 则是每⼀本 Redis 书都必须回答的问题。 本书以服务 Redis 初学者和使⽤者为⽬标， 介绍了 Redis ⽇常使⽤中最常⽤到的部分， 并以“命令描述+代码示例”的模式详细列举了各个 Redis 命令的⽤法和⽤例。 我相 信⽆论是刚开始学习 Redis 版本以及本书配套的读者服务 ⽹站。 1.1 Redis 简介 Redis 是⼀个主要由 Salvatore Sanfilippo （antirez）开发的开源的内存数据结构存储器， 它经常被⽤作数据 库、缓存以及消息代理等⽤途。 Redis 因为它丰富的数据结构、极快的速度、⻬全的功能⽽为⼈所知， 它是⽬前内存数据库⽅⾯的事实标准， 在 互联⽹上有⾮常⼴泛的应⽤， 包括微博、Twitter、GitHub、Stack

功能对大多数客户都很有帮助。Greenplum 解决方案的架构设计目的是管理 非常复杂的查询，以及为符合 ANSI 标准的 SQL 提供强有力的分析改进。通过自动对数据进行分区和并行运行查询，它让 服务器群集能够以单一数据超级计算机的方式运行，且性能比传统数据库或其他同类平台高出数十甚至数百倍。其多种分 析扩展功能支持 ANSI SQL，并通过封装扩展提供多种内置语言和附加功能。Greenplum 的后续发展，Pivotal 于 2015 年决定将其产品 Greenplum Database 开源。由此产生的最积极结果是 Greenplum Database 社区规模迅速扩大。该社区的成员为核心组件的开发贡献了力量，并且已经受益于 Pivotal 长久以来 在市场上取得的成功。从 2017 年初开始，他们每个月发布一次 Greenplum 更新，使其保有快速而可靠的创新力。 此次推 出的 Greenplum 社区的模式，他们对代码库进行了重构，这样一来，便可以更轻松地从最新版本（未来 的 PostgreSQL 9.X 和 10）中纳入 PostgreSQL 新增功能。 新一代 数据平台 IT 人员 开发 人员 业务 分析师 数据 科学家 灵活 部署 数据源和数据管道 Spring Cloud Data Flow ETL 本地存储 HDFSS 云对象 存储 GemFire Spark 其他 RDBMSes

在数据应用交互层面，由于时效性的要求，数据最终的展现查询还是需要通过DBMS（MySQL） 、MOLAP（Kylin）引擎来进行支撑。如下图所示： 如果想及时了 解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop 汇总数据的交互 业务团队日常经营分析最典型的场景就是各种维度下的自定义查询，面对如此灵活可变、所见即 很高。例如，大数据量的同步、新增字段、历史数据更新等操作，它们的维护成本都非常高。 外卖运营业务特点 美团的使命是“帮大家吃得更好，生活更好”。外卖业务为大家提供送餐服务，连接商家与用户， 这是一个劳动密集型的业务，外卖业务有上万人的运营团队来服务全国几百万的商家，并以“商圈 ”为单元，服务于“商圈”内的商家。“商圈”是一个组织机构维度中的最小层级，源于外卖组织的特 点，“商圈”及其上层组织机构是一个变化维度，当“商圈”边界发生变化时，就导致在往常日增量的 较高的业务，需要严格控制查询时效（基本在毫秒级），对于并发不高的业务，允许进行 较大的查询，但也要考虑集群的承受能力。 通过一年来的应用以及Doris的不断改进升级，Doris的高可靠、高可用、高可扩展性也得 到进一步验证，服务稳定可靠。 准实时场景下的应用 离线业务分析大多基于T+1的离线数据，但在营销活动场景下，外卖团队往往需要当日的实时数 据进行业务变化的监控与分析，通常情况下会采用实时流计算来实现。 外卖实时业务监控有如下特点：

MySQL+DB中间件解决水平拆分问题。 ■ MySQL水平拆分的引入会使数据库实例数量大幅上升,传统运维手段维护成本高,交付能力差。 MySQL数据库为何要Docker化 1.MySQL数据库迅速爆炸式增长后，服务器规模不断增大，快速部署是个问题。 2.随着业务的发展，扩容数据库的不方便不快捷，也是个问题。 3.大量数据量小的数据库系统也单独部署在物理机，浪费问题突出。 4.DBA的数据库自动化标准化运维的需求。 操作系统 宿主机 容器 镜像 Kernel版本 4.7 CentOS 7.2 部署服务器监控、容器监控agent容器 Docker版本 1.12,部署监控及系统服务agent MariaDB镜像(按产品)、MySQL5.7镜像(按产品)、监控容器镜 像、HA管理系统镜像、实例迁移服务镜像、监控服务端镜像 PS：容器虚拟化带来轻量高效，快速部署的同时，docker容器在隔离性方面也存在 中间配置中心 Alert Monitor sms WeCha t mail TCMHA 管理分为两个部分： • MariaDB、MySQL5.6的高可用管理是基于开源 工具MHA定制开发后的工具完成的，该工具支持 了MariaDB的gtid、更完善的哨兵检测机制、对 接了DB中间件等定制化功能。 • MySQL5.7的MGR复制集群是我们自己写的一套 高可用组件配合DB中间，实现无感知的高可用切