HBase基本介绍 ⽥田志鹏 20190714 上次分位点估算当时没解决的两个问题已更更新ppt. 今天讲的内容⽐比较基础, ⽽而且偏理理论, 因为我个⼈人也没有太多实际使⽤用经验, 纸上谈兵. Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. Use Apache HBase™

XML配置 XML映射文件 XML映射文件 动态SQL 动态SQL Java API Java API SQL语句构建器 SQL语句构建器 日志 日志 项目文档 项目文档 项目文档 项目文档 项目信息 项目信息 项目报表 项目报表 简介 简介 什么是 什么是 MyBatis ？ ？ MyBatis 是支持定制化 SQL、存储过程以及高级映射的优秀的持久层框架。MyBatis 避免了几乎所有的 Java对象)映射成数据库中的记录。 帮助改进文档 帮助改进文档... 不管你以何种方式发现了文档的不足，或是丢失对某一特性的描述，那么你能做的最好的事情莫过于去研究它并把文档写出来。 该文档 xdoc 格式的源码文件可通过项目的 Git 代码库 来获取。Fork 该源码库，做出更新，然后提交一个 pull request 吧。 你将成为本文档的最佳作者，MyBatis 的用户定会过来查阅的。 当前的国际化版本 当前的国际化版本 Java API SQL语句构建器 SQL语句构建器 日志 日志 项目文档 项目文档 项目文档 项目文档 项目信息 项目信息 项目报表 项目报表 入门 入门 安装 安装 要使用 MyBatis， 只需将 mybatis-x.x.x.jar 文件置于 classpath 中即可。 如果使用 Maven 来构建项目，则需将下面的 dependency 代码置于 pom.xml 文件中：

下午5:46 Greenplum 精粹文集 1 一、Greenplum 的前生今世 1. Greenplum 的起源 Greenplum 最早是在 10 多年前（大约在 2002 年）出现，基本上 和 Hadoop 是同一时期（Hadoop 约是 2004 年前后出现的，早期的 Nutch 可追溯到 2002 年）。 互联网行业经过之前近 10 年的由慢到快的发展，累积了大量信息和数 据 对于其它模块，用户可以自行将 contrib 下的代码与 Greenplum 的 include 头文件编译后，将动态 so 库文件部署到所有节点就可进行测 试使用了。有些模块还是非常好用的，例如：oraface，基本上集成了 Oracle 常用的函数到 Greenplum 中，曾经在一次 PoC 测试中，用户 提供的 22 条 Oracle SQL 语句，不做任何改动就能运行在 Greenplum 上。 通常利用这些技术大幅提高数据的检索效率。 ·MAShuffle 效率对比 Hadoop Shuffle 对比 MPP 计算中的重分布 -- 由于 Hadoop 数据 与节点的无关性，Shuffle 是基本避免不了的；而 MPP 数据库对于 相同 Hash 分布数据不需要重分布，节省大量网络和 CPU 消耗。 Mapreduce 没有统计信息，不能做基于 cost-base 的优化；MPP 数据库可

理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名 关键字和保留字 用户变量 表达式语法 注释语法 字符集和时区 字符集支持 字符集配置 时区 数据类型 日期和时间类型 基本数据类型 函数和操作符 函数和操作符概述 表达式求值的类型转换 操作符 控制流程函数 - 2 - 本文档使用 书栈(BookStack.CN) 构建 字符串函数 数值函数与操作符 日期和时间函数 位函数和操作符 深度耦合，支持公有云、私有云和混合云，使部署、配置和 维护变得十分简单。 TiDB 的设计目标是 100% 的 OLTP 场景和 80% 的 OLAP 场景，更复杂的 OLAP 分析可以通过 TiSpark 项目 来完成。 TiDB 对业务没有任何侵入性，能优雅的替换传统的数据库中间件、数据库分库分表等 Sharding 方案。同时它也 让开发运维人员不用关注数据库 Scale 的细节问题，专注于业务开发，极大的提升研发的生产力。 深度耦合，支持公有云、私有云和混合云，使部署、配置和 维护变得十分简单。 TiDB 的设计目标是 100% 的 OLTP 场景和 80% 的 OLAP 场景，更复杂的 OLAP 分析可以通过 TiSpark 项目 来完成。 TiDB 对业务没有任何侵入性，能优雅的替换传统的数据库中间件、数据库分库分表等 Sharding 方案。同时它也 让开发运维人员不用关注数据库 Scale 的细节问题，专注于业务开发，极大的提升研发的生产力。

Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 目录  Greenplum运维常见问题  Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 内核参数  通常情况下，内核参数按照GPDB安装手册配置，如需要增加连接数支持，以下参数需要增大 到一定阀值才收集统计信息； – gp_autostats_mode = on_change – gp_autostats_on_change_threshold = 5000000（资料依据项目而定）  Truncate操作不会丢失字段级统计信息，在适当条件下可仅针对系统字段执行Analyze 垃圾空间回收 • GPDB采用MVCC机制，UPDATE 或 DELETE并非物理删除，而只是对无效记 mem_protect_limit *0.9 – Instance Number：4 CCB设置以上参数后，基本上没有OOM发生，唯一遇到的是left join超大表（400亿条记录）导致的，用户已优化SQL 资源队列设置没有一个统一的标准，具体的参数设置需要根据项目的实际运行情况， 可以通过gp_toolkit.gp_resqueue_status 观察到队列的使用情况，逐步调整参数到最优状态。

库，相同的代码，就可以顺利工作…… JDBC访问数据库的基本步骤 加载JDBC驱动程序 创建数据库连接 执行SQL语句 接收并处理SQL的返回结果 关闭创建的各个对象 对于有可视化界面的应用 程序，或者是Server端 应用程序，应该在独立的 线程中完成这些步骤。 出于精简学习负担的目的，我们将以SQLite为例介绍 JDBC的基本使用，在此基础之上，后面选择微软的 SQL Server来介绍JDBC的高级特性…… 类的可视化工具创建一个测试数据库（假 设其名字为test.db） 之后再使用IntelliJ创建一个普通的Java 命令行项目，取名testConnectSQLite 添加JDBC驱动到项目中 给项目创建一个libs文件夹，从网 上下载SQLite的JDBC组件包，复制 到此文件夹中： 给模块添加对jar包的引用 打开项目的Project Structure对话 窗口设置当前模块依赖于此jar包。 准备数据库 使用DB 在里面创建一个test表，定义两个字段，然后， 随意添加几条记录作为测试用例。 示例数据库名为test.db，放 在项目的dbs文件夹下 将数据库加入到项目中 创建dbs文件夹，将test.db复制到它下面： 注意一下访问test.db的路径是： ./dbs/test.db 路径是以IntelliJ项目所在的文件 夹为起点确定的。 创建一个包容程序入口点的Main类， 准备编写数据库连接代码。 连接数据库

层，它们是：L1 内核层、L2 功能层、L3 生态层。 2.1. 连接：打造数据库上层标准 4 Apache ShardingSphere document 2.3.1 L1 内核层 是数据库基本能力的抽象，其所有组件均必须存在，但具体实现方式可通过可插拔的方式更换。主要包 括查询优化器、分布式事务引擎、分布式执行引擎、权限引擎和调度引擎等。 2.3.2 L2 功能层 用于提供增量能力 元数据和协调节点状态。 在生产环境建议使用集群模式。 10 5 线路规划 11 6 如何参与 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache 软件基金会的顶级项目。欢迎通过邮件列表参与讨 论。 12 7 快速入门 本章节以尽量短的时间，为使用者提供最简单的 Apache ShardingSphere 的快速入门。 示例代码：https://github offline_table2, offline_table3 8.1. 数据分片 25 Apache ShardingSphere document 分布式主键 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持， 比如 MySQL 的自增键，Oracle 的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手 的问题。同一个逻辑表内的不同实际表之

的定义，设计哲学和部署形态。 更多常见问题，请参考 FAQ。 1.1 什么是 ShardingSphere 1.1.1 介绍 Apache ShardingSphere 是一款开源的分布式数据库生态项目，由 JDBC 和 Proxy 两款产品组成。其核心 采用微内核 + 可插拔架构，通过插件开放扩展功能。它提供多源异构数据库增强平台，进而围绕其上层 构建生态。 Apache ShardingSphere 读写分离，是应对高压力业务访问的手段之一。ShardingSphere 基于对 SQL 语义理解及底层 数据库拓扑感知能力，提供灵活、安全的读写分离能力，且可实现读访问的负载均衡。 高 可 用 高可用，是对数据存储计算平台的基本要求。ShardingSphere 基于无状态服务，提供高可用 计算服务访问；同时可感知并利用底层数据库自身高可用实现整体的高可用能力。 数 据 迁移 数据迁移，是打通数据生态的关键能力。SharingSphere 联邦查询，是面对复杂数据环境下利用数据的有效手段之一。ShardingSphere 提供跨数据源 的复杂数据查询分析能力，简化并提升数据使用体验。 数 据 加密 数据加密，是保证数据安全的基本手段。ShardingSphere 提供一套完整的、透明化、安全的、 低改造成本的数据加密解决方案。 影 子 库 在全链路压测场景下，ShardingSphere 通过影子库功能支持在复杂压测场景下数据隔离，压

量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache 软件基金会的顶级项目。欢迎通过邮件列表参与讨 论。 1.1 简介 Apache ShardingSphere 的将开源社区的活力激发出来，也能够保障项目的质量。 Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式进 行扩展。目前，数据分片、读写分离、数据库高可用、数据加密、影子库压测等功能，以及对 MySQL、Post‐ greSQL、SQLServer、Oracle 等 SQL 与协议的支持，均通过插件的方式织入项目。Apache ShardingSphere document, v5.1.0 3.4.4 实现 Apache ShardingSphere 的可插拔架构划分为 3 层，它们是：L1 内核层、L2 功能层、L3 生态层。 L1 内核层 是数据库基本能力的抽象，其所有组件均必须存在，但具体实现方式可通过可插拔的方式更换。主要包 括查询优化器、分布式事务引擎、分布式执行引擎、权限引擎和调度引擎等。 3.4. 可插拔架构 16 Apache ShardingSphere

Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式 进行扩展。目前，数据分片、读写分离、数据加密、影子库压测等功能，以及对 MySQL、PostgreSQL、 SQLServer、Oracle 等 SQL 与协议的支持，均通过插件的方式织入项目。开发者能够像使用积木一样定 制属于自己的独特系统。Apache ShardingSphere ShardingSphere 目前已提供数十个 SPI 作为系统的扩展点，而且仍在不 断增加中。 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache 软件基金会的顶级项目。欢迎通过邮件列表参与讨 论。 1.1 简介 1.1.1 ShardingSphere-JDBC 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。它使用客户端直连数据库，以 的路由到后缀为 1 的数据源，以此 类推。用于表示分片算法的行表达式为： ds${id % 10} 或者 ds$->{id % 10} 分布式主键 实现动机 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持， 比如 MySQL 的自增键，Oracle 的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手 的问题。同一个逻辑表内的不同实际表之