1 新一代数据管理和数据分析 解决方案 关于Greenplum公司 • Greenplum是一家数据库软件公司，在数据处理和 BI/DW领域，提供容量 最大、速度最快、性价比最好的数据库引擎产品和服务。 • Greenplum总部位于圣马蒂奥，加利福尼亚州，美国，成立于2003年6月。 • Greenplum 中国于2008年12月正式成立. 2010/4/8 官方网站： www.greenplum greenplum.com www.greenplum-china.com Greenplum：简介 Greenplum数据引擎软件为新一代数 据仓库所需的大规模数据和复杂查询功 能所设计 3 推动数据依赖型企业的发展 全球各地的一些Greenplum客户 4 亚太地区 欧洲、中东、非洲 北美 中国的客户 5 金融 交通 互联网 其它 Teradata Netezza Oracle Open Software-Based Commodity HW • 用户人数 • 安全度 • 查询、报告、分析的数量 • 数据的高度多样性 • 大量定制数据 • 监管要求 商务智能/数据仓库发展趋势 一切都在增长! 数据仓库工作量：数据膨胀 面临的新难题是如何处理大规模数据 过去的10年 现在 HPC 企业 SME 万亿字节 千兆字节 兆字节 千万亿字节 万亿字节

reserved. Greenplum 数据库架构分析及5.x 新功能分享 杨瑜 Pivotal中国研发中心 2 Pivotal Confidential–Inter nal Use Only 日程 Ÿ Greenplum 数据库（GPDB）简介 Ÿ Greenplum 数据库（GPDB）架构 Ÿ Greenplum 数据库（GPDB）组件 Ÿ Greenplum 数据库（GPDB）执行流程 Ÿ Ÿ Greenplum 数据库（GPDB）5.x 3 Pivotal Confidential–Inter nal Use Only 3 © Copyright 2013 Pivotal. All rights reserved. Greenplum 简介 4 Pivotal Confidential–Inter nal Use Only GPDB：为大数据存储、计算、挖掘而设计 Ÿ Ÿ 标准 SQL 数据库：ANSI SQL 2008 标准，OLAP，JDBC/ODBC Ÿ 支持ACID、分布式事务 Ÿ 分布式数据库：线性扩展，支持上百物理节点 Ÿ 企业级数据库：全球大客户超过 1000+ 安装集群 Ÿ 百万行源代码，超过10年的全球研发投入 Ÿ 开源数据库(greenplum.org)，良性生态系统 5 Pivotal Confidential–Inter nal

数据迁移 数据迁移 存量 存量 MySQL 迁移到 迁移到 TiDB 服务 服务 UDTS 产品⽀持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移， 及增量数据同步。 可协助⽤⼾在不停机的情况下轻松将业务从MySQL 切换⾄ TiDB。 ⾃建 ⾃建 TiDB 迁移到 迁移到 TiDB 服务 服务 UDTS 产品⽀持 TiDB 全量数据迁移⾄ TiDB服务。 ⽤⼾在源TiDB开启Pump ⽤⼾在源TiDB开启Pump, Drainer 可进⾏数据增量同步。 UDTS与源端Pump, Drainer⼀起可协助⽤⼾在不停机的情况下轻松将业 务从⾃建TiDB 切换⾄ TiDB 服务。 为 为 TiDB 服务建⽴ 服务建⽴ MySQL 从库 从库 UDTS 产品⽀持 TiDB 全量数据迁移⾄ MySQL 数据库。 ⽤⼾在TiDB服务上开启 Binlog 可将数据增量同步⾄下游MySQL。 UDTS 与 TiDB 服务建⽴ TiDB 从库 从库 UDTS 产品⽀持 TiDB 全量数据迁移⾄ TiDB 数据库。 ⽤⼾在源TiDB服务上开启 Binlog 可将数据增量同步⾄下游TiDB。 UDTS 与 TiDB Binlog服务⼀起可协助⽤⼾轻松建⽴TiDB从 数据迁移 Copyright © 2012-2021 UCloud 优刻得 1/2 库。 数据迁移 Copyright © 2012-2021 UCloud

SQLite 数据转 Mysql InsMsgServer 3.7.6 当前 InsMsgServer 环境 以下过程在 win7 sp1 x64 系统下完成，如果您的系统不能运行以下相关程序，请将服务器的 db/ 目录下的 IMBase.dat 文件复制到 win7 sp1 x64 系统下完成 利用 InsMsgServer 生成 Mysql 数据库 确保 确保 mysql 数据库中没有 IM 相关库 调整使用 Mysql 作为数据库，并点击启动 确认启动后数据库正确建立 退出 InsMsgServer，确保导入过程中不影响 InsMsgServer 运行 下载 SQLite Data Wizard 地址： http://www.sqlite.org/cvstrac/wiki?p=ConverterTools

CONTENTS 现状背景 应用实践 01 数据链路长 现状 即席查询性能差 数据压缩率低 需求响应慢 02 数据架构 数据同步ck 01 1，基于公司对数据要求为T+1 2. 基于现有开发人员水平及成本 因此采用可视化同步工具kettle. 先将oracle数据平台维度信息以及相关主题清单数据同步至clichouse数据 仓库 Oracle数据平台 • 通过kettle每天 定时导出文件至 client将文本导 入ck数据库 clickhouse数据库 数 仓 建 设 01 ck数仓数据模型采用星型模型搭建 02 数 仓 建 设 – 维度表 一般维度表数据量不大. 目前采用的是引擎Log+字典表(dictionary) 数 仓 建 设 – 主题事实清单表 主题事实清单表采用引擎MergeTree. 同步策略: 每日从 oracle数据平台增量同步到ck数仓. 数 数 仓 建 设 – 对外数据 目前对外开放是主题事实清单表+维度表 封装成一个视图,类 似如下 数 据 展 示 + 多 维 分析 采用开源报表系统davinci 地址: https://github.com/edp963/davinci 03 1. Memory limit (for query) exceeded 解决：通过在users.xml 配置 max_bytes_before_external_sort

Greenplum 开源MPP数据仓库介绍 李晓亮 Greenplum工程师、内核团队经理 Confidential │ ©2022 VMware, Inc. 2 Agenda Ø Greenplum简介 Ø Greenplum的MPP架构 Ø 分布式优化器: Postgres planner 和 ORCA Ø 分布式事务和执行 Ø Greenplum存储 Confidential │ ©2022 VMware, Inc. 3 Greenplum简介：什么是Greenplum? 基于PostgreSQL、开源、分布式MPP、ACID完备、为OLAP优化的关系型数据仓库。 https://greenplum.org https://github.com/greenplum-db/gpdb Confidential │ ©2022 VMware, Inc. Greenplum项目，从 PostgreSQL 8 分支，做成 MPP架构 Ø 2010年被EMC收购 Ø 2012年成为Pivotal的一部分 Ø 2015年开源，可能是世界上第一个成熟商用的开源 MPP数据仓库 Ø 2019年底跟随Pivotal被VMware收购 Confidential │ ©2022 VMware, Inc. 5 谁在用Greenplum? Ø 500多付费企业客户 Ø

使用JDBC连接数据库 北京理工大学计算机学院 金旭亮 Java数据库应用程序全局视图 Java应用程序 JDBC数据库驱动 （*.jar） JDBC规定了一整套访问数据库的标准API，所有数据库都 需要实现它，因此，使用JDBC访问数据库的Java应用程 序，是很容易切换底层数据库的。 JDBC核心类型一览表 核心类型（java.sql） 说明 DriverManager 负责装载/卸载驱动程序 Connection 与数据库建立连接 Statement 在一个给定的连接中执行SQL语句 PreparedStatement 用于执行预编译的SQL命令 CallableStatement 用于调用数据库中存储过程 ResultSet 保存SQL命令的执行结果 上述组件是独立于底层数据库的，也就是说，只要连接上了数据 库，相同的代码，就可以顺利工作…… JDBC访问数据库的基本步骤 加载JDBC驱动程序 加载JDBC驱动程序 创建数据库连接 执行SQL语句 接收并处理SQL的返回结果 关闭创建的各个对象 对于有可视化界面的应用 程序，或者是Server端 应用程序，应该在独立的 线程中完成这些步骤。 出于精简学习负担的目的，我们将以SQLite为例介绍 JDBC的基本使用，在此基础之上，后面选择微软的 SQL Server来介绍JDBC的高级特性…… JDBC连接SQLite数据库 下载SQLite的JDBC驱动-1

Al原生数据库与RAG 张颖峰 英飞流（上海）信息科技有限公司 创始人 目 录 RAG技术实践 01 Infinity系统架构 02 RAG技术实践 第一部分 基于向量数据库的RAG解决方案 文档 文本块 向量 VectorDB Embedding 向量相似度 提问 答案 查询 结果 文本切分 相关文本块 提示词 提示词模版 对话机器人 搜索 推荐 LLM对企业信息架构的改变 对话机器人 搜索 推荐 数据库 APIs 文档 网站 日志 交易记录 向量数据库 LLM 编排 Copilot RAG典型挑战和解决方案  挑战一：向量召回不准确  挑战四：幻觉、胡说八道  挑战五：定制化成本  挑战二：数据组织混乱丧失语义  挑战三：多样化查询需求  数据加工  数据库  文档结构识别  文字加工  多路召回 normalize  Cross attentional reranker  Prompts template 知识图谱 Infinity 系统架构 第二部分 Infinity——从向量数据库到AI原生数据库 数据布局 列存 Secondary Index Numeric Embedding Text Vector Index Full text Index  Zone Map  BloomFilter

优刻得科技股份有限公司 版权所有 分布式 分布式NewSQL数据库 数据库 TiDB 产品⽂档 2 9 11 12 12 12 12 12 13 14 14 14 14 15 15 16 16 18 ⽬录 ⽬录 ⽬录 ⽬录 概览 概览 什么是 什么是TiDB 产品优势 产品优势 ⾼度兼容 MySQL 动态扩展 分布式事务 HTAP 真正⾦融级⾼可⽤ 适⽤场景 适⽤场景 对数据⼀致性及⾼可靠、系统⾼可⽤、可扩展性、容灾要求较⾼的⾦融⾏业属性的场景 灾要求较⾼的⾦融⾏业属性的场景 对存储容量、可扩展性、并发要求较⾼的海量数据及⾼并发的 OLTP 场景 Real-time HTAP 场景 数据汇聚、⼆次加⼯处理的场景 真正⾦融级⾼可⽤ UCloud 云上 云上 TiDB 架构⽰意图 架构⽰意图 TiDB TiDB Serverless ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 2/120 重置⽤⼾密码 删除⾮root⽤⼾ ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 3/120 38 39 40 40 41 41 43 43 43 46 49 49 52 53 55 57 57 58 58 59 60 备份恢复 备份恢复 设置备份策略 调整⾃动备份策略 ⼿动备份 删除备份数据 备份恢复 Dashboard/监控访问 监控访问 代理节点