PostgreSQL 开发最佳实践 digoal 阿里云 2016Postgres中国用户大会 目录 • 规约的重要性 • 命名规约 • 设计规约 • 管理规约 • 稳定性与性能建议 • 云数据库使用建议 2016Postgres中国用户大会 规约的重要性 2016Postgres中国用户大会 目录 • 规约的重要性 • 命名规约 • 设计规约 explain analyze query; rollback; • create index CONCURRENTLY idx on tbl(id); • 密码复杂度、认证方法 • 业务系统，开发测试账号，不要使用数据库超 级用户。 • 长连接relcache , syscache • 数据隔离(cluster -> database -> schema) • 主备切换(prewarm)

Postgres Conference China 2016 中国用户大会 PostgreSQL WAL日志解析与应用 王硕 山东瀚高基础软件股份有限公司 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 CONTENTS Part 01 Part 02 Part 03 WAL 日志简介

Cassandra在饿了么的应用 主讲人：翟玉勇 时间：2017.06.11 1.Cassandra的基本原理介绍 2.为什么选择Cassandra 3.饿了么Cassandra实践 4.大数据离线平台和Cassandra的整合 概述 Cassandra历史 BigTable Dynamo Cassandra概述 Cassandra最初源自FaceBook，集合了Google BigTable面向列的特 1)部署简单 2)只需要运维一个组件 3)监控成本低 2.开发成本 1)类似sql的cql语言，对开发友好，低成本上手 2)DataStax公司提供的强大的java client 3)可调节的数据一致性 4)异步接口 3.适用场景 1)Cassandra自带多idc策略 2)我们的业务需求 Cassandra在饿了么的实践 1.生产应用 1)用户画像 2)历史订单 3)dt.api 2.Client选择 每天5000万+数据更新 5.Scheme变更频繁(加字段) 6.99%读延时3-5ms 生产应用-用户画像 1.Sata盘集群 平均响应时间小于80ms 2.15+ node 生产应用-历史订单 饿了么大数据平台自助化数据接口平台 1.One sql one api 2.50+ Cassandra cql api 生产应用-dt.api 1.Jdbc 2.Thrift api 3.Datastax

Apache ShardingSphere 架构解析与应用实践 孟浩然 2021/12/11 01 孟浩然 SphereEx 高级研发工程师 Apache ShardingSphere PMC 曾就职京东科技，负责数据库产品研发，热爱开源，关注数据库生态，目前就职 SphereEx , 专 注于 Apache ShardingSphere 分布式数据库中间件研发以及开源社区建设 1 1. Apache ShardingSphere 5.0.0 架构解析 2. 5.0.0 应用实践 3. Database Plus 解决方案 目录 产 品 定 位 l 构建异构数据库的上层标准和生态 l 提供精准化和差异化的能力 产 品 定 位 4.X 5.X 定位 分 库 分 表 中 间 件 分 布 式 数 据 库 生 态 系 统 功能 提 供 基 础 功 能 提 供 基 础 采用无中心化架 构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用； l ShardingSphere-Proxy 提供静态入口 以及异构语言的支持，独立于应用程序 部署，适用于 OLAP 应用以及对分片数 据库进行管理和运维的场景。 整 体 架 构 l L1 内核层：面向数据库内核， 包括数据库事务引擎，查询优 化器等； l L2 功能层：可定制化开发平 台。具有高定制化、高度内

安全港声明 以下内容旨在阐明产品的整体方向。该内容仅供参考，不可纳入任何合同。该信息 不承诺提供任何资料、代码或功能，并且不应该作为制定购买决策的依据。本文档 所述的 Oracle 产品的任何特性或功能的开发、发行和时间规划均由 Oracle 自行决定。 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 3 MySQL 复制 MySQL 半同步 复制 Windows/ 并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 6 并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 MySQL Cluster 从数据库 • 会话线程：处理来自应用程序的查询 － 将 数据写入主数据库，将关联事件写入二进制 日志 • 转储线程：读取二进制日志中的事件，然后 将其发送到从数据库 • I/O 线程：接收复制事件，并将其存储在从 数据库的中继日志中 • SQL 线程：读取从数据库的中继日志中的复 制事件，然后将其应用到从数据库 MySQL 复制工作流 会话 二进制 日志

TiDB在易易果集团的应⽤用 .罗瑞星 2018 / 05 / 26 ⾃自我介绍 罗瑞星 ⼤大数据⾼高级⼯工程师@51job ⼤大数据架构师@易易果集团 负责易易果集团⼤大数据⽅方向架构设计，优化；数据⼯工具及产品的开发 • 背景介绍. • TiDB的应⽤用 • 未来规划 1 2 3 ⽬目录 CONTENTS 易易果集团介绍 易易果⽣生鲜电商易易果创⽴立于2005年年， 易易果集团由易易果⽣生鲜成⽴立，未来将 让初级⼩小⽩白也能够⽅方便便使⽤用 • SQL⽽而不不是代码 赋能 • 能够为IT其他部⻔门提供服务 数据中台的建设 选择TiDB的理理由 分布式 能够横向拓拓展 简单易易⽤用 兼容MySQL协议，⽅方便便开发与 脚本迁移. 管理理和监控 脚本化的部署，扩容； Prometheus上详细的监控； 完善的权限管理理 TiSpark 未来统⼀一的分析引擎 新版本的惊喜 • 1 历史业务已经慢慢迁移⾄至TiDB， 等业务部⻔门提供数据接⼝口服务 • 4、分析师可以在TiDB⾥里里⾯面做数据探索，数据分析 架构 TiDB⽬目前应⽤用现状 现状 接⼝口平台 TiDB接⼊入的数据对外提供数据接 ⼝口服务 开发成本：天级别 � ⼩小时级别 数据中台接⼊入更更多业务 TP向业务使⽤用TiDB 统⼀一的流式/近实时数据抽取，加⼯工调度平台 更更加明确TiDB和TiSpark引擎的选择 未来规划 凡是过往，皆为序章

Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com Apache Doris在美团外卖数仓中的应用实践 序言 美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来 的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实 现了低成本生产与高效查询的 团外卖数仓技术团队致力于将数 据应用效率最大化，同时兼顾研发、生产与运维成本的最小化，建设持续进步的数仓能力，也欢 迎大家多给我们提出建议。 数仓交互层引擎的应用现状 目前，互联网业务规模变得越来越大，不论是业务生产系统还是日志系统，基本上都是基于Hado op/Spark分布式大数据技术生态来构建数据仓库，然后对数据进行适当的分层、加工、管理。而 在数据应用交互层面，由于时效性的要求，数据最 、所见即 1 / 8 Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com 所得的应用场景，美团平台使用Kylin作为公司的主要MOLAP引擎。MOLAP是预计算生产，在增 量业务，预设维度分析场景下表现良好，但在变化维的场景下生产成本巨大。例如，如果使用最

clickhouse数仓应用实践 演讲人：朱元 日期： 2019-10-20 所遇问题 目录 CONTENTS 现状背景 应用实践 01 数据链路长 现状 即席查询性能差 数据压缩率低 需求响应慢 02 数据架构 数据同步ck 01 1，基于公司对数据要求为T+1 2. 基于现有开发人员水平及成本 因此采用可视化同步工具kettle. 先将oracle数据平台维

com/apache/shardingsphere OpenSEC: https://community.sphere-ex.com 文字 Apache ShardingSphere Overview Shadow DB 应用场景 Shadow DB 架构设计 全链路压测：流量规划，比如双 11，618 等 灰度发布：指定测试用户的体验版本发布 服务预热：预热数据隔离 对比测试：基于版本的对比测试 Shadow database-shadow 数据路由 cyborg-database-shadow sw8-correlation: cyborg-flow=true CyborgFlow POC1 文字 直接调用服务应用模拟生产环境调用 调用 cyborg-flow-gateway 网关模拟压测环境调用 CyborgFlow POC2 文字 真实流量的调用链路 压测流量的调用链路 CyborgFlow POC3

大模型时代下向量数据库的设计与应用 个人简介 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 开发和性能优化等实践经验。 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) 使用大模型可以构造问答，聊天等应用，但同时也存在以下问题 • 数据时效 - LLM训练数据有截止日期，不包含最新信息，无法准确回答相关信息 对向量数据建立索引，可以实现高效近似搜索 • 配套调用接口和生态工具 • 技术路线 • 从向量搜索及索引算法实现出发，为其搭配数据库功能 • 从数据存储方案(关系型数据库/非关系型数据库)出发，为其开发向量搜索及索引算法 PieCloudVector • 基于postgres打造的数据库内核 • 单机或分布式部署 • 支持完整的ACID • SQL进行向量搜索 • 支持向量标量混合查询