大模型时代下向量数据库的设计与应用Faiss OpenMP线程改造 • LLVM解析源码,找到所有 OpenMP指令语句 • 转换为调用自定义线程池和 lambda表达式 • 共享变量替换及并发保护 PieCloudVector • Faiss OpenMP线程改造 • 控制全局线程数 • 降低线程锁冲突 • 降低内存使用 PieCloudVector • Faiss OpenMP线程改造 • 避免无效线程 PieCloudVector PieCloudVector • Faiss OpenMP线程改造 • QPS大幅提升 PieCloudVector • Faiss OpenMP线程改造 • 内存占用大幅降低 PieCloudVector • Faiss与postgres内核对接 - gpu搜索的特殊路径 • 避免并发调用gpu • 查询请求按批单线程提交 PieCloudVector • 兼容国产硬件和操作系统0 码力 | 28 页 | 1.69 MB | 1 年前3
Apache ShardingSphere 中文文档 5.2.0. 367 新上线业务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368 7.7.3 中间件加密服务优势 . . . ere 提供跨数据源 的复杂数据查询分析能力,简化并提升数据使用体验。 数 据 加密 数据加密,是保证数据安全的基本手段。ShardingSphere 提供一套完整的、透明化、安全的、 低改造成本的数据加密解决方案。 影 子 库 在全链路压测场景下,ShardingSphere 通过影子库功能支持在复杂压测场景下数据隔离,压 测获得测试结果可准确反应系统真实容量和性能水平。 1 代理端支持任何通过 MySQL/PostgreSQL 协议的应用访问,驱动程序端可对接任意实现 JDBC 规范的数 据库。 • 业务零侵入 面对数据库替换场景,ShardingSphere 可满足业务无需改造,实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下,对 DBA 学习、管理成本低,交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力,兼顾安全性及稳定性。 • 弹性扩展0 码力 | 449 页 | 5.85 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0-alpha的强一致性事务和基于 BASE 的最终一致性事务都不是银弹,只有在最适合的场景中才能发 挥它们的最大长处。可通过下表详细对比它们之间的区别,以帮助开发者进行技术选型。 本地事务 两(三)阶段事务 柔性事务 业务改造 无 无 实现相关接口 一致性 不支持 支持 最终一致 隔离性 不支持 支持 业务方保证 并发性能 无影响 严重衰退 略微衰退 适合场景 业务方处理不一致 短事务 & 低并发 长事务 & 高并发 决策阶段,就不得不在强一致的事务和柔性事务之间抉择,使得设计和开发成本被大幅增加。 基于 XA 的强一致事务使用相对简单,但是无法很好的应对互联网的高并发或复杂系统的长事务场景;柔 性事务则需要开发者对应用进行改造,接入成本非常高,并且需要开发者自行实现资源锁定和反向补偿。 3.2.3 目标 整合现有的成熟事务方案,为本地事务、两阶段事务和柔性事务提供统一的分布式事务接口,并弥补当 前方案的不足,提供一站式的分布式事务解决方案是 上线的业务,在不修改业务逻辑和 SQL 的情况下,透明化、安全低风险地实现无缝进行加密改造也相对 复杂。 3.6. 数据加密 75 Apache ShardingSphere document, v5.0.0-beta 3.6.3 目标 根据业界对加密的需求及业务改造痛点,提供了一套完整、安全、透明化、低改造成本的数据加密整合 解决方案,是 Apache ShardingSphere 数据加密模块的主要设计目标。0 码力 | 301 页 | 3.44 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.1. 261 新上线业务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262 7.5.3 中间件加密服务优势 . . . 的强一致性事务和基于 BASE 的最终一致性事务都不是银弹,只有在最适合的场景中才能发挥 它们的最大长处。可通过下表详细对比它们之间的区别,以帮助开发者进行技术选型。 本地事务 两(三)阶段事务 柔性事务 业务改造 无 无 实现相关接口 一致性 不支持 支持 最终一致 隔离性 不支持 支持 业务方保证 并发性能 无影响 严重衰退 略微衰退 适合场景 业务方处理不一致 短事务 & 低并发 长事务 & 高并发 决策阶段,就不得不在强一致的事务和柔性事务之间抉择,使得设计和开发成本被大幅增加。 基于 XA 的强一致事务使用相对简单,但是无法很好的应对互联网的高并发或复杂系统的长事务场景;柔 性事务则需要开发者对应用进行改造,接入成本非常高,并且需要开发者自行实现资源锁定和反向补偿。 4.4.3 目标 整合现有的成熟事务方案,为本地事务、两阶段事务和柔性事务提供统一的分布式事务接口,并弥补当 前方案的不足,提供一站式的分布式事务解决方案是0 码力 | 409 页 | 4.47 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.0. 256 新上线业务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257 7.5.3 中间件加密服务优势 . . . 的强一致性事务和基于 BASE 的最终一致性事务都不是银弹,只有在最适合的场景中才能发挥 它们的最大长处。可通过下表详细对比它们之间的区别,以帮助开发者进行技术选型。 本地事务 两(三)阶段事务 柔性事务 业务改造 无 无 实现相关接口 一致性 不支持 支持 最终一致 隔离性 不支持 支持 业务方保证 并发性能 无影响 严重衰退 略微衰退 适合场景 业务方处理不一致 短事务 & 低并发 长事务 & 高并发 决策阶段,就不得不在强一致的事务和柔性事务之间抉择,使得设计和开发成本被大幅增加。 基于 XA 的强一致事务使用相对简单,但是无法很好的应对互联网的高并发或复杂系统的长事务场景;柔 性事务则需要开发者对应用进行改造,接入成本非常高,并且需要开发者自行实现资源锁定和反向补偿。 4.4.3 目标 整合现有的成熟事务方案,为本地事务、两阶段事务和柔性事务提供统一的分布式事务接口,并弥补当 前方案的不足,提供一站式的分布式事务解决方案是0 码力 | 406 页 | 4.40 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0. 259 新上线业务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260 7.4.3 中间件加密服务优势 . . . 的强一致性事务和基于 BASE 的最终一致性事务都不是银弹,只有在最适合的场景中才能发挥 它们的最大长处。可通过下表详细对比它们之间的区别,以帮助开发者进行技术选型。 本地事务 两(三)阶段事务 柔性事务 业务改造 无 无 实现相关接口 一致性 不支持 支持 最终一致 隔离性 不支持 支持 业务方保证 并发性能 无影响 严重衰退 略微衰退 适合场景 业务方处理不一致 短事务 & 低并发 长事务 & 高并发 决策阶段,就不得不在强一致的事务和柔性事务之间抉择,使得设计和开发成本被大幅增加。 基于 XA 的强一致事务使用相对简单,但是无法很好的应对互联网的高并发或复杂系统的长事务场景;柔 性事务则需要开发者对应用进行改造,接入成本非常高,并且需要开发者自行实现资源锁定和反向补偿。 4.3. 分布式事务 38 Apache ShardingSphere document, v5.0.0 4.3.3 目标 整合0 码力 | 385 页 | 4.26 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.2. 272 新上线业务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273 7.5.3 中间件加密服务优势 . . . 的强一致性事务和基于 BASE 的最终一致性事务都不是银弹,只有在最适合的场景中才能发挥 它们的最大长处。可通过下表详细对比它们之间的区别,以帮助开发者进行技术选型。 本地事务 两(三)阶段事务 柔性事务 业务改造 无 无 实现相关接口 一致性 不支持 支持 最终一致 隔离性 不支持 支持 业务方保证 并发性能 无影响 严重衰退 略微衰退 适合场景 业务方处理不一致 短事务 & 低并发 长事务 & 高并发 决策阶段,就不得不在强一致的事务和柔性事务之间抉择,使得设计和开发成本被大幅增加。 基于 XA 的强一致事务使用相对简单,但是无法很好的应对互联网的高并发或复杂系统的长事务场景;柔 性事务则需要开发者对应用进行改造,接入成本非常高,并且需要开发者自行实现资源锁定和反向补偿。 4.4.3 目标 整合现有的成熟事务方案,为本地事务、两阶段事务和柔性事务提供统一的分布式事务接口,并弥补当 前方案的不足,提供一站式的分布式事务解决方案是0 码力 | 446 页 | 4.67 MB | 1 年前3
Apache ShardingSphere v5.5.0 中文文档协议的应用访问,驱动程序端可对接任意实现 JDBC 规范的数 据库。 1 Apache ShardingSphere document • 业务零侵入 面对数据库替换场景,ShardingSphere 可满足业务无需改造,实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下,对 DBA 学习、管理成本低,交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力,兼顾安全性及稳定性。 • 弹性扩展 决策阶段,就不得不在强一致的事务和柔性事务之间抉择,使得设计和开发成本被大幅增加。 基于 XA 的强一致事务使用相对简单,但是无法很好的应对互联网的高并发或复杂系统的长事务场景;柔 性事务则需要开发者对应用进行改造,接入成本非常高,并且需要开发者自行实现资源锁定和反向补偿。 8.2. 分布式事务 30 Apache ShardingSphere document 8.2.3 目标 整合现有的成熟事务方 作为柔性事务的使用方案。可通过下表详细对 比它们之间的区别,以帮助开发者进行技术选型。 8.2. 分布式事务 32 Apache ShardingSphere document LOCAL XA BASE 业务改造 无 无 需要 Seata Server 一致性 不支持 支持 最终一致 隔离性 不支持 支持 业务方保证 并发性能 无影响 严重衰退 略微衰退 适合场景 业务方处理不一致 短事务 & 低并发0 码力 | 557 页 | 4.61 MB | 1 年前3
Greenplum介绍访问Greenplum数据库,也可以使用psql工具或 pgadminII来管理Greenplum。 Greenplum架构: Master介绍 Greenplum的Master数据库也是一个被改造过的 PostgreSQL数据库,它包含了整个分布 式数据库中的 所有元数据,如表结构定义、索引等等。但其并不存储 实际的数据,实际的数据是存储在segment 数据库 的。 master服务器接受从用户发来的连接,并做用户验证, 布 执行计划分发到segment上执行,接收segment返回的 数据,最后返回给用户。 Greenplum架构: Segment介绍 Segment是数据的实际存储的地方,也是一个经过改造 过的PostgreSQL数据库。它做实际的数据处理工作。 Greenplum建议在Segment host上建多个Segment数 据库,数量等于实际的CPU的core数。 Greenplum架构:0 码力 | 38 页 | 655.38 KB | 1 年前3
Apache ShardingSphere 中文文档 5.4.1协议的应用访问,驱动程序端可对接任意实现 JDBC 规范的数 据库。 1 Apache ShardingSphere document • 业务零侵入 面对数据库替换场景,ShardingSphere 可满足业务无需改造,实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下,对 DBA 学习、管理成本低,交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力,兼顾安全性及稳定性。 • 弹性扩展 决策阶段,就不得不在强一致的事务和柔性事务之间抉择,使得设计和开发成本被大幅增加。 基于 XA 的强一致事务使用相对简单,但是无法很好的应对互联网的高并发或复杂系统的长事务场景;柔 性事务则需要开发者对应用进行改造,接入成本非常高,并且需要开发者自行实现资源锁定和反向补偿。 8.2. 分布式事务 30 Apache ShardingSphere document 8.2.3 目标 整合现有的成熟事务方 作为柔性事务的使用方案。可通过下表详细对 比它们之间的区别,以帮助开发者进行技术选型。 8.2. 分布式事务 32 Apache ShardingSphere document LOCAL XA BASE 业务改造 无 无 需要 seata server 一致性 不支持 支持 最终一致 隔离性 不支持 支持 业务方保证 并发性能 无影响 严重衰退 略微衰退 适合场景 业务方处理不一致 短事务 & 低并发0 码力 | 530 页 | 4.49 MB | 1 年前3
共 34 条
- 1
- 2
- 3
- 4













