高性能 Kubernetes 元数据存储 KubeBrain 的设计思路和落地效果-许辰存储层 - 数据格式 etcd KubeBrain 能否使用类似的格式? 1. 否 2. 底层存储引擎全局有序,有写热点那问题 Etcd 以 Revision 为 Key 内存 Btree 索引维护 key 和 revision 的映射关系 存储层 - 数据格式 KubeBrain 逻辑层 逻辑层 – 写 逻辑层 – Watch(1) Watch 机制本质上是一个消息队列系统 1 单点写 -> 多点写 multi raft range 分片,增大写并发 Brain 层无磁盘 io,只有网络 io 写优化 - 3 事务优化 精心设计 key 格式 一个 k8s 对象的索引和数据在同一分区内 跨分区分布式事务 -> 分区内单机事务 读优化 - 1 Range 读 Unary -> Stream 代替分页,降低延迟 内存高效复用,避免 OOM 读优化 - 20 码力 | 60 页 | 8.02 MB | 1 年前3
石墨文档Go在K8S上微服务的实践-彭友顺https://ego.gocn.vip/f rame/core/logger.html 报警 索引收敛 日志分类 • 框架日志 • 业务日志 • 慢日志 • Error日志 • Panic日志 mysql的方法叫sql,redis方法叫cmd,框架这里全部统一 用method。降低索引个数 微服务的治理阶段 监控 日志 链路 限流熔断 https://ego.gocn.vip/f0 码力 | 41 页 | 3.20 MB | 1 年前3
Kubernetes开源书 - 周立对于给定的对象,Key必须唯⼀。 "labels" : { "key1" : "value1" , "key2" : "value2" } 我们最终会对Label进⾏索引和反向索引,以便于⾼效的查询、watch、排序、分组等操作。不要使⽤⾮标识的、⼤型的 结构化数据污染Label。对于⾮标识的信息应使⽤⾮标识,特别是⼤型和/或结构化数据来污染Label。 ⾮识别信息应使 StatefulSet Pod有唯⼀的身份,包括序数(ordinal)、稳定的⽹络标识和稳定的存储。 身份会绑定到Pod(具有粘 性),不管Pod被调度到哪个Node上。 Ordinal Index(有序的索引) 对于⼀个有N个副本的StatefulSet,StatefulSet中的每个Pod将被分配⼀个整数序号,范围[0,N),并且唯⼀。 Stable Network ID(稳定的⽹络ID) St0 码力 | 135 页 | 21.02 MB | 1 年前3
逐灵&木苏-阿里巴巴 K8S 超大规模实践经验Index APIServer Client List / Get ETCD rv=nil Page read Filter by condition• APIServer 缓存一致性读 • 索引支持动态新增 • Cache Ready Cache Read & Index APIServer Client list/get @t0 ETCD rv=nil 1. Get rv@t00 码力 | 33 页 | 8.67 MB | 6 月前3
DaoCloud Enterprise 5.0
产品介绍针对实际应用场景,精选了一些经典的数据服务中间件,通过前后端 开发,能够满足各类应用场景的开发和维护。 用户可以按需安装/启用以下数据服务中间件,即插即用: ➢ Elasticsearch 搜索服务:目前首选的全文搜索引擎 ➢ Kafka 消息队列:常用于消息传输的数据管道 ➢ MinIO 对象存储:非常热门的轻量对象存储方案 ➢ MySQL 数据库:简单易用、性能更高的开源关系型数据库 ➢0 码力 | 18 页 | 1.32 MB | 1 年前3
第29 期| 2023 年9 月- 技术雷达的开源向量相似性搜索插件。我们非常喜欢它,因为它能够让我们在 PostgreSQL 中搜索 embeddings,而无需仅为了相似性搜索而将数据转移到另一个存储中。尽管目前已有几个 专门的向量搜索引擎,但我们还是希望你能评估一下 pgvector。 平台 © Thoughtworks, Inc. All Rights Reserved. 24 40. Pinecone 评估 Pinecone0 码力 | 43 页 | 2.76 MB | 1 年前3
k8s操作手册 2.3Server三个组件 ①Retrieval: 数据采集,获取被监控对象的相关数据 ②TSDB: 时间序列数据库(Time Series Database)用来处理时间序列数据的数 据库,并且数据中的数组是由时间进行索引的。具备以下特点: 大多数数据都是按时间顺序写入,很少涉及修改数据 删除操作都是删除一段时间的数据,而不涉及到删除无规律数据 读操作一般都是升序或者降序0 码力 | 126 页 | 4.33 MB | 1 年前3
共 7 条
- 1













