### OpenShift Container Platform 4.14 ## 存储 在 OpenShift Container Platform 中配置和管理存储 Powered by TCPDF (www.tcpdf.org) 在 OpenShift Container Platform 中配置和管理存储 ## 法律通告 Copyright $ ^{©} $ 2023 Red Hat owners. ## 摘要 本文档提供了使用不同存储后端配置持久性卷以及通过 pod 管理动态分配存储的信息。 ## 目录 第1章 OPENSHIFT CONTAINER PLATFORM 存储概述 ..... 4 1.1. OPENSHIFT CONTAINER PLATFORM 存储的常见术语表 ..... 4 1.2. 存储类型 ..... 6 1.3. CONTAINER 1.4. 动态置备 ..... 6 第2章 了解临时存储 ..... 7 2.1. 概述 ..... 7 2.2. 临时存储的类型 ..... 7 2.3. 临时存储管理 ..... 7 2.4. 监控临时存储 ..... 8 第3章 了解持久性存储 ..... 10 3.1. 持久性存储概述 ..... 10 3.2. 卷和声明的生命周期 ....

### OpenShift Container Platform 4.8 ## 存储 在 OpenShift Container Platform 中配置和管理存储 Powered by TCPDF (www.tcpdf.org) 在 OpenShift Container Platform 中配置和管理存储 ## 法律通告 Copyright $ ^{©} $ 2023 Red Hat owners. ## 摘要 本文档提供了使用不同存储后端配置持久性卷以及通过 pod 管理动态分配存储的信息。 ## 目录 第1章 OPENSHIFT CONTAINER PLATFORM 存储概述 ..... 4 1.1. MODULES/OPENSHIFT-STORAGE-COMMON-TERMS.ADOC ..... 4 1.2. 存储类型 ..... 6 1.3. CONTAINER 1.4. 动态置备 ..... 6 第2章 了解临时存储 ..... 7 2.1. 概述 ..... 7 2.2. 临时存储的类型 ..... 7 2.3. 临时存储管理 ..... 7 2.4. 监控临时存储 ..... 7 第3章 了解持久性存储 ..... 9 3.1. 持久性存储概述 ..... 9 3.2. 卷和声明的生命周期 ..... 9

## JVM 内存模型 

## Curve 分布式存储设计 程义 — Curve Maintainer   Curve块存储 和 Curve文件存储  第四 Curve社区 ## Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求 ## Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 3. Curve文件存储 4. 高性能，易运维，云原生  ## Curve块存储 ## 研究现状 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for

高性能并发读写 • 千万数据点并发实时写入 - 引入辅助索引，加快数据检索速度 ## 低成本存储 - 列式存储结合高效的编码 • Delta、XOR 等适合时序场景的压缩算法 - 通过 Rollup 功能，对历史数据做聚合，减少数据量 ## 稳定可扩展 • 分布式架构 • 数据多副本存储 • 服务高可用 ## Thanks For You

raft在Curve存储中的工程实践 D I G I T A L S A I L 陈威 Curve Maintaner 网易资深服务端开发工程师 01 Curve介绍 项目背景 | Curve架构 | 使用场景 | Curve社区 raft和braft raft协议介绍 | braft介绍 raft在Curve中的应用 raft in Curve块存储 | raft curve文件存储 | 配置变更 Curve对raft的优化 优化点1 | 优化点2 05 Q&A 答疑 ## 项目背景 ## Curve是一个高性能、更稳定、易运维的云原生分布式存储系统，支持块存储和文件存储 Curve块存储和文件存储均采用raft协议 ## 2021 ~2022 Curve文件存储 ## 2018 ~2021 Curve块存储 • 基于Openstack构建云计算平台 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 ## 整体架构 

## 大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 ## 简介 ## • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 ## 概要 - 存在问题 - 分析问题 - 解决问题 - Pika vs redis More ## Pika 定位 Pika 的出现并不是为了替代 Redis，而是 Redis 的场景补充。 Pika 力求在完全兼容 Redis 协议、继承 Redis 便捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 ## Redis 问题 - 恢复时间长 - 一主多从, 主从切换代价大 - 缓冲区写满问题 - 成本问题 ## Redis 问题 ## • .jpg) ## 30 倍的差距 ## 问题分析 • 成本问题 • 可用性问题 • 同步问题 • 易用性问题 ## 问题分析 • 尽可能兼容redis 协议 - 使用基于磁盘的存储引擎rocksb实现多数据接口接口 • 网络库 • 添加binlog 模块 ## Pika 整体结构 ![Image](/uploads/documents/f/f/b/f/ffbf272c2

# Ozone : Hadoop 原生分布式对象存储 Hadoop 社区推出了新一代分布式Key-value对象存储系统 Ozone，同时提供对象和文件访问的接口，从构架上解决了长久以来困扰HDFS的小文件问题。本文作为Ozone系列文章的第一篇，抛个砖，介绍Ozone的产生背景，主要架构和功能。 S3 protocol  Hadoop FS CSI 如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop ## 背景 HDFS是业界默认的大数据存储系统，在业界的大数据集群中有非常广泛的使用。HDFS集群有着很高的稳定性，得益于它较简单的构架，集群也很容易扩展。业界包含几千个数据节点，保存上百PB数据的集群也不鲜见。 HDFS通过把文件系统元 DFS的元数据访问性能会受到影响。虽然可以通过各种Federation技术来扩展集群的节点规模，但单个HDFS集群仍然没法很好地解决小文件的限制。 基于这些背景，Hadoop 社区推出了新的分布式存储系统 Ozone，从构架上解决这个问题。 ## Ozone的设计原则 Ozone 由一群对大规模Hadoop集群有着丰富运维和管理经验的工程师和构架师设计和实现。他们对大数据有深刻的洞察力，清楚

## 分布式KV存储Cellar演进之路 ## 美团点评·基础架构 齐泽斌 ## 促进软件开发领域知识与创新的传播  关注InfoQ官方信息 及时获取QCon软件开发者大会演讲视频信息 ![Image](/uploads/doc 咨询热线：010-64738142 ## 个人简介 美团点评基础架构部，存储研发团队负责人 • Cellar：分布式KV存储服务 • Databus：数据库变更实时传输服务 • Venus：图片服务 ## 11 年毕业于天津大学 11 年到 14 年任职于百度，负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 ## 目录 - Cellar起源 - 中心节点架构演进 窖藏酒一样，越存越香。 ## Cellar起源 • 14年初 美团引入阿里Tair作为NoSQL存储 • 14年底 大范围应用，并对Tair修修补补，积累领域问题 • 16年初 基于开源版本研发新一代KV存储系统Cellar • Now Cellar日请求量达万亿级，美团点评最大NoSQL存储 ## Cellar起源—Tair架构 ![Image](/uploads/documents/

李泽辰，Gitee 主编 李涛，APUS董事长兼CEO 2023年12月发布 设计：张琪 ## LLM 技术报告 大语言模型（LLM）技术作为人工智能领域的一项重要创新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门设计来理解、生成和回应自然语言。这些模型通过分析大量的文本数据来学习语言的结构和用法，从而能够执行各种语言相关任务。以 GPT 系列为代表，LLM 以其在自 以其在自然语言处理领域的卓越表现，成为推动语言理解、生成和应用的引擎。 LLM 在多个领域都取得了令人瞩目的成就。在自然语言处理领域，GPT 系列模型在文本生成、问答系统和对话生成等任务中展现出色的性能。在知识图谱构建、智能助手开发等方面，LLM 技术也发挥了关键作用。此外，它还在代码生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、基础设施、应用现状，以及相关的工具和平台。 ## LLM Tech Map ## 大模型 ➢ 备案上线的中国大模型 知名大模型 知名大模型应用 LLMOps 大模型聚合平台 ## 工具和平台 ➢ 开发工具 插件、IDE、终端代码生成工具 ## AI 编程 ## 算力 ## 基础设施 向量数据库 数据库向量支持 ➢ 大模型框架、微调 (Fine Tuning) ➢ 大模型训练平台与工具 ## LLM Agent