JVM 内存模型## JVM 内存模型 0 码力 | 1 页 | 48.42 KB | 2 年前3
Curve文件系统空间分配方案Curve文件系统空间分配方案(基于块的方案,已实现) - 背景 - 本地文件系统空间分配相关特性 - 局部性 - 延迟分配/Allocate-on-flush - Inline file/data - 空间分配 - 整体设计 - 空间分配流程 - 特殊情况 - 空间回收 - 小文件处理 - 并发问题 - 文件系统扩容 - 接口设计 接口设计 - RPC接口 - 空间分配器接口 ## 背景 根据CurveFS方案设计(总体设计,只实现了部分),文件系统基于当前的块进行实现,所以需要设计基于块的空间分配器,用于分配并存储文件数据。 ## 本地文件系统空间分配相关特性 局部性 尽量分配连续的磁盘空间,存储文件的数据。这一特性主要是针对HDD进行的优化,降低磁盘寻道时间。 延迟分配/Allocate-on-flush 在sync/flush之前,尽可能多的积累更多的文件数据块才进行空间分配,一方面可以提高局部性,另一方面可以降低磁盘碎片。 Inline file/data 几百字节的小文件不单独分配磁盘空间,直接把数据存放到文件的元数据中。 针对上述的本地文件系统特性,Curve文件系统分配需要着重考虑局部性。 虽然Curve是一个分布式文件系统,但是单个文件系统的容量可能会比较大,如果在空间分配时,不考虑局部性,inode中记录0 码力 | 11 页 | 159.17 KB | 1 年前3
高性能高可用机票实时搜索系统全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • 产品最丰富 • 预定最流畅 ### 去哪儿? Qunar 供应商规则量2亿+ • 运价规则1亿+ · 报价量 • 国内国际航线28万 * 航班数 * 产品个数 * 供应商个数 * 180天 = 1500亿 + • 搜索量 • 航线搜索+航班搜索:3k+qps • 每秒计算产品数:搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + ## 设计思路 · 最理想的方式 • 所有的报价都实时计算,填充好 • 一个巨大的哈希表 分级缓存 ## 搜索框架 App WWW Touch 分销 应用层 CacheManager PriceMerger Cache 聚合层 MQ MQ 报价引擎 旗舰店 供应商直连 抓取 报价源 航班数据 运价数据 基础数据 ## 搜索框架 · 报价数量多,内存问题 · 报价源多,不稳定 • 响应时间要求苛刻 遇到问题 • 搜索条件有热点 • 缓存报价不准0 码力 | 26 页 | 1.94 MB | 2 年前3
Linux命令大全搜索工具 v1.8#### Linux命令大全搜索工具 v1.8.0  当前仓库搜集了 570 多个 Linux 命令,内容包含 Linux 命令手册、详解、学习,内容来自网络和网友的补充,非常值得收藏的 Linux 命令速查手册. 技术报告李泽辰,Gitee 主编 李涛,APUS董事长兼CEO 2023年12月发布 设计:张琪 ## LLM 技术报告 大语言模型(LLM)技术作为人工智能领域的一项重要创新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统,专门设计来理解、生成和回应自然语言。这些模型通过分析大量的文本数据来学习语言的结构和用法,从而能够执行各种语言相关任务。以 GPT 系列为代表,LLM 以其在自 以其在自然语言处理领域的卓越表现,成为推动语言理解、生成和应用的引擎。 LLM 在多个领域都取得了令人瞩目的成就。在自然语言处理领域,GPT 系列模型在文本生成、问答系统和对话生成等任务中展现出色的性能。在知识图谱构建、智能助手开发等方面,LLM 技术也发挥了关键作用。此外,它还在代码生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发,将深入探讨 LLM 技术的背景、基础设施、应用现状,以及相关的工具和平台。 ## LLM Tech Map ## 大模型 ➢ 备案上线的中国大模型 知名大模型 知名大模型应用 LLMOps 大模型聚合平台 ## 工具和平台 ➢ 开发工具 插件、IDE、终端代码生成工具 ## AI 编程 ## 算力 ## 基础设施 向量数据库 数据库向量支持 ➢ 大模型框架、微调 (Fine Tuning) ➢ 大模型训练平台与工具 ## LLM Agent0 码力 | 32 页 | 13.09 MB | 2 年前3
RustBelt - Rust 的形式化语义模型RUST CHINA CONF 2023 第三届中国 Rust 开发者大会 王俊吉 6.17-6.18 @Shanghai ## Outline ## RustBelt - Rust 的形式化语义模型 Background Rust Semantics • RustBelt Project • Type System • Rust Types Overview • The own Predict0 码力 | 21 页 | 2.63 MB | 2 年前3
《Efficient Deep Learning Book》[EDL] Chapter 7 - Automation0 码力 | 33 页 | 2.48 MB | 2 年前3
古月《ROS入门21讲》9.创建工作空间与功能包.pdf### 9. 创建工作空间与功能包 主讲人:古月 ## • 工作空间 工作空间(workspace)是一个存放工程开发相关文件的文件夹。 src: 代码空间(Source Space) build: 编译空间(Build Space) • devel: 开发空间(Development Space) • install: 安装空间(Install Space) workspace_folder/ bash setup.bash setup.sh ... catkin编译系统下的工作空间结构 ## • 创建工作空间 $ mkdir -p ~/catkin_ws/src ## 创建工作空间 $ cd ~/catkin_ws/src $ catkin_init_workspace ## 编译工作空间 $ cd ~/catkin_ws/ $ catkin_make ## 设置环境变量 roscpp ## 编译功能包 $ cd ~/catkin_ws $ catkin_make $ source ~/catkin_ws/devel/setup.bash 同一个工作空间下,不允许存在同名功能包 不同工作空间下,允许存在同名功能包 ## • 创建功能包 、角色扮演、AI Agent 微信群。很期待见到你们! ## 文档 ### 1.1 安装 要快速上手 Qwen1.5,您可以从 Hugging Face 安装 transformers 库,并使用 Qwen1.5 Collection 中的模型。我们建议您安装最新版本的 transformers 库,或者至少安装 4.37.0 版本。 #### 1.1.1 Pip 安装 pip install transformers -U #### 我们建议您首先尝试使用 transformers 进行推理。请确保已安装了 transformers>=4.37.0 版本。以下是一个非常简单的代码片段示例,展示如何运行 Qwen1.5-Chat 模型,其中包含 Qwen1.5-7B-Chat 的实例: from transformers import AutoModelForCausalLM, AutoTokenizer device = "cuda"0 码力 | 56 页 | 835.78 KB | 2 年前3
领域驱动设计&中台/架构分层模型适配## 架构分层模型适配 有效防止架构腐化实践 吴雪峰@201811 DDCHINA ## CONTENTS 01 DDD分层参考架构 02 严纪律 防腐化 — 分层模型适配 03 分层模型适配实例 ## DDD分层参考架构 ## DDD分层参考架构 前端应用  给用户提供界面,关注用户交互和体验 为前端应用提供API服务,关注事务和分布式等技术性问题 领域模型和领域逻辑,关注业务概念。 访问外界系统(调用外界系统)的技术相关实现。 分层依据: 干系人和技术点 ## DDD分层参考架构 - 前端应用 前端应用 UX关注的层  ## 腐化案例: 亏空 大量技术术语业务人员完全看不懂领域模型和领域逻辑,关注业务概念。0 码力 | 39 页 | 2.54 MB | 2 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100













