TGT服务器的优化TGT 服务器的优化块设备协议 • NBD • Linux专有块设备协议 • iSCSI • 广泛支持的外部设备协议(块,磁带等)Curve云原生存储支持块设备 • 通过NBD,只支持Linux • 通过SDK API,目前只支持Linux • PFS • 扩大使用范围 • 通过iSCSI支持更多系统,例如Windows, 类UNIX系统等,使用两项基础 技术 • TCP/IP • 一般用于输出内核本地块设备 • TCMU • 作为LILO支持用户态的接口 • 如何评价LILO • 输出内核块设备I/O效率高 • 不利于把复杂的存储协议代码搬进内核,例如(curve, brpc, c++, protobuf 等) • TCMU多了一层转接,配置过程复杂,业界踩的坑不够多。 • TCMU的用户态代码会受到框架约束,不够灵活。iSCSI target 服务器 • • TGT(STGT) • 比较久的历史,原来叫STGT,后来改成TGT • 纯用户态,不与内核绑定 • 支持复杂的存储系统,例如ceph rbd, sheepdog, glfs • 纯C代码,外加一些脚本 • 完整的源代码和维护工具、手册 • 编写IO驱动比较容易,容易扩展支持新的存储系统 • 代码独立,容易编译、调试、修改,适应性强让TGT支持curve • 编写curve驱动,底层异步提交I/O,pipeline0 码力 | 15 页 | 637.11 KB | 6 月前3
CurveFs 用户权限系统调研© XXX Page 1 of 33 CurveFs 用户权限系统调研(已实现)© XXX Page 2 of 33 一、Curvefs测试 1. 启动curvefs 问题1:root用户无法访问挂载目录 测试 allow_root 测试allow_other 参考文献 问题2:本地文件系统挂载默认是共享的? 问题3:文件系统访问控制是在哪一层实现的? 二、文件系统权限管理 文件类型 文件类型 文件权限 特殊权限(SUID, SGID, STICKY) 文件默认权限umask 用户&用户组 文件系统用户权限管理 对mode的管理 对ACL(Access Control Lists)的管理 ACL Access Entry保存在哪? ACL的表示 内存中的ACL 是如何与具体的 Inode 相关联 如何存储和获取ACL信息 Inode权限校验 chmod、chown、setfacl -o user=test -o conf=./curvefs/conf/curvefs_client.conf /tmp/fsmount 问题1:root用户无法访问挂载目录 测试发现client mount进程是哪个用户启动的就只有该用户(filesystem owner)可以访问该目录,即使挂载点mode是777。 # filesystem owner wanghai01@pubbeta1-nostest2:/tmp$0 码力 | 33 页 | 732.13 KB | 6 月前3
腾讯云 Kubernetes 高性能网络技术揭秘——使用 eBPF 增强 IPVS 优化 K8s 网络性能-范建明TKE使用eBPF优化 k8s service Jianmingfan 腾讯云 目录 01 Service的现状及问题 优化的方法 02 和业界方法的比较 性能测试 03 04 解决的BUG 未来的工作 05 06 01 Service的现状及问题 什么是k8s Service • 应用通过固定的VIP访问一组pod,应用对Pod ip变化 无感知 • 本质是一个负载均衡器 经历了二十多年的运行,比较稳定成熟 • 支持多种调度算法 优势 IPVS mode 不足之处 • 没有绕过conntrack,由此带来了性能开销 • 在k8s的实际使用中还有一些Bug 02 优化的方法 指导思路 • 用尽量少的cpu指令处理每一个报文 • 不能独占cpu • 兼顾产品的稳定性,功能足够丰富 弯路 • 为什么DPDK不行? • 独占cpu,不适合分布式的lb map • 由于eBPF中没有timer机制 IPVS 如何做SNAT? 优化方法评价 • 优势 • 大大缩短了数据通路,完全绕过了conntrack/iptables • 不足 • 对内核模块做了一定的修改,部署更困难 03 和业界方法比较 V.S. 纯粹的eBPF service 和其他的优化方法对比 V.S. Taobao IPVS SNAT patch • 复用了IPVS0 码力 | 27 页 | 1.19 MB | 9 月前3
清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单高吞吐量,适合实时应用。 轻量化设计:模型结构优化, 资源占用少,适合边缘设备 和移动端。 多任务支持:支持多种任务, 如文本生成、分类和问答。 Kimi k1.5 垂直领域优化:针对特定领域 (如医疗、法律)进行优化, 提供高精度结果。 长文本处理:擅长处理长文本 和复杂文档,适合专业场景。 定制化能力:支持用户自定义 训练和微调,适应特定需求。 Open Open AI o3 mini 小型化设计:轻量级模型, 适合资源有限的环境。 快速响应:优化推理速度, 适合实时交互场景。 通用性强:适用于多种自 然语言处理任务,如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码,提取特定网页内容; 2、撰写python脚本; 3、提取并合并网址; 4、提取网址内容; 5、写入文件。 任务 你需要完成以下两个任务: 1. 数据呈现的“画龙点睛” Open AI o3mini 直接调用 DALLE 生成图表,Kimi k1.5 提 供 Python 代码支持,Claude 3.5 Sonnet 负责图表逻辑优化 数据采集 数据预处理 数据分析 可视化呈现 新思路:DeepSeek R1的数据应用 中 文 数 据 处 理 优 势 创 意 写 作 生 成 能 力 数 据 读 取 分 析 能 力 低0 码力 | 85 页 | 8.31 MB | 8 月前3
Nacos架构&原理
许进 7 > 推荐序 推荐序 阿里巴巴合伙人 - 蒋江伟(小邪) 随着企业加速数字化升级,越来越多的系统架构采用了分布式的架构,主要目的是为了解决集中化 和互联网化所带来的架构扩展性和面对海量用户请求的技术挑战。这里面其中有⼀个关键点是软负 载。因为整个分布式架构需要有⼀个软负载来协作各个节点之间的服务在线离线状态、数据⼀致性、 以及动态配置数据的推送。这里面最简单的需求就是将⼀个配置准时的推送到不同的节点。即便如 Nacos 诞生的历史背景以及其在阿里集团内部孕育的过 程,阐述了打造⼀款实用、易用系统的全过程。另外,本书也从设计、架构方面详细介绍了 Nacos 的实现,分享了 Nacos 在业内的最佳实践和用户案例。相信对分布式系统和其实现有兴趣的 技术爱好者,这本书有巨大的参考价值。 Apache RocketMQ 作者 & 创始人 & PMC Chair - 王小瑞(誓嘉) 服务发现,配置中心这两个领域在淘宝 ⼀个软件,经常有业务方跳出来说你看 Eureka 多好,你们哪里哪里不行,如果我们不开源去打⼀ 打,怎么更好的证明我们更好,还有⼀个点是当时我们有商业化产品的,虽然我们知道我们更好, 但是奈何用户选择的是 Eureka,我们只能兼容,而且我们不出去,不成为默认标准,不知道未来还 要被迫兼容更多不如我们的产品,这对我们来说是⼀个灾难。因此我们决定开源。 迎面而来的是第二个问题,开源的定位和竞争力是什么?0 码力 | 326 页 | 12.83 MB | 9 月前3
普通人学AI指南音频:如视频游戏中的配音、音乐 • 文本:如代码、广告文案、小说 • 3D 模型:如角色、场景 目前,AIGC 技术处于早期阶段,最常见的产品形态是基于文本的,通过用 户输入来控制内容的生成。用户输入文本描述所需的内容,然后模型输出与描 述相符的内容。下图 1描述了 AI 大模型,AIGC 和 AGI 关系。 Figure 1: AI 大模型,AIGC 和 AGI 关系 4 1.2 AGI Cursor 开源的 AI 代码编辑器,旨在通过 AI 技术助力快速软件开发。 2.4.7 Tabby 自托管的 AI 编程助手,开源,支持开发人员优化编码过程。 2.4.8 Codeium 开源的 AI 编程工具,用于自动化代码生成和优化。 2.4.9 GitHub Copilot 由 GitHub 推出的开源 AI 编程助手,能够根据代码库提供编程建议和代码片 段。 10 2.4 提供的提示词手册,旨在帮助用户更有效地使用该 模型。 2.5.4 PromptHero 一个集成了 ChatGPT、MJ、SD 等多个 AI 模型提示词的平台,提供可视化 AI 提示语的工具。 2.5.5 可视化 AI 提示语 Figure 9: 可视化提示词 网址:https://tools.saxifrage.xyz/prompt,一个可视化工具,帮助用户为多 种 AI 模型生成和优化提示语。 20 码力 | 42 页 | 8.39 MB | 8 月前3
TiDB v8.4 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 95 3.3.7 创建、授权和删除用户 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 368 4.8.4 优化向量搜索性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 458 4.10 优化 SQL 性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·0 码力 | 5072 页 | 104.05 MB | 10 月前3
TiDB v8.5 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 99 3.3.7 创建、授权和删除用户 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 372 4.8.4 优化向量搜索性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 462 4.10 优化 SQL 性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·0 码力 | 5095 页 | 104.54 MB | 10 月前3
TiDB v8.2 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 79 3.3.7 创建、授权和删除用户 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 391 4 4.9 优化 SQL 性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 403 4.9.5 其他优化 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·0 码力 | 4987 页 | 102.91 MB | 10 月前3
2024 中国开源开发者报告2017 年 2018 年 2019 年 2020 年 2021 年 2022 年 2023 年 2024 年 2014-2024 Gitee 用户数增长曲线 1350 万 2024年Gitee总用户数 150 万 2024年Gitee新增用户数 5 / 111 开发者是社区的力量源泉 140,000 1,000,000 3,000,000 5,000,000 15,000 型 LLM 开发技术栈作为切入点,将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent,以及检索增强生成(RAG)等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态,我们使用了 对开源社区的生态评 估体系,希望通过这些数据洞察中国开源开发者在 正转向在个人设备上运行。这一趋势不仅显著 降低了云端推理成本,还提升了用户隐私控制。 中国 AI 社区在这一领域也做了重要贡献,推出了如 Qwen2-1.5B、MiniCPM 系列和 DeepSeek Janus 等多款移动友好型模型。其中,最新发布的 GLM Edge 1.5B 模型通过与 高通 GenAI 扩展的联合优化,在搭载骁龙 8 Gen 4 处理器的手机上实现了每秒 65 个 tokens0 码力 | 111 页 | 11.44 MB | 8 月前3
共 151 条
- 1
- 2
- 3
- 4
- 5
- 6
- 16













