## 大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 ## 简介 ## • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 ## 概要 - 存在问题 - 分析问题 - 解决问题 - Pika vs redis redis ## I ntroduction - Pika 是DBA 和 基础架构团队一起设计开发的大容量redis的解决方案 - 完全兼容redis 协议, 用户不需要修改任何代码进行迁移 ## Pika User • Redis实例数量：6000+个 • 日访问量：5000+亿 • Pika数据数量：1000+个 • 日访问量：1000+亿 • 覆盖率：80%以上业务线 • 单份数据体积：6 便捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 ## Redis 问题 - 恢复时间长 - 一主多从, 主从切换代价大 - 缓冲区写满问题 - 成本问题 ## Redis 问题 ## • 恢复时间长 – 50G redis 回复时间70分钟 – 同时开启aof 和 rdb ## Redis 问题 ## • 一主多从, 主从切换代价大 ## – 主库挂掉后升级从库, 所有的从库全部重传数据

## 全民双十一 基于容器服务的大促备战  李斌 阿里云容器服务  ## 我是谁

诺墨，Gitee开源社区产品负责人 张力文，Gitee 公有云研发负责人 李泽辰，Gitee 主编 李涛，APUS董事长兼CEO 2023年12月发布 设计：张琪 ## LLM 技术报告 大语言模型（LLM）技术作为人工智能领域的一项重要创新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门设计来理解、生成和回应自然语言。这些模型通过分析大量的文本数据来学 ## LLM Tech Map ## 大模型 ➢ 备案上线的中国大模型 知名大模型 知名大模型应用 LLMOps 大模型聚合平台 ## 工具和平台 ➢ 开发工具 插件、IDE、终端代码生成工具 ## AI 编程 ## 算力 ## 基础设施 向量数据库 数据库向量支持 ➢ 大模型框架、微调 (Fine Tuning) ➢ 大模型训练平台与工具 ## LLM Agent Agent ## 编程语言 ## LLM Tech Map 大模型技术图谱  ## 基础设施 AquilaDB Annoy marqo MongoDB Faiss Weaviate Qdrant ScanN ROCKSET

实现，不依赖任何外部库，并且针对 x86 架构提供了 AVX、AVX2 和 AVX512 加速支持。此外，它还提供了 2、3、4、5、6 以及 8 位量化功能，以加快推理速度并减少内存占用。对于大于总 VRAM 容量的大规模模型，该库还支持 CPU+GPU 混合推理模式进行部分加速。本质上，llama.cpp 的用途在于运行 GGUF（由 GPT 生成的统一格式）模型。欲了解更多详情，请参阅官方 GitHub 仓库。以下我们将演示如何使用 chat_response) #### 1.10.4 多卡分布式部署 要提高模型的处理吞吐量，分布式服务可以通过利用更多的 GPU 设备来帮助您。特别是对于像 Qwen1.5-72B-Chat 这样的大模型，单个 GPU 无法支撑其在线服务。在这里，我们通过演示如何仅通过传入参数 tensor_parallel_size，来使用张量并行来运行 Qwen1.5-72B-Chat 模型： from vllm

/e/4/f/6/e4f61af16f650f1e38c1d341f3e7a639/p1_2.jpg) ## 基于Azure的Python机器学习 平安金融壹账通大数据研究院 微软MVP 王大伟 ## 目录 >> Azure与Python >> 如何用Azure完成机器学习 >> Azure与自动机器学习 >>

## 兼容龙蜥的云原生大模型数据计算系统 ## --πDataCS简介 ## 吴疆 拓数派产品市场总监  ## 吴疆 拓数派(Openpie)产品市场总监 深耕云计算和数据库行业十余年 毕业于清华大学计算机系，先后在IBM，EM 拓数派旗下大模型数据计算系统（PieDataComputing System，缩写πDataCS），以云原生技术重构数据存储和计算，一份存储，多引擎数据计算，全面升级大数据系统至大模型时代，使得自主可控的大模型数据计算系统保持全球领先，成为AI的基础科技底座的同时，开启AI技术的新范式。πDataCS旨在助力企业优化计算瓶颈、充分利用和发挥数据规模优势，构建核心技术壁垒，让大模型技术全面赋能 PieCloudDB云原生虚拟数仓 拓数派基于阿里云构建公共云数据仓库服务 正式上线 4月 冯雷被评为杭州市所有的独角兽和准独角兽企业 中唯一“年度创业人物” 打造大模型时代 立身中国的世界级团队 7月 拓数派数据计算引擎PieCloudDB虚拟数仓再获信创认可 首家以虚拟数仓通过信通院/可信AP数据库评测 拓数派再次携WAIC创建智能驾驶科技分会

## 大模型时代下向量数据库的设计与应用 msup $ ^{®} $ | ARCHNOTES 架構 ## 个人简介  邱培峰 拓数派向量数据库负责人 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型与大数 nplum团队，担任外部数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发，并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心开发和性能优化等实践经验。 ## 拓数派：大模型数据计算系统先行者 - 拓数派（OpenPie）是立足于国内的基础数据计算领域高科技创新机构； 拥有强大的数据库内核研发团队、数据科学团队和数字化转型团队； - 国内虚拟数仓和eMPP技术提 推，预计算，Block Skipping等高级特性，全面满足各种复杂的分析查询需求 $ ^{[11]} $ 。 ## 目录 - 大模型应用和RAG - 向量近似搜索和向量数据库 - PieCloudVector架构设计与挑战 - 案例介绍 音频 ## 大模型 图像 文本 训练 ![Image](/uploads/documents/7/9/1/2/7912e0d0aa09f

经过这么多年大流量服务端架构设计的沉淀，go-zero 在保护服务的稳定性上下足了功夫，不管是 CPU 密集型还是 IO 密集型服务，go-zero 都能很好的保护服务在如下场景不被拖垮或卡死： 远超服务容量的突发大流量 CPU 打满 • 上下游故障或者超时 • MySQL、MongoDB、Redis 等中间件故障或者超负载（典型的是 CPU 飙高）  总 qps 大概在 10000 左右，流量大约是系统容量的 20 倍 • 拒绝了约 95% 的过载请求 成功处理请求在 360-400 qps，大概损失了 10% 的 qps，被拒绝的近 1000 qps 请求也需要消耗少量系统资源（从接受请求到被拒绝） 07096113db2ae442f78/p5_3.jpg) ### 2.3 压测结论： - 流量未知的情况下，保障系统不卡死（无过载保护情况下，CPU 满载一般表现为大量请求超时），且保证了系统容量的 400 qps 没有大幅下降 - 自动拒绝了过量的请求，避免过量请求浪费系统资源（即使处理，系统最后返回给用户的也是不可用错误、超时错误等） ### 3. 自适应过载保护原理 先上一张总的

Annual Report 聚焦大模型 2024年12月 ## 目录 ## Part 1: 中国开源开发者生态数据 04 | Gitee 数据篇 15 | OSS Compass Insight ## Part 2: TOP101-2024 大模型观点 21 | 2024 年中国开源模型：崛起与变革 26 | 开源模型未必更先进，但会更长久 30 | 大模型撞上“算力墙”，超级应用的探寻之路 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 年 AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024: 大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 ## Part 3: 国内 GenAI 生态高亮瞬间 104 | 中国 GenAI 消费应用人气榜 Top10 106 | AI 创新应用开发大赛获奖作品 编委会 局长，OSCHINA 副主编 肖滢，OSCHINA 副主编 李泽辰，Gitee

# 2023 中国开源开发者报告 China Open Source 2023 Annual Report /*使用电脑阅读，获得最佳体验 ## 序 毫无疑问，开源开发者圈子来看，2023 年是大模型 LLM 年、生成式 AI GenAI 年。 ## 一、 这自然要从 OpenAI 说起，前一年年底，ChatGPT 的横空出世，标志着对话式 LLM 开始进入公众视野，为人们提供了全新的人机交互方式。而 “磁力链开源” Mistral 8x7B 两大神作, 也凭借不输 GPT-4 的实力, 将 LLM 狂潮卷到天际。 ## 四、 Stable Diffusion 和 Midjourney 这两大图像生成系统的出现, 极大地拓展和加速了 LLM 在计算机视觉领域的应用, 它们突破了传统图像生成方式的局限, 仅需要用户提供文字描述, 就可以生成高质量的数字艺术作品。它们的图像生成质量、样式多样性 ChatGPT，到后来各式各样的大模型与产品出现，覆盖了不同的领域和场景，构建了多元化的大模型生态。 大模型方面，百花齐放：百度的文心一言、抖音的云雀大模型、智谱 AI 的 GLM 大模型、中科院的紫东太初大模型、百川智能的百川大模型、商汤的日日新大模型、MiniMax 的 ABAB 大模型、上海人工智能实验室的书生通用大模型、腾讯的混元大模型、蚂蚁的百灵大模型等。 另一方面，除了大模型本身，中国在 LLM