大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 SACC2017 简介 • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 SACC2017 概要 • 存在问题 • 分析问题 • 解决问题 • Pika vs redis SACC2017 • Pika 是DBA 和 基础架构团队一起设计开发的 大容量redis的解决方案 • 完全兼容redis 协议, 用户不需要修改任何代码 进行迁移 Introduction SACC2017 • Redis实例数量：6000+个 • 日访问量：5000+亿 • Pika数据数量：1000+个 覆盖率：80%以上业务线 • 单份数据体积：6.8T Pika User SACC2017 SACC2017 Pika 的出现并不是为了替代 Redis，而是 Redis 的场景补充。 Pika 力求在完全兼容 Redis 协议、继承 Redis 便 捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 Pika 定位 SACC2017 Redis

Data2-1 Mng0 Mng2 Mng3 缓存化 • 热点数据全部缓存 • 加快数据访问，减少请求处理时间 • 多级缓存 • 本地缓存 • Redis, Couchbase, LevelDB(PIKA), 定制化 极光推送后台系统架构 04 程序及系统优化 • 内存 • 静态分配 • 内存池 • 内存对齐 • CPU Affinity • 网卡多队列 • 用户态协议栈（DPDK） • 屏蔽后端变化 • AutoScale，Failover，AutoRecover • JMQ - RabbitMQ, RocketMQ • JCache - Redis, LevelDB(PIKA) 极光推送后台系统架构 06 链接管理 • 量级大，网络复杂，DDOS攻击 • 动态管理 • 就近接入 • 自动化管理接入网关 • 自动扩容，应对网络攻击 极光推送后台系统架构

. . . . . . . . 8 2.3.2 Runway . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.3 Pika . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.4 腾讯智影 . . . . . . . . . . . . (OpenAI 公司) 内测：由 OpenAI 开发，目前处于内部测试阶段的项目。 8 2.3.2 Runway 闭源：一个闭源的创意工具，支持通过 AI 进行视频编辑和生成。 2.3.3 Pika 闭源的图像编辑工具，专注于简化图像处理流程。 2.3.4 腾讯智影 腾讯推出的 AI 视频编辑工具，支持视频内容的智能编辑和增强。 2.3.5 度加创作工具 度加创作工具是百度开发的一站式

之上的大容量 类 Redis 系统鼻祖 PikiwiDB（原 Pika） 在接下来的半年里，PikiwiDB 陆续发布了 v3.5.1 和 v3.5.2 两个版本，并 计划在不久的将来发布 v3.5.3。在稳定性和性能方面都取得了显著的提升。 社区活跃度方面，贡献者数量增加了近 3 倍，达到 121 人（包括 PikiwiDB 和 Pika），同时 PR 和 Issue 的总量也翻番，许多老用户纷纷回归。 的总量也翻番，许多老用户纷纷回归。 展望 2024 年，PikiwiDB 将重点发力于云原生方向，继续在 “极大容量、 极高性能、极致弹性” 方向上进行探索。 在 2023 年 7 月底，PikiwiDB （原名 Pika）发布了自 2021 年加入 OpenAtom 基金会以来 的首个生产可用版本 v3.5.0。 36 / 87 1 1 Apache DolphinScheduler 3.2.0 发布 OpenFunction

import，把模块名替换为这个模块的 entry path ，并在 path 的开头补上一个 /@modules 的标识符。 如：import React from "/@modules/@pika/react/source.development.js" 相对路径转绝对路径，方便浏览器请求。 补齐文件扩展名和经常被省略的 index.xxx 如：import a from ’/src/a/index

个国产开源操作系统项目，分别是龙蜥操作系统（Anolis OS）、 openEuler、OpenHarmony、TecentOS Tiny、AliOS Things，此外还有类 Redis 存储系 统 PIKA、云原生分布式数据库 ZNBase 等，隐有成为中国开源基础软件大本营之势。 The Open Atom Open Source Foundation is currently incubating openEuler, OpenHarmony, TecentOS Tiny, and AliOS Things, in addition to the Redis-like storage system PIKA and the cloud-native distributed database ZNBase, etc. In September 2020, Tencent also donated

开放原子开源基金会开源项目 发起公司 OpenHarmony 华为 XuperChain 百度 AliOS Things 阿里 TencentOS Tiny 腾讯 TKEStack 腾讯 ubml 浪潮 PIKA 360 ZNBase 浪潮 OpenEuler 华为 快应用 快应用 开放原子开源基金会白金捐赠人 64 ©2022.2 iResearch Inc

amqplib. You can use a custom transport class name, or select one of the built-in transports: amqplib, pika, redis, beanstalk, sqlalchemy, django, mongodb, couchdb. BROKER_HOST Hostname of the broker. BROKER_PORT process_cleanup method after task execution instead of before. • AMQP result backend now supports Pika. 9.25 1.0.6 release-date 2010-06-30 09:57 A.M CEST • RabbitMQ 1.8.0 has extended their exchange

amqplib. You can use a custom transport class name, or select one of the built-in transports: amqplib, pika, redis, beanstalk, sqlalchemy, django, mongodb, couchdb. BROKER_HOST Hostname of the broker. 3 process_cleanup method after task execution instead of before. • AMQP result backend now supports Pika. 9.21 1.0.6 release-date 2010-06-30 09:57 A.M CEST 9.21. 1.0.6 161 Celery Documentation, Release

amqplib. You can use a custom transport class name, or select one of the built-in transports: amqplib, pika, redis, beanstalk, sqlalchemy, django, mongodb, couchdb. BROKER_HOST Hostname of the broker. BROKER_PORT backends process_cleanup method after task execution instead of before. AMQP result backend now supports Pika. 1.0.6 release-date: 2010-06-30 09:57 A.M CEST RabbitMQ 1.8.0 has extended their exchange equivalence