副本如何用CLup管理PolarDB如何用CLup管理Polardb 4008878716 services@csudata.com http://www.csudata.com 中启乘数科技 @http://www.csudata.com │中启乘数科技(杭州)有限公司 数据赋能│价值创新 关于我 《PostgreSQL修炼之道:从小工到专家》的作者,中 启乘数科技联合创始人,PostgreSQL中国用户会常委。 从 @ 专业的PostgreSQL数据库管理平台 CLup介绍CLup产品介绍 网络 clup-agent 数据库主机1 clup-agent 数据库主机2 clup-agent 数据库主机n CLup是什么? 实现PostgreSQL/PolarDB数据库的私有云 RDS产品 PostgreSQL/PolarDB集群统一管理、统一运 维。 PostgreS 实现对PostgreSQL/PolarDB的监控管理 对PostgreSQL/PolarDB的TopSQL的管理 架构说明 有一台机器上部署的CLup管理节点,这个管 理节点提供WEB管理界面统一管理所有的 PostgreSQL/PolarDB数据库。 每台数据库主机上部署clup-agent。CLup管 理节点通过clup-agent来管理这台机器上的 PostgreSQL/PolarDB数据库。0 码力 | 34 页 | 3.59 MB | 6 月前3
Curve文件系统元数据管理© XXX Page 1 of 24 Curve文件系统元数据管理(已实现)© XXX Page 2 of 24 1. 2. 3. 4. Inode 1、设计一个分布式文件系统需要考虑的点: 2、其他文件系统的调研总结 3、各内存结构体 4、curve文件系统的元数据内存组织 4.1 inode定义: 4.2 dentry的定义: 4.3 内存组织 5 元数据分片 元数据持久化在单独的元数据服务器上?在磁盘上?在volume上? inode+dentry方式?当前curve块存储的kv方式? 是否有单独的元数据管理服务器? 2、其他文件系统的调研总结 fs 中心化元数据 内存namespace元数据 内存空间分配元数据 元数据持久化 元数据扩展 小文件优化 空间管理单位 数据持久化 其他© XXX Page 3 of 24 moosefs(mfs) 有元数据服务器 全内存 fsnode + name) segment kv → hashtable(key inode + offset) etcd 差 块设备,最小10GB segment + chunk raft 块设备的元数据管理 cephfs 3、各内存结构体 时间复杂度 空间复杂度 特点 可用实现 Btree 一个节点上保存多条数据,减少树的层次(4~5层),0 码力 | 24 页 | 204.67 KB | 6 月前3
13 Istio 流量管理原理与协议扩展 赵化冰Istio 流量管理原理与协议扩展 赵化冰 赵化冰 腾讯云 服务网格团队 https://zhaohuabing.com Service Mesh Service Mesh Layer 处理服务间通信(主要是七层通信)的云原生基础设施层: Service Mesh 将各个服务中原来使用 SDK 实现的七层通信相关功能抽象 出来,使用一个专用层次来实现,Service Mesh 对应用透明,因此应用 断路器、故障注入 可观察性:遥测数据、调用跟踪、服务拓扑 通信安全: 服务身份认证、访问鉴权、通信加密 Proxy Application Layer Service 1 Istio 流量管理 – 概览 • 控制面下发流量规则: Pilot • 数据面标准协议:xDS • 集群内Pod流量出入: Sidecar Proxy • 集群外部流量入口:Ingress Gateway • 集群外部流量出口:Egress Retries • Circuit breaker • Routing • Auth • Telemetry collecting 外部流量出口 外部流量入口 Pilot 2 Istio 流量管理 – 控制面 两类数据: q 服务数据(Mesh 中有哪些服务?缺省路由) v Service Registry § Kubernetes:原生支持 § Consul、Eureka 等其他服务注册表:MCP0 码力 | 20 页 | 11.31 MB | 6 月前3
金卫-Apache APISIX 借助 Service Mesh 实现统一技术栈的全流量管理Apache APISIX借助ServiceMesh 实现统一技术栈的全流量管理 金卫(API7 解决方案架构师) • 支流科技 - 解决方案架构师 • Apache APISIX PMC • Apache APISIX Ingress Controller Founder • Apache skywalking committer • Github: https://github.com/gxthrj 将通用能力下沉 应用专注于业务逻辑 注册发现 流量管理 可观测性 安全防护 服务网格的痛点 方案众多,各有缺陷 与基础设施整合成本高 性能损耗 资源的额外消耗 扩展难度高 理想的服务网格应该是什么样? 易于扩展 理想的服务网格 业务无感知 落地成本低 动态且增量配置 安全管控 可观测 流量精细化管理 跨集群部署 性能损耗低 资源消耗低 按需下发配置 Ingress处理南北向入口流量 APISIX Service Mesh处理东西向流量 APISIX专用插件配置等通过Amesh 下发 APISIX 全流量代理的价值 节约成本 统一技术栈 统一管理 复用技术经验 未来 结合APISIX xRPC实现 原生异构多协议支持 覆盖Istio各类场景/配置 降低用户迁移成本 Apache APISIX Ingress 0 码力 | 34 页 | 3.50 MB | 6 月前3
基于 Kubernetes 构建标准可扩展的云原生应用管理平台-孙健波、周正喜构建标准可扩展的云原生应用管理平台 2 3 有奖品? 我的工作内容? • 构建云原生应用管理平台 @ 阿里巴巴 Kubernetes 工程师 PaaS 工程师 基础设施运维工程师 … YAML 工程师 我们是如何构建的? PaaS Serverless Operator Platform 基于 Kubernetes 我们构建了多种多样的应用管理平台: 电商 PaaS Kubernetes 代码、应用、CICD 流水线 容器 Pod Controller 调度 Node Sidecar CNI CSI 为了更好的用户体验: 用户 期望: K8s 提供: 研发与运维人员日益增长的应用管理诉求 传统 PaaS 有限的、不可扩展的专有API 与能力 K8s 生态“无限”的应用基础设施能力 不停构建“PaaS”平台不是“银弹” 与其 基于 K8s 构建平台 不如 Route Job Deployment 缺乏交互、复用、可移植能 力。不同重复造轮子只是适 配不同 API 如何基于 K8s ,构建出一个既用户友好,又高可扩展,还 统一、标准化的应用管理平台? 简单的“客户端”抽象: DCL (Data Configuration Language) 对 K8s 资源进行抽象实际上就是在操纵 YAML 数据,通过 DCL 来完成相比于 CRD +0 码力 | 27 页 | 3.60 MB | 9 月前3
人工智能安全治理框架 1.0针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 ……………………… 14 6.4 社会公众安全应用指引 相关主 体安全责任,打造全过程全要素治理链条,培育安全、可靠、公平、透明的人 工智能技术研发和应用生态,推动人工智能健康发展和规范应用,切实维护国 家主权、安全和发展利益,保障公民、法人和其他组织的合法权益,确保人工 智能技术造福于人类。 1.1 包容审慎、确保安全。鼓励发展创新,对人工智能研发及应用采取 包容态度。严守安全底线,对危害国家安全、社会公共利益、公众合法权益的 风险及时采取措施。 风险导向、敏捷治理。密切跟踪人工智能研发及应用趋势,从人工 智能技术自身、人工智能应用两方面分析梳理安全风险,提出针对性防范应对 措施。关注安全风险发展变化,快速动态精准调整治理措施,持续优化治理机 制和方式,对确需政府监管事项及时予以响应。 1.3 技管结合、协同应对。面向人工智能研发应用全过程,综合运用技术、 管理相结合的安全治理措施,防范应对不同类型安全风险。围绕人工智能研发 应用生态链,明确模0 码力 | 20 页 | 3.79 MB | 1 月前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊1、信息管理 MIS、ERP… 2、流程规范 BPM、EAI… 3、管理监控 BAM、BI 4、协作平台 OA、CRM 5、数据化运营 SEM、O2O 6、互联网平台 AI、IoT 数据化运营 大数据 智能化管控 互联网平台 跨企业合作 稳态IT:安全、稳定、性能 …… 测试环境 生产环境 复杂的应用软件架构,在开发、测试、运维 团队之间建成了认知的“墙”,团队间配合效 率低,故障排查慢,阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时、按需扩展/收缩所 用资源? 场景 3 如 机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配,短时间内难以扩展 • 缺乏隔离性,服务相互抢占资源 • 增加环境、网络(端口)和资源管理的复杂性,治理成本高 • 监控粒度难以满足微服务应用运维的需要,线上问题难以排查定位,往往需要研发介入 我们需要一种新型的、为云而生的业务承载平台,去应对上述问题。 微服务应 用 大型 单体 应用 VM/服务器 VM/服务 器 VM/服务 器 VM/服务0 码力 | 42 页 | 11.17 MB | 6 月前3
23-云原生观察性、自动化交付和 IaC 等之道-高磊全生命周期API管理-1 服务是从内研发视角来看的,但是对于外部消费者只想找到并集成API而已,并不想了解API背后的运维细节或者需要协调运维能力!API成了一 种可以交易的商品,可以购买增强自己APP的能力,比如在自己APP里显示天气预报数据,从外部去管理应用平台,形成了一种新PaaS组织方式。 • 逻辑API:已有API的组 声明API:需要生成代 码框架(任何语言), 契约驱动研发 • BaaS API:数据库接口、 中间件接口外化成API • API门户:消费者可以 根据领域-能力查询到 想要的API。 • 自动生成SDK方便集成。 • 发行计划:向下兼容, 对比发布 • API文档:每一个API有 一个活档,指导集成。 形成市场,能力 互补 全生命周期API管理-2-Azure API Management 等,比如限流规则 定义API或者导入 API 全生命周期API管理-3-Azure API Management • 把自己关在小黑 屋里面,自己就 可以自助的从API 使用角度定义、 驱动研发、发布 或者实施与自己 APP的集成。 • API作为产品,可 以给订阅、可以 被交易。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-1 知道 知道的 不知道 不知道的 主动性0 码力 | 24 页 | 5.96 MB | 6 月前3
2024 中国开源开发者报告本年度最活跃的开源组织 不同开源组织在 Issue 解决 和 PR 处理数量上的差异,反映了它 们在开发活跃度、社区参与度和 技术成熟度上的不同战略。 技术大厂主导的项目往往具有较 高的资源投入和社区管理效率, 而民间组织则可能更注重技术问 题的快速解决,并逐步吸引更多 的开发者参与贡献。 OpenHarmony openEuler openKylin MindSpore openGauss 从学术到产业, 从技术到生态,中国通过自主研发和协同创新,逐步完成了从“追随者”到“引领者”的转变。 这种转变不仅是技术实力的体现,更是中国人工智能生态系统快速完善的真实写照。以下,我们 将从崛起与变革两个维度,探讨中国开源模型在这一年取得的重大成就和未来展望。 崛起 从“追随者”到“引领者” 2024 年,中国学术界和产业界大力推进自主研发,在技术创新和模型能力上实现了显著飞 跃,并在全球范围内取得了显著成就。 跃,并在全球范围内取得了显著成就。 Hugging Face Open LLM 排行榜数据显示,从智谱 的 GLM 系列、阿里巴巴的 Qwen 系列到深度求索的 DeepSeek 系列,这些自主研发的模型 在国内外各项评测中表现卓越。 每个月来自中国主要研究机构和 公司的开源模型/数据集数量。 图片源自 Hugging Face 中文社 区模型社群: https://huggingface0 码力 | 111 页 | 11.44 MB | 8 月前3
24-云原生中间件之道-高磊从政策法规、安全技术、安全理念、安全生态、安全思维等维度为产业互联网的安全建设提供前瞻性的参考和指引,助力夯实产业互联网的安全底座。 《趋势》认为,2021年将进一步完善个人信息保护体系,企业对个人信息利用规范化,数字安全合规管理将成为企业的必备能力。与此同时,企业还 应将安全作为“一把手工程”,在部署数字化转型的同时,推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时, 的基石;云上原生的安全能力让成本、效率、安全可以兼得,上云正在成为企业解决数字化转型后顾之忧的最优解…… 安全是为了预防资产损失,所以当安全投入 的成本大于能够避免的资产损失价值时,变 得毫无意义! 而传统安全开发周期管理由于角色分离、流 程思路老旧、不关注运维安全等问题严重拖 慢了DevOps的效率! 所以急需一种新型的基于云原生理念的安全 角色、流程以及技术的方案! 传 统 安 全 工 作 传 统 由 独 立 安 标准化能力-承载无忧-E2E云原生纵深安全保障-3-与传统安全方案的差 异 安全问题左移一个研发阶段,修复成本就将 提升十倍,所以将安全自动化检查和问题发 现从运行态左移到研发态,将大大提高效率 和降低成本 默认安全策略,可以天然的规避大部分 安全问题,使得人员配置和沟通工作大 量减少,提高了整体效率! 安全右移是为了恰到好处的安全,一些非严 重安全问题,没有必要堵塞主研发流程,可 以交于线上安全防御系统。提高了整体实施 效率! 安全编排自动化和响应作为连接各个环0 码力 | 22 页 | 4.39 MB | 6 月前3
共 147 条
- 1
- 2
- 3
- 4
- 5
- 6
- 15













