Raft在Curve存储中的工程实践0 码力 | 29 页 | 2.20 MB | 6 月前3
PingCAP TiDB&TiKV Introduction OLTPGo 语言 社区知名技术领袖之一 黄东旭 | CTO Co-Founder 前微软亚洲研究院 / 网易有道 / 豌豆荚 全栈工程师,架构师, Codis 共同作者, Open Source Hacker,业界知名程序员 崔秋 | Co-Founder 前搜狗 / 豌豆荚资深后端工程师 王鉴 (John Wang) 前 LinkedIn 搜索架构师 / Twitter 早期 员工, Tech Lead,分布式搜索数据库 以此为基础打造了Hadoop F1 Data Flow Spanner Colossus Google 内部新一代分布式处理框架,于12/13年发表 相关论文,奠定下一代分布式 NewSQL的理论和工程 实践基石。PingCAP以此为基础打造了TiDB & TiKV HBase Map Reduce HDFS TiDB TiKV NewSQL | TiDB Google Spanner / F1 DB Sharding vs NewSQL DB Sharding NewSQL | TiDB 工作内容 工作量 工作内容 工作量 项目设计 阶段 分库分表设计 数据库中间件路由配置 数据库主从备份设计 月级别 类似单机数据库,不需要做任 何设计、修改 0 项目开发 阶段 事务处理机制 - 由应用保证 跨库、跨表查询 - 由应用保证 月级别 类似单机数据库,事务由底层 数据库提供,支持透明分布式0 码力 | 21 页 | 613.54 KB | 6 月前3
Operator Pattern 用 Go 扩展 Kubernetes 的最佳实践performance profile Observerbility 日志、系统指标等采集、分析;监控配置与报警;性能 指标收集与分析等等。 Backup & Restore 备份策略、备份方式、恢复方式、备份管理等等。 Disaster Recovery & High Availability Failover/Switchover、多可用区、数据恢复等等。 Security & 有一个全面熟悉和了解 3. 实验以实现一个生产环境可用的 Operator 为目标,以便整个过程更加接近实际的 Operator 开发 技能点: 1. 熟悉 kubebuilder operator 工程结构 2. 熟悉 K8s Declaretive API 如何设计 3. 熟悉 CR(custom resource)相关事件如何获取 4. 熟悉 Operator Control Loop(即0 码力 | 21 页 | 3.06 MB | 9 月前3
新一代云原生分布式存储d等 • 强一致性协议对异常的容忍较差 使用WARO一致性协议 • 所有副本写完成返回客户端 • 延迟取决于所有副本中最慢的那一个块存储场景 为云主机提供云盘,云盘提供随机读写、快照(数据备份,灾备使用)、镜像(模板,自定义)功能。块存储场景 为物理机提供块设备 Linux IO栈 应用程序 -> 文件系统 -> 块设备层 -> 不同协议/驱动使用中的问题 • io抖动(一致性协议): 直观查看任务运行情况, 数据开发方便,系统运 维方便 易运维 具备可视化的开发页面, 直观查看任务运行情况, 数据开发方便,系统运 维方便 高质量 基于在架构上的选择和优秀的工程实践,Curve 在性能、运维、稳定性、工程实践质量上都优于Ceph主要亮点 — 高性能 测试环境:3台服务器*8块NVME, Intel(R) Xeon(R) Gold 5318Y CPU @ 2.10GHz ,256G,3副本,使用自带fio0 码力 | 29 页 | 2.46 MB | 6 月前3
Nacos架构&原理
已经被大量开发者和企业客户用于生产环境,本 书详尽介绍了 Nacos 的架构设计、功能使用和最佳实践,推荐分布式应用的开发人员、运维人员和 对该领域感兴趣的技术爱好者阅读。 推荐序 < 8 Facebook 工程师 & CNCF 前 TOC 成员 - 李响 服务注册、发现与配置管理是构成大型分布式系统的基石。Nacos 是集成了这三种能力的现代化、 开源开放的代表系统。本书系统化的介绍了 Nacos 诞 都做了大量的功能迭代,用来支持阿里的异地多活,容灾演练,容 器化,Serverless 化。Nacos 经过阿里内部锤炼十年以上,各项指标已经及其先进,稳定,为服务 好全球开发者,Nacos 经过数十名工程师持续努力,以开源形式和大家见面,相信 Nacos ⼀定能在 分布式领域成为开发者的首选项。 9 > 前言 前⾔ 序⾔ 阿里做开源大概有两个阶段,第⼀个阶段是 2018 年之前,取之于开源,反哺于社区,开源是⼀种 Eureka 目前 Server 端都不支持用户扩展,⼀个支持用户扩 展的服务发现产品是 CoreDNS。CoreDNS 整体架构就是通过插件来串联起来的,通过将插件代码 以约定的方式放到 CoreDNS 工程下,重新构建就可以将插件添加到 CoreDNS 整体功能链路的⼀ 环中。 79 > Nacos 架构 那么这样的扩展性是否是有必要的呢?举⼀个上文提到过的例子,假如要添加⼀种新的健康检查方 式,连接数据库执行⼀条0 码力 | 326 页 | 12.83 MB | 10 月前3
24-云原生中间件之道-高磊考和指引,助力夯实产业互联网的安全底座。 《趋势》认为,2021年将进一步完善个人信息保护体系,企业对个人信息利用规范化,数字安全合规管理将成为企业的必备能力。与此同时,企业还 应将安全作为“一把手工程”,在部署数字化转型的同时,推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时,不仅带来了全新的安全场景,也成为网络安全攻防 当中的利器;202 峰填谷,把慢服务分离到 后置链路,提升整个业务链路的性能。 高SLA 云原生应用将对消息这种云原生BaaS服务有更高的SLA要求,应用将假设其依赖的云原生服务具备跟云一样的可用性,从而不需要去建设备份链 路来提高应用的可用性,降低架构的复杂度。只有做到与云一样的可用性,云在服务就在,才能称为真正的云原生服务。 低成本 (Serverless化) 在过去,每家公司自建消息中间件集群,或是自研的、或 复杂,因为业务上极其重要的地位,发出现先发 的优势,但是带来了后发的劣势: • 大数据平台为业务的营销、决策等活动进行 数字化支撑,这是新时代数字化的核心平台, 唯有数据才是企业的资产。 • 大数据平台大体分成两层:数据应用和数据 工程化引擎 • 在云原生场景下,希望应用能够适应敏态化 的业务场景,数据应用也不例外,目前都在 进行服务化改造和云原生改造 • 大数据引擎早就上云了(IaaS),但是并未云原 生化。 • 但是大数据引擎平台,架构思路过时、组件0 码力 | 22 页 | 4.39 MB | 6 月前3
人工智能安全治理框架 1.0导致工作秘密、商业秘密、敏感业务数据泄露。 (d)滥用于网络攻击的风险。人工智能可被用于实施自动化网络攻击或- 6 - 人工智能安全治理框架 提高攻击效率,包括挖掘利用漏洞、破解密码、生成恶意代码、发送钓鱼邮件、 网络扫描、社会工程学攻击等,降低网络攻击门槛,增大安全防护难度。 (e)模型复用的缺陷传导风险。依托基础模型进行二次开发或微调,是 常见的人工智能应用模式,如果基础模型存在安全缺陷,将导致风险传导至下 游模型。 (e)重点领域使用者应增强网络安全、供应链安全等方面的能力,降低 人工智能系统被攻击、重要数据被窃取或泄露的风险,保障业务不中断。 (f) 重点领域使用者应合理限制人工智能系统对数据的访问权限,制定 数据备份和恢复计划,定期对数据处理流程进行检查。 (g)重点领域使用者应确保操作符合保密规定,在处理敏感数据时使用 加密技术等保护措施。 (h)重点领域使用者应对人工智能行为和影响进行有效监督,确保人工0 码力 | 20 页 | 3.79 MB | 1 月前3
TiDB v8.5 中文手册· · · · · · · · 1011 8.4 备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1011 8.4.1 TiDB 备份与恢复概述 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1022 8.4.3 使用 BR 进行备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1105 8.5.4 基于备份与恢复的容灾方案· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·0 码力 | 5095 页 | 104.54 MB | 10 月前3
TiDB v8.4 中文手册· · · · · · · · · 758 8.4 备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 758 8.4.1 TiDB 备份与恢复概述 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 768 8.4.3 使用 BR 进行备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 852 8.5.4 基于备份与恢复的容灾方案· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·0 码力 | 5072 页 | 104.05 MB | 10 月前3
TiDB v8.2 中文手册· · · · · · · · · 699 8.4 备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 699 8.4.1 TiDB 备份与恢复概述 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 710 8.4.3 使用 BR 进行备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 789 8.5.4 基于备份与恢复的容灾方案· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·0 码力 | 4987 页 | 102.91 MB | 10 月前3
共 98 条
- 1
- 2
- 3
- 4
- 5
- 6
- 10













