分布式NewSQL数据库TiDB
的增⻓对数据库的容量要求,可⾏⽅案是采⽤分库分表的中间件产品或者 NewSQL 数据库替代、 采⽤⾼端的存储设备等,其中性价⽐最⼤的是 NewSQL 数据库,例如:TiDB。TiDB 采⽤计算、存储分离的架构,可对计算、存储分别进⾏扩容和缩容,计算最⼤⽀持 512 节点,每个节点最 ⼤⽀持 1000 并发,集群容量最⼤⽀持 PB 级别。 Real-time HTAP 场景 场景 随着 5G、物联⽹ TiDB Copyright © 2012-2021 UCloud 优刻得 29/120 实例 实例 创建 创建TiDB集群 集群 点击【创建集群】 选择节点配置 计算规格:可按⼀定CPU内存⽐选择,⽬前⽀持1:2、1:4、1:8 磁盘⼤⼩:TiKV最⼩磁盘1000G,加减步⻓500;TiDB最⼩200G,加减步⻓100;PD磁盘不计费,不做选择 节点数量:TiKV/PD 最⼩3节点,TiDB最⼩2节点,加减步⻓为1 最⼤连接数 默认为2048, 可通过控制台修改 https://docs.ucloud.cn/tidb/guide/configure Q14: SQL执⾏时间突然变长 执⾏时间突然变长 在执⾏SQL语句前,TiDB会通过统计信息计算出执⾏计划,选择全表扫还是从索引中获取数据,如果⼀张表数据量⾮常⼤,TiDB的选择算法误差⽐较⼤,⼀旦选择全表扫,会严重影响集群性 能,建议强制使⽤索引 use index0 码力 | 120 页 | 7.42 MB | 5 月前3Service Mesh 发展趋势(续) 蚂蚁金服 | 骑士到中盘路向何方?
性能? Istio 0.1 - 1.0 Mixer 0.1 - 1.0 In- process AdapterIstio Control Plan 为什么Istio选择Mixer和Proxy分离的架构? Part 1:ServiceMesh灵魂拷问一:要架构还是要性能? Proxy Mixer In- Process Adapter Infrastructure Backend Adapter不再是Istio的组成部分 • 安装部署 • 配置 • 维护Part 1:ServiceMesh灵魂拷问一:要架构还是要性能? Mixer v1 架构的优点 • 集中式服务: • 提高基础设施后端的可用性 • 为前提条件检查结果提供集群级别的全局2级缓存 • 灵活的适配器模型,使其以下操作变得简 单: • 运维添加、使用和删除适配器 • 开发人员创建新的适配器(超过20个适配器)Part Mixer使用一组称为模板的核心抽象,来描述传递给适配器的数据。 这些包括“metrics”,“logentry”,“tracepan”等。这些抽 象与后端想要消费的数据不匹配,导致运维需要编写一些手动配置, 以便在规范的 Istio 样式和后端特定的样式之间进行映射。原本期望 这种映射可以在适配器中实现很大程度上的自动化,但是最终还是 太复杂并需要手动配置。如果要性能,该怎么做? Part 10 码力 | 43 页 | 2.90 MB | 5 月前3Raft在Curve存储中的工程实践
对接OpenStack平台为云主机提供高性能块 存储服务 • 对接Kubernetes为其提供RWO、RWX等类 型的持久化存储卷 • 对接PolarFS作为云原生数据库的高性能存储 底座,完美支持云原生数据库的存算分离架 构 • Curve作为云存储中间件使用S3兼容的对象 存储作为数据存储引擎,为公有云用户提供 高性价比的共享文件存储 • 支持在物理机上挂载使用块设备或FUSE文件 系统开源社区 社区运营 数据。Curve文件存储RAFT应用 Curve文件存储 • 分布式文件系统 • 支持多挂载,提供close-to-open一致性 • 提供缓存加速,可使用内存、本地盘、云盘加速 • 存储后端可对接对象存储,降低成本 • 支持生命周期管理 Curve文件存储架构 • client:接受用户请求,采用fuse的方式挂载挂载使用。 • 元数据集群:mds 和 metaserver。0 码力 | 29 页 | 2.20 MB | 5 月前324-云原生中间件之道-高磊
的基石;云上原生的安全能力让成本、效率、安全可以兼得,上云正在成为企业解决数字化转型后顾之忧的最优解…… 安全是为了预防资产损失,所以当安全投入 的成本大于能够避免的资产损失价值时,变 得毫无意义! 而传统安全开发周期管理由于角色分离、流 程思路老旧、不关注运维安全等问题严重拖 慢了DevOps的效率! 所以急需一种新型的基于云原生理念的安全 角色、流程以及技术的方案! 传 统 安 全 工 作 传 统 由 独 立 安 全 工 程 测 试 之 后 , 安 全 工 程 师 才 介 入 , 如 果 发 现 问 题 , 又 需 要 研 发 修 复 和 重 新 测 试 , 严 重 影 响 效 率 传 统 安 全 流 程 强 调 上 线 前 解 决 一 切 问 题 , 某 一 环 节 堵 塞 影 响 全 局 D e v O p s 效 率 。 依 赖 于 人 员 个 人 经 验 来 先 验 的 进 行 实 施 , 而 很 多 入 侵 风 高级能力-云原生数据库-应用的基石-1-价值和差别 先从一个广告词来看看云原生数据库和一般数据库的差别 项目 传统数据库 Oracle 云原生 数据一体机 存储架构 存算一体: 调整困难、只能满 足一定的吞吐量要 求 存算分离: 自动调整、拓展能 力强,满足更大吞 吐量 存储自动扩缩容 手工填加机器, 手工同步 完全自动化 高性能 存在性能瓶颈 类似日志方式的顺 序写,性能高 易用程度 封闭体系,集成各 类优秀能力较差 集成能力强,多模0 码力 | 22 页 | 4.39 MB | 5 月前323-云原生观察性、自动化交付和 IaC 等之道-高磊
一个活档,指导集成。 形成市场,能力 互补 全生命周期API管理-2-Azure API Management 配置Http Header, 比如CORS等 配置入站协议转 换等 配置后端治理策略 等,比如限流规则 定义API或者导入 API 全生命周期API管理-3-Azure API Management • 把自己关在小黑 屋里面,自己就 可以自助的从API 使用角度定义、 ApplicationConfiguration Component 微服务 数据库 MQ Cache Trait 灰度 监控告警 弹性扩缩容 高可用 负载均衡 客户环境 • 关注点分离:开发者关注应用本身,运维人员关注模块化运维 能力,让应用管理变得更轻松、应用交付变得更可控; • 平台无关与高可扩展:应用定义与平台层实现解耦,应用描述 支持任意扩展和跨环境实现; • 模块化应用0 码力 | 24 页 | 5.96 MB | 5 月前3大规模微服务架构下的Service Mesh探索之路
Check和Quota 的Adapter Report的AdapterMixer反省之一:对性能的影响 ü 按照Istio的设计,每次请求Envoy都 要执行对Mixer的两次远程调用: • 转发前执行Check(包含Quota) • 转发后执行Report ü 我们的观点: • 需要请求同步阻塞等待的功能都应该在 Sidecar中完成 • 远程调用带来的性能开销代价太高 • 其他尽量 + c = 300 a * b * c = 1000000 笛卡尔乘积Mixer反省之二:隔离和抽象的层次 ü Mixer的设计目标: • 提供统一抽象(Adapter) • 隔离基础设施后端和Istio其他部分 • 容许运维对所有交互进行精细控制合并Check和Quota ü 我们的反思 • 认可这样的抽象和隔离,确实有必要从应用中剥离出来 • 但是要加多一层Mixer,多一次远程调用 抽象和隔离在Sidecar层面完成,也是可以达到效果的 • 对于Check和Quota,性能损失太大,隔离的效果并不明显 应用 Sidecar Mixer 基础设施后端 但是多付出一次远程 调用是否有足够必要? 对基础设施后端的访问的确 可以下沉到Service Mesh探讨:何为基础设施后端?是否可以区别对待? ü 实现Check的Adapter: • listchecker (黑白名单) • opa (Open Policy0 码力 | 37 页 | 7.99 MB | 5 月前3Service Mesh Meetup #3 深圳站
Kubernetes、ServiceMesh、CI/CD 实践 杨文@JEX 2018.08.25 Service Mesh Meetup #3 深圳站关于我 • JEX 技术VP • 前小恩爱技术总监 • Gopher,开源爱好者 • Go 夜读发起人 • https://github.com/developer-learning/night-reading-go • https://github 如何提升工程效率?DevOps • CI/CD 实战 • ServiceMesh • 踩过的一些坑 • Q&A技术架构的演进 • 单体架构 • 一个框架 • 一个数据库 • 分模块整合架构(前后端分析) • 不同的框架或业务模块 • 多种数据源 • 微服务架构 • 各种语言、各种框架或子系统 • 各种数据源 • ServiceMesh一般的开发流程 • 1. 开启一个新的 feature; appleboy/drone-jenkins我是作者名称我是作者名称我是作者名称Talk is cheap, Show me the code!• 当使用一个客户端实例和多个后端实例进行部署时,所有的调用仅 路由到单个后端实例。当部署第二个客户端时,它可能被路由到另 一个后端实例。这不是所需的那种负载均衡,因为它不允许独立地 扩展客户端和服务器。当客户端实例比服务器实例少时,一些服务 器实例将处于空闲状态,所以 Kubernetes0 码力 | 45 页 | 18.62 MB | 5 月前3TiDB中文技术文档
都能在全局/会 话范围内进行修改。具体的可修改范围参考 MySQL 动态变量文档。 在变量名前加 GLOBAL 关键词或者是使用 @@global. 作为修饰符: 1. SET GLOBAL autocommit = 1; 2. SET @@global.autocommit = 1; 在变量名前加 SESSION 关键词或者是使用 @@session. 作为修饰符,或者是不加任何修饰符: 集和排序规则: character_set_connection 和 collation_connection 。 character_set_client 代表客户端的字符集。在返回结果前,服务端会把结果根据 character_set_results 转换成 对应的字符集。包括结果的元信息等。 可以用以下的语句来影响这些跟客户端相关的字符集变量: SET NAMES 'charset_name' 子句用于对查询结果集进行分组 HAVING where_condition Having 子句与 Where 子句作用类似,Having 子句可以让过滤 GroupBy 后的各种数据,Where 子句用于在聚合前过滤记录。 ORDER BY OrderBy 子句用于指定结果排序顺序,可以按照 列、表达式或者是 select_expr 列表中某个位置 的字段进行排序。 LIMIT Limit 子句用于限制结果条数。Limit0 码力 | 444 页 | 4.89 MB | 5 月前3Rust 程序设计语言 简体中文版 1.85.0
本章和全书中,我们会展示一些在终端中使用的命令。所有需要输入到终端的行都以 $ 开头。你不需要输入 $ 字符;这里显示的 $ 字符表示命令行提示符,仅用于提示每 行命令的起点。不以 $ 起始的行通常展示前一个命令的输出。另外,PowerShell 专 用的示例会采用 > 而不是 $。 在 Linux 或 macOS 上安装 rustup 如果你使用 Linux 或 macOS,打开终端并输入如下命令: 的变量并把它绑定到值 5 上。在 Rust 中,变量默认是不可 变的,这意味着一旦我们给变量赋值,这个值就不可以再修改了。我们将会在第三章的 “变量 与可变性” 部分详细讨论这个概念。下面的例子展示了如何在变量名前使用 mut 来使一个变量 可变: let apples = 5; // 不可变 let mut bananas = 5; // 可变 注意:// 语法开始一个注释,持续到行尾。Rust 忽略注释中的所有内容,第三章将 parse 方法只有在字符逻辑上可以转换为数字的时候才能工作所以非常容易出错。例如,字符 串中包含 A👍%,就无法将其转换为一个数字。因此,parse 方法返回一个 Result 类型。像之 前 “使用 Result 类型来处理潜在的错误” 讨论的 read_line 方法那样,再次按部就班的用 expect 方法处理即可。如果 parse 不能从字符串生成一个数字,返回一个 Result0 码力 | 562 页 | 3.23 MB | 9 天前3PingCAP TiDB&TiKV Introduction OLTP
Co-Founder 前京东 / 豌豆荚资深架构师,知名开源分 布式缓存项目 Codis 作者, 国内 Go 语言 社区知名技术领袖之一 黄东旭 | CTO Co-Founder 前微软亚洲研究院 / 网易有道 / 豌豆荚 全栈工程师,架构师, Codis 共同作者, Open Source Hacker,业界知名程序员 崔秋 | Co-Founder 前搜狗 / 豌豆荚资深后端工程师 王鉴 (John (John Wang) 前 LinkedIn 搜索架构师 / Twitter 早期 员工, Tech Lead,分布式搜索数据库 SenseiDB 创始人. CEO/CTO 是分布式计算领域的旗帜性人物和开源社区领袖,同时是国际知名开源项目 Codis 作者。 Codis 是基于 Redis 的分布式集群解决方案, 为用户提供在线弹性伸缩和高性能的缓存服务,该项目 目前已广泛被各大互 联网公司(百度/小米/滴滴/猎豹 大规模分布式计算领域的领跑者 2003 GFS 2004 MapReduce 2006 BigTable 2012 Spanner 2013 F1 BigTable Map Reduce GFS Google 十年前基于内部分布式 处理框架发表的 三篇论文奠定了大数据分析 处理基石;开源社区 以此为基础打造了Hadoop F1 Data Flow Spanner Colossus Google 内部新一代分布式处理框架,于12/13年发表0 码力 | 21 页 | 613.54 KB | 5 月前3
共 51 条
- 1
- 2
- 3
- 4
- 5
- 6