Qcon北京2018--《MySQL的Docker容器化大规模实践》--王晓波MySQL数据库迅速爆炸式增长后,服务器规模不断增大,快速部署是个问题。 2.随着业务的发展,扩容数据库的不方便不快捷,也是个问题。 3.大量数据量小的数据库系统也单独部署在物理机,浪费问题突出。 4.DBA的数据库自动化标准化运维的需求。 5.Docker在同程的大规模使用,应用部署环境100%容器化,有Docker丰富的经验 。 让数据库的部署点单化开启 2核4G 4核4G 4核8G 8核8G 8核16G 16核16G 。无系统化管理,资源分配情况,无法统一调配,服务器资源利用率低。 MySQL容器平台: 部署一套高可用集群+自动化备份+慢日志分析+监控。用时1-2分钟。部署32个节点的分片集群, 只需5分钟。标准化的系统管理,部署环境统一、配置文件统一。系统化的操作降低人为失误和重复劳 动。资源使用集中管理,有效利用服务器资源。 效率提升0 码力 | 32 页 | 7.11 MB | 1 年前3
01 Sharding JDBC概览ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由Sharding- JDBC、Sharding-Proxy和Sharding-Sidecar(计划中)这3款相互独立的产品组成。 他们均提 供标准化的数据分片、分布式事务和数据库治理功能,可适用于如Java同构、异构语言、容 器、云原生等各种多样化的应用场景。 当前版本:3.0 官网地址: https://shardingsphere.apache0 码力 | 6 页 | 781.70 KB | 1 年前3
ClickHouse在B站海量数据场景的落地实践常驻内存模式对内存消耗很⼤ v ⾮常驻内存模式index load过程慢 v 多并发加载优化索引加载速度: 日志 日志 v Elastic To ClickHouse迁移,降本增效 v OTEL标准化⽇志采集 v 统⼀scheme⽀持 日志 v ClickHouse较ES写⼊吞吐量提升近10倍 v ClickHouse存储成本为ES的1/3 日志 v ClickHouse中采⽤分表,统⼀schema的设计0 码力 | 26 页 | 2.15 MB | 1 年前3
孟浩然-Apache ShardingSphere 架构解析&应用实践0.0 架构解析 2. 5.0.0 应用实践 3. Database Plus 解决方案 目录 灵活可扩展 覆盖开发/测试/生产部署需求 运 行 模 式 D i s t S Q L 标准化 体系化 功能特色 • RDL(Resource & Rule Definition Language)负责资源 和规则的创建、修改和删除; • RQL(Resource & Rule Query0 码力 | 31 页 | 2.36 MB | 1 年前3
2. 腾讯 clickhouse实践 _2019丁晓坤&熊峰神秘 商店 iData 多维提取 … 游戏数据 驱动场景 潘多拉 社交与功能 用户增长 服务场景 游戏 社区 微信手Q 渠道投放 直播 电竞 … 大数据基础PaaS平台 n 标准化、海量数据接入能力 n 实时化、低延时对接数据应用 n 异构化兼容能力 大数据应用PaaS服务 游戏数据驱动场景 n 实时干预游戏用户 n 精细化、精准化驱动场景服务 n 提升原有服务的增强效果0 码力 | 26 页 | 3.58 MB | 1 年前3
MySQL 8.0.17 调优指南(openEuler 20.09)MySQL是一种关系数据库管理系统,关系数据库将数据保存在不同的表中,而不是将 所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。 MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了 双授权政策,分为社区版和商业版,由于其体积小、速度快、总体拥有成本低,尤其 是开放源码这一特点,一般中小型网站的开发都选择 MySQL作为网站数据库。 1.2 调优原则0 码力 | 11 页 | 223.31 KB | 1 年前3
Apache ShardingSphere 中文文档 5.2.0document, v5.2.0 1.2.1 连接:打造数据库上层标准 通过对数据库协议、SQL 方言以及数据库存储的灵活适配,快速构建多模异构数据库上层的标准,同时 通过内置 DistSQL 为应用提供标准化的连接方式。 1.2.2 增强:数据库计算增强引擎 在原生数据库基础能力之上,提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈,后者通过对流量的变形、重定向、治理、鉴 Apache ShardingSphere 由 ShardingSphere‐JDBC 和 ShardingSphere‐Proxy 这 2 款既能够独立部署,又 支持混合部署配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能,可适用 于如 Java 同构、异构语言、云原生等各种多样化的应用场景。 ShardingSphere-JDBC 独立部署 ShardingSphere‐JDBC 据库的场景在不断增加。 3.5. 数据库网关 35 Apache ShardingSphere document, v5.2.0 3.5.2 挑战 多样化的数据库的存在,使访问数据库的 SQL 方言难于标准化,工程师需要针对不同种类的数据库使用 不同的方言,缺乏统一化的查询平台。 将不同类型的数据库方言自动翻译为后端数据库所使用的方言,让工程师可以使用任意一种数据库方言 访问所有的后端异构数据库,可以极大的降低开发和维护成本。0 码力 | 449 页 | 5.85 MB | 1 年前3
Apache Doris 在美团外卖数仓中的应用实践的星形模型 ,同时复用率也比较高。 2. App层的业务表达可以通过视图进行封装,减少了数据冗余,同时提高了应用的灵活性, 降低了运维成本。 3. 同时支持“汇总+明细”。 4. 模型轻量标准化,极大的降低了生产成本。 综上所述,在变化维、非预设维、细粒度统计的应用场景下,使用MPP引擎驱动的ROLAP模式, 可以简化模型设计,减少预计算的代价,并通过强大的实时计算能力,可以支撑良好的实时交互0 码力 | 8 页 | 429.42 KB | 1 年前3
SelectDB案例 从 ClickHouse 到 Apache Doris4.0 在数据架构 3.0 的基础上,我们对语义层进行更深层次的应用,在数据架构 4.0 中,我们 将语义层变为架构的中枢节点,目标是对所有的指标和标签统一定义,从计算-加速-查询实 现中心化、标准化管理,解决数据管理机制割裂的问题。 5 语义层作为架构中枢节点所带来的变化: 数仓层:语义层接收 SQL 触发计算或查询任务。数仓从 DWD 到 DWS 的计算逻 辑将0 码力 | 12 页 | 1.55 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0-alphaShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈,它由 JDBC、Proxy 和 Sidecar (规划中)这 3 款既能够独立部署,又支持混合部署配合使用的产品组成。它们均提供标准化的数据水平 扩展、分布式事务和分布式治理等功能,可适用于如 Java 同构、异构语言、云原生等各种多样化的应用 场景。 Apache ShardingSphere 旨在充分合理地在分布式的场景 用系统,使得架构师更加自由地调整适合与当前业务的最佳系统架构。 1.2 功能列表 1.2.1 数据分片 • 分库 & 分表 • 读写分离 • 分片策略定制化 • 无中心化分布式主键 1.2.2 分布式事务 • 标准化事务接口 • XA 强一致事务 • 柔性事务 1.2. 功能列表 3 Apache ShardingSphere document, v5.0.0-beta 1.2.3 数据库治理 • 分布式治理 于是,ShardingSphere 的加密功能模块便应运而生。可分为 3 步进行: 1. 系统迁移前 假设系统需要对 t_user 的 pwd 字段进行加密处理,业务方使用 Apache ShardingSphere 来代替标准化 的 JDBC 接口,此举基本不需要额外改造(我们还提供了 Spring Boot Starter,Spring 命名空间,YAML 等接入方式,满足不同业务方需求)。另外,提供一套加密配置规则,如下所示:0 码力 | 301 页 | 3.44 MB | 1 年前3
共 34 条
- 1
- 2
- 3
- 4













