使用 TiDB 进行实时数据分析-马晓宇或者干脆绕过消息队列缓存,在线应用直接写入数据库 ☐ 需要系统负荷有余量 ☐ 受到较少的干扰 ☐ 使用行存格式 - 如果实时长查询快速返回结果 所有系统资源全力投入计算 ☐ 使用列存格式 ## 案例回顾 TiDB 为保证短读写,使用了行存而非列存 ☐ 分析场景下 IO 效率低于列存数据库 • 分析应用的大批量数据读取会干扰短读写 简单的限制资源方法会大大降低大查询的执行速度 如果 ☐ 应用对系统抖动敏感 那么只使用 TiDB + TiSpark 也还是歇菜 ## TiFlash Extension ( Beta 测试中 ) - 通过 Raft Learner 独立同步一套列存 Raft Learner 提供异步低消耗的副本同步 Raft Learner 读取协议配合 MVCC 提供强一致的读取 - 通过 Label 进行物理隔离 AP / TP 作业互相无影响 ## ## Why TiFlash here • 架构简化 ☐ 同一套平台覆盖多个场景 ○ 统一的运维 同一份数据的另一个副本 ☐ 无需数据转移和复杂的增量合并流程 ☐ 行存 + 索引 → 高并发短查询 ☐ 列存 + 向量化引擎 → 低并发快速批量扫表 ☐ 完整的资源隔离 ## 案例回顾 数据源 TiTiDB  ### GP vs. RDS? 列存与压缩原理举例 ## Select count(*) from customer where status = valid group by city  子节点 子节点 子节点 子节点 子节点 子节点 子节点 ## ApsaraDB for GP的定位 MPP + 列存压缩 ApsaraDB for GP = 复杂SQL + 查询优化器 本地高效存储 + 高速网络 + 预置稳定资源 = 简单、高效解决大数据分析需求 # ApsaraDB for GP的内核优化0 码力 | 26 页 | 1.13 MB | 2 年前3
C++高性能并行编程与优化 - 课件 - 07 深入浅出访存优化1_1.jpg)  # 深入浅出访存优化 by 彭于斌 (@archibate) 往期录播:https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码:https://github. 第 1 章:内存带宽 ## cpu-bound 与 memory-bound - 通常来说,并行只能加速计算的部分,不能加速内存读写的部分。 - 因此,对 fill 这种没有任何计算量,纯粹只有访存的循环体,并行没有加速效果。称为内存瓶颈(memory-bound)。 - 而 sine 这种内部需要泰勒展开来计算,每次迭代计算量很大的循环体,并行才有较好的加速效果。称为计算瓶颈(cpu-bound)。 } } BENCHMARK(BM_parallel_sine); ## 浮点加法的计算量 - 冷知识:并行地给浮点数组每个元素做一次加法反而更慢。 因为一次浮点加法的计算量和访存的超高延迟相比实在太少了。 • 计算太简单,数据量又大,并行只带来了多线程调度的额外开销。 • 小彭老师经验公式:1 次浮点读写 ☐ 8 次浮点加法 - 如果矢量化成功(SSE):1 次浮点读写0 码力 | 147 页 | 18.88 MB | 2 年前3
Apache Cassandra static column 介绍与实战static column。同一个 partition key 中被声明为 static 的列只有一个值的,也就是只存储一份。 解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop ## 定义 static column 在表中将某个列定义为 STATIC 很简单,只需要在列的最后面加上 STATIC 关键字,具体如下: CREATE TABLE username 只会有一个 email 和 encrypted_password。 注意,不是任何表都支持给列加上 STATIC 关键字的,静态列有以下限制。 - 如果表没有定义 Clustering columns(又称 Clustering key),这种情况是不能添加静态列的。如下: cqlsh:iteblog_keyspace> CREATE TABLE "itebl columns。这是因为静态列在同一个 partition key 存在多行的情况下才能达到最优情况,而且行数越多效果也好。但是如果没有定义 clustering column,相同 PRIMARY KEY 的数据在同一个分区里面只存在一行数据,本质上就是静态的,所以没必要支持静态列。 - 如果建表的时候指定了 COMPACT STORAGE,这时候也不允许存在静态列: cqlsh:iteblog_keyspace>0 码力 | 5 页 | 0 Bytes | 2 年前3
Debian 參考手冊(第 2.109 版)下的 shell 提示符 1.1.3 root 帳號 1.1.4 root shell 提示字元 1.1.5 GUI 系統管理工具 1.1.6 虛擬控制檯 1.1.7 怎樣退出命令列提示字元 1.1.8 怎樣關閉系統 1.1.9 恢復一個正常的控制檯 1.1.10 建議新手的額外軟體包 1.1.11 額外使用者帳號 1.1.12 sudo 調配 1.1.13 Midnight Commander (MC) 1.3.1 自定義 MC ..... 16 1.3.2 啟動 MC ..... 16 1.3.3 MC 文件管理 ..... 16 1.3.4 MC 指令列技巧 ..... 16 1.3.5 MC 內部編輯器 ..... 17 1.3.6 MC 內部檢視器 ..... 17 1.3.7 自動啟動 MC ..... 17 1.3.8 MC 中的虛擬檔案系統 . 24 1.5.2 “$LANG” 變量 ..... 25 1.5.3 ”$PATH” 變數 ..... 26 1.5.4 ”$HOME” 變數 ..... 26 1.5.5 指令列選項 ..... 26 1.5.6 Shell 萬用字元 ..... 27 1.5.7 指令的回傳值 ..... 27 1.5.8 典型的順序指令和 shell 重導向 ..... 280 码力 | 260 页 | 1.41 MB | 2 年前3
Greenplum Database 管理员指南 6.2.1输出..... - 234 检查执行计划排查问题..... - 237 第十一章:数据导入与导出..... - 239 创建外部表..... - 240 数据格式..... - 241 外部表协议..... - 244 错误记录处理..... - 250 gpfdist 服务..... - 252 使用外部表导入数据. 性能和网络性能..... - 353 新旧主机一起做性能测试..... - 354 初始化新 Instance..... - 354 生成扩展配置文件..... - 354 扩容配置文件的格式..... - 357 初始化新 Instance..... - 358 扩容失败回退..... - 359 数据表的重分布..... - 359 调整表的重分布顺序..... - 360 . - 372 第十八章:最佳实践..... - 373 最佳实践概述..... - 373 数据模型..... - 373 Heap 表与 AO 表..... - 374 行存与列存..... - 374 压缩..... - 375 分布键..... - 375 内存管理..... - 376 分区..... - 377 索引..... - 378 资源队列0 码力 | 416 页 | 6.08 MB | 2 年前3
Zabbix 5.0 Manual-----------+ | utf8 | utf8_bin | +--------------------------+----------------------+ 5. 下载脚本 在数据库表和列模式下去修改字符集和排序规格: mysql <您 的Zabbix数 据 库 名 称> < utf8_convert.sql 6. 执行脚本: SET @ZABBIX_DATABASE = '<您 的Zabbix数 Mysql 类 库 不 充 许 调 过 对 等 证 书 验 证 步 骤。 11 参数描 数据库 TLS 密码列表 (Database TLS cipher list) 指定有效密码 自 定 义 列 表。 密 码 列 表 的 格 式 必 须 符 合 OpenSSL 标 准。 仅 适 用 于 MySQL。TLS 参数必须指向有效文件。如果它们指向不存在或无效的文件,则将导致认证授权错误。 (MySQL)TLS 或 TLS 1.2 的 TLS 协议进行连接的加密密码的列表-DBSRCipher13-客户端允许使用 TLS 1.3 协议进行连接的加密密码的列表 接 是 使 用 提 供 的 列 表 中 的 密 码 进 行 的。 ( (Post- greSQL) 设 置 此 选 项 将 被 视 为 错 误。 1 MySQL 加密配置 总览 本节提供了一些关于 CentOS 8.2 和 MySQL 0 码力 | 2715 页 | 28.60 MB | 2 年前3
TiDB v8.5 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 529 5.1.7 TiFlash 存算分离架构的软硬件要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 529 5 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 686 6.5.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 688 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2596 14.3.6 TiFlash 存算分离架构与 S3 支持 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·0 码力 | 5095 页 | 104.54 MB | 1 年前3
TiDB v7.1 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 469 5.1.7 TiFlash 存算分离架构的软硬件要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 469 5 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 619 6.5.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 621 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2347 14.3.6 TiFlash 存算分离架构与 S3 支持 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·0 码力 | 4369 页 | 98.92 MB | 2 年前3
MoonBit月兔编程语言 现代编程思想 第十课 哈希表与闭包
添加时向队首添加 - 查询时从队首遍历 树实现:二叉平衡树 - 基于第五节课介绍的二叉平衡树,每个节点的数据为键值对 - 对树操作时比较第一个参数 ## 哈希表 - 哈希函数/散列函数 Hash function ◦ 将任意长度的数据映射到某一固定长度的数据 在月兔的 Hash 接口中,数据被映射到整数范围内 trait Hash { hash(Self) -> Int0 码力 | 27 页 | 448.83 KB | 2 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100













