· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 673 8.1.7 日志脱敏 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 815 8.9.2 TiFlash 重要日志介绍 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 916 9.9.1 日志备份监控· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 740 7.3.4 Changefeed 日志过滤器 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 985 8.1.7 日志脱敏 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1133 8.9.2 TiFlash 重要日志介绍 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 732 8.1.7 日志脱敏 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 879 8.9.2 TiFlash 重要日志介绍 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 981 9.9.1 日志备份监控· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

快速入门指南 TiDB 用户文档 TiDB 数据库管理 TiDB 服务 TiDB 进程启动参数 TiDB 数据目录 TiDB 系统数据库 TiDB 系统变量 TiDB 专用系统变量和语法 TiDB 服务器日志文件 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名 关键字和保留字 用户变量 表达式语法 tidb-server 、 tikv-server 、 pd-server ）默认会将日志输出到标准错误中，并且三个 组件都支持设置 --log-file 启动参数 （或者是配置文件中的配置项）将日志输出到文件中。 通过配置文件可以调整日志的行为，具体信息请参见各个组件的配置文件说明。例如： tidb-server 日志配置项。 TiDB 数据库管理 TiDB 服务 TiDB 集群启动配置 TiDB TiDB 数据库系统变量 TiDB 系统表 TiDB 数据目录 TiDB 服务器日志文件 TiDB 服务 - 25 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 进程启动参数 启动 TiDB 进程时，可以指定一些程序启动参数。 TiDB 接受许多的启动参数，执行这个命令可以得到一个简要的说明： 1. ./tidb-server --help 获取版本信息可以使用下面命令： 1.

一个复制组可以包含多个文件的元数据信息 复制组 wal 记录元数据操作 定期 snapshot 对 wal 进行清理。snapshot 中存储的是键值对，其中 inode 文件中存储 inode-inodeInfo; dentry 中存储 filename-dentryInfo 信息 copyset 启动的时候根据 inode 和 dentry 分别建立对应的内存结构，再回放 wal 日志完成构建 卷的元数据管理

etcd_server_proposals_failed_total 提案失败次数 • etcd_disk_backend_commit_duration_seconds • etcd_disk_wal_fsync_duration_seconds etcd 强依赖硬盘做数据持久化，一定要用IO性能高的盘，要 特别关注硬盘相关的写入指标 Kubernetes 资源对象 的监控 Kubernetes资源对象的监控 Pod内的业务应用的监控 - 两种埋点方式 • Pod 内的业务应用，有两种典型的埋点方案，statsd 和 prometheus sdk，当然，也可以用日志的方式，但是成 本比价高，处理起来比较麻烦，如果业务程序是自己研发团队写的，可控，尽量就别用日志来暴露监控指标 • statsd 出现的时间比较久了，各个语言都有 sdk，很完善，业务程序内嵌 statsd 的 sdk，截获请求之后通过 UDP 推送给兼容 agent 监控服 务端 Pod-001 业务 容器 Pod-002 业务 容器 agent 监控服 务端 Pod内的业务应用的监控 - 日志转metrics数据流向 • 如果实在没办法埋点，通过 mtail 解析日志从中提取 metrics 也是一种方案，categraf 后面计划把 mtail 直接集 成进来，这样就可以省去一个二进制 Pod-001 业务 容器

message); private: map Hash; // B+ std::string filePtah; // WAL dump (WAL : curvefs.waldump : curvefs.dump) }; Q&A© XXX Page 9 of 12 单靠 redis 的 AOF 机制能否保证数据不丢失? 不能，因为 所以，AOF 不能保证数据 100% 不丢失（RDB 持久化更不能），结论就是单靠 redis 无法保证数据 100% 不丢失（这主要是 redis 基于性能考量，毕竟纯内存数据库，如果利用 WAL 每次写文件再 sync，那么性能就会下降很多） 所以，单靠 redis 的方案是不行了. redis 的高可用、高可扩方案？ 主要是 redis cluster + 主从复制 (或者第三方 做不到）探索其可行性？？ rocksdb/leveldb + multiraft 可行，因为 leveldb 是可嵌入的，一个 raft 实例中可以绑定一个 leveldb 实例（leveldb 中的 wal 和 SST 文件都可以写到指定的目录) redis 改造 vs 自己实现? 结论：从目前元数据持久化的需要来看，更倾向于自己实现，理由如下： redis 目前不支持单独持久化 redis 中的某个

change data file paths configuration such as storage.data-dir, raftstore.raftdb-path, rocksdb.wal-dir and raftdb.wal-dir. SM4 encryption is only supported in v6.3.0 and later versions of TiKV. TiKV versions the underlying storage engine (namely, RocksDB). All files written by RocksDB, including SST files, WAL files, and the MANIFEST file, are encrypted by the current data key. Other temporary files used by Configuration item Description {db- �→ name �→ }. �→ max �→ - �→ total �→ - �→ wal �→ - �→ size �→ The maxi- mum size of total WAL {db- �→ name �→ }. �→ max �→ - �→ background �→ - �→ jobs �→ The num- ber

change data file paths configuration such as storage.data-dir, raftstore.raftdb-path, rocksdb.wal-dir and raftdb.wal-dir. SM4 encryption is only supported in v6.3.0 and later versions of TiKV. TiKV versions the underlying storage engine (namely, RocksDB). All files written by RocksDB, including SST files, WAL files, and the MANIFEST file, are encrypted by the current data key. Other temporary files used by Configuration item Description {db- �→ name �→ }. �→ max �→ - �→ total �→ - �→ wal �→ - �→ size �→ The maxi- mum size of total WAL {db- �→ name �→ }. �→ max �→ - �→ background �→ - �→ jobs �→ The num- ber

change data file paths configuration such as storage.data-dir, raftstore.raftdb-path, rocksdb.wal-dir and raftdb.wal-dir. SM4 encryption is only supported in v6.3.0 and later versions of TiKV. TiKV versions the underlying storage engine (namely, RocksDB). All files written by RocksDB, including SST files, WAL files, and the MANIFEST file, are encrypted by the current data key. Other temporary files used by Configuration item Description {db- �→ name �→ }. �→ max �→ - �→ total �→ - �→ wal �→ - �→ size �→ The maxi- mum size of total WAL {db- �→ name �→ }. �→ max �→ - �→ background �→ - �→ jobs �→ The num- ber