部署与监控管理 1 服务监控-响应耗时： 一切以用户价值为依归 13 部署与监控管理 1 立体监控模型： 监控分层 监控项 敏感度 紧急度 应用层 业务指标，数据异常 低 高 服务层 错误日志 中 中 请求指标 扫描详情 响应耗时 物理层 磁盘IO， 持续负载，流量 高 低 一切以用户价值为依归 业务应用实践 iData 14 2 一切以用户价值为依归 15 业务应用实践 用户画像 DataMore 月光宝盒 DataMore 任务系统 iData 数据可视化 游 谱 游戏说 神秘 商店 iData 多维提取 … 游戏数据 驱动场景 潘多拉 社交与功能 用户增长 服务场景 游戏 社区 微信手Q 渠道投放 直播 电竞 … 大数据基础PaaS平台 n 标准化、海量数据接入能力 n 实时化、低延时对接数据应用 n 异构化兼容能力 大数据应用PaaS服务

Spark 用户画像平台 现有的流程：  ES中定义标签的大宽表  通过Spark关联各种业务数据，插入到ES大 宽表。  高频查询的画像数据通过后台任务保存到加 速层：Hbase 戒者 Redis  实时标签通过Flink计算，然后写入Redis  用户画像平台可以从ES、Hbase、Redis查 询数据 痛点：  标签导入到ES的时间过长，需要等待各种业 标签表达式和查询SQL对用户来说比较友好。  相对亍ElasticSearch的配置，可以节约一半硬件资源。 速度快 友好 省钱 实时 29 社区贡献  Bitmap功能 https://github.com/ClickHouse/ClickHouse/pull/4207 Add some bitmap functions by yuzhichang and

ClickHouse中采⽤分表，统⼀schema的设计 v ⽇志查询采⽤类似ES语法，降低⽤户迁移成本 用户行为数据分析 概述 v 基于ClickHouse构建B站⽤户⾏为数据分析产品：北极星 v 行为数据分析平台主要以下功能模块： 事件分析 v 海量埋点事件数据，⽇增数据千亿级。 v ⽤户⾏为事件的多维度分析场景。 v 事件包含公共属性和私有属性，均可作过滤和聚合维度。 v 不同事件有不同的私有属性字段。 v

高性能并发读写 • 千万数据点并发实时写入 • 引入辅助索引，加快数据检索 速度 低成本存储 • 列式存储结合高效的编码 • Delta、XOR 等适合时序场景的压缩算法 • 通过 Rollup 功能，对历史数据做聚合，减少数据量 稳定可扩展 • 分布式架构 • 数据多副本存储 • 服务高可用 Thanks For You