## 并行不悖 – OLAP 在互联网公司的实践与思考 ## 赵飞祥 一 数据仓库体系架构 二 Greenplum体系架构 三 Greenplum现状说明 四 Greenplum运维体系 五 Greenplum开发规范 六 Greenplum扩展规划 ## 业务数据与数据使用归类 时间维度：过去 - 现在 - 未来 （数据的生命周期） “现在”的数据 —— OLTP “过去”的数据 “过去”的数据 —— OLAP “未来”的数据 —— 趋势分析 ## 业务数据与数据特点 • 现在的数据 —— OLTP 实时，在线系统，客户使用 事务小，频率高，并发高 · 过去的数据 —— OLAP 非实时（T+1，或小时级），离线系统，分析决策 事务大，频率相对小，并发低 · 未来的数据 —— 趋势分析 非实时，离线+在线流系统，趋势分析 算法分析，持续计算 ## 数据仓库体系架构 数据仓库体系架构 ## OLAP场景举例 ## · 业务相关场景 ➢ 用户状态（注册数，活跃数，并发量，峰值） 金币状态 道具/物品状态 对账状态 活动反馈 ## • 架构相关场景 不同数据量，不同事务特点，不同查询需求 历史数据归档与冷热分离 实时与延时需求的权衡 ## 数据流转过程 • 1 业务数据的产生 —— OLTP • 2 业务数据的中转 —— ETL服务器 • 3 数据的存储和计算

NODE_MODULE_VERSION和node版本对应关系 1.7.5.2 附录 1.8 文档和教程 1.8.1 参考资料 1.8.2 ## 跨平台桌面应用框架：Electron 最新版本：v1.0 • 更新时间：20200808 ## 简介 介绍跨平台桌面应用框架Electron的基本概念、基本原理、核心优势以及额外特性；介绍了用Electron开发出的常见应用有哪些；解释了如何安装Elec ork_electron: 跨平台桌面应用框架：Electron 如何使用此Gitbook源码去生成发布为电子书 详见：crifan/gitbook template: demo how to use crifan gitbook template and demo ## 在线浏览 跨平台桌面应用框架：Electron book.crifan.com 跨平台桌面应用框架：Electron 跨平台桌面应用框架：Electron crifan.github.io ## 离线下载阅读 跨平台桌面应用框架：Electron PDF • 跨平台桌面应用框架：Electron ePub 跨平台桌面应用框架：Electron Mobi ## 版权说明 此电子书教程的全部内容，如无特别说明，均为本人原创和整理。其中部分内容参考自网络，均已备注了出处。如有发现侵犯您版权，请通过邮箱联系我 admin 艾特 crifan.com，我会尽快删除。谢谢合作。

云原生 DevOps 平台 ZADIG 产品介绍 ## 基本信息 ## 01 公司介绍 KodeRover 是国内云原生 DevOps 领域的领军企业，帮助企业提升产研工程化水平，加速产业数字化进程，快速响应市场需求。核心团队由国内外云计算、DevOps、工程运筹学领域专家组成，已连续完成由盈动和经纬领投的天使轮/PreA 轮融资。公司旗舰产品云原生 DevOps 平台 Zadig 正成为软 正成为软件研发的新标配，软件交付领域的规则制定者，开启了软件交付 3.0 时代。 ## 02 产品介绍 公司自主研发的旗舰产品 Zadig 在 GitHub 上核心开源，用平台工程支撑软件研发全生命周期，让产研高效协同，稳定迭代。Zadig 内置了 K8s YAML、Helm Chart、主机等复杂场景最佳实践，适用云原生转型/上容器云、研发效能提升、大规模微服务环境治理、研发数字化转型等应用场景，在 [Image](/uploads/documents/8/5/1/7/851750993b5bfd7d4ea618897aa14c91/p2_1.jpg) ## Zadig 理念 & 应用 ## 一 体化平台帮助企业实现产研全域过程数据互通、软件质量透明、角色价值可评估 开发 数字孤岛 ![Image](/uploads/documents/8/5/1/7/851750993b5bfd7d4ea618897aa14c91/p3_1

## caicloud 才云 ## 基于 KUBERNETES 的 容器 + AI 平台 如何助力企业数字化和智能化转型 xiaoqin@caicloud.io VP of R&D ## 提纲 构建集群与管理资源 - 73s 视频演示 - 多集群和镜像仓库 - 多租户和旧系统的集成 运行和构建应用 Rudder - 应用编排技术框架 • Cyclone - 持续集成与交付引擎 Spec (CRD) - 跟踪 TensorFlow 任务运行状态 - 支持分布式 TensorFlow 任务 Kubeflow KubeFlow ## KUBEFLOW 之上 - 借力容器平台提供生产级的集群资源管理 工作区隔离与共享 数据、模型、环境、应用等 - 全面支持 AI 工作流 • 探索开发 ![Image](/uploads/documents/a/3/f/7/a3

## ClickHouse在B站海量数据场景的落地实践 胡甫旺 哔哩哔哩OLAP平台  ## 目录 ClickHouse在B站 内核 日志 用户行为数据分析 Future Work Q&A ![Image ments/9/0/4/5/90450d8d637a7624f7a2038fdd8a63b7/p4_1.jpg) ## 基于ClickHouse的交互式OLAP技术架构 Applications 日志&Trace 平台 报表平台 标签圈人 埋点分析 广告DMP 内容定投 APM 内容分析 HDFS/Hive 离线接入 (Rider/Spark/WaterDrop) Cluster-n ClickHouse 监控管理平台 ## ClickHouse as Service ☑ Berserker数据源管理： 建表 修改表元数据 ➢ 表元数据管理 ## Yuuni: ➢ 屏蔽集群信息 ➢ 原生JDBC，HTTP接口 ➢ 读写分离 ➢ 动态查询缓存 ➢ 流量控制 ✿ 监控管理平台： 统计大盘 回归测试 ➢ 接入评估 数据迁移

## MeterSphere 一站式开源持续测试平台 2023 年 9 月 持续测试的兴起与现状 MeterSphere 加速企业持续测试落地 MeterSphere 企业版及专业服务 ## 持续测试是持续交付发展的必然需求 ## 持续交付能力是企业核心竞争力 保证业务足够稳 ## 持续测试能力保障业务足够可靠 ## 催生 保证交付足够快  建设测试平台，提升测试整体的吞吐量 从系统角色的角度来看，下游的生产力决定上游的生产速度。通过测试平台的建设，最终推动研发效能的提升。 持续测试的兴起与现状 持续测试的兴起与现状 MeterSphere 加速企业持续测试落地 MeterSphere 企业版及专业服务 ## MeterSphere 的使命 MeterSphere 是一站式的开源持续测试平台，遵循 GPL v3 开源许可协议，涵盖测试管理、接口测试、UI 测试和性能测试等功能，全面兼容 JMeter、Selenium 等主流开源标准，有效助力开发和测试团队充分利用云弹性进行高度可扩展的自动化测试，加速高质量的软件交付。

## Greenplum 6: 负载的理想数据平台 高小明  ## Pivotal Greenplum $ ^{®} $ 全球领先的开源MPP大数据平台   ## OLAP - Online Analytical Processing - 联机分析处理 ## Gartner 2019数据分析行业报告 ![Image](/uploads/documents/c/ Pivotal Greenplum’s strong capabilities here as an MPP relational database are well-showcased ## 卓越的OLAP特性 列式存储 分区、压缩 Madlib: 机器学习 数据库内并行模型训练和预测、分类 高级特性 递归查询、窗口函数 集成分析 多格式、多语言 ORCA 复杂查询优化器 成熟稳定

## Kubernetes日志平台建设最佳实践 ## 张城-元乙 阿里巴巴 # TGO鲲鹏会 # 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  容器、Serveless 数字化、智能化 统一日志平台 ## 日志系统的重要性与建设目标 智能分析 链路跟踪 监控 数据清洗 流计算 OLAP 离线计算 线上监控 ![Image](/uploads/documents/b/7/9/c/b79c5459a827b56012eafb889657fae8/p7_1

## SolarMesh 基于Istio构建的流量监管平台 ## 目录 1. 为什么我们需要服务网格 2. SolarMesh的定位 3. SolarMesh的特点 4. SolarMesh对Istio社区的产品化改进 5. SolarMesh的架构 6. SolarMesh组件介绍 7. 应用场景 ## 为什么我们需要服务网格 - 微服务化带来的问题 ## 服务间通信的复杂性： 服务网格是一个云原生的网络基础设施，它把微服务调度中有关网络的公共能力下沉，在无任何代码侵入的情况下提供可观察性、流量管理和安全性等能力。 ## SolarMesh的定位 - 基于Istio构建的流量监管平台 Istio是目前服务网格领域最流行的开源项目，38%的企业在生产中使用服务网格，其中有接近一半的选择是Istio SolarMesh 基于 Istio 及容器技术，提供流量监控和管理，提供完善的非侵入式服务治理解决方案。

GO CN 基于Go构建海量作业作业平台 袁帅 villager bilibili/基础架构部/SRE/平台工程组/资深开发工程师 作业平台简介 01 作业平台的挑战 02 B站作业平台Job的介绍 03 Job设计实现：Agent/Worker 作业执行和上报 04 Job设计实现：Scheduler 作业调度 05 Job设计实现：ApiServer 鉴权+数据处理 06 Job设计实现：其他技术难点和细节 总结展望 07 第一部分 作业平台简介 日常的运维管理无时无刻的不在执行，不管是执行软件安装、还是配置和启动服务，甚至是一个长时间的停机维护，将这些操作抽象来表达统称为作业。 运维作业的重要性在于它可以帮助运维/SRE团队更好的管理和维护系统，确保系统的稳定性和可靠性。通过自动化运维作业，可以减少人工干预，降低出错率，提高工作效率和质量 ’ alt=‘OCR图片’/> 作业平台的需求来源 SALTSTACK ’ alt=‘OCR图片’/> 作业平台主要对象 作业平台主要对象 命令：一个可以独立操作，如：关机，重启等 文件分发/下载：将指定的文件分发到目标机路径；将目标机路径的文件下载到本地 作业：一系列命令、文件分发/下载的有序组合，它还包含执行对象 定时作业：定时执行的作业 ’ alt=‘OCR图片’/> 第二部分 作业平台挑战 系统集成：作业平台需要集成多个系统和工具，这些系统可能来自不同的操作系统或供应商