Doris的数据导入机制以及原子性保证## Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer  ## 01 ## Doris简介 ## 系统定位 • 基于MPP(大规模并行处理)架构的分析型数据库 • 性能卓越,PB级别数据毫秒/秒级响应 级 ## 2009 - 进行了通用化改造,开始承接公司内部其他报表系统 - 助力百度统计成为国内最大的中文网站分析工具 ## 2012 - 随百度业务飞速发展,对Doris的性能、可用性、拓展性进行了全面升级 承担百度所有统计报表业务 03  ## 总结 多版本机制解决读写冲突 • 写入带版本 · 查询带版本 两阶段导入保证多表原子生效 - 支持并行导入 - 有冲突时按导入顺序生效,无冲突导入时并行生效 事务能力保证  可观测性概述 01 链路追踪 02 指标 03 ## 第一部分 ## 可观测性概述 ## “ ## 什么是可观测性? 广义的可观测性:可以根据系统的外部输出信息推断出系统内部状态的好坏。 推断出系统内部状态的好坏。 软件系统的可观测性:一种度量能力,能帮你更好的理解系统当前所处的任何状态。如果无需发布新代码就可以理解任何新的或怪异的状态,那么系统就具备可观测性。 ## 可观测性开源产品  Prometheus ![Im ## OpenTelemetry 为了解决 “厂商锁定问题”, 监控和可观测性社区过去创建了很多开源项目, 比如OpenTracing和OpenCensus, 这些标准允许用户实时收集遥测数据并传输到所选择的后端, 最终在2019年, 两个组织共同组建OTel项目, 并由CNCF负责。 OTel目前已经成为可观测性方案开源标准,标准的好处就是有了很多选择。 ## OTel 组件 ![Imag0 码力 | 35 页 | 2.88 MB | 2 年前3
Rust原子操作高性能实践 Rust Atomic Deep Dive - 王璞## RUST CHINA CONF 2023 第三届中国Rust开发者大会 ## [Table_CompanyName] 6.17-6.18 @Shanghai ## Rust原子操作高性能实践 ## Rust Atomic Deep Dive Pu Wang @ DatenLord 2023/06/17 ## 😍 ## Outline 01  阿里云数据库解决方案架构师 ## 01 为什么要兼容 MySQL The longer you look back, the farther you can look forward. ## 也从阿里巴巴的“去IOE”运动说起 ## 业务驱动下的分布式技术实践之路  ## PolarDB-X 完全兼容 MySQL Binlog 可行性 ## PolarDB-X CN CN DN CN DN DN 硕(2022)毕业于复旦大学 - 目前在蚂蚁集团安全计算部门开发应用于机密计算的Rust系统软件 ## Rust API 可靠性 现有的机制是否足够呢? - unsafe代码没有破坏内存安全性 • no memory leakage • panic free 在任何合法使用API的情况下 • 所有静态检查提供的保证都应该被满足(不应该被unsafe所破坏) - 所有动态检查都不应该被违背(可以被安全的移除),除非panic是一种允许的行为 ## 现有的可靠性分析方法及其局限性 模糊测试(afl 模糊测试用例程序 ## 结论以及未来的发展 1. Rust优秀的语言设计避免了大量可能发生的潜在错误 2. 目前Rust程序合成的难点在于unsafe代码,泛型与trait,宏等 3. 保障Rust程序的可靠性仍然需要各种程序分析以及软件测试的手段 ## Thanks ## Rust China Conf 2021-2022 – Online, China0 码力 | 13 页 | 1.68 MB | 2 年前3
OpenShift Container Platform 4.10 可伸缩性和性能OpenShift Container Platform 4.10 可伸缩性和性能 扩展 OpenShift Container Platform 集群并调整产品环境的性能 Last Updated: 2023-10-18 OpenShift Container Platform 4.10 可伸缩性和性能 扩展 OpenShift Container Platform 集群并调整产品环境的性能 CONTAINER PLATFORM 环境和配置 8.3. 如何根据经过测试的集群限制规划您的环境 8.4. 如何根据应用程序要求规划您的环境 第 第 9 章 章 优 优化存 化存储 储 9.1. 可用的持久性存储选项 9.2. 推荐的可配置存储技术 9.3. 数据存储管理 9.4. 为 MICROSOFT AZURE 优化存储性能 第 第 10 章 章 优 优化路由 化路由 10.1. INGRESS C 123 127 134 136 139 139 139 139 141 153 154 154 155 157 OpenShift Container Platform 4.10 可伸 可伸缩 缩性和性能 性和性能 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .0 码力 | 315 页 | 3.19 MB | 2 年前3
TiDB 可观测性的设计与实现 陈霜## TiDB 可观测性 的设计与实现 ## - 陈霜 ## 精彩继续! 更多一线大厂前沿技术案例 广州站 QCon 全球软件开发大会 时间:2022年7月31–8月1日 地点:广州·万富希尔顿酒店 北京站 GITC 全球大前端技术大会 时间:2022年8月 地点:北京·国际会议中心 北京站 QCon 全球软件开发大会 时间:2022年9月 地点:北京·国际会议中心 e=id.g13672fc9a52_0_156 ☑ Externally Shared ▲ Not in a shared drive 我的云端硬盘 / ☐ ArchSummit-TiDB 可观测性的设计与实现 ☆ ☐ 文件 编辑 查看 插入 格式 幻灯片 排列 工具 插件 帮助 上次修改是在 34 分钟前进行的 ## CPU Profiling By SQL Request go-demo 148.731 $ \mu $ s, gc_sweep: 7.82 $ \mu $ s 我的云端硬盘 - Google 云端硬盘 - Google 云端硬盘 - ArchSummit-TiDB 可观测性的 docs.google.com/presentation/d/12HUWHWEQMU5v0m7hX9yh8fNafv4WRV59cxeRjqO6Qls/edit?n=ArchSummit-TiDB#slide=id0 码力 | 39 页 | 3.97 MB | 2 年前3
25-云原生应用可观测性实践-向阳云原生应用可观测性实践  向阳 云杉网络产品研发总监 12月8日(周三)晚8点 互动平台:腾讯文档 CLOUD NATIVE ACADEMY 2020 主办方: ## 可观测性 - What & Why ## 可观察性 - 背景:复杂的云上环境及分布式系统下的复杂性和动态性。 · 三大支柱: • Metrics:时间间隔内测量的数据的数字表示,支持较长时间和更容易的查询。 • Logs:提供比Metrics更为仔细的事件数据,同时具备不可变和带有时间戳的记录。 • Traces:分布式事件端到端,并且是一种具备延续性和因果性的有向无环图。 - 特性:关注应用、主动暴露和数据相关关联。 #### 云原生社区可观察性SIG-定义 https://i 2/p2_4.jpg) 可观测性 阿里可观测性数据引擎的技术实践 https://mp.weixin.qq.com/s/0aVgtVCmBmtAgZE_oQkcPw  ## 目录 1. 可观测性的成熟度模型 2. 构建内生的可观测性能力0 码力 | 39 页 | 8.44 MB | 1 年前3
Apache SkyWalking 在 Service Mesh 中的可观察性应用## Apache SkyWalking in Service Mesh 中的可观察性应用 高洪涛 Tetrate 创始工程师 ## 高洪涛 美国S Service Mesh 服务商 Tetrate 创始工程师。原华为软件开发云技术专家,对云原生产品有丰富的设计,研发与实施经验。对分布式数据库,容器调度,微服务,ServicMesh 等技术有深入的了解。 目前为 Apache ShardingSphere0 码力 | 29 页 | 1.38 MB | 1 年前3
高可用与一致性:构建强一致性分布式数据库 TiDB-沈泰宁## 构建强一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ## 极客时间 | 企业服务 ## 想做团队的领跑者 需要迈过这些“槛” 成长型企业,易忽视人才体系化培养企业转型加快,团队能力又跟不上 团队成员技能水平不一, 难以一“敌”百人需求 寻求外部培训,奈何价更高且集中式学习 学习效果难以统计,产生不良循环 VS VS VS0 码力 | 45 页 | 4.63 MB | 2 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100













