Doris的数据导入机制以及原子性保证## Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer  ## 01 ## Doris简介 ## 系统定位 • 基于MPP(大规模并行处理)架构的分析型数据库 • 性能卓越,PB级别数据毫秒/秒级响应 级 ## 2009 - 进行了通用化改造,开始承接公司内部其他报表系统 - 助力百度统计成为国内最大的中文网站分析工具 ## 2012 - 随百度业务飞速发展,对Doris的性能、可用性、拓展性进行了全面升级 承担百度所有统计报表业务 03  ## 总结 多版本机制解决读写冲突 • 写入带版本 · 查询带版本 两阶段导入保证多表原子生效 - 支持并行导入 - 有冲突时按导入顺序生效,无冲突导入时并行生效 事务能力保证  可观测性概述 01 链路追踪 02 指标 03 ## 第一部分 ## 可观测性概述 ## “ ## 什么是可观测性? 广义的可观测性:可以根据系统的外部输出信息推断出系统内部状态的好坏。 推断出系统内部状态的好坏。 软件系统的可观测性:一种度量能力,能帮你更好的理解系统当前所处的任何状态。如果无需发布新代码就可以理解任何新的或怪异的状态,那么系统就具备可观测性。 ## 可观测性开源产品  Prometheus ![Im ## OpenTelemetry 为了解决 “厂商锁定问题”, 监控和可观测性社区过去创建了很多开源项目, 比如OpenTracing和OpenCensus, 这些标准允许用户实时收集遥测数据并传输到所选择的后端, 最终在2019年, 两个组织共同组建OTel项目, 并由CNCF负责。 OTel目前已经成为可观测性方案开源标准,标准的好处就是有了很多选择。 ## OTel 组件 ![Imag0 码力 | 35 页 | 2.88 MB | 2 年前3
Rust原子操作高性能实践 Rust Atomic Deep Dive - 王璞## RUST CHINA CONF 2023 第三届中国Rust开发者大会 ## [Table_CompanyName] 6.17-6.18 @Shanghai ## Rust原子操作高性能实践 ## Rust Atomic Deep Dive Pu Wang @ DatenLord 2023/06/17 ## 😍 ## Outline 01  阿里云数据库解决方案架构师 ## 01 为什么要兼容 MySQL The longer you look back, the farther you can look forward. ## 也从阿里巴巴的“去IOE”运动说起 ## 业务驱动下的分布式技术实践之路  ## PolarDB-X 完全兼容 MySQL Binlog 可行性 ## PolarDB-X CN CN DN CN DN DN 硕(2022)毕业于复旦大学 - 目前在蚂蚁集团安全计算部门开发应用于机密计算的Rust系统软件 ## Rust API 可靠性 现有的机制是否足够呢? - unsafe代码没有破坏内存安全性 • no memory leakage • panic free 在任何合法使用API的情况下 • 所有静态检查提供的保证都应该被满足(不应该被unsafe所破坏) - 所有动态检查都不应该被违背(可以被安全的移除),除非panic是一种允许的行为 ## 现有的可靠性分析方法及其局限性 模糊测试(afl 模糊测试用例程序 ## 结论以及未来的发展 1. Rust优秀的语言设计避免了大量可能发生的潜在错误 2. 目前Rust程序合成的难点在于unsafe代码,泛型与trait,宏等 3. 保障Rust程序的可靠性仍然需要各种程序分析以及软件测试的手段 ## Thanks ## Rust China Conf 2021-2022 – Online, China0 码力 | 13 页 | 1.68 MB | 2 年前3
TiDB 可观测性的设计与实现 陈霜## TiDB 可观测性 的设计与实现 ## - 陈霜 ## 精彩继续! 更多一线大厂前沿技术案例 广州站 QCon 全球软件开发大会 时间:2022年7月31–8月1日 地点:广州·万富希尔顿酒店 北京站 GITC 全球大前端技术大会 时间:2022年8月 地点:北京·国际会议中心 北京站 QCon 全球软件开发大会 时间:2022年9月 地点:北京·国际会议中心 e=id.g13672fc9a52_0_156 ☑ Externally Shared ▲ Not in a shared drive 我的云端硬盘 / ☐ ArchSummit-TiDB 可观测性的设计与实现 ☆ ☐ 文件 编辑 查看 插入 格式 幻灯片 排列 工具 插件 帮助 上次修改是在 34 分钟前进行的 ## CPU Profiling By SQL Request go-demo 148.731 $ \mu $ s, gc_sweep: 7.82 $ \mu $ s 我的云端硬盘 - Google 云端硬盘 - Google 云端硬盘 - ArchSummit-TiDB 可观测性的 docs.google.com/presentation/d/12HUWHWEQMU5v0m7hX9yh8fNafv4WRV59cxeRjqO6Qls/edit?n=ArchSummit-TiDB#slide=id0 码力 | 39 页 | 3.97 MB | 2 年前3
25-云原生应用可观测性实践-向阳云原生应用可观测性实践  向阳 云杉网络产品研发总监 12月8日(周三)晚8点 互动平台:腾讯文档 CLOUD NATIVE ACADEMY 2020 主办方: ## 可观测性 - What & Why ## 可观察性 - 背景:复杂的云上环境及分布式系统下的复杂性和动态性。 · 三大支柱: • Metrics:时间间隔内测量的数据的数字表示,支持较长时间和更容易的查询。 • Logs:提供比Metrics更为仔细的事件数据,同时具备不可变和带有时间戳的记录。 • Traces:分布式事件端到端,并且是一种具备延续性和因果性的有向无环图。 - 特性:关注应用、主动暴露和数据相关关联。 #### 云原生社区可观察性SIG-定义 https://i 2/p2_4.jpg) 可观测性 阿里可观测性数据引擎的技术实践 https://mp.weixin.qq.com/s/0aVgtVCmBmtAgZE_oQkcPw  ## 目录 1. 可观测性的成熟度模型 2. 构建内生的可观测性能力0 码力 | 39 页 | 8.44 MB | 1 年前3
Apache SkyWalking 在 Service Mesh 中的可观察性应用## Apache SkyWalking in Service Mesh 中的可观察性应用 高洪涛 Tetrate 创始工程师 ## 高洪涛 美国S Service Mesh 服务商 Tetrate 创始工程师。原华为软件开发云技术专家,对云原生产品有丰富的设计,研发与实施经验。对分布式数据库,容器调度,微服务,ServicMesh 等技术有深入的了解。 目前为 Apache ShardingSphere0 码力 | 29 页 | 1.38 MB | 1 年前3
高可用与一致性:构建强一致性分布式数据库 TiDB-沈泰宁## 构建强一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ## 极客时间 | 企业服务 ## 想做团队的领跑者 需要迈过这些“槛” 成长型企业,易忽视人才体系化培养企业转型加快,团队能力又跟不上 团队成员技能水平不一, 难以一“敌”百人需求 寻求外部培训,奈何价更高且集中式学习 学习效果难以统计,产生不良循环 VS VS VS0 码力 | 45 页 | 4.63 MB | 2 年前3
构建统一的云原生应用 可观测性数据平台构建统一的云原生应用可观测性数据平台 向阳 | 云杉网络 研发VP 2022.4.9 14:00-16:30分享 合作媒体 COSCHINA ☐ 示说 ☑ 稀土掘金 segmentfault 思否 ## 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 ## 构建统一的云原生应用可观测性数据平台 1. 可观测性数据平台的挑战 2 2. 解决数据孤岛:AutoTagging 3. 降低资源开销:MultistageCodec 4. 统一数据平台的落地思路及案例 ## 统一的可观测性数据平台  ## 挑战:数据孤岛、资源开销 Low volume  ## 构建统一的云原生应用可观测性数据平台 1. 可观测性数据平台的挑战 2. 解决数据孤岛:AutoTagging 3. 降低资源开销:MultistageCodec 4. 统一数据平台的落地思路及案例 ## OpenTelemetry的方法0 码力 | 35 页 | 6.75 MB | 2 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100













