## TiDB 可观测性 的设计与实现 ## - 陈霜 ## 精彩继续! 更多一线大厂前沿技术案例 广州站 QCon 全球软件开发大会 时间：2022年7月31–8月1日 地点：广州·万富希尔顿酒店 北京站 GITC 全球大前端技术大会 时间：2022年8月 地点：北京·国际会议中心 北京站 QCon 全球软件开发大会 时间：2022年9月 地点：北京·国际会议中心 .g13672fc9a52_0_156 ☑ Externally Shared ▲ Not in a shared drive 我的云端硬盘 / ☐ ArchSummit-TiDB 可观测性的设计与实现 ☆ ☐ 文件 编辑 查看 插入 格式 幻灯片 排列 工具 插件 帮助 上次修改是在 34 分钟前进行的 ## CPU Profiling By SQL Request go-demo • rust-demo

## 云时代下多数据计算引擎的设计与实现 郭罡 CTO 拓数派（OpenPie） ## 关于拓数派 - 成立于2021年，以 “Data Computing for New Discoveries” 「数据计算，只为新发现」为使命。 - 核心团队来自于各大厂名校，有丰富的数据库（Greenplum，DB2，ClickHouse等）研发和产业经验. - 产品 πDataCS：多计算引擎，包括 Observability Storage (S3/HDFS/Posix) Govenance CPU (X86, ARM, etc) 行列混存（PAX） ## janm 格式 为极致的数据计算而设计和优化 解析性能极致 (vs Parquet, etc) ## JANM: 大数据计算系 ## 统云存储底座 ## JANM Table Format API and Interfaces |---|---|---|---| |Postgres执行器全新的向量化执行引擎|单机和分布式|客户依赖跑批任务机器学习......|按需增加| ## 产品子功能 太多分支？ ## 抽象和灵活的考虑贯穿所有的设计 • 抽象的文件协议接口 • 抽象的文件格式接口 • 抽象的计算功能接口（e.g. data skipping） • 抽象的元数据存储接口 Apache Arrow作为不少组件内存中间桥梁

[Image](/uploads/documents/1/5/a/1/15a1170487dcdfd23ba5652490fdb3d8/p1_1.jpg) ## 云原生虚拟数仓PieCloudDB ## ETL方案设计与实现 邱培峰 拓数派 技术专家 ## 自我介绍 ## 邱培峰 拓数派技术专家 ETL解决方案及内核组件研发 大连理工大学软件工程本科 pgsql@qiupf.dev  • 计算节点 Foreign Table, Formatter ## PieCloudDB ETL方案总体设计与实现 导出 • 发送 SQL 语句到 PieCloudDB 控制节点 • 收集执行结果，记录进度和错误信息 • INSERT/MERGE 模式 ## PieCloudDB ETL方案总体设计与实现 • INSERT 模式，支持单纯导入场景

[Image](/uploads/documents/3/3/f/5/33f5a9226ecd26d83218d10f3434b783/p1_4.jpg) ## 云原生数据库 PieCloudDB eMPP 架构设计与实现 郭罡 拓数派CTO ## 关于拓数派（OpenPie） • 成立于2021年，以 “Data Computing for New Discoveries” 「数据计算，只为新发现」为使命。 毕业于中国科技大学，AI相关专业 • 毕业 1 年后到现在一直从事底层基础软件开发，10多年开发经验 ·领域涉及到： • 代码级/算法级/系统级性能优化 • Linux/Unix内核和系统开发、虚拟化（芯片KVM支持实现）和云计算架构、高速网络开发（内核和应用层如DPDK） • 分布式系统（SQL/NoSQL/存储） • 最近 7+ 年一直从事开源分布式数据库开发 ## 元CloudDB 一个eMPP 云原生分布式SQL数据库 • 多个集群（虚拟数仓）可以共享一份元数据 • FoundationDB高可用设计、备份恢复保证元数据的可靠性和可用性 ## 元数据管理缓存 · 目的： • 减轻FoundationDB集群负担 • 加速查询优化（网络延迟远高于内存延迟） - 以Postgres原生的元数据缓存概念为基础，优化重构实现适用于多集群架构 ## 用户数据存储引擎 • PAX（行列混存）配以高效压缩 •

## ServiceComb设计揭秘：标准与开发 华为CloudBU PaaS微服务引擎开发团队 ## 代码阅读 • 一、系统架构解读 二、系统模块解读 • 三、框架的启动与停止 四、框架运行时请求发送与处理过程 ## ServiceComb 开发框架 编程模型 (jaxrs、pojo、springmvc) 服务发现 运行模型 熔断 负载均衡 配置 跟踪 通信模型 (restful、highway) ema文件，在同一个微服务当中每个schema文件都有唯一Schema-Id与之对应； • MicroService 微服务元数据：包括应用名、微服务名称、微服务Id、版本、描述、Schema-id等； • MicroServiceInstance 微服务实例：一个独立的拥有自IP端口的微服务实例（通常为进程），与service id的关系为n:1，即Service ID可以拥有多个微服务实例； ## Common javassist protobuf rest Foundation common config $ \text{vertex} $ ssl ## 框架的启动与停止 ## pkg ## Log4jUtils + init0 : void + init(locationPattern : String) : void + int(locationPatterns

Oracle Labs 参与 GraalVM 开发 毕业后加入阿里云－编译器 目前负责 Python / Node.js 的 Runtime 优化 • Python 启动速度简析 • PyCDS 设计与实现 • 更多讨论 • 62% - python ○ 55.9% - main() -> pymain_main() ■ 47.7% - pymain_init()

China 2022 基于Python的深度学习框架设计与实现 主讲人：刘凡平 Python  HELLO WORLD 一、背景 二、原理：深度学习框架的一般性结构 三、设计 四、应用案例 五、思考 ## ## 一、 背景 深度学习框架是包含深度学习模型设计、训练和验证的一套标准接口、特性库和工具包，集成深度学习的算法封装、数据调用以及计算资源的使用，同时面向开发者提供了开发界面和高效的执行平台，是算法工程师的必备工具之一。  ![Ima 深化阶段 时间范围：2020年-至今 ## 使用特点 1、全场景支持； 2、超大规模AI； 3、安全可信等； 应用情况：随着人工智能的进一步发展，新的趋势不断涌现。要求 AI 框架最大化的实现编译优化，更好地利用算力、调动算力，充分发挥硬件资源的潜力。 示例：华为推出昇思 MindSpore、旷视推出天元 MegEngine 等 ## 发展阶段 时间范围：2012年左右-2016年左右

## HIPPY 前终端统一方案 Hippy-Vue 设计和实现 ## 背景介绍 传统移动端开发模式，无法满足业务精细化运营需求，急需寻找一种高性能、跨平台、动态发布的开发解决方案。 Web Native 前终端一体化 开发效率高 开发效率低 开发效率高 支持多平台 无法跨平台 支持双平台 可动态发布 发布复杂 可动态发布 体验差 体验好 体验好 能力弱 能力强 能力强 能力强 ## Hippy 简介 腾讯 Hippy 动态运营解决方案由 Hippy SDK 与 Hippy 管理平台 组成： - Hippy SDK 是一套多端统一的开发框架，它能通过 JavaScript 高效率地开发出：跨平台（安卓/iOS/Web）、高性能的原生应用，尤其适合需要快速迭代又追求高性能的产品。 - Hippy 管理平台 涵盖编译、发布、监控等动态运营所需的各个环节， 高性能可复用滚动列表 动画和手势实现 x5 内核团队提供支持 ## 项目架构 Hippy SDK 采用三层设计，其中： - JavaScript 层：提供业务代码运行时的前端上下文环境； • Native Framework 层：负责前终端通讯与 JavaScript VM，并提供 Native 相关模块； • Portable UI 层：提供基础 UI 组件与布局计算框架，并负责渲染至目标平台；

## TiDB: HBase分布式事务与SQL实现 ## About me • TiDB & Codis founder • Golang expert • Distributed database developer • Currently, CEO and co-founder of PingCAP liuqi@pingcap.com https://github.com/pingcap/tidb

## Go 夜读 & 云原生社区 TiDB Operator 架构与实现 扫描下方二维码 填写你的问题  ## TiDB Operator: Design & Implementation Presented by Yecheng fcdf2647d94c085d4/p2_1.jpg) ## Agenda • TiDB Operator 简介 ● 扩展 Kubernetes 的几种方式 • TiDB Operator 实现 ## TiDB Operator 是什么 ## Cloud Native Era: Portable, Scalable, Automated ## Full lifecycle management 7d94c085d4/p17_1.jpg) Able to intercept API requests and may change or deny it. ## TiDB Operator 实现 ## TiDB Operator Implementation - The tidb-controller-manager - Initialization - Watch objects (Tidb