Harbor Deep Dive Open source trusted cloud native registry Henry Zhang, Chief Architect, VMware R&D China Steven Zou, Staff Engineer, VMware R&D China Nov. 2018 goharbor.io Initiated by VMware GitHub Repo: https://github.com/go harbor/harbor/ Apache 2.0 license An open source trusted cloud native registry project HARBOR More integrations in future Harbor Project History Harbor Community Service Harbor components 3rd party components SQL Database Key/Value Storage Persistence components Local or Remote Storage (block, file, object) Users (GUI/API) Container Schedulers/Runtimes Consumers

Software Engineer at Tencent Working on TKEStack project, have great interest and enthusiasm in Cloud Native and Open Source Liangyu Zhou Senior Software Engineer at Tencent Rich experience in Container containerd No Yes Rust, Golang Yes No No KVM Amazon Nabla+runnc Yes No C, Golang Yes No No None IBM OCI Comparison kata- runtime runc runsc container container Pod QEMU VMM Firecracker VMM language • Secure: Minimal hardware emulation • Flexible: Easy to customize to fit various network, storage and OS environments • High-performance: Leverage KVM capability Advantage of Rust-VMM • Google

Shakti MemSQL (SingleStore) Vertica SAP HANA Sybase IQ MS SQL with CS index Oracle Exadata IBM Netezza, IBM BLU TiDB Hawq Vectorwise Snowflake Citus Druid jd MariaDB CS Exasol Teradata ClickHouse заботиться о конфигурации шардов и реплик. • Перешардирование данных осуществляется вручную • Решение — cloud-native ClickHouse. Кстати, а что это значит? Сложность разделения ресурсов 21 • Разделение CPU

YX 表示外层 大循环，后两个小写 yx 表示区间大小为 blockSize 的内层小循环 。 循环分块：用图片来直观感受 BM_y_blur BM_y_blur_tiled 分块以后，在 block 内部，即使是 Y 方向的跳跃访问，也是在 刚刚访问过的范围内，所以，只需缓存容量大于 blockSize*nblur 即可避免 cache miss 。 需要缓存： nx*nblur 需要缓存： 需要缓存： blockSize*nblur 循环分块：用图片来直观感受 BM_y_blur BM_y_blur_tiled 但是这样有一个很大的问题，如果插桩的读取范围跨越了 block 的边界，反而会变得跨度更大，导致缓存彻底失效。 需要缓存： nx*nblur 需要缓存： blockSize*nx*nblur 改进：只对 X 循环做分块 BM_y_blur_tiled BM_y_blur_tiled_only_x 坐标，这样可以保证的数据在时间 t 上是接近的，同时二 维空间上 (x,y) 也是接近的，有利于访存局域性。 • 莫顿码还可用于构建八叉树、 BVH 等，但不是今天的话题。 https://cloud.tencent.com/developer/article/1461134 莫顿编码 (encode) 和解码 (decode) 的实现 morton2d::encode 把 2 个 32 位整数变成一个

are run, used, and tested”Who said it?Frederick Brooks Jr. • Joined IBM in 1956 • Manager for the development of the IBM System/360 family of computers and the OS/360 software package • In 1975

互联网企业的发展模式 Web3? So-called Web3 ？ Where is the Next Stage ★ Blockchain ★ Decentralized Ledger Storage: MPT (Merkle Patricia Tree) ★ K-V database ★ Smart Contract ★ Serverless The Weapons Web3 Utilizes serverless really the next stage of Internet? Or just a gimmick by cloud platform ➔ Wants to extend the financial computation/storage model to general cases • Limites of On-chain VM computation • Limites

索性把坐标和值打包成 tuple ，存储在 vector 按行压缩（ Compressed Row Storage ） http://www.netlib.org/linalg/html_templates/node91.html 按行压缩（ Compressed Row Storage ） http://www.netlib.org/linalg/html_templates/node91 1 • Python 的模运算 a % b 的值始终是 [0, b) 区间内的正数，非常方便。 对稀疏数据结构造成的问题 • 如果这里的 x 是负数，则 x % B 也是负数，会造成对 m_block 的越界访问。 • 因此 % 会返回负数对 CFD 用户来说是个很大的坑点，很多人想当然地用 % 做循环边界， 然而这对负方向会不起作用。 解决： (a % b + b) % b • 我看一些 的值始终是向下取整，非常方便。 对稀疏数据结构造成的问题 • 也就是说，如果 x 是 [-3,0] 则 x / B 会是 0 ，如果 x 是 [0,3] 则 x / B 也是 0 。导致两个 同时跑到一个 block 上去，会出错。 高效的解决：位运算 >> • 如果 b 是 2 的幂次方，即： 2, 4, 8, 16, 32 等 。 • 则： a / pow(2,n) = a >> n • 也就是说

新一代分布式图数据库需具备的特性 特性 信 雅 达 • 高可用 • 一致性（事 务） • 高性能 • 低资源消耗 • 易用 • 功能丰富 AtlasGraph 关键特性 云原生 Cloud-Native Graph Database 支持弹性伸缩，有 效利用硬件资源，高可用，高 可靠，故障自愈，低成本运维 HTAP Hybrid Transactional/Analytical Optimization rules: MATCH -> pushdown Planning Strategies Graph Execution Code Gen JIT Cost model Storage backend （ Property Graph KV store ） Pushdown filter Cypher (a)-[:LIKES]->(b) 计算下推：面向图应用特征设计 分布式存储

• 13:30Concurrency Changes35 Atomic Smart Pointers  Is shared_ptr thread safe?  Yes: control block manipulation thread safe  guarantees object is deleted exactly once  No: accessing pointer not  Help with thread coordination  Latches   A thread coordination point  Threads block at a latch point, until a given number of threads reach the latch point, at which point all threads Library  Barriers   A sequence of phases  In each phase  a number of threads block until the requested number of threads arrive at the barrier, then  a phase completion callback

下一次 Handle Await Tree 的实现 Await Tree 的设计原理与实现 • 一棵树代表一个 Task 的执行状态 • Task 单线程执行 • 在 Task-Local Storage 中无竞争维护 • 使用 Arena Tree 简化实现 • 无 Unsafe 代码 Await Tree 的实现 Await Tree 的设计原理与实现 • Future Adapter risingwave.com • GitHub 4.5k Stars • “Materialized View” • 计算：分布式流计算任务，实时增量维护 • 存储： S3 上的 Shared-storage 存储状态和数据 Await Tree 在 RisingWave 中的应用 • 技术挑战 • 计算任务需长期执行，稳定性要求高 • 算子逻辑复杂，计算与存储读写穿插，强依赖 Async • 中的应用 • 在 Panic Hook 里打印 Await-Tree Async Stuck ： Future Detach Await Tree 在 RisingWave 中的应用 • S3 Block Cache Single-Flight Async Stuck ：环形资源依赖 Await Tree 在 RisingWave 中的应用 • gRPC Streaming 连接复用 &