DataEase 嵌入式版介绍 2024 年 2 月 ## 人人可用的 开源数据可视化分析工具 DataEase 可以帮助用户快速分析业务数据并洞察其趋势，从而实现业务的改进与优化。DataEase 支持丰富的数据源连接，能够通过拖拉拽的方式快速制作图表，并且可以方便地与他人进行分享。 嵌入式 BI 可以给 ISV 带来哪些价值？ 嵌入式 BI 的应用场景 DataEase 嵌入式 BI 的优势 的优势 DataEase 嵌入式版嵌入流程 ## 什么是嵌入式 BI？ 嵌入式 BI 是可以嵌入在商业应用程序中，为应用软件提供或者增强分析功能的专业 BI 软件。 ## “ Embedding analytics and data science functionalities within websites or business applications via APIs reduces increases analytics adoption." ## “ 通过 API 将分析和数据科学功能嵌入到网站或者商业应用中，能够有效减少变更管理并提高数据分析的采纳率。” ## 嵌入式 BI 的业务价值 Which technical features have contributed to an increase in usage and adoption of BI/analytics

o copy files efficiently ## • Part 2: • psutil 第1部分 ○基础的 Unix 概念 ○基础的 Socket 操作 ○高效的传输文件 ☐高效的复制文件 第2部分 ○ psutil ## UNIX concepts (oversimplified) [简单聊聊 Unix 的相关概念] ## System call / 系统调用 - 系统调用 I/O • open() • read() • write() Processes / 进程 • fork() • kill() • wait() Filesystem / 文件系统 • chmod() • mkdir() • getcwd() Communication / 通信 • pipe() • splice() • mmap() ## Kernel / 203d8521/p10_1.jpg) ## File descriptors / 文件描述符 - it's a reference to "something" (usually a file) - it can be mixed with system calls - 是对文件/套接字等资源的引用 ● 可以和系统调用连用 ## Print >>>

# DataEase 嵌入式版： 无缝嵌入客户所需的自助式分析技术 数据可视化需求体现在数字经济时代的方方面面。对于 ISV（Independent Software Vendor，独立软件开发商）和 SI（System Integrator，系统集成商）来说，其软件产品与解决方案在数据应用领域面临着很多挑战。 首先是软件数据堆积造成的隐形浪费问题。软件自身所生产的数据需要被更加充分地利用，发 过程中，用户的数据可视化需求复杂多变，软件研发的周期长且成本高。ISV需要更加高效且低成本地支持用户的数据分析与数据可视化需求，方便用户实时、按需生成定制化数据报告，或者数据大屏。 通常情况下，嵌入式 BI 拥有四大嵌入场景，具体如下： ■ 数据可视化与分析结果嵌入：包含单一图表嵌入、仪表板页面和数据大屏嵌入； ☑ 设计与编辑能力嵌入：包含仪表板 / 数据大屏设计器嵌入、BI 功能模块嵌入； 平台整体嵌入：包含数据接入到可视化分析的全流程支持、代码与接口的开放性支持； ☑ 其他嵌入：与办公软件对接，例如钉钉、企业微信、飞书等，以及 OEM 白标定制。 DataEase 嵌入式版的优势体现在以下方面： ☑ 永久授权，高性价比：DataEase 嵌入式版以永久软件授权方式售卖，每套价格为 2 万元人民币，无隐形费用。每套软件授权对应 1 个最终客户的 1 个部署实例； ■ 按月迭代，稳定升级：DataEase

DataEase 嵌入式分析 2024年3月 ## 人人可用的 开源数据可视化分析工具 DataEase 可以帮助用户快速分析业务数据并洞察其趋势，从而实现业务的改进与优化。DataEase 支持丰富的数据源连接，能够通过拖拉拽的方式快速制作图表，并且可以方便地与他人进行分享。 ## FIT2CLOUD 飞致云 ## DataEase v2 的不同版本对比 |版本类型|社区版|嵌入式版|企业版| |---|---|---|---| |目标群体|任何用户|ISV / 系统集成商|最终客户| |产品功能|社区版功能|社区版功能 + X-Pack 部分功能（含嵌入式分析能力）注：单数据集限制 10 万行数据。|社区版功能 + X-Pack 所有功能（含嵌入式分析能力）注：数据集无行数限制。| |销售方式|社区分发免费使用|线上销售 / 线下推广标准化合同模板|线下推广线下商务流程| |授权方式|免费永久使 |服务方式|社区支持|原厂企业级技术支持服务（基础级，5×8）|原厂企业级技术支持服务（基础级，5×8；增强级，7×24）| 嵌入式分析可以给 ISV 带来哪些价值？ DataEase 嵌入式分析的方案 DataEase 嵌入式分析的优势 在线体验 & 嵌入流程介绍 ## 什么是嵌入式分析？ 嵌入式分析是可以嵌入在商业应用程序中，为应用软件提供或者增强分析功能的专业 BI 软件。 ## "

Curve文件系统空间分配方案（基于块的方案，已实现） - 背景 - 本地文件系统空间分配相关特性 - 局部性 - 延迟分配/Allocate-on-flush - Inline file/data - 空间分配 - 整体设计 - 空间分配流程 - 特殊情况 - 空间回收 - 小文件处理 - 并发问题 - 文件系统扩容 - 接口设计 根据CurveFS方案设计（总体设计，只实现了部分），文件系统基于当前的块进行实现，所以需要设计基于块的空间分配器，用于分配并存储文件数据。 ## 本地文件系统空间分配相关特性 局部性 尽量分配连续的磁盘空间，存储文件的数据。这一特性主要是针对HDD进行的优化，降低磁盘寻道时间。 延迟分配/Allocate-on-flush 在sync/flush之前，尽可能多的积累更多的文件数据块才进行空间分配，一方面可以提高局部性，另一方面可以降低磁盘碎片。 Inline file/data 几百字节的小文件不单独分配磁盘空间，直接把数据存放到文件的元数据中。 针对上述的本地文件系统特性，Curve文件系统分配需要着重考虑局部性。 虽然Curve是一个分布式文件系统，但是单个文件系统的容量可能会比较大，如果在空间分配时，不考虑局部性，inode中记录的extent数量很多，导致文件系统元数据量很大。 假如文件系统大小为1PiB，空间分配粒度为1MiB，

Curve文件系统元数据管理（已实现） Inode 1、设计一个分布式文件系统需要考虑的点： • 2、其他文件系统的调研总结 • 3、各内存结构体 • 4、curve文件系统的元数据内存组织 • 4.1 inode定义： • 4.2 dentry的定义： • 4.3 内存组织 5元数据分片 • 5.1 分片方式一：inode和dentry都按照parentid分片 5.1 1.1 场景分析 查找：查找/A/C。 - 创建：/A/C不在，创建/A/C - 删除文件：删除/A/C • 删除目录：删除/A - rename: rename /A/C到/B/E - symbolic link: - hardlink: 生成一个hardlink /B/E，指向文件/A/C - list: 遍历/A目录 5.1.2 好处 5.1.2 问题 • 生成一个hardlink /B/E，指向文件/A/C • 6、curve文件系统的多文件系统的设计 ## 1、 设计一个分布式文件系统需要考虑的点： 1. 文件系统的元数据是否全缓存？ 2. 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ 3. inode+dentry方式？当前curve块存储的kv方式？ 4. 是否有单独的元数据管理服务器？ ## 2、 其他文件系统的调研总结

curvefs client 删除文件和目录功能设计 背景 相关调研 moosefs chubaofs 方案设计思考 1. Trash机制是实现1个(类似chubaofs)，还是2个（类似moosefs）？ 2. Trash 放在哪里? 3. 是否需要做 session 机制（在 metaserver 打开），来维护 inode 的打开情况？ • 方案设计 • Trash机制： ret; ## 存在两个问题： 一是删除时nlink字段未考虑： 文件的nlink用于实现hard link。hard link使用nlink字段表示文件的link的引用计数，第一次创建文件是nlink字段为1。每创建一个新的指向该文件的hard link时，nlink字段+1，每删除一个hard link或指向的原文件时，nlink字段-1。 当nlink字段减到0时，才真正删除inode 目录的nlink字段与文件的nlink字段不同，目录的nlink字段初始值为2，并且在目录下，每创建一个新目录，nlink字段也会+1，删除目录nlink相应的减1。 目录不支持硬链接。 ## 二 是删除时lookup count未考虑： lookup count 指的是文件的访问计数。当文件/目录被打开时，即使文件/目录已经被另一个进程删除了（nlink=0），该文件/目录仍然可以被打开的

curve文件系统元数据proto（代码接口定义，已实现） ## 1、 代码结构和代码目录 curve文件系统是相对于curve块设备比较独立的一块，在当前curve项目的目录下，增加一个一级目录curvefs，curvefs下有自己独立的proto\src\test。  ## 2、 文件系统proto定义 #### 2.1 mds.proto mds.proto /* * Copyright (c) 2020 NetEase Inc. * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use

元数据持久化 • 前言 • Raft Log • Raft Snapshot - 持久化文件 - key value pairs - 其他说明 实现 • 1、inode、entry 的编码 • 2、KVStore • Q&A • 单靠 redis 的 AOF 机制能否保证数据不丢失? • redis 的高可用、高可扩方案? • redis + muliraft 根据之前讨论的结果，元数据节点的架构如下图所示，这里涉及到两部分需要持久化/编码的内容： • Raft Log: 记录 operator log • Raft Snapshot：将内存中的数据结构以特定格式 dump 到文件进行持久化 copyset-2 copyset-1 ![Image](/uploads/documents/8/5/d/d/85dd03b9408f6e1cf2e67a368b5b940b/p2_1 | Raft Snapshot ## 持久化文件 |字段|字节数|说明| |---|---|---| |CURVEFS|7|magic number（常量字符 "CURVEFS"），用于标识该文件为 curvefs 元数据持久化文件| |version|4|文件版本号（当文件格式变化时，可以 100% 向兼容加载旧版持久化文件）| |size|8|键值对数量| |key\_

GO CN Go在百亿级分布式文件系统的实践 徐桑迪 Juicedata 核心系统工程师 JuiceFS 简介 01 为什么选择 Go 02 基础内存优化 03 深度内存优化 04 内存快照持久化 05 第一部分 JuiceFS 简介 ’ alt=‘OCR图片’/> JuiceFS 简介 为云环境设计的分布式文件系统 兼容POSIX、HDFS和S3协议 支持回收站、目录配额、克隆 单命名空间支持百亿级文件数 单命名空间支持百亿级文件数 高性能、高可靠、高扩展性 ’ alt=‘OCR图片’/> 第二部分 为什么选择 Go ’ alt=‘OCR图片’/> 为什么选择 Go 快速开发 多线（协）程：go 关键字，channel 特性 性能分析：go tool pprof 等 故障分析：详细的 stack trace 编译速度快 内存管理：自带GC ’ alt=‘OCR图片’/> 为什么选择 Go 性能优秀：编译型语言 s.Put(key, p) }() } ’ alt=‘OCR图片’/> 第四部分 深度内存优化 ’ alt=‘OCR图片’/> 深度内存优化 文件系统元数据服务进程： 占用近百 GiB 内存 缓存尽可能多的文件（十亿级） 高速处理元数据请求（百微秒） ’ alt=‘OCR图片’/> 深度内存优化 自主管理小对象的分配 GC 全局能看到的指针要少 GC递归扫描的深度要小