API可靠性分析与验证 姜剑峰 ## 主题内容 • Rust第三方库API可靠性现状 • 现用方法的局限性 - 基于程序合成+模糊测试的可靠性分析方法 ## 自我简介 • 本（2019）硕（2022）毕业于复旦大学 - 目前在蚂蚁集团安全计算部门开发应用于机密计算的Rust系统软件 - 研究生期间主要从事Rust测试与验证工具的研究，本人所在的是国内最早开展Rust程序分析相关研究的实 所有动态检查都不应该被违背（可以被安全的移除），除非panic是一种允许的行为 ## 现有的可靠性分析方法及其局限性 模糊测试(afl.rs, libfuzzer): 分支覆盖率；用例程序的构造 符号执行(klee, angr)：路径爆炸；求解困难 静态分析(MirChecker, Rudra, SafeDrop)：分析特定问题；假阳性 形式化验证(RustBelt)：无法方便的验证第三方库 其他工具（Miri等） 结论以及未来的发展 1. Rust优秀的语言设计避免了大量可能发生的潜在错误 2. 目前Rust程序合成的难点在于unsafe代码，泛型与trait，宏等 3. 保障Rust程序的可靠性仍然需要各种程序分析以及软件测试的手段 ## Thanks ## Rust China Conf 2021-2022 – Online, China

## DataEase 嵌入式分析 2024年3月 ## 人人可用的 开源数据可视化分析工具 DataEase 可以帮助用户快速分析业务数据并洞察其趋势，从而实现业务的改进与优化。DataEase 支持丰富的数据源连接，能够通过拖拉拽的方式快速制作图表，并且可以方便地与他人进行分享。 ## FIT2CLOUD 飞致云 ## DataEase v2 的不同版本对比 |版本类型|社区版|嵌入式版|企业版| |---|---|---|---| |目标群体|任何用户|ISV / 系统集成商|最终客户| |产品功能|社区版功能|社区版功能 + X-Pack 部分功能（含嵌入式分析能力）注：单数据集限制 10 万行数据。|社区版功能 + X-Pack 所有功能（含嵌入式分析能力）注：数据集无行数限制。| |销售方式|社区分发免费使用|线上销售 / 线下推广标准化合同模板|线下推广线下商务流程| |授权方式|免费永久使用|按 ×8）|原厂企业级技术支持服务（基础级，5×8；增强级，7×24）| 嵌入式分析可以给 ISV 带来哪些价值？ DataEase 嵌入式分析的方案 DataEase 嵌入式分析的优势 在线体验 & 嵌入流程介绍 ## 什么是嵌入式分析？ 嵌入式分析是可以嵌入在商业应用程序中，为应用软件提供或者增强分析功能的专业 BI 软件。 ## " Embedding analytics

## 基于静态分析的Rust内存安全缺陷检测研究 报告人：徐辉 复旦大学 报告日期：2022.11.25 ## 大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 ## 大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 ## Rust语言 ## 系统级安全编程语言 手动释放内存或调用析构函数 函数返回时发生的自动析构或内存释放 ☐ Rust设计的目标之一是编译时检查指针别名（共享可变引用） 但一般意义上的指针分析是NP-hard问题 智能指针可行，但作为运行时方案，效率低 ■ Rust在语法设计中引入所有权机制，简化指针分析问题 ## Rust所有权模型 => XOR Mutability ☐ 一个对象有且只有一个所有者 ☐ 所有权可以转移给其它变量 访问v造成use-after-free 15 /*double free: v is released when the function returns*/ 16 } ## 从Rust MIR分析Auto Memory Reclaim问题 

## DataEase ## 人人可用的开源数据可视化分析工具 2023 年 6 月 数据可视化对企业的价值 DataEase 开源项目介绍 DataEase 模板市场 DataEase 企业版介绍 ## 数据可视化对企业的价值 原始数据  ## FIT2CLOUD 飞致云 数据→信息→价值 可视化 数据孤岛 管理混乱 缺失分析 可以为企业运营带来直接收益 ## 数据价值  全业务场景 用户行为管理 数据驾驶舱 ## 数据可视化对不同人员的价值 数据可视化对不同人员的价值 ## FIT2CLOUD 飞致云 ## 前端业务人员 能够快速、高效地提供体验良好的数据展现手段，通过分析数据资产的质量，助力企业做出更加准确的业务策略。 ## 数据管理人员 提供多种数据使用模式，提供更为丰富、安全的数据管理手段，有助于企业内部进行更为广泛的数据整合与分析，并由此创造数据价值。 ## 企业管理者 能够合理评估、规范和洞察企业信息，洞悉企业发展趋势，在有效管理 IT

R-Bot：检索问答系统 KB/KG 问题 问题分析 检索 排序 词/同义词  答案[列表] 实体识别 问题分类 同类词 TF-IDF LtR 指代消解 词向量 CNN/RNN 关系抽取 情感分析 ## I R-Bot：深度学习 对话交互的价值：在哪儿/在那儿 • 行业早期，价值待验证 • “能帮我把转化率提升50%吗？” • 需求界定师：砍掉不合实际的需求 • “能不能把我的销售、客服全换成机器人？” • “能不能通过分析上课视频，来解答学生的问题？” · 对话设计师：怎么更优雅地达到目的 · “公交车上你会给老人让座吗？” - 做能做且有价值的事，努力把不能做的事变成可做的 Thanks # 爱因互动，欢迎你的加入

Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC 数据 MySQL $ ^{®} $ → HBASE ## 方案评估 优点 1、CDC记录实时写入HBase。高吞吐+低延迟。 2、小范围查询延迟低。 3、集群可拓展 缺点 1、行存索引不适合分析任务。 2、HBase集群维护成本较高。 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便拓展到Parquet、Avro、Orc等。 FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 2、和 HDFS / S3 / OSS 等割裂。数据独立，且存储成本不如 S3 / OSS。 3、Kudu的批量扫描不如parquet。

## 使用 TiDB 进行实时数据分析 ## 马晓宇@PingCAP ## 极客邦科技 会议推荐2019  ## QCon ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 ## QCon 北京 广州 ## 大会：11月21–22日 培训：11月23–24日 ## About Me • 分析产品负责人@PingCAP 曾就职于网易杭研，担任 BigData Infra Team Lead - 主要关注大数据，分布式数据库，SQL on Hadoop 等领域 ## 实时场景技术选型 ## 案例分析 我希望做一个实时分析系统，提供运营人员实时查询当前经营数据 - 我需要一个存储系统当做 Data Sink TiDB 解决了扩展性，高并发访问，复杂 SQL 查询 但是如果 ☐ 索引无法有效使用索引 → Ad Hoc Query ☐ 协处理器无法分散计算任务 → 大表的 Join 查询 ☐ SQL 以外的分析查询 → Data Science / Machine Learning ☐ 放问其他数据源 → 和现有 Hadoop 数据联合查询 那么只使用 TiDB 也还是歇菜 ## TiSpark •

高性能可视化引擎  兼容Grafana 实时分析生产环境中的所有关键事件，确定故障原因 一分钟创建大屏 ## 告警 值班on-call ## C ## 88 开箱即用的数据源 ## Categraf 采集器 ## 数据 ## 企业自有应用 接入告警 聚合降噪 排班  数据分析 告警通知 告警升级 ## 快速接入各种告警事件 ## 选择数据源 告警事件 变更事件 搜索集成类型 ![Image](/uploads/documents/0/c/2/e/0c2ef 面向稳定性保障场景 北极星 量化业务层的健康状态 发现 真.故障 引导下钻定位 量化IT系统层的健康状态 灭火图 预置故障定位的最佳实践，引导分析定位问题 收敛 故障范围 引导下钻定位 日志分析 链路分析 事件分析 指标分析 容量分析 基础设施分析 引导定位 关键特征 关键事件 串联打通，交互验证 数据融合，最佳路径 一体化可观测平台 指标数据 日志数据 链路数据

dictGet('dw_shop', 'city_name', tuple(shop_id)) AS order_shop_city, ## 数据 展示+多维分析 采用开源报表系统davinci 地址: https://github.com/edp963/davinci ![Image](/uploads/documents/a/5/4/5/a5458

## Python for Good >>> PyCon China 2022 Python分析alpha vaults策略 主讲人：代少飞－量化开发 Python  HELLO WORLD ## 个人简介 主要从事量化开发相关工作 Y=100 X，此时要通过流动性池交易20个X，如果按照当前价格全量交易的话，应该换回20/100=0.2个Y，再减去0.3%的手续费，最后返回0.1994个Y，但实际返回了0.1658个Y，我们来逐步分析一下： 1. 输入20个X，先扣除0.3%的手续费，即实际交易量为19.94个X； 2. 按照 $ x^{*}y=k $ （ $ k=1*100=100 $ ）的公式进行计算： $$ \left(100+19