## CS 591 K1: Data Stream Processing and Analytics Spring 2020 ## 3 /24: Exactly-once fault-tolerance in Apache Flink Vasiliki (Vasia) Kalavri vkalavri@bu.edu Go read his PhD thesis: http://kth.diva-portal /0aa43070543cf30310bdd99235d1d629/p66_1.jpg) What if the input stream comes from a socket? Exactly-once state consistency (in Apache Flink) can be achieved only if all streaming sources are re-settable and broadcasts barriers to all outgoing stream partitions. • The state backend notifies the task once its state checkpoint is complete. - The task acknowledges the checkpoint to the JobManager. After

High-availability and fault-tolerance in distributed stream processing • Recovery semantics and guarantees • Exactly-once processing in Apache Beam / Google Cloud Dataflow ## State in dataflow computations Any non-trivial • Precise recovery (exactly-once) • It hides the effects of a failure perfectly • Post-failure output is identical to no-failure ## Recovery types • Precise recovery (exactly-once) • It hides the effects recovery (at-least-once) • It avoids information loss • The output may contain duplicates • A backup needs to rebuild state of the failed node ## Recovery types • Precise recovery (exactly-once) • It hides

RUST CHINA CONF 2023 第三届中国 Rust 开发者大会 王俊吉 6.17-6.18 @Shanghai ## Outline ## RustBelt - Rust 的形式化语义模型 Background Rust Semantics • RustBelt Project • Type System • Rust Types Overview • The own

AI组件Madlib, json, text等 • 实时ETL/ELT性能对比PieCloudDB 1.0有巨大提升 • 流处理：原生支持kafka数据导入和查询，在PieCloudDB侧导入实现exactly once语义 ## 智能化云原生平台（数据服务平台） ## 设计目的 面向用户，做到开箱即用：离数据分析更近，离繁琐操作更远； 面向运维，降低部署门槛：在不同的基础设施都能发挥实力； 面向管

Kiselyov ## 目录 CONTENTS >> 提供语法和语义的语言不仅仅是工具，还是思维方式 >> 表达能力的极限，由内破除，还是从外破除？ Moshmosh：我的Python不可能这么甜美清新 >> 下班时在干什么？有没有空？可以来contribute吗？ ## 1 提供语法和语义的语言 不仅仅是工具，还是思维方式 ` matched for {}".format(a)) if_: print("case not matched") 我预期的语法(及语义) 扩展系统: 4. 可以自定义扩展并注册 5. 在这套系统下，有很多简单的自定义扩展可供练手 ![Image](/uploads/documents/6/6/a/5/66a5d6654cb

Thautwarm 目录 CONTENTS >> 语法和语义扩展 >> JIT >> 静态类型  ## 语法和语义扩展 演示一小部分: 模式匹配， Quick Lambda, Pipe运算 > 20: ret = 2 else: ret = 1 else: raise SomeException ## 语言决定思维模型 语言中的语法和语义，决定了它真实的表达力。 大多数语言都不是“万金油”的，这是客观事实。 但它们不够“万金油”的问题来源，不一定是不能解决的。 ## 扩展语言，开阔思维 # moshmosh? # +quick-lambda < 42)` matched for {}".format(a)) if_: print("case not matched") 我预期的语法(及语义) 扩展系统: 5. 在这套系统下，有很多简单的自定义扩展可供练手 ![Image](/uploads/documents/8/7/6/b/876b8aa49ebf467804e921b50f104ba4/p8_1

Laravel 5.8 的基础上继续进行优化，包括引入语义化版本、兼容 Laravel Vapor、优化授权响应、支持任务中间件、新增懒集合、优化数据库子查询、将前端脚手架提取到独立的 Composer 包 laravel/ui、以及多个 bug 修复和可用性的提升。 ## 语义化版本 Laravel 框架包 Laravel/framework 现在遵循语义化版本标准。这使得框架得以和其他已经遵循该版本标准的 $podcast = factory(Podcast::class)->create(); Publisher::shouldReceive('publish')->once()->with($podcast); $podcast->publish(); } ## 门面类列表 下面列出了每个门面及其对应的底层类, 这对深入给定根门面的 API 'The :attribute and :other must match.', 'size' => 'The :attribute must be exactly :size.', 'between' => 'The :attribute must be between :min - :max.',

2、深度学习在视频内容理解中的应用——召回 3、深度学习在语义搜索中的应用——语义表征 4、深度学习在排序中的应用——个性化表征 ## 视频搜索的挑战 1、非结构化/无组织——召回难度 2、短文本/信息不充分——语义难度 3、海量短视频——用户选择困难 优酷视频搜索深度学习应用领域： 1、基于视频内容理解的召回 2、语义模型/语义表征 3、个性化表征 ## 内容理解——基于视频内容的召回 ## 内容理解——总结 知识图谱 内容画像 业务闭环反馈 标签 人工运营辅助 分类 质量 文本 ASR/OCR 用户画像 图像 Embedding 全网数据 ## 语义模型 - 测试集：语义人工标注ground truth - 目前最高NDCG : 0.9x 固定数据尝试不同模型： - 双向LSTM+Attention 0.9x • BiGRU dropout 0.8x 9f2bb1c0f9c7ff9fb33f39a12c8a/p12_1.jpg) - 标注集：针对多次人工check标注QU（训练集测试集比例7：3）加入语义特征后：NDCG 提升1%绝对值。 - 特征重要度仅次于匹配度特征。 ## 语义模型——初始化方式fasttext |original\_id|new\_version|old\_version| |---|---|---| |黑科技|VR|Vive|

总结 ## 深度学习在搜索排序中要解决的问题 更好地建模语义相关性 ## 语义相关性建模 Query = 勺子煮过后 上面为啥有1层灰 Doc = 被开水烫过的勺子为什么勺子表面有一层污垢？_百度知道 ## 语义相关性建模 ## Query = A B C D E Doc = X A B Y C D Z ## 精准命中词的语义建模：BM25/CTR/CQR Okapi weighting -s)+s\frac{dl}{avdl}}\cdot qtf\cdot ln\frac{N+1}{df} $$ s is a constant (usually 0.20). ## 精准命中词的语义建模：BM25/CTR/CQR Okapi weighting based document score: [23] $$ \sum_{t\in Q,D}\left|ln\frac{N-df+0 dl}{avdl}}\cdot qtf\cdot ln\frac{N+1}{df} $$ s is a constant (usually 0.20). 命中词累积正向贡献 ## 精准命中词的语义建模：BM25/CTR/CQR Okapi weighting based document score: [23] $$ \sum_{t\in Q,D}\ln\frac{N-df+0.5}{df+0

自动获得各类地物的类型，比如车辆，行人，楼房等 ## DEEPMAP 应用 语义图像分割 (Semantic Image Segmentation) 道路边线检测(Lane line Segmentation) 路牌、信号灯检测 (Sign Detection) 车辆检测(Car Detection) 3D点云车辆检测 ## DEEPMAP ## 语义图像分割 (Semantic Image Segmentation)