Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC 数据 ↓ ## MySQL 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便拓展到Parquet、Avro、Orc等。 FLINK FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 等割裂。数据独立，且存储成本不如 S3 / OSS。 3、Kudu的批量扫描不如parquet。 4、不支持增量拉取。 FLINK FORWARD #ASIA 2020 ## MySQL → GQOOP → HVE ## 方案评估 优点 1、流程能工作 2、Hive存量数据不受增量数据影响。 ## 缺点 1、数据不是实时写入； 2、每次数据导致都要 MERGE 存量数据。T+1

# 现代编程思想 树 Hongbo Zhang ## 数据结构：树 • 树 · 二叉树 • 二叉搜索树 • 二叉平衡树 ## 生活中的树状图 - 生活中有很多的数据的结构与一颗树相似 - 谱系图（又称，家族树） ☐ 文件结构 ☐ 数学表达式  ## 树的逻辑结构 • 数据结构中，树是由有限个节点构成的具有层次关系的集合 ◦ 节点是存储数据的结构，节点之间存在亲子关系：父节点和子节点 如果树不为空，则它拥有一个根节点：根节点没有父节点 所有非根节点都有唯一的父节点 如果没有子节点的节点可称为叶节点 也有的定义将树的高度等同于最大层次，以根为第一层 ## 树的存储结构 - 树的存储方式有多种（以二叉树为例，省略节点存储的数据） 。节点与子节点关系的列表： $$ \left(0, 1\right), \left(0, 2\right), \left(1, 3\right) $$ ☐ 代数数据结构定义 1. Node(0, 2. Node(1, 3. Leaf(3), 4. Empty), 5. Leaf(2))

1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2018 # 《深度学习在视频搜索中的应用》 演讲者 / 刘尚堃  ## CONFERENCE ## 目录 1、视频搜索的挑战 2、深度学习在视频内容理解中的应用——召回 3、深度学习在语义搜索中的应用——语义表征 4、深度学习在排序中的应用——个性化表征 ## 视频搜索的挑战 1、非结构化/无组织——召回难度 2、短文本/信息不充分——语义难度 3、海量短视频——用户选择困难 优酷视频搜索深度学习应用领域： 1、基于视频内容理解的召回 方法：采取Convolution 3D+Gated Recurrent Units(GRU)算法，结合Single Shot Detector(SSD)框架实现行为检测功能 ## 效果： • THUMOS 14数据集，mAP=24.1%(IoU=0.5) 

## 深度学习在百度搜索中的工程实践 曹皓 百度资深研发工程师 # TGO鲲鹏会 # 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 目录 ➢ 搜索系统简介 ➢ 搜索中的深度学习 ➢ 深度学习应用中的工程难点 深度学习应用中的工程难点 ➢ 总结 ## 目录 搜索系统简介 搜索中的深度学习 深度学习应用中的工程难点 总结 ## 智能进化中的百度一下 24°海淀35优  搜索或输入网址 推荐 关注 热榜 青年榜样习近平 ↑

大数据集成与 Hadoop 可最大限度降低Hadoop计划风险并提高ROI的最佳实践  IBM $ ^{®} $ ## 简介 Apache Hadoop技术通过支持新的流程和架构，不断改进大数据措施的经济性和活力，这样不仅有助于削减 开源软件项目，支持在多个商业服务器群集间分散处理和存储大型数据集，并可根据需求变化从单一服务器扩展到数以千计的服务器。主要的Hadoop组件包括Hadoop Distributed File System（用于存储大型文件）和Hadoop分布式并行处理框架（称为MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这 。 ## 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和分析大数据方面实现了范式转变。无论是要更深入的分析，还是希望获得更出色的洞察、新产品、新服务以及更高的服务水平，都可以通过这项技术一一实现，从而大幅降低成本并创造新的收入。 依靠收集、移动、转换、清除、集成、治理、探索以及分析多种不同来源的大量不同类型的数据来实现大数据与Hadoop