## 高可用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ## TGO鲲鹏会 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 自我介绍 ## 李玥 京东集团 技术架构部 架构师 负责主导设计新一代京东消息中间件系统，专注于流数据的一致性分发和可靠存储、分布式实时计算和高可用分布式系统架构等技术领域。 从事互联网研发、架构10余年，曾在浪潮集团、当当网等公司从事架构相关工作。2017年加入京东，期间提升京东商城相关系统的性能和吞吐量数倍。 目前致力于推进京东基础架构技术的创新、对外赋能与开源。 Why 有什么用？ What 如何定位？如何融入生态系统？ How 如何实现？如何优化？ ## 目录 ## WHY ## 为什么需要流数据存储？ ## 那些年的服务 单体应用 烟筒式 SOA 微服务 ## 这些年的数据 Services ## ☐ → ☐ Data Hive ES HBase HDFS KV ##

QCon BEIJING 2018 ## 深度学习在微博Feed流应用实践 刘博 新浪微博机器学习研发部关系流算法负责人 ## 目录  微博Feed流排序场景介绍  ## 微博—社交媒体领跑者 • DAU : 1.72亿, MAU : 3.92亿 - 关注流基于关系链接用户与内容 ## > 信息获取方式 - 主动获取（关注） - 被动获取（推荐） ## 内容形式 • 博文/文章/图片/视频/问答/话题/... ## 微博Feed流特点介绍—排序原因 ## ➢ 产品特点 • 传播性强 • 互动性好 ## 存在问题 - 信息过载 jpg) ## 目录  微博Feed流排序场景介绍  常规CTR方法排序

Java 1/0 原理 常用 I/O 流类型 # Java 应用与开发 高级 I/O 编程 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 October 29, 2018   Sink） ▶ 流（Stream） Java 中把不同的数据源与程序间的数据传输都抽象表述为流，java.io 包中定义了多种 I/O 流类型实现数据 I/O 功能。 ## Java I/O 流的分类 ## ☑ 按照数据流动的方向 Java 流可分为输入流（Input Stream）和输出流（Output Stream）。 ▶ 输入流只能从中读取数据，而不能向其写出数据； 输出流则只能向其写出数据，而不能从中读取数据。

/4/7/6/44768622b352d818cb18d2791cad3421/p10_3.jpg) 增量 snapshot Durable Storage ## 基于 credit 的流控机制  ## Streaming SQL