## 高可用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ## TGO鲲鹏会 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 自我介绍 ## 李玥 京东集团 技术架构部 架构师 负责主导设计新一代京东消息中间件系统，专注于流数据的一致性分发和可靠存储、分布式实时计算和高可用分布式系统架构等技术领域。 从事互联网研发、架构10余年，曾在浪潮集团、当当网等公司从事架构相关工作。2017年加入京东，期间提升京东商城相关系统的性能和吞吐量数倍。 目前致力于推进京东基础架构技术的创新、对外赋能与开源。 Why 有什么用？ What 如何定位？如何融入生态系统？ How 如何实现？如何优化？ ## 目录 ## WHY ## 为什么需要流数据存储？ ## 那些年的服务 单体应用 烟筒式 SOA 微服务 ## 这些年的数据 Services ## ☐ → ☐ Data Hive ES HBase HDFS KV ##

QCon BEIJING 2018 ## 深度学习在微博Feed流应用实践 刘博 新浪微博机器学习研发部关系流算法负责人 ## 目录  微博Feed流排序场景介绍  ## 微博—社交媒体领跑者 • DAU : 1.72亿, MAU : 3.92亿 - 关注流基于关系链接用户与内容 ## > 信息获取方式 - 主动获取（关注） - 被动获取（推荐） ## 内容形式 • 博文/文章/图片/视频/问答/话题/... ## 微博Feed流特点介绍—排序原因 ## ➢ 产品特点 • 传播性强 • 互动性好 ## 存在问题 - 信息过载 jpg) ## 目录  微博Feed流排序场景介绍  常规CTR方法排序

Java 1/0 原理 常用 I/O 流类型 # Java 应用与开发 高级 I/O 编程 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 October 29, 2018   Sink） ▶ 流（Stream） Java 中把不同的数据源与程序间的数据传输都抽象表述为流，java.io 包中定义了多种 I/O 流类型实现数据 I/O 功能。 ## Java I/O 流的分类 ## ☑ 按照数据流动的方向 Java 流可分为输入流（Input Stream）和输出流（Output Stream）。 ▶ 输入流只能从中读取数据，而不能向其写出数据； 输出流则只能向其写出数据，而不能从中读取数据。

application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 //客户端能接收 Accept-Encoding: gzip, deflate, sdch //是否支持流压缩 Accept-charset: UTF-8,*;q=0.5 //客户端字符编码集 //空行，用于分割请求头和消息体 我们通过fiddler抓包可以看到如下请求信息 Statistics | Inspectors pdf" postFile(filename, target_url) } 上面的例子详细展示了客户端如何向服务器上传一个文件的例子，客户端通过multipart.Write把文件的文本流写入一个缓存中，然后调用http的Post方法把缓存传到服务器。 如果你还有其他普通字段例如username之类的需要同时写入，那么可以调用multipart的WriteField方法写很多其他类似的字段。 如何解析如上这个XML文件喃呢？ 我们可以通过xml包的Unmarshall函数来达到我们的目的 func UnMarshal(data []byte, v interface{}) error data接收的是XML数据流，v是需要输出的结构，定义为interface，也就是可以把XML转换为任意的格式。我们这里主要介绍struct的转换，因为struct和XML都有类似树结构的特征。 示例代码如下： package