## 高可用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ## TGO鲲鹏会 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 自我介绍 ## 李玥 京东集团 技术架构部 架构师 负责主导设计新一代京东消息中间件系统，专注于流数据的一致性分发和可靠存储、分布式实时计算和高可用分布式系统架构等技术领域。 从事互联网研发、架构10余年，曾在浪潮集团、当当网等公司从事架构相关工作。2017年加入京东，期间提升京东商城相关系统的性能和吞吐量数倍。 目前致 目前致力于推进京东基础架构技术的创新、对外赋能与开源。 Why 有什么用？ What 如何定位？如何融入生态系统？ How 如何实现？如何优化？ ## 目录 ## WHY ## 为什么需要流数据存储？ ## 那些年的服务 单体应用 烟筒式 SOA 微服务 ## 这些年的数据 Services ## ☐ → ☐ Data Hive ES HBase HDFS KV ## 我们的愿景

# Java 应用与开发 异常处理 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 October 30, 2018  ![Image](/uploads/documents/7/b/6/e/7b6e89c6 异常的概念和分类 2. 深入理解 Java 异常处理机制 异常的概念及分类 ## 大纲 异常的概念及分类 Java 异常处理机制 ## C++ 中的异常处理 ## 《The C++ Programming Language》 一个库的作者可以检测出发生了运行时错误，但一般不知道怎样去处理它们（因为和用户具体的应用有关）； 另一方面，库的用户知道怎样处理这些错误，但却无法检查它们何时发生（如果能 检测，就可以再用户的代码里处理了，不用留给库去发现）。 ## 提供异常处理机制的基本思想 让一个函数在发现了自己无法处理的错误时抛出（throw）一个异常，然后它的（直接或者间接）调用者能够处理这个问题。 ## 《C++ primer》 将问题检测和问题处理相分离。 (Exceptions let us separate problem detection from problem resolution

Oracle 白皮书 2011年1月 通过 Oracle 并行处理集成 Hadoop 数据 ## 引言 许多垂直行业都在关注文件系统中庞大的数据。这些数据中通常包含大量无关的明细信息，以及部分可用于趋势分析或丰富其他数据的精华信息。尽管这些数据存储在数据库之外，但一些客户仍然希望将其与数据库中的数据整合在一起以提取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 数据库访问存储在 Hadoop 集群里的数据。请注意，本文选择了 Hadoop 和 HDFS 作为示例，但这里的策略同样适用于其他分布式存储机制。本文中介绍了各种访问方法，还通过一个具体示例说明了其中一种访问方法的实现。 ## 外部 Hadoop 数据的访问方法 要从 Oracle 数据库里访问某个文件系统中的外部文件或外部数据，最简单的方法莫过于使用外部表。请参阅这里了解外部表。 外部表以表的形式展示存储在文件系统中的数据，并且可在 动直接访问 HDFS 文件。FUSE（File System in Userspace）项目针对这种情况提供了解决方法。有多种 FUSE 驱动程序支持用户挂载 HDFS 存储，并将其作为常规文件系统处理。通过使用一个此类驱动程序，并在数据库实例上挂载 HDFS（如果是 RAC 数据库，则在其所有实例上挂载 HDFS），即可使用外部表基础架构轻松访问 HDFS 文件。 ![Image](/uplo

Golang在工程实践中的错误处理  彭友顺 石墨文档 产研负责人  为什么我们处理错误会这么慢 为什么我们处理错误会这么慢 01 如何完善错误信息 02 优雅处理错误信息 03 分布式错误处理 04 错误信息手册的必要性 05 第一部分 ## 为什么我们处理错误 会这么慢 ## 为什么我们处理错误会这么慢 why 出现错误 定位慢 恢复慢 效率低 ## 原因 错误信息不够完善 错误处理不够优雅 分布式错误难以串联 错误信息难以识别 ## 第二部分 ## 如何完善错误信息 ## GET./hello => "Hello client: main" • 没有调试信息和错误信息 • 对接起来会非常麻烦 ## 第三部分 ## 优雅处理错误信息 ## 为什么定位慢？-- 错误处理 ## 假设用户反馈了无法打开一个文件 ## 记录一次错误 不要透传错误 错误码唯一性 ## 我们的程序员非常认真 err := fmt.Errorf(format:

## 目录 前言 1.1 FFmpeg 概览 1.2 FFmpeg 相关 1.2.1 FFmpeg 安装 1.3 音频处理 1.4 提取音频片段 1.4.1 视频处理 1.5 视频属性 1.5.1 获取 1.5.1.1 调整 1.5.1.2 尺寸调整 1.5.1.2.1 动图 gif 1.5.2 视频转动图 视频转动图 1.5.2.1 动图转视频 1.5.2.2 水印 1.5.3 去除水印 1.5.3.1 提取音频 1.5.4 字幕处理 1.6 背景知识 1.6.1 字幕分类 1.6.1.1 字幕格式 1.6.1.2 编辑字幕 1.6.2 Aegisub 1.6.2.1 提取字幕 1.6.3 转换字幕 1.6.4 3 # 强大的音视频处理工具：FFmpeg • 最新版本：v1.0 • 更新时间：20210914 ## 简介 介绍音视频处理工具FFmpeg有哪些强大的功能。先对ffmpeg进行概览，包括可以用来干什么，与之相关的ffprobe、ffplay、ffserver等工具；再介绍如何安装ffmpeg；如何用ffmpeg处理音频，比如从音频中提取某段音频片段；以及各种视频处理，包括视频属性的获取

Yes ## 目录 1. 前言 1.1 2. FFmpeg概览 1.2 3. FFmpeg相关 1.2.1 4. FFmpeg安装 1.3 5. 音频处理 1.4 6. 提取音频片段 1.4.1 7. 视频处理 1.5 8. 视频属性 1.5.1 9. 获取 1.5.1.1 10. 调整 1.5.1.2 11. 尺寸调整 1.5.1.2.1 12. 动图gif 3 ## 强大的音视频处理工具：FFmpeg • 最新版本：v1.0 • 更新时间：20210914 ## 简介 介绍音视频处理工具FFmpeg有哪些强大的功能。先对ffmpeg进行概览，包括可以用来干什么，与之相关的ffprobe、ffplay、ffserver等工具；再介绍如何安装ffmpeg；如何用ffmpeg处理音频，比如从音频中提取某段音频片段；以及各种视频处理，包括视频属性的获取和 调整，包括调整视频宽高尺寸大小；以及动图gif处理，包括视频转动图、动图转视频；以及水印处理，包括去除视频水印；从视频中提取完整音频和音频片段；字幕相关处理，包括字幕的背景知识，包括软字幕和硬字幕、常见字幕格式ass和srt；以及如何用Aegisub编辑字幕；从视频中提取字幕、从srt转换出ass字幕；嵌入字幕，包括用流拷贝模式嵌入软字幕、用vf模式烧录嵌入硬字幕、且可以指定字幕位置、指定字幕文字

## 强大的音视频处理工具：FFmpeg Crifan Li ## 目录 前言 1.1 FFmpeg 概览 1.2 FFmpeg 相关 1.2.1 FFmpeg 安装 1.3 音频处理 1.4 提取音频片段 1.4.1 视频处理 1.5 视频属性 1.5.1 动图 gif 1.5.2 视频转动图 1.5.2.1 动图转视频 1.5.2.2 水印 1.5.3 去除水印 1.5.3.1 提取音频 1.5.4 字幕处理 1.6 背景知识 1.6.1 字幕分类 1.6.1.1 字幕格式 1.6.1.2 编辑字幕 1.6.2 Aegisub 1.6.2.1 提取字幕 1.6.3 3 ## 强大的音视频处理工具：FFmpeg • 最新版本：v1.0 • 更新时间：20210914 ## 简介 介绍音视频处理工具FFmpeg有哪些强大的功能。先对ffmpeg进行概览，包括可以用来干什么，与之相关的ffprobe、ffplay、ffserver等工具；再介绍如何安装ffmpeg；如何用ffmpeg处理音频，比如从音频中提取某段音频片段；以及各种视频处理，包括视频属性的获取和

 ## Java Chassis通信处理详解 通信优化实践 ## 议题 - 问题与挑战 • 整体线程模型 • Consumer • Producer  消费端，主要需要处理的问题是如何更高效地将请求推送到对端去，然后拿到应答信息。 ## 透明RPC Consumer业务线程 ## Consumer  - 不同于消费者，生产者主要的工作就是等待消费者的请求，在处理之后，返回应答 在这一端我们更加关注：“如何高效地接收和处理数据”这件事情 - 同步模式下，业务逻辑与IO逻辑分离，且根据“隔离仓”原则，为了保证整个系统更加稳定和高效地运行，业务逻辑本身也需要在不同的隔离的区域内进行。而这些区域，就是线程池。

## 阿里云 ## MongoDB 分布式架构演进 张友东（林青） 阿里云数据库技术团队 # MongoDB MongoDB as in "humongous". Used to describe something extremely large or important. ## MongoDB 核心优势 灵活 · 文档模型 高可用 • 复制集 可扩展 分片集群 ##

## 分布式任务系统 cronsun 苏创绩 ## 目录 01 任务系统 02 分布式任务系统 03 cron sun 04 心得体会   分布式crontab cmd1 cmd2 Azkaban 批量工作流任务调度器(Hadoop) 1. 提供功能清晰，简单易用的 Web UI 界面 2. 提供 job 配置文件快速建立任务和任务之间的依赖关系 3. 提供模块化和可插拔的插件机制，原生支持 command、Java、Hive、Pig、Hadoop 4. ... ## Chronos ## Chronos 是一个运行在 Mesos 之上的具有分布式容错特性的作业调度器