FFmpeg AV1 编码 作者：HaujetZhao 原文链接：https://ld246.com/article/1612321469564 来源网站：链滴 许可协议：署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) 英文原文 libaom AV1 编码指南 libaom-av1 是用于支持由 AOM（Alliance for Open Media，开放媒体联盟）制定的 Media，开放媒体联盟）制定的 AV1 的编码 ，一个开源、免版权费的编码器。相较于 VP9 和H.265 / HEVC，在相同画质的情况下， libaom-av1 可以节约 30% 的带宽，而相较于 H.264 可节约 50% 的带宽。 要安装支持 libaom-av1 的 ffmepg，请查看 编码指南 ，并使用 --enable-libaom 选项编译 FFmep 。 libaom 提供以下速度控制控制模式，用于决定视频质量和体积大小： 恒定质量（Constant Quality） libaom-av1 有一个恒定质量（CQ）模式（就像是 x264 和 x265 的 CRF），可以确保每一帧画面都 到相应画质水平（视觉感知上的）下应得的比特率，而不是编码每一帧都达到指定比特率。这可以得 更好的总体质量。如果你不需要压缩到指定的文件体积，这应当是你的最佳选择。 要启用这个选项，你必须同时使用 -crf 和 -b:v 0 这两个选项。-b:v 的值 必须

详细说明 4 流的选择（指定） 5 选项 6 例子 7 语法 8 表达式计算/求值 9 OpenCL选项 10 编码选项 11 解码器 12 视频解码 13 音频解码 14 字幕解码 15 编码 16 音频编码器 17 视频编码器 18 字幕编码器 19 比特流滤镜（过滤器） 20 格式选项 21 分离器（解复用） 22 混合器 23 元数据 24 协议 25 流的选择（指定） 5 选项 技巧/提示（原版已废弃） 6 例子 7 语法 8 表达式计算/求值 9 OpenCL选项 10 编码选项 11 解码器 12 视频解码 13 音频解码 14 字幕解码 15 编码 16 音频编码器 17 视频编码器 18 字幕编码器 19 比特流滤镜（过滤器） 20 格式选项 21 分离器（解复用） 22 混合器 23 元数据 24 协议 25 库（含分离器）读取输入文件，分离出各类编码的数据包（流），当有 多个输入文件时， ffmpeg 试图跟踪最低时间戳实现任意输入流同步。编码数据包（除非是指定为流 式拷贝，相关内容请参考特性描述对流式拷贝的说明）通过解码器解码出非压缩的数据帧（raw视 频/PCM格式音频…），这些数据帧可以被滤镜进一步处理（下面会讲到）。经过滤镜处理的数据被重 新编码为新的数据包（流），然后经过混合器混合

AVFilter Protocol FFmpeg 转码流程 av_format_read ff_format_read 协议、⽂件格式 视频 ⾳频 字幕 附件 数据 其他 ⾳视频 编码 （主要 有2种模 式） ⾳视频 解码 （主要 有2种模 式） FFmpeg Demuxer FFmpeg Muxer Stream 概念 FFmpeg Decode FFmpeg AVFrame⽤于存储原始⾳视频数据、也包含字幕数据。 原始数据是指：解码后数据、或是编码前的数据。 ⾳频：⼀段原始WAV（或未压缩的PCM）⾳频数据。 视频：⼀帧图像、⼀个图⽚。 字幕：⼀个时间段内的⼀句或是⼏句话。 AVPacket⽤于存储字节流数据，包含⾳视频、字幕、附件信息等等。 字节流数据是指：编码后数据、或是解码前数据、或是要封装的数 据、或是封装解析后的数据。 数据：字节流数据包。 间参数，包seek相关，metadata，chunk，对应对的属性等等。 FFmpeg KS数据流程图 原始视频 原始⾳频 AVFrame AVFrame AVFrame 字幕 附件其他 数据 AVPacket 编码 AVPacket AVPacket AVPacket 组装 直接组包 N个合成 AVStream AVStream AVStream AVStream 容器层AVFormatContext

示例2 压制视频为微信不二压的码率 要点： • 视频编码：H264 • 视频码率：600kbps以下 • 视频分辨率：未限制，但推荐长边960 • 音频编码：AAC • 音频码率：48kbps • <代码见附件> 扫码下载代码示例和PPT gif表情包生成器 要点： • 视频解码 • 将每一帧转换为BGRA像素格式 • 使用Direct2D读取并绘制字幕 • 将每一帧输入视频过滤器，转换为PAL8格式 • 将PAL8编码像素格式的帧编码为gif • <源码和demo见下面链接> https://ffmpeg-sorry-demo.starworks.cc:88/ https://github.com/sdcb/ffmp 示例4 投屏 • 创建网络流，写入视频大小、像素格式、编码等元数据信息 • 截屏，然后将屏幕图片转换为YUV420P等常用编码像素格式 • 使用libx264编码时，需要指定[“preset”]=“zerolatency”，否则延时会太高 • 将每个编码的视频帧以byte[]的形式读出，写入到网络流 • 读取端读取网络流，读出相关元数据信息，每次读取一个包

show_14322648_audio_000003110_000006110.mp3 参数解释 -i ：input 输入文件 -acodec copy ： -acodec = audio codec ：音频编码器 == -c copy 等价于： ffmpeg - i show_14322648_audio.mp3 - c copy -ss 00:00:03.110 - to 00:00:06.110 处理解析显示（=VSFilter渲染） 外挂字幕 以 单 独 的 字 幕 文 件 形 式 存 在 ， 播 放 时 经 播 放 器 处 理 解 析 显 示 （=VSFilter渲染）到视频上 硬字幕=内嵌字幕 指字幕被以图形方式硬编码到视频中 变成视频数据本身=视频数据的一部分 特点 过程不可逆 无法再把字幕提取出来 播放时不需要额外的播放器读取解析显示（=VSFilter渲染）字幕 crifan.com ， 使 用 比传统字幕（如SRT）更加强大先进的字幕文件格式。 该格式在Windows平台上可以经播放器由VSFilter渲染进行播放。 这是一款广受欢迎且已停止开发的字幕编辑制作工具。 最新版本：V4.00 基于：SSA 4.00+编码构建 特点： 在SSA编写风格的基础上增添更多的效果和指令 使用现状 该字幕格式常被字幕组所应用 目前有很多播放器支持渲染SSA、ASS字幕 最新版本：V4.00+ ASS字幕分类 软字幕

此处整理，从完整的⾳频⽂件中，提取其中⼀段，即提取⾳频⽚段。 从mp3中提取某个时间段的mp3 参数解释 -i ：input 输⼊⽂件 -acodec copy ： -acodec = audio codec ：⾳频编码器 == -c copy 等价于： 官⽹⽂档 Stream-copy ffmpeg Documentation 3.2 Stream copy Stream copy is a 需经过播放器处理解析显示（=VSFilter渲染） 外挂字幕 以单独的字幕⽂件形式存在，播放时经播放器处理解析 显示（=VSFilter渲染）到视频上 硬字幕=内嵌字幕 指字幕被以图形⽅式硬编码到视频中 变成视频数据本身=视频数据的⼀部分 特点 过程不可逆 ⽆法再把字幕提取出来 播放时不需要额外的播放器读取解析显示（=VSFilter渲染） 字幕 crifan.com，使⽤署名4 ⽂件格 式。 该格式在Windows平台上可以经播放器由VSFilter 渲染进⾏播放。这是⼀款⼴受欢迎且已停⽌开发的 字幕编辑制作⼯具。 最新版本：V4.00 基于：SSA 4.00+编码构建 特点： 在SSA编写⻛格的基础上增添更多的效果和指令 使⽤现状 该字幕格式常被字幕组所应⽤ ⽬前有很多播放器⽀持渲染SSA、ASS字幕 最新版本：V4.00+ ASS字幕分类 软字幕

show_14322648_audio_000003110_000006110.mp3 参数解释 -i ：input 输入文件 -acodec copy ： -acodec = audio codec ：音频编码器 == -c copy 等价于： ffmpeg -i show_14322648_audio.mp3 -c ffmpeg -i show_14322648_audio.mp3 -c 放时需经过播放器处理解析显示（=VSFilter渲染） 外挂字幕 以单独的字幕文件形式存在，播放时经播放器处理解 析显示（=VSFilter渲染）到视频上 硬字幕=内嵌字幕 指字幕被以图形方式硬编码到视频中 变成视频数据本身=视频数据的一部分 特点 过程不可逆 无法再把字幕提取出来 播放时不需要额外的播放器读取解析显示（=VSFilter渲 染）字幕 crifan.com，使用署名4 文件 格式。 该格式在Windows平台上可以经播放器由VSFilter 渲染进行播放。这是一款广受欢迎且已停止开发 的字幕编辑制作工具。 最新版本：V4.00 基于：SSA 4.00+编码构建 特点： 在SSA编写风格的基础上增添更多的效果和指令 使用现状 该字幕格式常被字幕组所应用 目前有很多播放器支持渲染SSA、ASS字幕 最新版本：V4.00+ ASS字幕分类 软字幕

MPEG-4 on VIA Unichrome • Xv/XvMC 的限制 • 不支持解码所有阶段的硬件加速 • 依赖于X-protocol协议（转码时候，你需要Xwindow吗？） • 不支持硬件编码加速 • … Linux Video API 续 一 • 何谓VA-API(Video Acceleration API ) • An API specification • Client side • It opens and registers a backend • https://github.com/01org/libva • 依赖于后端驱动，可以提供Video硬件加速 • 解码 • 编码 • 图像后处理 可用的后端驱动 • Intel VA(i965) driver for Intel chip-sets • Intel hybrid driver • Intel HD driver -hwaccel vaapi -hwaccel_device /dev/dri/renderD128 -i input.mp4 -c:v libx264 -crf 20 output.mp4 • 编码 • ffmpeg -vaapi_device /dev/dri/renderD128 -i input.mp4 -vf 'format=p010,hwupload' -c:v hevc_vaapi