┓ FFmpeg滤镜开发 - ⼈人脸识别 刘歧 OnVideo 联合创始⼈人 个⼈人介绍 • 现任职于OnVideo • 业余参与维护与开发 FFmpeg • ⾳音视频流媒体爱好者 内容⼤大纲 技术选择 集成操作 后续考虑 操作总结 技术选择 技术选择 集成操作 后续考虑 操作总结 契机 ➤ 项⽬目需要 ➤ 视频图像识别技术⽕火热 ➤ 好奇视频图像识别实现 ➤ 社区中很多⼈人对相关技术有兴趣 FaceUnity ➤ Face++ ➤ 涂图 ➤ 视诀 ➤ …… 技术选择 - 选择困难 ➤ 众多选择，各有优劣势 ➤ License 规避处理理 ➤ 基于 FFmpeg 原有的 OCV 滤镜处理理 ➤ 基于 FFmpeg 的 Frei0r (GPL v2) ➤ ⾃自⼰己封装⼀一个so Switch接⼝口 - 可适配 ➤ init 初始化各种参数 ➤ object_detect ➤ get_rect 获得识别到的对象的画⾯面范围 ➤ finit 结束使⽤用 集成操作 技术选择 集成操作 后续考虑 操作总结 集成操作 - AVFilter ➤ 参考 frei0r 滤镜 集成操作 - AVFilter ➤ AVFilter操作接⼝口 filter_frame ➤ 接⼝口操作对象 AVFrame *in ➤ 接⼝口输出对象 AVFrame *out 集成操作

18 字幕编码器 19 比特流滤镜（过滤器） 20 格式选项 21 分离器（解复用） 22 混合器 23 元数据 24 协议 25 设备选项 26 输入设备 27 输出设备 28 重采样(resampler)选项 29 放缩选项 30 滤镜入门 31 graph2dot - 1 - 本文档使用 书栈(BookStack.CN) 构建 32 滤镜链图描述 33 时间线编辑 时间线编辑 34 音频滤镜 35 音频源 36 音频槽 37 视频滤镜 38 视频源 39 视频槽 40 多媒体滤镜 41 多媒体源 42 参考 43 开发人员 - 2 - 本文档使用 书栈(BookStack.CN) 构建 致谢 当前文档 《ffmpeg 翻译文档(ffmpeg中文文档)》 由 进击的皇虫 使用 书栈 (BookStack.CN) 进行构建，生成于 2018-05-26。 19 比特流滤镜（过滤器） 20 格式选项 21 分离器（解复用） 22 混合器 23 元数据 24 协议 25 设备选项 26 输入设备 27 输出设备 28 重采样(resampler)选项 29 放缩选项 ffmpeg 翻译文档 (ffmpeg-all 包含重要组 件） README - 4 - 本文档使用 书栈(BookStack.CN) 构建 30 滤镜入门 31

保存、⾃动保存、备份⽂件 保存 ⾃动保存 备份⽂件 模板 欧美漫画模板 设计模板 单反相机模板 纹理模板 图层和蒙版 图层的管理 图层类型 Krita 的图层合成顺序 继承透明度和剪贴图层 蒙版和滤镜 选区 创建选区 编辑选区 移除选区 选区显⽰模式 全局选区蒙版 (绘制选区) 按照图层透明度建⽴选区 像素选区和⽮量选区 选区⼯具的常⽤配套快捷键 Python 脚本编程 安装和管理 Python 知识点的 ⽅⽅⾯⾯。 ⽬录 基础概念 栅格图像和⽮量图形 图像、视图和窗⼝ 图像 视图 ⼯具⾯板 窗⼝ 画布 图层和合成 ⼯具 笔刷引擎 ⾊彩 透明度 混⾊模式 蒙版 滤镜 滤镜笔刷引擎 滤镜图层、滤镜蒙版和图层样式 变形 扭曲笔刷引擎 变形蒙版 动画制作 辅助尺、⽹格和导线 客制化 栅格图像和⽮量图形 Krita 是⼀款栅格图像处理软件，但它也具备⼀定的⽮量图形编辑 功 这种图层会调⽤⼀个外部图像⽂件作为其内容。适⽤于类似徽 标等需要频繁独⽴于图像本⾝更新的视觉元素。 填充图层 这种图层⽤来填充 Krita 能够⾃⾏⽣成的内容，如颜⾊或图案 等。 滤镜图层 这种图层可以⽤来应⽤部分滤镜，它的滤镜效果会影响位于它 下⾯的所有图层。 你可以⽤ ⼯具 来操作图层⾥⾯的内容。 ⼯具 你可以使⽤⼯具来对图像的数据进⾏操作。最常⽤的⼯具当然是⼿ 绘笔刷，Krita 也会在启动之后默认选中它。Krita

保存、自动保存、备份文件 保存 自动保存 备份文件 模板 欧美漫画模板 设计模板 单反相机模板 纹理模板 图层和蒙版 图层的管理 图层类型 Krita 的图层合成顺序 继承透明度和剪贴图层 蒙版和滤镜 选区 创建选区 编辑选区 移除选区 选区显示模式 全局选区蒙版 (绘制选区) 按照图层透明度建立选区 像素选区和矢量选区 选区工具的常用配套快捷键 Python 脚本编程 安装和管理 Python 而不会事无巨细地展开讲述每个知识点的方方面面。 目录 基础概念 栅格图像和矢量图形 图像、视图和窗口 图像 视图 工具面板 窗口 画布 图层和合成 工具 笔刷引擎 色彩 透明度 混色模式 蒙版 滤镜 滤镜笔刷引擎 滤镜图层、滤镜蒙版和图层样式 变形 扭曲笔刷引擎 变形蒙版 动画制作 辅助尺、网格和导线 客制化 栅格图像和矢量图形 Krita 是一款栅格图像处理软件，但它也具备一定的矢量图形编辑功能。如果 这种图层会调用一个外部图像文件作为其内容。适用于类似徽标等需要频 繁独立于图像本身更新的视觉元素。 填充图层 这种图层用来填充 Krita 能够自行生成的内容，如颜色或图案等。 滤镜图层 这种图层可以用来应用部分滤镜，它的滤镜效果会影响位于它下面的所有 图层。 你可以用 工具 来操作图层里面的内容。 工具 你可以使用工具来对图像的数据进行操作。最常用的工具当然是手绘笔刷， Krita 也会在启动之后默认选中它。Krita

保存、自动保存、备份文件 保存 自动保存 备份文件 模板 动画模板 欧美漫画模板 设计模板 单反相机模板 纹理模板 图层和蒙版 图层的管理 图层类型 Krita 的图层合成顺序 继承透明度和剪贴图层 蒙版和滤镜 选区 创建选区 编辑选区 移除选区 选区显示模式 全局选区蒙版 (绘制选区) 按照图层透明度建立选区 像素选区和矢量选区 选区工具的常用配套快捷键 Python 脚本编程 安装和管理 Python 目录 基础概念 栅格图像和矢量图形 图像、视图和窗口 图像 视图 工具面板 窗口 画布 图层和合成 工具 笔刷引擎 色彩 透明度 混合模式 蒙版 滤镜 滤镜笔刷引擎 滤镜图层、滤镜蒙版和图层样式 变形 变形笔刷引擎 变形蒙版 动画制作 辅助尺、网格和导线 客制化 栅格图像和矢量图形 Krita 是一款栅格图像处理软件，但它也具备一定的矢量图形编辑功能。如果你是数 这种图层会调用一个外部图像文件作为其内容。适用于类似徽标等需要频繁独 立于图像本身更新的视觉元素。 填充图层 这种图层用来填充 Krita 能够自行生成的内容，如颜色或图案等。 滤镜图层 这种图层可以用来应用部分滤镜，它的滤镜效果会影响位于它下面的所有图 层。 你可以用 工具 来操作图层里面的内容。 工具 你可以使用工具来对图像的数据进行操作。最常用的工具当然是手绘笔刷，Krita 也 会在启动之后默认选中它。Krita

保存、自动保存、备份文件 保存 自动保存 备份文件 模板 动画模板 欧美漫画模板 设计模板 单反相机模板 纹理模板 图层和蒙版 图层的管理 图层类型 Krita 的图层合成顺序 继承透明度和剪贴图层 蒙版和滤镜 选区 创建选区 编辑选区 移除选区 选区显示模式 全局选区蒙版 (绘制选区) 按照图层透明度建立选区 像素选区和矢量选区 选区工具的常用配套快捷键 Python 脚本编程 安装和管理 Python 而不会事无巨细地展开讲述每个知识点的方方面面。 目录 基础概念 栅格图像和矢量图形 图像、视图和窗口 图像 视图 工具面板 窗口 画布 图层和合成 工具 笔刷引擎 色彩 透明度 混合模式 蒙版 滤镜 滤镜笔刷引擎 滤镜图层、滤镜蒙版和图层样式 变形 变形笔刷引擎 变形蒙版 动画制作 辅助尺、网格和导线 客制化 栅格图像和矢量图形 Krita 是一款栅格图像处理软件，但它也具备一定的矢量图形编辑功能。如果 这种图层会调用一个外部图像文件作为其内容。适用于类似徽标等需要频 繁独立于图像本身更新的视觉元素。 填充图层 这种图层用来填充 Krita 能够自行生成的内容，如颜色或图案等。 滤镜图层 这种图层可以用来应用部分滤镜，它的滤镜效果会影响位于它下面的所有 图层。 你可以用 工具 来操作图层里面的内容。 工具 你可以使用工具来对图像的数据进行操作。最常用的工具当然是手绘笔刷， Krita 也会在启动之后默认选中它。Krita

保存、自动保存、备份文件 保存 自动保存 备份文件 模板 动画模板 欧美漫画模板 设计模板 单反相机模板 纹理模板 图层和蒙版 图层的管理 图层类型 Krita 的图层合成顺序 继承透明度和剪贴图层 蒙版和滤镜 选区 创建选区 编辑选区 移除选区 选区显示模式 全局选区蒙版 (绘制选区) 按照图层透明度建立选区 像素选区和矢量选区 选区工具的常用配套快捷键 Python 脚本编程 安装和管理 Python 而不会事无巨细地展开讲述每个知识点的方方面面。 目录 基础概念 栅格图像和矢量图形 图像、视图和窗口 图像 视图 工具面板 窗口 画布 图层和合成 工具 笔刷引擎 色彩 透明度 混合模式 蒙版 滤镜 滤镜笔刷引擎 滤镜图层、滤镜蒙版和图层样式 变形 变形笔刷引擎 变形蒙版 动画制作 辅助尺、网格和导线 客制化 栅格图像和矢量图形 Krita 是一款栅格图像处理软件，但它也具备一定的矢量图形编辑功能。如果 这种图层会调用一个外部图像文件作为其内容。适用于类似徽标等需要频 繁独立于图像本身更新的视觉元素。 填充图层 这种图层用来填充 Krita 能够自行生成的内容，如颜色或图案等。 滤镜图层 这种图层可以用来应用部分滤镜，它的滤镜效果会影响位于它下面的所有 图层。 你可以用 工具 来操作图层里面的内容。 工具 你可以使用工具来对图像的数据进行操作。最常用的工具当然是手绘笔刷， Krita 也会在启动之后默认选中它。Krita

保存、自动保存、备份文件 保存 自动保存 备份文件 模板 动画模板 欧美漫画模板 设计模板 单反相机模板 纹理模板 图层和蒙版 图层的管理 图层类型 Krita 的图层合成顺序 继承透明度和剪贴图层 蒙版和滤镜 选区 创建选区 编辑选区 移除选区 选区显示模式 全局选区蒙版 (绘制选区) 按照图层透明度建立选区 像素选区和矢量选区 选区工具的常用配套快捷键 Python 脚本编程 安装和管理 Python 知识点的 方方面面。 目录 基础概念 栅格图像和矢量图形 图像、视图和窗口 图像 视图 工具面板 窗口 画布 图层和合成 工具 笔刷引擎 色彩 透明度 混合模式 蒙版 滤镜 滤镜笔刷引擎 滤镜图层、滤镜蒙版和图层样式 变形 变形笔刷引擎 变形蒙版 动画制作 辅助尺、网格和导线 客制化 栅格图像和矢量图形 Krita 是一款栅格图像处理软件，但它也具备一定的矢量图形编辑 这种图层会调用一个外部图像文件作为其内容。适用于类似徽 标等需要频繁独立于图像本身更新的视觉元素。 填充图层 这种图层用来填充 Krita 能够自行生成的内容，如颜色或图案 等。 滤镜图层 这种图层可以用来应用部分滤镜，它的滤镜效果会影响位于它 下面的所有图层。 你可以用 工具 来操作图层里面的内容。 工具 你可以使用工具来对图像的数据进行操作。最常用的工具当然是手 绘笔刷，Krita 也会在启动之后默认选中它。Krita

节点发布、阵列修改器、⽮量模糊、新物理引擎、 渲染、⼜型同步和许多 其他功能。此次发布紧随 橘⼦项⽬。 2.43 -- 2007年2⽉: 多分辨率⽹格、 多层 UV 纹理、 多层图像和多通道渲染和烘焙，雕刻，多 个新增遮⽚，畸变和滤镜节点，建模和动画的改进，更好的多重笔刷绘 制、 流体粒⼦、 代理对象、 序列编辑器的重写，和后期 UV 贴图绘画。 2.44 -- 2007年5⽉: ⼤新闻，除了两个新的修改器和重新启动的 64 简化笔刷(Simplify) 遮罩 多精度置换橡⽪擦 Multires Displacement Smear 绘制⾯组 ⽅形遮罩 套索遮罩 线条遮罩 框选⾯组 套索⾯组 框选修剪 套索修剪 线投影 ⽹格滤镜 布料滤镜 编辑⾯组 变换 ⼯具设置 笔刷 笔刷设置 动态拓扑 重构⽹格 对称 选项 ⾃适应雕刻 动态拓扑 Multi-Resolution Modifier 多级精度修改器 编辑 雕刻 遮罩 lasso select. 线投影 Flattens the geometry along a drawn line. ⽹格滤镜 Applies a deformation to all vertices in the mesh at the same time. 布料滤镜 Applies a cloth simulation to all vertices in the mesh at the

节点发布、阵列修改器、⽮量模糊、新物理引擎、 渲染、⼜型同 步和许多其他功能。此次发布紧随 橘⼦项⽬。 2.43 -- 2007年2⽉: 多分辨率⽹格、 多层 UV 纹理、 多层图像和多通道渲染和烘焙， 雕刻，多个新增遮⽚，畸变和滤镜节点，建模和动画的改进，更 好的多重笔刷绘制、 流体粒⼦、 代理对象、 序列编辑器的重 写，和后期 UV 贴图绘画。 2.44 -- 2007年5⽉: ⼤新闻，除了两个新的修改器和重新启动的 64 used to estimate the values of pixels at non-integer coordinates within the image. ⾃动: 基于缩放系数⾃动选择滤镜。 ⽆缩放，⽆旋转，整数位置：最近 Scaling up by more than 2x: Cubic Mitchell Scaling down by more than 2x: Box 否则：双线性 禁⽤后，仅导出⽤户修改过的键位映射和分类。另外，插件可能 会为各个功能注册键位映射，不过，这些键位映射不会被导出， 除⾮⽤户做过修改。导出的⽂件可以当做是 键位映射变化，⽽⾮ 全键位映射导出。 启⽤后，将写⼊全部键位映射。 过滤 滤镜类型 名称: 按运⾏的操作名称查找键位映射项。 按键绑定: ⽤激活键查找键位映射项。 Hint ⽐如，你可以使⽤ Ctrl Shift C 查找使⽤所有这些键的键位映射 项。 搜索 要搜索的⽂本（留空以禁⽤）。