FFmpeg滤镜开发 - ⼈人脸识别 刘歧 OnVideo 联合创始⼈人 个⼈人介绍 • 现任职于OnVideo • 业余参与维护与开发 FFmpeg • ⾳音视频流媒体爱好者 内容⼤大纲 技术选择 集成操作 后续考虑 操作总结 技术选择 技术选择 集成操作 后续考虑 操作总结 契机 ➤ 项⽬目需要 ➤ 视频图像识别技术⽕火热 ➤ 好奇视频图像识别实现 ➤ 社区中很多⼈人对相关技术有兴趣 FFmpeg 的 Frei0r (GPL v2) ➤ ⾃自⼰己封装⼀一个so Switch接⼝口 - 可适配 ➤ init 初始化各种参数 ➤ object_detect 识别的对象 ➤ get_rect 获得识别到的对象的画⾯面范围 ➤ finit 结束使⽤用 集成操作 技术选择 集成操作 后续考虑 操作总结 集成操作 - AVFilter ➤ 参考 frei0r 滤镜 集成操作

2023年04月 深度学习-人脸识别和风格迁移 黄海广 副教授 2 01 人脸识别概述 02 神经风格迁移 本章目录 3 01 人脸识别概述 1.人脸识别概述 02 神经风格迁移 4 1.人脸识别概述 人脸验证（face verification） 人脸识别（face recognition） • 有一个K个人的人脸数据库 • 获取输入图像 验证输入图片是否是这个人 人脸聚类（Face Clustering） 在数据库中对人脸进行聚类， 直接K-Means即可。 5 1.人脸识别概述 人脸检测的步骤 • 人脸定位 确定是否存在人脸,人脸存在的位置、范围等 • 人脸对齐 把众多人脸图像转换到一个统一角度和姿势 • 确定关键点 关键点包括:眼角、鼻尖、嘴角等 6 1.人脸识别概述 人脸检测常用算法(深度学习框架) • HR • Face r-CNN • PyramidBox • FaceNet 7 1.人脸识别概述 One-Shot学习 在一次学习问题中，只能通过一个样本进行学习，以能够认 出同一个人。大多数人脸识别系统都需要解决这个问题。 系统需要做的就是，仅仅通过一张已有的照片，来识别前面 这个人确实是她。相反，如果机器看到一个不在数据库里的 人所示），机器应该能分辨出她不是数据库中四个人之一。

商品识别篇：使用 ResNet 识别你的货架商品 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 基础：图像分类问题定义与说明 • 基础：越来越深的图像分类网络 • 应⽤用：检测SKU抠图与分类标注流程 • 应⽤用：分类训练集与验证集划分 • 应⽤用：使⽤用TensorFlow 2训练ResNet • 应⽤用：使用ResNet识别货架商品 • 扩展：图像分类常用数据集综述 扩展：图像分类常用数据集综述 • 扩展：图像分类更多应⽤用场景介绍 目录 基础：图像分类问题定义与说明 图像分类问题 语义级分类 细粒度分类 图像分类问题 实例级分类 识别问题 图像分类问题 实例级分类 识别问题 图像分类问题 图像分类评估：Top-1 / Top-5 准确率 图像分类评估：混淆矩阵 图像分类评估：ROC 曲线 基础：越来越深的图像分类网络 历年 SOTA 模型对比 “Hello TensorFlow” Try it！ 应⽤用：使⽤用 TensorFlow 2 训练 ResNet “Hello TensorFlow” Try it！ 应⽤用：使用ResNet识别货架商品 “Hello TensorFlow” Try it！ 扩展：图像分类常用数据集综述 https://github.com/zalandoresearch/fashion-mnist http://yann

第六部分 实战 TensorFlow 验证码识别 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 • 准备模型开发环境 • 生成验证码数据集 • 输入与输出数据处理 • 模型结构设计 • 模型损失函数设计 • 模型训练过程分析 • 模型部署与效果演示 第六部分 目录 准备模型开发环境 第三方依赖包 数据集生成 • Pillow • captcha 出问题的用户就可以被认为是人类。 一种常用的CAPTCHA测试是让用户输入一个扭曲变形的图片上所显示的文字或数字，扭 曲变形是为了避免被光学字符识别（OCR, Optical Character Recognition）之类的计算机程 序自动识别出图片上的文数字而失去效果。由于这个测试是由计算机来考人类，而不是 标准图灵测试中那样由人类来考计算机，人们有时称CAPTCHA是一种反向图灵测试。 EZ-Gimpy，PayPal使用的验证码，LiveJournal、 phpBB使用的验证码，很多金融机构（主要是银行）使用的网银验证码以及很多其他网站 使用的验证码。 俄罗斯的一个黑客组织使用一个自动识别软件在2006年破解了Yahoo的CAPTCHA。准确 率大概是15%，但是攻击者可以每天尝试10万次，相对来说成本很低。而在2008年， Google的CAPTCHA也被俄罗斯黑客所破解。攻击者使用两台不同的计算机来调整破解进

第五部分 实战 TensorFlow 手写体数字识别 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 • 手写体数字 MNIST 数据集介绍 • MNIST Softmax 网络介绍 • 实战 MNIST Softmax 网络 • MNIST CNN 网络介绍 • 实战 MNIST CNN 网络 第五部分 目录 手写体数字 MNIST 数据集介绍 MNIST 法真正流行起来，并带来了神经网络在80年代的辉煌。 计算梯度 MNIST Softmax 网络 将表示手写体数字的形如 [784] 的一维向量作为输入；中间定义2层 512 个神经元的隐藏层，具 备一定模型复杂度，足以识别手写体数字；最后定义1层10个神经元的全联接层，用于输出10 个不同类别的“概率”。 实战 MNIST Softmax 网络 MNIST Softmax 网络层 “Hello TensorFlow”

KDD Cup 2020 多模态召回比赛季军方案与搜索业务应用 252 对话任务中的“语言 - 视觉”信息融合研究 267 ICDM 论文：探索跨会话信息感知的推荐模型 278 自然场景人脸检测技术实践 289 技术解析 | 横纵一体的无人车控制方案 304 目录 智能搜索模型预估框架 Augur 的建设与实践 作者：朱敏 紫顺 乐钦 洪晨 乔宇 武进 孝峰 俊浩等 1. NLP 任务（文本分类、序列标注、句间关系判断和机器阅读理解等）。美团 AI 平台搜 索与 NLP 部算法团队基于美团海量业务语料训练了 MT-BERT 模型，已经将 MT- BERT 应用到搜索意图识别、细粒度情感分析、点评推荐理由、场景化分类等业务场 景中 [2]。 作为 BERT 的核心组成结构，Transformer 具有强大的文本特征提取能力，早在多 项 NLP 任务中得到了验证，美团搜索也基于 和商户文本信息后，判断用户是否点击来取代 NSP 任务。 添加品类信息后，BERT 相关性模型在 Benchmark 上的 Accuracy 提升 56BP，相 应地 L2 排序模型离线 AUC 提升 6.5BP。 引入实体成分识别的多任务 Fine-tuning 在美团搜索场景中，Query 和 Doc 通常由不同实体成分组成，如美食、酒店、商 圈、品牌、地标和团购等。除了文本语义信息，这些实体成分信息对于 Query-Doc

http://open.youtu.qq.com SACC2017 优图团队立足于社交网络大平台，借助社交业务积累 的海量人脸、图片、音乐等数据，专注在人脸、图像、 音乐、语音、机器学习等领域开展技术研究，并积极 推动研究成果在业务中落地产生价值。 关于优图实验室 人脸识别 图像识别 音频识别 SACC2017 目录 01 腾讯优图内容审核能力介绍 02 深度学习技术介绍 03 内容审核的扩展和延伸 内容审核 - 痛点和诉求 默默承受 自建识别模型 加大审核人力 一旦出现严重违规平 台面临停业整顿风险 昂贵的专业机器、AI专家, 样本不足导致识别模型漏 过模型调优难度大 人力审核疲劳容易发 生漏过，人力招聘、 管理需要耗费不小成 本 识别种类 完备 节约成本 节省审核 人力 减少人工 漏审 技术诉求：自动识别图片或视频中出现的文 字、二维码、logo等内容以及违规人像、淫 成本高；迫切需要技术解决方案 SACC2017 图像内容审核技术 OCR技术 图像分割以及超分辨率技术 优图图像技术还包括：图像分类、图像增强、艺术滤镜、图片去水印、图像融合、图像修补等。 图像识别技术 01 腾讯优图图像技术能力 SACC2017 内容审核 - 图片鉴黄解决方案 区分图像中的色情、性感和正常内容 DeepEye可给出图片属于色情、性感和正常 的概率，并结合三者概率给出综合分，通过

SACC2017 图像 视频 检测 识别 分割 跟踪 物 环境 数 据 核 心 云端 移动端 业 务 视觉感知模型 SACC2017 视觉感知核心问题 Object Segmentation Object Classification Person, Horse, Barrier, Table, etc Object Detection 检测 识别 分割 跟踪 核 心 SACC2017 deconvolution convolution convolution 检测 Forward Block Forward Block convolution convolution 识别 Forward Block Forward Block SACC2017 视觉感知模型-融合 分割 Forward Block Forward Block deconvolution convolution 识别 Forward Block Forward Block Forward Block Forward Block deconvolution deconvolution 分割 convolution convolution 检测 识别 Single Frame Predictor SACC2017 视觉感知模型-融合 检测 识别 分割 跟踪 核 心

阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景  OCR识别  人脸核身  智能风控  自动驾驶  语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 训练推理:  高qps, 低rt  支持超大模型  性价比 流程长、环节多:  推荐场景: 召回 + 粗排 + 精排 + 多样性/冷启动  实人认证: 卡证识别 + 人脸检测 + 活体检测 + 人脸 识别 … 模型构建: 问题: ✗ 方案复杂周期长/见效慢 ✗ 细节多难免踩坑 解决方案: 标准化  标准化模型库  标准化解决方案 1.方案复杂 Serving CV / NLP解决方案: EAS Web App Mobile App On-prem System 3 1 2 证件扫描 活体检测 人脸比对 • 卡证OCR • 人脸检测 • 活体检测 •人脸比对 Mobile SDK API + customer 示例: e-Know Your Customer eKYC eKYC Server eKYC