Qcon北京2018-《深度学习在视频搜索领域的实践》-刘尚堃pdf

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/baiyutang

摘要

文档主要探讨了深度学习在视频搜索领域的应用，包括视频搜索的挑战、基于深度学习的内容理解召回、语义搜索中的语义表征以及个性化排序中的应用。重点介绍了通过多目标检测与跟踪技术构建物体/人物标签的方法，使用Region fully convolution network（R-FCN）和DCF框架实现检测与跟踪，并展示了在Hollywood Head和Brainwash数据集上的检测效果以及在TB-100评测集上的跟踪效果。

AI总结

# 深度学习在视频搜索中的应用总结

## 一、视频搜索的挑战
1. **非结构化数据**：视频内容无组织，导致召回难度大。
2. **短文本与信息不充分**：视频标题和描述较短，语义理解困难。
3. **海量视频**：用户选择困难，搜索效率低。

## 二、优酷视频搜索的深度学习应用
### 1. **基于视频内容的召回**
- **技术方法**：
- **多目标检测**：采用Region fully convolution network (R-FCN) 检测物体和人物，优化小物体检测效果。
- **跟踪技术**：使用DCF框架结合颜色模型，通过BACF算法扩充候选区域。
- **效果**：
- Hollywood Head 数据集 mAP 达 80.41%，超过现有技术 7.7%。
- Brainwash 数据集 mAP 达 88.47%，超过现有技术 10.5%。
- 跟踪算法在 TB-100 评测集中的 precision 和 success rate 最优。

### 2. **语义搜索中的语义表征**
- **技术方法**：
- 基于视频标题和 OCR/ASR 生成 NLP 标签，提升语义理解能力。
- **应用场景**：通过语义表征实现更精准的视频搜索。

### 3. **个性化排序中的应用**
- **技术方法**：
- 利用深度学习进行用户行为分析，构建个性化表征模型。
- **目标**：实现千人千面的搜索排序，提升用户体验。

## 三、总结
深度学习在视频搜索中的应用显著提升了召回率、语义理解和个性化排序的效果，解决了视频搜索中的核心问题，为用户提供了更高效、精准的搜索体验。