Qcon北京2018-《文本智能处理的深度学习技术》-陈运文

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/baiyutang

摘要

文档介绍了达观数据在文本智能处理领域的技术应用及实践经验。深度学习在文本挖掘中具有优点，如利用非监督数据训练字词向量、端到端模型提供新思路、克服传统模型缺点，但也存在小数据效果有限、调参工作量大、硬件环境限制等缺点。实践中建议结合业务场景选择模型，初期使用传统机器学习-model作为baseline，难题可尝试端到端方法。NLP的应用包括文本分类、情感分析、机器翻译等，达观数据专注于文本处理，为多行业提供服务。

AI总结

### 总结：文本智能处理的深度学习技术

#### 讲座背景与讲者介绍
- **讲者**：陈运文，达观数据CEO，专注于企业文本挖掘技术，拥有30项国家技术发明专利和15篇国际学术论文。
- **公司**：达观数据是全球领先的文本智能处理专家，提供文本挖掘、知识图谱、搜索引擎和个性化推荐等服务，覆盖金融、制造、法律、电商、传媒等行业，为数百家知名客户提供服务。

#### 文本智能处理背景
- **自然语言处理（NLP）**：旨在让机器理解人类语言，应用于文本分类、情感分析、机器翻译等领域。
- **文本处理任务**：包括分词、命名实体识别、情感分析等，属于人工智能细分领域。

#### 深度学习在文本处理中的应用框架
- **处理流程**：文本数据预处理、深度学习模型选择、表示层和隐层处理、后处理。
- **常见模型**：适用于文本分类、情感分析、机器翻译等任务。

#### 深度学习优缺点分析
- **优点**：
- 非监督数据训练字词向量，提升泛化能力。
- 端到端方法提供新思路。
- 克服传统模型缺点。
- **缺点**：
- 小数据量效果有限。
- 调参工作量大。
- 硬件环境部署受限。

#### 实践经验与建议
1. 理解数据本质，选择合适模型。
2. 初始阶段使用传统机器学习模型验证。
3. 对难题尝试端到端方法。
4. 不断实验，积累经验。

### 核心观点：深度学习在文本挖掘中的应用需权衡优缺点，结合实际业务场景选择合适方法。