pandas: powerful Python data analysis toolkit - 0.21.1

• 语言: 英语
• 格式: .pdf
• 来源: pandas.pydata.org

摘要

文档详细介绍了pandas库的功能和新特性，重点介绍了其主要数据结构Series和DataFrame，以及时间序列分析、数据导入导出、缺失值处理等核心功能。文档还提到了pandas在数据分析中的高效性和灵活性，并强调了其在金融和其他领域的广泛应用。版本0.21.1引入了多项改进和新功能，如对Apache Parquet的支持、CategoricalDtype的添加等，进一步增强了数据分析能力。

AI总结

### 文档总结：pandas 0.21.1 版本概述

pandas 是一个强大的 Python 数据分析工具包，专为数据科学家设计，适用于数据清洗、分析建模、结果整理与展示等任务。以下是文档的核心内容和关键信息：

#### 1. **pandas 的核心功能**
- **数据结构**：主要提供 Series（1维）和 DataFrame（2维）数据结构，适用于表格数据、时间序列数据、矩阵数据等多种场景。
- **数据操作**：
- **缺失值处理**：支持 NaN 表示缺失值，适用于浮点和非浮点数据。
- **数据对齐与合并**：支持标签对齐、合并、分组聚合等操作。
- **时间序列功能**：支持日期范围生成、频率转换、移动窗口统计、线性回归、日期偏移等功能。
- **数据输入输出**：支持 CSV、Excel、数据库、HDF5 等多种数据格式的读写。

#### 2. **性能与优化**
- pandas 在底层算法（如排序、聚合）中使用了 Cython 优化，性能表现优异。
- 依赖关系：pandas 是 statsmodels 的依赖库，是 Python 统计计算生态的重要组成部分。

#### 3. **新功能与改进**
- **时间序列功能增强**：
- 支持频率转换、移动窗口统计、线性回归、日期偏移等操作。
- **数据导入与导出**：
- 新增对 Amazon S3 文件、JSON 文件、Stata 文件的支持。
- 改进 `read_csv` 和 `to_csv`，支持多级索引和自定义列名。
- **性能优化**：
- 提升了 `groupby` 和 `transform` 方法的性能。
- HDFStore 的写入性能得到优化，支持更多数据类型。
- **用户体验改进**：
- 新增 `DataFrame.infer_objects` 方法，用于推断数据类型。
- 改进 `value_counts`，支持归一化（`normalize` 参数）。
- 新增 `display.mpl_style` 选项，提供更美观的绘图风格。

#### 4. **版本更新亮点**
- **0.21.0 版本**：
- **Apache Parquet 支持**：新增 `read_parquet()` 和 `DataFrame.to_parquet()` 方法。
- **CategoricalDtype 支持**：新增 `pandas.api.types.CategoricalDtype`，用于独立指定分类数据类型。
- **性能与兼容性**：
- 兼容性改进：支持 PyPy，提升在 PyPy 环境中的性能。
- `sum` 和 `prod` 方法在全 NaN 的 Series/DataFrame 中返回 NaN，行为一致。
- **API 改进**：
- `drop`、`reindex` 和 `rename` 方法更加一致。
- 新增 `DataFrame.pipe` 方法，支持管道操作。

#### 5. **用户指南**
文档还提供了针对新用户的教程，涵盖数据清洗、聚合、可视化、时间序列分析等内容，帮助用户快速上手 pandas。

#### 6. **重要资源**
- **官方链接**：
- [pandas 官网](http://pandas.pydata.org/)
- [GitHub 仓库](http://github.com/pandas-dev/pandas)
- [问题与讨论](https://github.com/pandas-dev/pandas/issues)
- [Stack Overflow 支持](http://stackoverflow.com/questions/tagged/pandas)

#### 7. **总结**
pandas 0.21.1 是一个功能强大且灵活的数据分析工具，支持多种数据类型和复杂的数据操作，适合金融、统计、工程等领域的数据处理任务。其高效的性能和丰富的功能使其成为 Python 数据分析生态中的核心工具。