torchtext - 超腾开源标签

torchtext 0.18.0 内置了丰富的数据集，覆盖文本分类、语言建模、机器翻译、序列标注、问答系统和无监督学习等NLP主要任务。文章分类介绍了AG_NEWS、IMDb、SQuAD、WikiText等常用数据集及其用途，并展示了使用Python加载IMDb数据的简单示例。这些数据集接口标准化，用户无需手动下载预处理，极大降低了NLP研究入门门槛并确保实验可复现性。