人工智能 - 超腾开源博客 - 第2页 | AI技术、开发实战与软件资源

本文介绍了PyTorch中常用的深度学习优化器，包括Adadelta、Adafactor、Adagrad、Adam、AdamW、SGD等。文章分析了每种优化器的特点、优缺点和适用场景。核心观点是：快速试验推荐Adam，追求泛化性能首选带动量的SGD，需要更好正则化效果可选用AdamW。对于稀疏特征任务，Adagrad和SparseAdam更合适；大模型训练中Adafactor可节省内存。文章强调，实际应用中大多数任务从Adam或SGD开始尝试即可，理解各优化器原理有助于高效训练模型。

本文系统介绍了PyTorch生态系统中的官方工具包及其用途。核心包torch提供张量计算、自动微分、神经网络模块和优化器等基础功能。torchvision用于图像与视频处理，包含常用数据集和预训练模型；torchaudio专注于音频信号处理；torchtext支持NLP任务的数据集和预处理；torchdata实现可组合的数据加载流水线。此外还介绍了torchmetrics、torchserve、torchrec、torchtune等扩展工具，覆盖模型评估、部署、推荐系统和LLM微调等场景。这些官方包共同构成从数据处理到训练部署的完整闭环，满足不同领域开发需求。

本文介绍了PyTorch torchaudio库内置的多种音频数据集及其应用场景。文章详细列举了语音识别与合成（如LIBRISPEECH、COMMONVOICE、LJSPEECH）、语音命令与理解（如SPEECHCOMMANDS）、说话人与情感识别（如VoxCeleb1、IEMOCAP）、语音分离与增强（如LibriMix、MUSDB_HQ）、发音与语音障碍、音乐信息检索等领域的常用数据集。作者指出，这些数据集覆盖了语音处理的主要方向，从基础任务到高级研究均有涉及，方便研究人员和开发者根据具体需求选择使用。文章还提供了LJSPEECH的加载示例，强调通过torchaudio可轻松下载和调用这些数据集。

torchtext 0.18.0 内置了丰富的数据集，覆盖文本分类、语言建模、机器翻译、序列标注、问答系统和无监督学习等NLP主要任务。文章分类介绍了AG_NEWS、IMDb、SQuAD、WikiText等常用数据集及其用途，并展示了使用Python加载IMDb数据的简单示例。这些数据集接口标准化，用户无需手动下载预处理，极大降低了NLP研究入门门槛并确保实验可复现性。

这篇文章全面介绍了PyTorch中torchvision库内置的数据集，涵盖了图像分类（如MNIST、CIFAR、ImageNet）、检测与分割（如COCO、Cityscapes）、光流、立体匹配、视频分类等多个计算机视觉任务领域。文章通过表格详细列出了各数据集的规模、用途和特点，并提供了简单加载示例。核心观点是，torchvision内置的丰富数据集为研究人员和开发者提供了极大便利，支持从入门实验到工业级应用的快速原型验证和算法对比。

本文介绍了PyTorch中常用的激活函数及其功能，强调激活函数为神经网络引入非线性，使其能学习复杂模式。文章详细说明了ReLU、Sigmoid、Tanh、LeakyReLU、PReLU、ELU、GELU、SiLU、Mish等函数的公式、特点与使用示例，并介绍了概率激活函数如Softmax和其余辅助函数。最后提供了场景选择建议，如隐藏层通用推荐ReLU，分类输出用Sigmoid或Softmax，并建议从ReLU开始尝试，遇到问题再转向LeakyReLU或ELU。

本文系统介绍了PyTorch中torch.nn模块的常用层类型及其功能，包括容器（Sequential等）、线性层、卷积层、池化层、正则化层、Dropout层、循环层（LSTM等）、Transformer层、稀疏层（Embedding）和视觉层，并通过代码示例展示了各层的使用方法。文章强调，理解这些层是构建神经网络的基础，最后通过一个完整的CNN分类网络示例综合演示了多种层的配合使用，并建议查阅官方文档获取更详细的信息。

本文介绍了PyTorch中常用的损失函数，按任务类型分类讲解。回归任务包括MSELoss（均方误差）、L1Loss（平均绝对误差）、SmoothL1Loss和HuberLoss；分类任务涵盖CrossEntropyLoss（交叉熵）、BCEWithLogitsLoss（推荐用于二分类）、NLLLoss及KLDivLoss等；特殊任务如CTCLoss用于序列对齐，TripletMarginLoss用于度量学习。文章还给出了任务与损失函数的匹配建议，并提醒注意输入张量形状、是否内置softmax以及正负样本平衡问题。

本文使用PyTorch实现IMDB电影评论情感分析二分类任务，比较了LSTM、CNN和Transformer三种神经网络模型。介绍了数据加载、构建词表、Dataset类和批处理填充的完整流程。实验结果表明，双向LSTM表现最佳，10个epoch时测试准确率达88.93%；CNN训练速度快且不易过拟合，5个epoch达86.68%准确率；Transformer因数据集规模有限表现中等。使用GloVe预训练词向量可提升LSTM性能至88.76%。文章还提供了模型代码实现、训练流程和优化建议，完整代码可在GPU环境下10-20分钟完成训练。

本文全面介绍了PyTorch张量的核心操作，包括张量的定义（如zeros、ones、rand创建方法）、元素访问（类似NumPy的索引方式）、基本数学运算（加减乘除、矩阵乘法、转置）、与NumPy数组的互转、GPU加速计算（通过.cuda()）以及自动求导机制。文章通过代码示例展示了各类操作，并重点解析了动态计算图与梯度计算过程。掌握这些基础知识是使用PyTorch进行深度学习开发的重要前提。