超腾开源博客 - 第15页 | AI技术、开发实战与软件资源分享

XMind是一款功能全面的思维导图软件，最新版本限制了只能创建3个画布，而提供无限画布功能的最后一个版本是2024年6月发布的24.04.10311。用户可通过下载该历史版本，登录后在首选项中关闭自动更新来保持无限画布功能。文章还列出了几个历史版本，如23.11.04336和24.04.10291，均不限制画布数量，而24.09.13001及之后版本则受限。

这篇文章详细讲解了使用PyTorch实现四种GAN模型生成MNIST手写数字的完整过程，从最基础的全连接GAN入手，逐步深入到DCGAN、条件GAN和WGAN-GP。文章分别介绍了每种GAN的原理、网络结构、代码实现和结果分析。全连接GAN能生成基本数字轮廓但细节模糊；DCGAN通过卷积层提升图像清晰度；条件GAN加入标签信息实现可控生成；WGAN-GP采用Wasserstein距离和梯度惩罚，训练最稳定。最后总结了技术演进路线，强调数据预处理、标签平滑、卷积架构和WGAN-GP的实用性。

本文介绍了PyTorch中常用的深度学习优化器，包括Adadelta、Adafactor、Adagrad、Adam、AdamW、SGD等。文章分析了每种优化器的特点、优缺点和适用场景。核心观点是：快速试验推荐Adam，追求泛化性能首选带动量的SGD，需要更好正则化效果可选用AdamW。对于稀疏特征任务，Adagrad和SparseAdam更合适；大模型训练中Adafactor可节省内存。文章强调，实际应用中大多数任务从Adam或SGD开始尝试即可，理解各优化器原理有助于高效训练模型。

本文介绍了PyTorch中常用的损失函数，按任务类型分类讲解。回归任务包括MSELoss（均方误差）、L1Loss（平均绝对误差）、SmoothL1Loss和HuberLoss；分类任务涵盖CrossEntropyLoss（交叉熵）、BCEWithLogitsLoss（推荐用于二分类）、NLLLoss及KLDivLoss等；特殊任务如CTCLoss用于序列对齐，TripletMarginLoss用于度量学习。文章还给出了任务与损失函数的匹配建议，并提醒注意输入张量形状、是否内置softmax以及正负样本平衡问题。

本文介绍了PyTorch中常用的激活函数及其功能，强调激活函数为神经网络引入非线性，使其能学习复杂模式。文章详细说明了ReLU、Sigmoid、Tanh、LeakyReLU、PReLU、ELU、GELU、SiLU、Mish等函数的公式、特点与使用示例，并介绍了概率激活函数如Softmax和其余辅助函数。最后提供了场景选择建议，如隐藏层通用推荐ReLU，分类输出用Sigmoid或Softmax，并建议从ReLU开始尝试，遇到问题再转向LeakyReLU或ELU。