digit-recognition - 超腾开源标签

本文作者尝试在MNIST手写数字识别任务上完全不使用反向传播，通过随机卷积核、竞争学习、ZCA白化等无梯度方法搭建网络，并采用闭式线性读出（LDA/ridge）替换统计投票，最终将精度从71.9%提升至97.48%，接近反向传播CNN的99.37%。作者还测试了Forward-Forward、Hopfield检索、资格迹三因素规则等五条路线，得出核心结论：读出质量优于表示深度，表示深度优于学习规则复杂度；位置信息对序列任务至关重要；机制可行不等于有增益。无反传架构还带来零遗忘、睡眠剪枝和选择性预测等特性。

本文使用PyTorch实现了三种手写数字识别模型：线性神经网络（98.08%准确率）、卷积神经网络CNN（99.28%）和Vision Transformer ViT（98.30%）。实验表明，CNN在MNIST数据集上表现最佳，能有效提取图像局部特征；ViT虽可捕捉全局依赖，但受限于小图像尺寸，表现中等；线性网络结构简单，适合快速验证。文章还提供了数据加载、模型训练代码及性能对比，并建议通过增加Dropout、学习率调度或数据增强来优化泛化能力。