月度归档： 2024 年 3 月

使用批量训练时，有四个概念： 迭代次数的计算公式如下（能整除的情况）： 如果不能整除，在 PyTorch 中默… Continue reading 批量训练中迭代次数的计算

激活函数在神经网络中扮演着至关重要的角色，它们用于引入非线性特性，使神经网络能够学习和适应更复杂的数据模式。本… Continue reading 神经网络中常见的激活函数

这里记录人工智能的大事件，内容可能不完整，将不定期补充和更新： 附神经网络的进化图： 其他参考资料： [1] … Continue reading 人工智能的大事件记录

这里列出我的神经网络主要调参内容和顺序，供参考： 调参的原则：

CPU 的设计初衷是串行，适合于处理各种复杂的逻辑关系。GPU 专注于大规模并行处理，适合同时处理大量简单的计… Continue reading CPU、GPU和NPU的特点和区别

本篇给出几个常见的神经网络模型和对应的一些重要论文，可能不定期补充更新。除了阅读早期论文，具体学习也可以阅读一… Continue reading 常见的神经网络模型

反向传播是一个计算梯度的过程，它通过链式法则将损失函数关于网络参数的梯度从输出层向输入层传播。梯度下降则是一种… Continue reading 常见的梯度下降算法