这里列出我的神经网络主要调参内容和顺序,供参考。
版本一(详细):
- 激活函数
- 优化器
- 学习率
- 训练轮次
- 批量数据的大小
- 训练数据的总大小
- 隐藏层的神经元数量
- 神经网络的深度
- 数据标准化和数据降维
- 损失函数和正则化
- 神经网络的结构
- 训练数据的内容
- 其他
版本二(简洁):
- 调整学习率
- 使用更好的优化算法
- 增加或更改训练数据
- 调整批量训练的大小
- 更改模型结构
- 更长时间的训练
- 提前停止训练,以免浪费计算资源
调参的原则:
- 调参实验时记得做好控制变量。
- 先粗调,再细调。
- 重点调节对模型结果影响比较大的参数。
【说明:本站主要是个人的一些笔记和代码分享,内容可能会不定期修改。为了使全网显示的始终是最新版本,这里的文章未经同意请勿转载。引用请注明出处:https://www.guanjihuan.com】