大模型微调效果差?数据准备与参数设置优化

张开发
2026/4/10 16:44:45 15 分钟阅读

分享文章

大模型微调效果差?数据准备与参数设置优化
一、 数据量不是越多越好但太少肯定不行二、 数据多样性三、 数据质量四、 数据格式和模型“对齐”很重要五、 学习率太大会“失忆”太小学不会六、 训练轮数找到那个“刚刚好”的点七、 批量大小小有小的好大有大的妙八、 优化器选择AdamW是默认首选九、 从“小规模实验”开始十、 保留一份“基线”做对照#大模型#数据量#数据预测#数据分析

更多文章