迁移学习怎么落地-预训练和验证流程

迁移学习怎么落地要先对准具体问题，重点落在一、问题背景、二、两种训练策略、1. 冻结特征提取器，不能只用一个大类词概括。

迁移学习的核心思想，是把一个已经在大规模数据上学到的视觉表示，迁移到新的任务中继续使用；对于数据量有限的项目，如果从随机初始化开始训练，模型往往要更多样本和更长时间才能学到边缘、纹理、形状等通用特征；而预训练模型已经完成了其中相当一部分工作。但“加载预训练权重并训练几轮”并不等于完整的迁移学习方案；真正作用结果的，通常是权重与数据预处理是否匹配、冻结范围是否合理、分类头是否正确替换，以及验证过程能否识别过拟合；下面以一个多分类图像任务为例，构建一个可执行、可检查的训练流程。问题背景 假设项目要识别若干种物体，每个类别只有几百张甚至几十张图片；数据规模不足时，直接训练完整卷积网络会面临三个问题： 模型参数量相对于样本量过大，容易记住训练集而不是学习类别规律；训练初期的梯度另外承担“学习通用视觉特征”和“适应具体任务”两项工作，优化成本较高。