课程进度 59% · 第9/14章第9/14章 · 标签 1/4
— 1 —
迁移学习概述
基本概念
迁移学习是一种机器学习方法，它可以将在一个任务上学到的知识迁移到另一个相关任务上。这种方法的核心思想是：通过利用源任务（source task）中学到的知识来帮助目标任务（target task）的学习。
迁移学习的优势：
- 知识迁移：利用已有模型的知识，避免从零开始学习
- 减少数据需求：目标任务只需要少量数据就能达到好的效果
- 加快训练：缩短模型训练时间，提高开发效率
- 提高性能：改善模型在目标任务上的表现
- 解决冷启动问题：在数据稀缺的情况下仍能构建有效模型
— 2 —
迁移学习的原理：
- 特征共享：源任务和目标任务之间存在共同的特征空间
- 知识表示：预训练模型学习到的特征表示具有通用性
- 层次化学习：浅层特征通常更通用，深层特征更具体
- 领域适应：通过调整模型参数来适应目标域的特点
迁移学习的挑战：
- 负迁移：源任务知识可能对目标任务产生负面影响
- 领域差异：源域和目标域之间的分布差异
- 任务相关性：源任务和目标任务的相关程度
- 模型选择：选择合适的预训练模型和迁移策略
- 计算资源：预训练模型通常需要较大的计算资源
迁移学习的类型
1. 特征迁移
- 保留预训练模型的特征提取层，只训练新的分类层
- 适用于目标任务与源任务相似的情况，计算效率高
- 适合数据量较小的场景
2. 微调（Fine-tuning）
- 保留预训练模型的部分层，微调部分层的参数
- 可以调整学习率策略
- 适用于目标任务与源任务有一定差异的情况，需要更多数据
3. 领域适应
- 处理源域和目标域的分布差异，减少域偏移
- 使用领域对抗训练、特征对齐和分布匹配
- 适用于领域差异较大的情况
4. 多任务学习
- 同时学习多个相关任务，共享模型参数
- 任务间的知识共享，提高模型的泛化能力
- 需要设计合适的任务权重