课程进度 73% · 第11/14章第11/14章 · 标签 1/4
— 1 —
模型压缩与优化概述
深度学习模型压缩与优化是提高模型部署效率的关键技术。随着深度学习模型规模的不断增大，如何在保持模型性能的同时减小模型体积、提高推理速度，成为了一个重要的研究方向。
本课程将详细介绍模型压缩与优化的主要方法，包括模型量化、模型剪枝、知识蒸馏等技术，以及相关的优化工具和框架。通过学习这些技术，您将能够：
- 理解模型压缩与优化的基本原理
- 掌握常用的模型压缩技术
- 学会使用各种优化工具和框架
- 在实际项目中应用这些技术
— 2 —
优化方法
1. 模型量化
- INT8量化
- 混合精度训练
- 量化感知训练
- 后训练量化
- 量化误差分析
2. 模型剪枝
- 结构化剪枝
- 非结构化剪枝
- 通道剪枝
- 层剪枝
- 稀疏训练
3. 知识蒸馏
- 教师-学生模型
- 软标签蒸馏
- 特征蒸馏
- 注意力蒸馏
- 多教师蒸馏
优化工具
TensorRT — 高性能推理引擎，自动优化，多精度支持，动态形状，跨平台部署
ONNX Runtime — 跨框架支持，图优化，量化支持，硬件加速，动态推理
OpenVINO — Intel优化，模型转换，量化工具，性能分析，部署工具