当前位置：网站首页>迁移学习 ＆ 凯明初始化

迁移学习 ＆ 凯明初始化

2022-08-09 22:04:00 【weixin_50862344】

前言

这一章其实就是之前没做完的事，来补一下，两者其实没啥关系

迁移学习

以下内容学习自迁移学习【斯坦福21秋季：实用机器学习中文版】

迁移学习包括什么？

①feature extraction
②train a model on a relate task and reuse it
③fine-tuning from a pertrained model

fine-tuning

(1) 为什么使用pretained model？

有利于加速收敛，有可能会提高精度

在这里插入图片描述
用了课上的一个图，有点抽象但是是这个道理
红色五角星：最优的解（泛化性能好）
蓝色五角星：得到的解（得到的泛化性能不太好的的结果）

(2)如何避免

①限制训练范围
给一个训练半径，即上图绿色圈

②冻结训练
实际上我们真正要训练的是整个模型最后的全连接层，此时就是随机初始化的

凯明初始化

kaiming初始化的推导

原网站

版权声明
本文为[weixin_50862344]所创，转载请带上原文链接，感谢
https://blog.csdn.net/weixin_50862344/article/details/126245230

边栏推荐

猜你喜欢

随机推荐