当前位置:网站首页>深度学习——超参数设置
深度学习——超参数设置
2022-04-23 15:08:00 【請叫我做雷锋】
一.过拟合
1.定义:给定一个假设空间H,一个假设h属于H,如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小,但在整个实例分布上h’比h的错误率小,那么就说假设h过度拟合训练数据。
2.通俗解释
3.常见原因
主要是学习过度和样本特征不均衡,如果细分,还可以包括(并未能列举全部原因):
(1)建模样本选取有误,样本标签错误等,导致选取的样本数据不足以代表预定的分类规则
(2)样本噪音干扰过大,使得机器将学习了噪音,还认为是特征,从而扰乱了预设的分类规则
(3)假设的模型无法合理存在,或者说是假设成立的条件实际并不成立(4)参数太多,模型复杂度过高
(5)对于tree-based模型,如果我们对于其深度与split没有合理的限制,有可能使节点只包含单纯的事件数据(event)或非事件数据(no event),使其虽然可以完美匹配(拟合)训练数据,但是无法适应其他数据集
(6)对于神经网络模型:1).权值学习迭代次数太多(Overtraining),2).BP算法使权值可能收敛过于复杂的决策面。
4.解决方法
->模型上:神经网络:加dropout,batch normalization基于树的模型:限制深度,加入正则化项等设置提前终止条件。
->数据上:增加数据集对数据集进行增强处理(augmentation)。
二、正则化
预备知识(梯度下降法):https://zhuanlan.zhihu.com/p/113714840
1.正则化的目的:为了模型的泛化而添加的一个权值累加项。
版权声明
本文为[請叫我做雷锋]所创,转载请带上原文链接,感谢
https://blog.csdn.net/weixin_44646187/article/details/124341309
边栏推荐
- thinkphp5+数据大屏展示效果
- Borui data and F5 jointly build the full data chain DNA of financial technology from code to user
- eolink 如何助力远程办公
- 中富金石财富班29800效果如何?与专业投资者同行让投资更简单
- Will golang share data with fragment append
- 我的树莓派 Raspberry Pi Zero 2W 折腾笔记,记录一些遇到的问题和解决办法
- LeetCode 练习——396. 旋转函数
- Alexnet model
- Mysql连接查询详解
- Kubernetes详解(九)——资源配置清单创建Pod实战
猜你喜欢
What is the effect of Zhongfu Jinshi wealth class 29800? Walk with professional investors to make investment easier
win10 任务栏通知区图标不见了
Tencent has written a few words, Ali has written them all for a month
MySQL error packet out of order
8.4 realization of recurrent neural network from zero
中富金石财富班29800效果如何?与专业投资者同行让投资更简单
Detailed explanation of C language knowledge points -- first understanding of C language [1] - vs2022 debugging skills and code practice [1]
Leetcode167 - sum of two numbers II - double pointer - bisection - array - Search
Advanced version of array simulation queue - ring queue (real queuing)
Redis master-slave synchronization
随机推荐
Leetcode162 - find peak - dichotomy - array
OPPO数据湖统一存储技术实践
Leetcode149 - maximum number of points on a line - Math - hash table
Practice of unified storage technology of oppo data Lake
MySQL error packet out of order
Comment eolink facilite le télétravail
Async void caused the program to crash
Detailed analysis of SQL combat of Niuke database (26-30)
8.4 realization of recurrent neural network from zero
1n5408-asemi rectifier diode
Tun model of flannel principle
SQL中HAVING和WHERE的区别
How does eolink help telecommuting
How to use OCR in 5 minutes
Role of asemi rectifier module mdq100-16 in intelligent switching power supply
Sqlserver transaction and lock problem
How to upload large files quickly?
How to design a good API interface?
Leetcode151 - invert words in string - String - simulation
[NLP] HMM hidden Markov + Viterbi word segmentation