当前位置:网站首页>深度学习调参的技巧
深度学习调参的技巧
2022-04-23 15:23:00 【moletop】
如何调参:
-
batchsize要合适
-
epoch要合适,观察收敛情况,防止过拟合
-
是否添加batch nomal
-
dropout是否需要
-
激活函数选择:除了gate之类的地方,需要把输出限制成0-1之外,尽量不要用sigmoid,可以用tanh或者relu之类的激活函数.1. sigmoid函数在-4到4的区间里,才有较大的梯度。之外的区间,梯度接近0,很容易造成梯度消失问题。2. 输入0均值,sigmoid函数的输出不是0均值的。
-
损失函数一轮加正则,一轮不加正则
-
优化器的选择:adam,adadelta等,在小数据上,实验的效果不如sgd, sgd收敛速度会慢一些,但是最终收敛后的结果,一般都比较好。如果使用sgd的话,可以选择从1.0或者0.1的学习率开始,隔一段时间,在验证集上检查一下,如果cost没有下降,就对学习率减半。 很多论文都这么搞,实验的结果也很不错. 当然,也可以先用ada系列先跑,最后快收敛的时候,更换成sgd继续训练.同样也会有提升.据说adadelta一般在分类问题上效果比较好,adam在生成问题上效果比较好。
-
ensemble
-
同样的参数,不同的初始化方式
-
不同的参数,通过cross-validation,选取最好的几组
k折交叉详解:https://www.cnblogs.com/henuliulei/p/13686046.html
-
同样的参数,模型训练的不同阶段,即不同迭代次数的模型。
-
不同的模型,进行线性融合. 例如RNN和传统模型.
-
版权声明
本文为[moletop]所创,转载请带上原文链接,感谢
https://blog.csdn.net/Leiroy/article/details/124241857
边栏推荐
- OPPO数据湖统一存储技术实践
- Wechat applet customer service access to send and receive messages
- API gateway / API gateway (II) - use of Kong - load balancing
- MySQL installation process (steps for successful installation)
- UML学习_day2
- 8.3 language model and data set
- 调度系统使用注意事项
- Educational codeforces round 127 A-E problem solution
- C language super complete learning route (collection allows you to avoid detours)
- MySQL query library size
猜你喜欢
机器学习——逻辑回归
Krpano panorama vtour folder and tour
Detailed explanation of C language knowledge points - data types and variables [2] - integer variables and constants [1]
Design of digital temperature monitoring and alarm system based on DS18B20 single chip microcomputer [LCD1602 display + Proteus simulation + C program + paper + key setting, etc.]
如何设计一个良好的API接口?
22年了你还不知道文件包含漏洞?
T2 iCloud日历无法同步
API gateway / API gateway (III) - use of Kong - current limiting rate limiting (redis)
分享 20 个不容错过的 ES6 的技巧
Machine learning - logistic regression
随机推荐
Tun model of flannel principle
【thymeleaf】处理空值和使用安全操作符
重定向和请求转发详解
Introduction to dirty reading, unrepeatable reading and phantom reading
Application of skiplist in leveldb
MySQL Basics
How to design a good API interface?
我的树莓派 Raspberry Pi Zero 2W 折腾笔记,记录一些遇到的问题和解决办法
MySQL InnoDB transaction
Ffmpeg installation error: NASM / yasm not found or too old Use --disable-x86asm for a clipped build
OPPO数据湖统一存储技术实践
JUC学习记录(2022.4.22)
Redis master-slave synchronization
Krpano panorama vtour folder and tour
Compiling OpenSSL
YML references other variables
January 1, 1990 is Monday. Define the function date_ to_ Week (year, month, day), which realizes the function of returning the day of the week after inputting the year, month and day, such as date_ to
Share 20 tips for ES6 that should not be missed
Do keyword search, duplicate keyword search, or do not match
For 22 years, you didn't know the file contained vulnerabilities?