当前位置:网站首页>【问题解决】训练和验证准确率很高,但测试准确率很低
【问题解决】训练和验证准确率很高,但测试准确率很低
2022-08-09 22:59:00 【ifsun-】
前情提要:
采用ResNet50预训练模型训练自己的图像分类模型。训练和验证阶段准确率很高,但随机输入一张图片时,大多数情况下依旧预测得不准确。
(于是开始搜索各种“验证准确率高但测试准确率低”的原因……)
问题探索:
1.我原始的数据集仅有200张图片,因此做离线数据增强(对比度、饱和度、裁剪、翻转、变换颜色)来扩充数据集。网上说可能是数据增强做得太过了,导致训练集分布发生变化。
但我觉得应该不至于,所以这个因素暂时pass。
2.网上说可能过拟合。
但验证准确率却很高啊,所以这个因素也暂时pass。
3.突然刷到一篇文章!救我大命!万分感谢!
是因为读取图片的方式发生了变化。在训练模型时,我采用的是cv2.imread(),但调用训练好的模型做预测时采用的是PIL.Image.open()。而前者读取的色彩通道顺序为BGR,后者为RGB!!
于是修改预测时的图片读取方式,与训练阶段保持一致。但很奇怪,依旧不准确……
4.突然想到cv2无法读取中文路径。而我的数据集中的图片有一部分是中文命名的!虽然没有报错,但实际上是什么都没读到的,在print(img)时,结果为None。也就是说,我之前训练模型,完全是训练了个寂寞……
(成功近在眼前了!)
于是修改所有中文命名的文件名。(说个题外话,我在网上搜索了如何批量修改,但感觉依旧很麻烦,所以我完全是手动修改的呜呜呜,还好我的数据集中这样的图片不是特别多。)
修改完毕后,重新训练模型!成功了!
这是读取方式不同时的预测结果:
这是读取方式相同时的预测结果:
准确率和训练阶段的基本相同~
边栏推荐
- 【云原生】一文讲透Kubevela addon如何添加腾讯Crane
- Golden Warehouse Database KingbaseGIS User Manual (6.5. Geometry Object Editing Function)
- 【集训DAY4】异或【字典树】
- Comprehensive analysis of FPGA basics
- Snap: 322. Change of Change
- [Interface Test] Decoding the request body string of the requests library
- Force buckle: 279. Perfect square
- 信息系统项目管理师核心考点(六十四)信息安全基础知识重要概念
- 第十二,十三章 mysql数据类型,视图的课后练习
- 【集训DAY5】堆箱子【数学】
猜你喜欢
Service Discovery @EnableDiscoveryClient
ES6 从入门到精通 # 12:数组的扩展方法一
How to know the computer boot record?
go语言的并发原理(goroutine)
ES6 从入门到精通 # 14:迭代器 Iterator 的用法
数字钱包红海角逐,小程序生态快速引入可助力占领智慧设备入口
什么是平面文件数据库? 如何导入多种格式的文件:DSV、JSON、XML?
位图的基本原理以及应用
mysql无法远程连接 Can‘t connect to MySQL server on ‘xxx.xxx.xxx.xxx‘ (10060 “Unknown error“)
Distributed database problem (3): data consistency
随机推荐
YOLOV5学习笔记(七)——训练自己数据集
Sqlserver限制账户在哪些ip下才可以访问数据库
基于 RocksDB 实现高可靠、低时延的 MQTT 数据持久化
【JZOF】82二叉树中和为某一值的路径(一)
【SSL集训DAY2】Sequence【数学】
南大通用数据库-Gbase-8a-学习-04-部署分布式集群
68. qt quick-qml multi-level folding drop-down navigation menu supports dynamic add/unload, support qml/widget loading, etc.
Cmake 用法记录
【哲理】读书的意义
微信小程序获取微信用户步数
源码编译安装LAMP和LNMP
上交所实时行情文件汇总
【集训DAY3】阶乘【数学】
Pinduoduo store operation must know to leave a little knowledge of operation
经济衰退即将来临前CIO控制成本的七种方法
探索TiDB Lightning源码来解决发现的bug
In-depth understanding of multithreading (Part 1)
SRv6 performance measurement
ALV报表总结2022.8.9
【mysql】查询今天9点