当前位置:网站首页>Pytorch GPU模型推理时间探讨
Pytorch GPU模型推理时间探讨
2022-08-10 16:37:00 【pip install USART】
前言
最近对pytorch的模型推理(inference)时间产生了兴趣,于是想着写一个小程序来观察一下现象。遂以此文记之。
实验配置
主要思路:
- 创建多个不同规格的模型,每个模型只有一个简单的卷积层。
- 以卷积的各种不同参数作为模型的区别。
- 以随机数来生成一批数据,用***[B,C,W,H]***来表示。
- 每个模型进行100次推理,分10批次完成,记录这10批次的时间和平均时间。
硬件配置
影响一个模型的推理速度的硬件应该主要就是这些了,还有一个带宽问题。
显卡:RTX 2080ti
内存:16G 2666MHz
CPU:Intel i5-9400F
系统:win10
主板:忘了
实验结果
具体的网络规格这里就略去了,都是随便举的例子,没啥信息量。直接看结果吧。
如上图所示,其中的序号表示模型序号,可以得到几个现象:
1.每个模型的每轮10次推理中,第一轮总是相对来说很慢的
2.这些模型的平均推理时间相差不大,也就是还没达到显卡的算力门槛。
3.平均推理时间相差不大的情况下,to_GPU_cost的区别较大。
解释与猜想
理论上每次推理时间应该是一样的,但就表格数据来看,1-9次的区别有些也很大。
这一现象可能是由于计时方法产生的,所用计时方法是time库的perf_counter方法,该方法是由CPU来执行的,而显卡计算后通知CPU,这之间还有通信差距。
每次的第一轮推理都很慢可能是因为GPU第一次做推理需要进行模型参数的初始化。
中间还有一个小插曲,一开始我是在一个py程序里多次调用testModel这个方法,不同的模型作为参数传递进去,但是发现只有第一次调用时(也就是第一个模型的第一轮10次推理)才会用那么多时间,于是我改了一下代码,将模型参数作为main的参数,重写了一个bat(windows的批处理文件)来依次执行多个模型。
暂时先记录到这里,目前已经有了初步的认识,等后续再进一步研究研究
边栏推荐
- docker中安装mysql
- 软件工程基础知识--需求分析
- MySQL的使用演示及操作,MySQL数据字符集的设置
- How to use bitwise operators in C language
- Etcd Kubernetes 集群稳定性:LIST 请求源码分析、性能评估与大规模基础服务部署调优
- shell之正则表达式及三剑客awk命令
- leetcode:1013. 将数组分成和相等的三个部分
- 2022 CCF China Open Source Conference Notice (Fourth Round)
- #夏日挑战赛#【ELT.ZIP】啃论文俱乐部——学术科研方法论沉淀辑
- 【随笔】自己看的... 保存
猜你喜欢
随机推荐
64位 RT-Thread 移植到 Cortex-A53 系统 bug 修复笔记
重庆新壹汽与一汽集团达成新能源项目战略合作,赋能“碳中和”创造“碳财富”
LabView---双通道示波器(内含信号发生器)
MySQL的使用演示及操作,MySQL数据字符集的设置
如何将静图变gif动图?教你jpg合成gif的方法
requests库访问接口
一文带你彻底拿下a,b两点间等效电阻
分享几个自动化测试的练手项目
一文带你拿下信号卷积—常见信号卷积
shell中判断文件目录是否存在
为什么某互联网企业开200w年薪大家都支持,但是中金开100w年薪大家都在骂?...
从抖音到火山引擎——看流媒体技术演进和机会
promise笔记(四)
神经网络如何提高准确率,神经网络的求解方式
Bitwarden:免费、开源的密码管理服务
数据库注入提权总结(二)
cmake tips record
分类常用的神经网络模型,深度神经网络主要模型
神经网络有哪些激活函数,卷积神经网络有哪些
C语言各种符号如何使用