当前位置:网站首页>PyTorch中 torch.nn与torch.nn.functional的区别
PyTorch中 torch.nn与torch.nn.functional的区别
2022-08-09 07:09:00 【代码的路】
原文链接
torch.nn
在__init__()
函数里定义,定义的是一个类:
torch.nn.functional
pytorch中文文档:torch.nn.functional
在__forward()__
函数里定义,定义的是一个函数:
两者的区别:
nn中是定义的类,以class xx来定义的,可以提取变化的学习参数。nn.functional中的是函数,由def function( )定义,是一个固定的运算公式。
深度学习中会有很多权重是在不断更新的,所以需要采用类的方式,以确保能在参数发生变化时仍能使用我们之前定好的运算步骤。因此如果模型有可学习的参数,应该使用nn.Module,否则两个没有区别。但是简单的计算不需要建类来做,所以使用nn.functional定义函数就可以。
即:层内有variable的情况
用nn定义
,否则用nn.functional
定义。
学习更多编程知识,请关注我的公众号:
边栏推荐
- Invoker 2019CCPC Qinhuangdao Station I Question Simple DP
- 买口罩(0-1背包)
- MongDb query method
- A brief introduction to microservice architecture
- 搭载开源鸿蒙系统的嵌入式XM-RK3568工业互联方案
- imageio读取.exr报错 ValueError: Could not find a backend to open `xxx.exr‘ with iomode `r`
- 浅识微服务架构
- 线程API
- Learning Notes---Machine Learning
- Important news丨.NET Core 3.1 will end support on December 13 this year
猜你喜欢
随机推荐
排序第四节——归并排序(附有自己的视频讲解)
Distributed id generator implementation
unity第一课
The maximum validity period of an SSL certificate is 13 months. Is it necessary to apply for multiple years at a time?
Difference Constraint - Graph Theory
Transaction concluded
longest substring without repeating characters
查看日志常用命令
搭载开源鸿蒙系统的嵌入式XM-RK3568工业互联方案
类和结构体
【Oracle 11g】Redhat 6.5 安装 Oracle11g
The JVM thread state
P1505 [National Training Team] Tourism Tree Chain Breakdown
dp学习笔记
SAP ALV 数据导出被截断的bug
字节也开始缩招了...
错误:为 repo ‘oracle_linux_repo‘ 下载元数据失败 : Cannot download repomd.xml: Cannot download repodata/repomd.
学习小笔记---机器学习
力扣第 305 场周赛复盘
XILINX K7 FPGA+RK3399 PCIE驱动调试