深度学习框架拾遗：【Pytorch（二）】——Pytorch的层次结构

Pytorch的层次结构从低到高可以分成如下五层。

【硬件层】：

Pytorch支持CPU、GPU加入计算资源池。

【内核层】：

C++实现的内核。

【低阶API】：

为Python实现的操作符，提供了封装C++内核的低级API指令，主要包括：
• 张量结构操作：张量创建，索引切片，维度变换，合并分割
• 张量数学运算：标量运算，向量运算，矩阵运算，广播机制
• 动态计算图：Funciton，反向传播

【中阶API】：

为Python实现的模型组件，对低级API进行了函数封装，主要包括：
• 模型层
• 损失函数
• 优化器
• 数据管道
• TensorBoard可视化

【高阶API】

为Python实现的模型接口。

• 构建模型的3种方法
  ○ 继承nn.Module基类
  ○ 使用nn.Sequential
  ○ 辅助应用模型容器
• 训练模型的3种方法
  ○ 脚本风格
  ○ 函数风格
  ○ torchkeras.Model类风格
• 使用GPU训练模型
  ○ 单GPU训练
  ○ 多GPU训练