torch使用踩坑日记，矩阵加速运算

我们知道矩阵运算可以加速，用torch搭建的模型，我们预测数据往往都是同时读取多条（在显卡支持的条件下尽可能同时处理多条数据），这样时间会很快，如果单条数据预测非常慢的，最近在写模型处理大数据，我加载多条数据一起处理，因为数据量太大，没法直接全部转换成矩阵，所以是用列表储存了数据，然后预测的时间就是切片导入到模型中，如下代码所示。

import torch
from torch.autograd import Variable
from torch import nn
import numpy as np
from tqdm import tqdm
batch_size = 16
model = nn.Linear(100, 2)#这里假设为一个简单的线性映射，输出2个数据
lis = []
for i in range(1000000):
    data = np.random.rand(100)#每次生成一条100维的数据
    lis.append(data) #储存数据


#预测输出
for index in tqdm(np.arange(0, 1000000, batch_size)):
    x = torch.tensor(lis[index: index+batch_size], dtype=torch.float32)
    out = model(x)

上面有注意到一个细节，我用列表list储存了数据，因为数据量太大，如果储存完后直接

lis = np.array(lis)

可能会爆内存的，因为列表list和numpy数据格式储存方式不一样，占用的内存numpy要大很多，于是我就直接

x = torch.tensor(lis[index: index+batch_size], dtype=torch.float32)

然后预测，这样会报错吗？不会，也可以正常运行，但是没有启动矩阵加速的作用，在python运算的底层还是类似于一条一条的运算，时间上没有任何优化，运行截图如下：

torch进行了警告，说输入的是list，但是也能正常运行计算，但是和矩阵运算不一样，上面的运行花了16s，现在修改成矩阵格式如下：

import torch
from torch.autograd import Variable
from torch import nn
import numpy as np
from tqdm import tqdm
batch_size = 16
model = nn.Linear(100, 2)#这里假设为一个简单的线性映射，输出2个数据
lis = []
for i in range(1000000):
    data = np.random.rand(100)#每次生成一条100维的数据
    lis.append(data) #储存数据


#预测输出
for index in tqdm(np.arange(0, 1000000, batch_size)):
    x = torch.tensor(np.array(lis[index: index+batch_size]), dtype=torch.float32)
    out = model(x)

运行截图如下：

3s就跑完了，矩阵加速运算，永远的神~