SqueezeNet

论文地址：

SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE

目的：

在不大幅降低模型精度的前提下，最大程度的提高运算速度。减少模型参数，方便移动端部署。

亮点：

1、将一部分3x3的filter替换成1x1的filter，以减少参数；

2、减少3*3卷积核的输入的channels；

3、延迟下采样：在整个网络后期才进行下采样，使得卷积层有比较大的activation maps；

 Fire Module：

Fire Module是SqueezeNet中的基础构建模块。

squeeze convolution layer：只使用1∗1卷积 filter
expand layer：使用1∗1和3∗3卷积filter的组合
Fire module中使用3个可调的超参数：s1x1（squeeze convolution layer中1∗1filter的个数）、e1x1（expand layer中1∗1filter的个数）、e3x3（expand layer中3∗3filter的个数）
使用Fire module的过程中，令s1x1< e1x1+ e3x3，这样squeeze layer可以限制输入通道数量

网络结构：

SqueezeNet以卷积层（conv1）开始，接着使用8个Fire modules (fire2-9)，最后以卷积层（conv10）结束。每个fire module中的filter数量逐渐增加，并且在conv1, fire4, fire8, 和 conv10这几层之后使用步长为2的max-pooling，即将池化层放在相对靠后的位置。

下图是SqueezeNet的几个实现，左侧是不加short-cut的SqueezeNet，中间是加了short-cut的，右侧是short-cut跨有不同Feature Map个数的卷积的。

1. 激活函数默认都使用ReLU；
2. fire9之后接了一个rate为0.5的dropout；
3. 卷积使用padding=same。

SqueezeNet的详细参数：

 SqueezeNet的缺点：

1. SqueezeNet的侧重的应用方向是嵌入式环境，目前嵌入式环境主要问题是实时性；SqueezeNet的通过更深的深度置换更少的参数数量虽然能减少网络的参数，但是其丧失了网络的并行能力，测试时间反而会更长，这与目前的主要挑战是背道而驰的；
2. 论文的题目非常标题党，虽然纸面上是减少了50倍的参数，但是问题的主要症结在于AlexNet本身全连接节点过于庞大，50倍参数的减少和SqueezeNet的设计并没有关系，考虑去掉全连接之后3倍参数的减少更为合适；
3. SqueezeNet得到的模型是5MB左右，0.5MB的模型还要得益于Deep Compression。虽然Deep Compression也是这个团队的文章，但是将0.5这个数列在文章的题目中显然不是很合适。

仅为学习记录，侵删！