图示caffe的solver中不同的学习策略(lr_policy)

在caffe源码的caffe-master/sec/caffe/proto/caffe.proto下记录了不同的学习策略的计算方法：

// The learning rate decay policy. The currently implemented learning rate  // policies are as follows:  //    - fixed: always return base_lr.  //    - step: return base_lr * gamma ^ (floor(iter / step))  //    - exp: return base_lr * gamma ^ iter  //    - inv: return base_lr * (1 + gamma * iter) ^ (- power)  //    - multistep: similar to step but it allows non uniform steps defined by  //      stepvalue  //    - poly: the effective learning rate follows a polynomial decay, to be  //      zero by the max_iter. return base_lr (1 - iter/max_iter) ^ (power)  //    - sigmoid: the effective learning rate follows a sigmod decay  //      return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))  //  // where base_lr, max_iter, gamma, step, stepvalue and power are defined  // in the solver parameter protocol buffer, and iter is the current iteration.

fixed

参数：

base_lr: 0.01lr_policy: "fixed"max_iter: 400000

学习率曲线：

step

参数：

base_lr: 0.01lr_policy: "step"gamma: 0.1stepsize: 30max_iter: 100

学习率曲线：

exp

参数：

base_lr: 0.01lr_policy: "exp"gamma: 0.1max_iter: 100

学习率曲线：

参数 gamma 的值要小于1。当等于1的时候，学习策略变为了 fixed。由exp的学习率计算方式可以看出，在 gamma = 0.1 的情况下，学习率每迭代一次变为上一次迭代的0.1倍。

inv

参数：

base_lr: 0.01lr_policy: "inv"gamma: 0.1power: 0.75max_iter: 10000

学习率曲线：

由上图可以看出，参数 gamma 控制曲线下降的速率，而参数 power 控制曲线在饱和状态下学习率达到的最低值。

multistep

参数：

base_lr: 0.01lr_policy: "multistep"gamma: 0.5stepvalue: 1000stepvalue: 3000stepvalue: 4000stepvalue: 4500stepvalue: 5000max_iter: 6000

学习率曲线：

每一次学习率下降到之前的 gamma 倍。

poly

参数：

base_lr: 0.01lr_policy: "poly"power: 0.5max_iter: 10000

学习率曲线：

学习率曲线的形状主要由参数 power 的值来控制。当 power = 1 的时候，学习率曲线为一条直线。当 power < 1 的时候，学习率曲线是凸的，且下降速率由慢到快。当 power > 1 的时候，学习率曲线是凹的，且下降速率由快到慢。

sigmoid

参数：

base_lr: 0.01lr_policy: "sigmoid"gamma: -0.001stepsize: 5000max_iter: 10000

学习率曲线：

参数 gamma 控制曲线的变化速率。当 gamma < 0 时，才能控制学习率曲线呈下降趋势，而且 gamma 的值越小，学习率在两头变化越慢，在中间区域变化越快。