batchsize大小的影响

batchsize越大，精度越高？
batchsize越大，每次迭代能在更大的范围内找到最优的梯度更新方向？

答案：No. 需要选择合适的batchsize，大了或者小了都有缺点。

极限情况：
batchsize= # samples：Full Batch Learning
batchsize=1：在线学习

个人认为关于这个问题一个比较好的解释：

用 Gradient Descent 同时参考所有的训练样本去选择绘画线条的话，感觉上最能够画出拟合所有训练集样本的形状，但是这样会使每次绘画的线条从绘画开始到结束都是一样的 (对应神经网络陷入鞍点)，仅仅是不断的描粗线条，反而容易画不出想要的形状。即便是能够成功画出，但别忘了，我们真正想要画的形状是连同测试样本在内的 (编号 a,b) 也同时满足的 F

其他：https://www.zhihu.com/question/32673260