神经网络中自定义LOSS的BP计算

先回顾一下高数当中学的链式法则



然后BP的想法就是不断的用链式法则，直到链到能看到被导的未知数为止.

如下图，就是直到链到一个表达式中含有要求的被导变量

比如求dJ/dwi

那就一直链式法则下去，直到能看到zi=wi*yi-1+bi为止，因为到这里对dzi/dwi的导数直接就可求得为yi-1，而之前链式过程中所要求的导数在上一layer已经算的，所以可以BP从后往前算导数。

具体求解就如下图所示。