10-4-Gradient Descent

10-4-Gradient Descent

我们现在来看看 Iterative Optimization, 我们要找到一个 v ,决定它要跨多大一步出去，然后一直更新 w ，求到一个希望是越来越好的 w 。

那么在 PLA 里是怎么做的，PLA 更新的方向是修正错误的方向。如果今天我们面对的是像 Logistic Regression 这样的 E(in) ，它是平滑的，这样的 E(in) 它可能会做一些不一样的事情，有一个可能是这样。Logistic Regression 的 error 长的就像是一个山坡的样子,现在想象我们把球放在山坡的某一个地方，也就是对于某一个 w , 我们要怎样更新 w ? 我们想象把球从山坡上滚下去，球慢慢滚，滚到谷底的时候呢，我们就知道我们找到了那个 Gradient 是 0 的点。我们现在的概念就是把球滚下去。