LR（逻辑回归） 为什么使用sigmoid函数

sigmoid 函数

上图为sigmoid函数的形式

选择sigmoid 的原因想从两方面来说：

1、 Sigmoid 函数自身的性质

sigmoid 函数连续，单调递增

sigmiod 函数关于（0，0.5） 中心对称

对sigmoid函数求导

p=ex1+ex

p′=p∗(1−p)

计算sigmoid函数的导数非常的快速

2、指数族

逻辑回归的损失函数非指数族，形势为：

p(y;η)=b(y)exp(ηTT(y)−α(η))

逻辑回归认为函数其概率服从伯努利分布，将其写成指数族分布的形式，也就是：



T(y)=y

α(η)=−log(1−ϕ)

b(y)=1

能够推导出sigmoid函数的形式。

η=log(ϕ1−ϕ)

ϕ=eη1+eη

也就推出了sigmid函数的形式