Keras 0.2.0 + Theano Bleeding Edge 的一些问题

更新了Keras 0.2.0。需要最新的Theano，于是安装了Theano Bleeding Edge.

新版本Keras实现了Merge中的mul和concat。以便于多通道的融合。

训练出现问题。原来的双层LSTM运行一段时间后会出现loss = nan的问题。这个问题在Keras 0.1.0上没有出现过。如果改用一层LSTM就没有什么问题了。

解决办法挺简单：

用SOFTPLUS代替 relu，代码如下。