Deep learning基于theano的keras学习笔记（1）-Sequential模型

《统计学习方法》中指出，机器学习的三个要素是模型，策略和优算法，这当然也适用于深度学习，而我个人觉得keras训练也是基于这三个要素的，先建立深度模型，然后选用策略（目标函数），采用优化器，编译和训练模型。Sequential模型，顾名思义，就是多个网络层的线性堆叠 建立模型有两种方式：一是向layer添加list的方式，二是通过

.add()

方式一层层添加（一个add为一层），具体可见如下代码

#引入Sequential，Dense，Activation
from keras.models import Sequential
from keras.layers import Dense, Activation
#向layer添加list方式
model = Sequential([Dense(32, input_dim=784),Activation('relu'),Dense(10),Activation('softmax'),])

#通过.add()方式
model = Sequential()
model.add(Dense(32, input_dim=784))
model.add(Activation('relu'))

12345678910输入数据shape Sequential只需在第一层需接受一个关于输入数据shape的参数，后面的各个层则可自动推导出中间数据的shape。 

input_shape

是一个

tuple

类型的数据，其中也可以填入

None

，如果填入

None

则表示此位置可能是任何正整数。数据的batch大小不应包含在其中。 传递一个

batch_input_shape

的关键字参数给第一层，该参数包含数据的batch大小。该参数在指定固定大小batch时比较有用。事实上，Keras在内部会通过添加一个

None

将

input_shape

转化为

batch_input_shape

 有些2D层，如Dense，支持通过指定其输入维度

input_dim

来隐含的指定输入数据

shape

。一些3D的时域层支持通过参数

input_dim

和

input_length

来指定输入

shape

。

model = Sequential()
model.add(Dense(32, input_shape=(784,)))

model = Sequential()
model.add(Dense(32, batch_input_shape=(None, 784)))

model = Sequential()
model.add(Dense(32, input_dim=784))
#以上三种输入是等价的

123456789编译在训练模型之前，我们需要通过

compile

来对学习过程进行配置。

compile

接收三个参数：优化器optimizer：已预定义的优化器名，如rmsprop、adagrad，或一个Optimizer类的对象损失函数loss：最小化的目标函数，它可为预定义的损失函数，如

categorical_crossentropy

、

mse

，也可以为一个损失函数。指标列表metrics：对分类问题，我们一般将该列表设置为

metrics=['accuracy']

。指标可以是一个预定义指标的名字，也可以是一个用户定制的函数。指标函数应该返回单个张量，或一个完成

metric_name
- > metric_value

映射的字典。

# 多分类问题
model.compile(optimizer='rmsprop',
loss='categorical_crossentropy',
metrics=['accuracy'])

# 二分类问题
model.compile(optimizer='rmsprop',
loss='binary_crossentropy',
metrics=['accuracy'])

#均方误差回归问题
model.compile(optimizer='rmsprop',
loss='mse')

12345678910111213训练 编译完毕之后，下一步就是要训练模型了，训练模型一般使用

fit

函数

# 10分类问题:

left_branch = Sequential()
left_branch.add(Dense(32, input_dim=784))

right_branch = Sequential()
right_branch.add(Dense(32, input_dim=784))

#merge层
merged = Merge([left_branch, right_branch], mode='concat')

model = Sequential()
model.add(merged)
model.add(Dense(10, activation='softmax'))

#编译
model.compile(optimizer='rmsprop',
loss='categorical_crossentropy',
metrics=['accuracy'])
# 生成随机数
import numpy as np
from keras.utils.np_utils import to_categorical
data_1 = np.random.random((1000, 784))
data_2 = np.random.random((1000, 784))

# 0-9整数
labels = np.random.randint(10, size=(1000, 1))
#多分类问题标签将整数转化为二值数，比如10分类问题标签2转化为0010000000
labels = to_categorical(labels, 10)

# 训练
#两个输入
model.fit([data_1, data_2], labels, nb_epoch=10, batch_size=32)

123456789101112131415161718192021222324252627282930313233Merge层 多个Sequential可经由一个Merge层合并到一个输出 Merge层支持一些预定义的合并模式，包括：sum(defualt):逐元素相加 concat:张量串联，可以通过提供concat_axis的关键字参数指定按照哪个轴进行串联 mul：逐元素相乘 ave：张量平均 dot：张量相乘，可以通过dot_axis关键字参数来指定要消去的轴 cos：计算2D张量（即矩阵）中各个向量的余弦距离 具体看以下代码示例：

from keras.layers import Merge
#左分支
left_branch = Sequential()
left_branch.add(Dense(32, input_dim=784))
#右分支
right_branch = Sequential()
right_branch.add(Dense(32, input_dim=784))
#合并
merged = Merge([left_branch, right_branch], mode='concat')

final_model = Sequential()
final_model.add(merged)
final_model.add(Dense(10, activation='softmax'))

#这个两个分支的模型可以通过下面的代码训练:
final_model.compile(optimizer='rmsprop', loss='categorical_crossentropy')
final_model.fit([input_data_1, input_data_2], targets)  # we pass one data array per model input

#也可以为Merge层提供关键字参数mode，以实现任意的变换，例如：
merged = Merge([left_branch, right_branch], mode=lambda x: x[0] - x[1])

Sequential模型方法

#compilecompile(self, optimizer, loss, metrics=[], sample_weight_mode=None)#optimizer：字符串（预定义优化器名）或优化器对象#loss：字符串（预定义损失函数名）或目标函数#metrics：列表，包含评估模型在训练和测试时的网络性能的指标，典型用法是metrics=['accuracy']#sample_weight_mode：如果你需要按时间步为样本赋权（2D权矩阵），将该值设为“temporal”。默认为“None”，代表按样本赋权（1D权）。#kwargs：使用TensorFlow作为后端请忽略该参数，若使用Theano作为后端，kwargs的值将会传递给 K.function----------#fitfit(self, x, y, batch_size=32, nb_epoch=10, verbose=1, callbacks=[], validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None)#x：输入数据。模型只有一个输入时x的类型是numpy array，模型多个输入时x的类型应当为list，list的元素是对应于各个输入的numpy array#y：标签，numpy array#batch_size：指定进行梯度下降时每个batch包含的样本数。#nb_epoch：训练的轮数。#verbose：日志显示，0为不在标准输出流输出日志信息，1为输出进度条记录，2为每个epoch输出一行记录#callbacks：list，其中的元素是keras.callbacks.Callback的对象。这个list中的回调函数将会在训练过程中的适当时机被调用#validation_split：0~1的浮点数，将训练集的一定比例数据作为验证集。验证集将不参与训练，并在每个epoch结束后测试的模型的指标，如损失函数、精确度等。#validation_data：形式为（X，y）的tuple，是指定的验证集。此参数将覆盖validation_spilt。#shuffle：布尔值或字符串，一般为布尔值，表示是否在训练过程中随机打乱输入样本的顺序。若为字符串“batch”，则是用来处理HDF5数据的特殊情况，它将在batch内部将数据打乱。#class_weight：字典，将不同的类别映射为不同的权值，该参数用来在训练过程中调整损失函数（只能用于训练）#sample_weight：权值的numpy array，用于在训练时调整损失函数（仅用于训练）。可以传递一个1D的与样本等长的向量用于对样本进行1对1的加权，或者在面对时序数据时，传递一个的形式为（samples，sequence_length）的矩阵来为每个时间步上的样本赋不同的权。这种情况下请确定在编译模型时添加了sample_weight_mode='temporal'。fit函数返回一个History的对象，其History.history属性记录了损失函数和其他指标的数值随epoch变化的情况，如果有验证集的话，也包含了验证集的这些指标变化情况----------#evaluateevaluate(self, x, y, batch_size=32, verbose=1, sample_weight=None)#本函数按batch计算在某些输入数据上模型的误差，其参数有：#x：输入数据，与fit一样，是numpy array或numpy array的list#y：标签，numpy array#batch_size：整数，含义同fit的同名参数#verbose：含义同fit的同名参数，但只能取0或1#sample_weight：numpy array，含义同fit的同名参数本函数返回一个测试误差的标量值（如果模型没有其他评价指标），或一个标量的list（如果模型还有其他的评价指标）。model.metrics_names将给出list中各个值的含义----------#predictpredict(self, x, batch_size=32, verbose=0)本函数按batch获得输入数据对应的输出，其参数有：函数的返回值是预测值的numpy array----------#predict_classespredict_classes(self, x, batch_size=32, verbose=1)本函数按batch产生输入数据的类别预测结果，函数的返回值是类别预测结果的numpy array或numpy#predict_probapredict_proba(self, x, batch_size=32, verbose=1)本函数按batch产生输入数据属于各个类别的概率，函数的返回值是类别概率的numpy array#train_on_batchtrain_on_batch(self, x, y, class_weight=None, sample_weight=None)本函数在一个batch的数据上进行一次参数更新，函数返回训练误差的标量值或标量值的list，与evaluate的情形相同。#test_on_batchtest_on_batch(self, x, y, sample_weight=None)本函数在一个batch的样本上对模型进行评估，函数的返回与evaluate的情形相同#predict_on_batchpredict_on_batch(self, x)本函数在一个batch的样本上对模型进行测试，函数返回模型在一个batch上的预测结果----------#fit_generatorfit_generator(self, generator, samples_per_epoch, nb_epoch, verbose=1, callbacks=[], validation_data=None, nb_val_samples=None, class_weight=None, max_q_size=10)#generator：生成器函数，生成器的输出应该为：一个形如（inputs，targets）的tuple一个形如（inputs, targets,sample_weight）的tuple。所有的返回值都应该包含相同数目的样本。生成器将无限在数据集上循环。每个epoch以经过模型的样本数达到samples_per_epoch时，记一个epoch结束#samples_per_epoch：整数，当模型处理的样本达到此数目时计一个epoch结束，执行下一个epoch#verbose：日志显示，0为不在标准输出流输出日志信息，1为输出进度条记录，2为每个epoch输出一行记录#validation_data：具有以下三种形式之一生成验证集的生成器一个形如（inputs,targets）的tuple一个形如（inputs,targets，sample_weights）的tuple#nb_val_samples：仅当validation_data是生成器时使用，用以限制在每个epoch结束时用来验证模型的验证集样本数，功能类似于samples_per_epoch#max_q_size：生成器队列的最大容量函数返回一个History对象----------#evaluate_generatorevaluate_generator(self, generator, val_samples, max_q_size=10)本函数使用一个生成器作为数据源评估模型，生成器应返回与test_on_batch的输入数据相同类型的数据。该函数的参数与fit_generator同名参数含义相同

[/code]

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111