TensorFlow实战Google深度学习框架——学习笔记(二)
2018-01-24 09:57
127 查看
第四章、深层神经网络
维基百科定义深度学习:“一类通过多层非线性变换对高复杂性数据建模算法的合集”。深度学习包含着两个重要的特性:多层与非线性。线性模型最大的局限性是:能够解决的问题有限。
激活函数实现去线性化
相当于以往的神经元结构中输出为所有输入的加权和,置换为输出通过一个非线性函数。上图则是常用的非线性激活函数(Sigmoid)
下图则是比较常用的三种激活函数: ReLU、Sigmoid、tach
损失函数的定义
神经网络模型的效果以及优化目标是通过损失函数(loss functions)来定义的。经典的损失函数
交叉熵(cross entropy)其中p(x) 是用来表示正确答案的概率分布,q(x)用来表示预测值的概率分布。
交叉熵不是对称的,其刻画的是通过概率分布q 来表达概率分布p 的困难程度,换言之,其刻画的是两个概率分布之间的距离,也就是说交叉熵越小,两个概率分布越接近,结果越好。
其中要用到的两个函数
tf.redece_mean(y,X)求平均值,y是输入的数据,X是参数,可默认,当X=0 时 是求y 每一列的平均值,党X =1是y 每一行的平均值
均方误差(MSE,mean squared error)
注意 tensorflow 1.0 中 tf.select() 函数被 tf.where() 函数取代。其用法不变。
即:
tf.where(condation, x, y)第一个参数是条件,判断True 则输出x,判断Flase 则输出y。
tf.greater(x1, x2)比较两个参数大小,并返回结果。
下面附上书上 4.2.2 的代码
import tensorflow as tf from numpy.random import RandomState batch_size = 8 x = tf.placeholder(tf.float32, shape=(None, 2), name="x-input") y_ = tf.placeholder(tf.float32, shape=(None, 1), name="y-input") w1 = tf.Variable(tf.random_normal([2, 1], stddev=1, seed=1)) y = tf.matmul(x, w1) loss_less = 10 loss_more = 1 loss = tf.reduce_sum(tf.where(tf.greater(y, y_),(y-y_) * loss_more, (y_-y) * loss_less)) train_step = tf.train.AdamOptimizer(0.001).minimize(loss) rdm = RandomState(1) data_size = 128 X = rdm.rand(data_size, 2) Y = [[x1 + x2 + rdm.rand()/10.0 - 0.05] for (x1, x2) in X] with tf.Session() as sess: init_op = tf.initialize_all_variables() sess.run(init_op) STEP = 5000 for i in range(STEP): start = (i * batch_size) % data_size end = min(data_size, start + batch_size) sess.run(train_step, feed_dict={x: X[start:end], y_: Y[start:end]}) print(sess.run(w1))书上有几个错误:
1. tf.select() 函数更新并未更新。(tf.where)
2. 最有一行 print(sess.run(w1)) 的位置对齐错误。
相关文章推荐
- 学习笔记︱Nvidia DIGITS网页版深度学习框架——深度学习版SPSS
- TensorFlow:实战Goole深度学习框架第三章学习笔记
- 《白话深度学习与Tensorflow》学习笔记(1)深度学习框架、CNN、VC维
- php框架之美 yii学习笔记之一
- 学习Model-Glue框架的系列教程-Building your first Model-Glue Application中文理解通俗版(1)
- 三大框架学习总结
- CI框架源码学习笔记6——Config.php
- 深入浅出学习struts1框架(四):从MVC模式代码认识struts1框架
- 卷积神经网络CNN与深度学习常用框架的介绍与使用
- Android学习记录20171023--Volley网络框架(一)
- 嵌入式linux内核学习之系统框架
- 学习使用thinkphp框架制作cms
- 开始学习 ajax 框架:Rialto
- JavaWeb学习笔记之SSM框架搭建配置文件
- Win10下配置深度学习框架Caffe及python接口 CUDA8.0+CUDNn5.1
- CAS SSO单点登录框架学习
- 用Swift写服务端 — Perfect框架学习(一)
- TensorFlow 深度学习框架 (2)-- 反向传播优化神经网络
- 码农小汪-Hibernate学习3-Architecture-框架简述
- 深入Facebook机器学习部门:服务、模型、框架和硬件(贾扬清等HPCA论文)