斯坦福大学-Logistic回归_Exercise Code
2014-04-13 14:15
295 查看
Logistic回归和牛顿法 Logistic Regression and Newton's Method
http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex4/ex4.html
http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex4/ex4.html
clear all; close all; clc x = load('ex4x.dat'); y = load('ex4y.dat'); [m, n] = size(x); % Add intercept term to x x = [ones(m, 1), x]; % Plot the training data % Use different markers for positives and negatives figure pos = find(y); neg = find(y == 0);%find是找到的一个向量,其结果是find函数括号值为真时的值的编号 plot(x(pos, 2), x(pos,3), '+') hold on plot(x(neg, 2), x(neg, 3), 'o') hold on xlabel('Exam 1 score') ylabel('Exam 2 score') % Initialize fitting parameters theta = zeros(n+1, 1); % Define the sigmoid function g = inline('1.0 ./ (1.0 + exp(-z))'); % Newton's method MAX_ITR = 7; J = zeros(MAX_ITR, 1); for i = 1:MAX_ITR % Calculate the hypothesis function z = x * theta; h = g(z);%转换成logistic函数 % Calculate gradient and hessian. % The formulas below are equivalent to the summation formulas % given in the lecture videos. grad = (1/m).*x' * (h-y);%梯度的矢量表示法 H = (1/m).*x' * diag(h) * diag(1-h) * x;%hessian矩阵的矢量表示法 % Calculate J (for testing convergence) J(i) =(1/m)*sum(-y.*log(h) - (1-y).*log(1-h));%损失函数的矢量表示法 theta = theta - H\grad; end % Display theta theta % Calculate the probability that a student with % Score 20 on exam 1 and score 80 on exam 2 % will not be admitted prob = 1 - g([1, 20, 80]*theta) %画出分界面 % Plot Newton's method result % Only need 2 points to define a line, so choose two endpoints plot_x = [min(x(:,2))-2, max(x(:,2))+2]; % Calculate the decision boundary line plot_y = (-1./theta(3)).*(theta(2).*plot_x +theta(1)); plot(plot_x, plot_y) legend('Admitted', 'Not admitted', 'Decision Boundary') hold off % Plot J figure plot(0:MAX_ITR-1, J, 'o--', 'MarkerFaceColor', 'r', 'MarkerSize', 8) xlabel('Iteration'); ylabel('J') % Display J J
相关文章推荐
- 斯坦福大学-回归规则化处理_Exercise Code
- 斯坦福大学-朴素贝叶斯_Exercise Code
- 斯坦福大学机器学习笔记(5)-logistic回归的优化
- 斯坦福大学机器学习——logistic回归
- 斯坦福大学机器学习笔记(4)-logistic回归
- 斯坦福大学-线性回归_Exercise Code
- 斯坦福大学-多元线性回归_Exercise Code
- Google与斯坦福大学合作 应用Stanley采集3D模型
- 苹果电脑CEO乔布斯斯坦福大学毕业典礼演讲(中英)
- 突击斯坦福大学
- 记住你即将死去--苹果CEO乔布斯在斯坦福大学的演讲
- 斯坦福大学的Real-time 3D internal marker tracking during arc radiotherapy by the use of combined MV–kV imaging
- 史蒂夫·乔布斯2005年在斯坦福大学的演讲
- 2008年《斯坦福大学开放课程: 编程方法学》(Open Stanford Course : Programming Methodology )[人人影视中英双语字幕][WMV]
- 斯坦福大学计算机专业培养方案剖析
- 史蒂夫·乔布斯在斯坦福大学的演讲——Jobs离职了
- Stay Hungry, Stay Foolish--2005斯坦福大学05年毕业演讲
- 辞去斯坦福大学终身教职,创立Udacity线上大学,或将改变未来获得教育与知识的方式
- 乔布斯2005年斯坦福大学毕业生演讲全文--生词
- 由斯坦福大学神经系统科学家全明星打造的益智游戏Lumosity