机器学习算法2
[原]Matlab 向量化编程实现机器学习算法---1 假设 x 和 θ 为向量(n+1 维实向量空间)，需要计算 z=θ(T)x（θ(T)表示 θ 的转置），那么可以按以下方式实现：
z = 0;for i=1:(n+1), z = z + theta(i)* x(i);end;上述代码为非向量化编程，为了更加简洁和提高运行速度，可以采用以下向量化编程方式：
z = theta" * x;%theta"表示 θ 的转置 对 Matlab 代码进行矢量化的工作很大一部分集中在避免使用 for 循环上，因为这可以使得 Matlab 更多地利用代码中的并行性，同时其解释器的计算开销更小。
下面给出一些算法的非向量化和向量化代码对照：
1.逻辑回归梯度计算 % 代码 1---非向量化 grad = zeros(n+1,1);for i=1:m, h = sigmoid(theta"*x(:,i));% sigmoid 为 S 形函数 temp = y(i)-h;for j=1:n+1, grad(j)= grad(j)+ temp * x(j,i);end;end;嵌套的 for 循环语句使这段代码的运行非常缓慢。以下是更典型的实现方式，它对算法进行部分向量化，带来更优的执行效率：
% 代码 2---部分向量化 grad = zeros(n+1,1);for i=1:m, grad = grad +(y(i)-sigmoid(theta"*x(:,i)))* x(:,i);end;或许可以向量化得更彻底些。如果去除 for 循环，我们就可以显著地改善代码执行效率。特别的，假定 b 是一个列向量，A 是一个矩阵，我们用以下两种方式来计算 A*b：
% 矩阵-向量乘法运算的低效代码 grad = zeros(n+1,1);
for i=1:m, grad = grad + b(i)* A(:,i);% 通常写法为 A(:,i)*b(i)end;% 矩阵-向量乘法运算的高效代码 grad = A*b;代码 2 是用了低效的 for 循环语句执行梯度上升运算，将 b(i)看成(y(i)-sigmoid(theta"*x(:,i)))，A 看成 x，我们就可以使用以下高效率的代码：
% 代码 3---完全向量化 grad = x *(y-sigmoid(theta"*x));Matlab 的 sigmoid(z)函数接受一个向量形式的输入 z，依次对输入向量的每个元素施行 sigmoid 函数，最后返回运算结果，因此 sigmoid(z)的输出结果是一个与 z 有相同维度的向量。
注：上述代码引自 Standford 大学 Andrew Ng 关于深度学习的文章
