Logistic回归

回归: 假设有一组数据点,用一条直线对这些点进行拟合,这个拟合过程就是回归.回归一词源于最佳拟合,表示要找到最佳拟合参数.

训练分类器的做法就是寻找最佳拟合参数.

使用的一些优化算法: 梯度上升法,最小二乘法.

向量运算进行参数求解过程

损失函数,给定数据X,Y, 根据aX 的出的Y1 与Y之间的偏差,称为损失.怎么将这个损失降到最低.

首先定义这损失,线性空间的距离,通过欧几里得距离定义这个损失.

损失最小化: 对损失函数求导,得到参数方程. 进行参数计算.

为什么梯度下降是必须的?

最小二乘法参数计算的问题:

梯度下降不仅限于线性回归.

经过多次的重复, 比直接运算(参数计算)的优点.