1-基础部分-2-数学基础
回归
最优化问题
目标函数Error:
$$
E(\theta)=\frac{1}{2} \sum_{i=1}^n(y_i-f_\theta(x_i))^2
$$
i是指第 i 个训练数据.对每个训练数据的误差取平方之后，全部相加，然后乘以0.5 。这么做是为了找到使 E(θ) 的值最小的 θ。这样的问题称为最优化问题。
最速下降法：
$$
\theta_0 :=\theta_0 - \eta\sum_{i=1}^n(f_\theta(x_i)-y_i)
$$
$$
\theta_1 :=\theta_1 - \eta\sum_{i=1}^n(f_\theta(x_i)-y_i) x_i
$$