机器学习第一层之线性回归

从最小二乘说起

• wiki里的定义：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配
• 线性回归模型，常使用最小误差函数（平方误差）的方法求解系数，为了抑制过拟合还加入正则项
• 在高斯噪声的假设下，残差和函数是最大化似然函数的自然结果。知乎有对这个问题的讨论，问题在 这里
• Ridge 回归可以用 Gaussian 分布和最大后验估计解释
• LASSO 回归可以用 Laplace 分布和最大后验估计解释

多项式曲线拟合问题，给定x的值，对应的l值假设服从高斯分布，分布的均值为y(x,w)，精度由β给出。通过最大似然估计的方法来确定未知参数w和beta的参数的值

$$p(t|x,w,\beta) = \mathcal{N}(t|y(x,w),\beta^{-1})$$

对数似然函数如下，此时最小化似然函数和最小二乘的形式是一致的

$$\ln p(T|X, w, \beta) = -\frac{\beta}{2}\sum\limits_{n=1}^{N}\{y(x_n, w) - t_n\}^2 + \frac{N}{2}\ln{\beta} - \frac{N}{2}\ln{(2\pi)}$$

多项式系数w的先验分布

$$p(w|\alpha) = \mathcal{N}(w|0, \alpha^{-1}I) = \left(\frac{\alpha}{2\pi}\right)^{(M + 1)/2}exp\left\{-\frac{\alpha}{2}w^Tw\right\}$$

参数估计w的后验概率表达式

$$p(w|X, T, \alpha, \beta) \propto p(T|X, w, \beta)p(w|\alpha)$$

最大化后验概率的最终形式：

$$\frac{\beta}{2}\sum\limits_{n=1}^{N}\{y(x_n, w) - t_n\}^2 + \frac{\alpha}{2}w^Tw$$