同意
不太同意
的说法。
Andrew Ng的推导应该只是说明了，在Gaussian噪声的假设下，最大似然可以推导出最小二乘，仅此而已，个人认为并没有说明最小二乘的必要性。
最小二乘是在欧氏距离为误差度量的情况下，由系数矩阵所张成的向量空间内对于观测向量的最佳逼近点。
为什么用欧式距离作为误差度量 （即MSE），09年IEEE Signal Processing Magzine 的 《Mean squared error: Love it or leave it?》这篇文章做了很好的讨论。链接：
这篇文章在"WHY DO WE LOVE THE MSE?"中说，MSE：
然而，MSE并非没有缺点。并不是所有的问题都可以套用该准则，在“IMPLICIT ASSUMPTIONS WHEN USING THE MSE”说，它基于了以下几点对于信号的假设：
本文后面还讨论了MSE对于图像和语音这些具有空间和时间信息的信号来说，并非就是完美的，并举了不少例子。有兴趣的可以下下来论文自己看。对于本问题来说，我觉得这些讨论已经够了。
