称心常识网最小二乘法的原理是什么?
y和x的关系拟合为线性关系,所有的样本点都在这条直线周围,每个点都与此直线有一定的距离,所有的距离平方和,求其最小的时候相应的该直线的斜率,即最小二乘估计.
最小二乘估计是什么
一,什么是最小二乘估计least-square estimation例:y = ax + (其中:y,x 可测;( — 不可测的干扰项;a —未知参数.通过 N 次实验,得到测量数据 yk 和xk k = 1,2,3 …,确定未知参数 a 称”参数估计”.使准则 J 为最小 :令:( J ( ( a = 0 ,导出 a =称为”最小二乘估计”,即残差平方总和为最小的估计,Gauss于 1792晏岢?二,多元线性回归线性模型 y = a0+ a1x1+(+ anx n + ( 式(2 – 1- 1)引入参数向量:( = [ a0,a1,(a n ]T (n+1)(1进行 N 次试验,得出N 个方程:yk = (kT ( + (k ; k=1,2…,N 式(2 -1- 2)其中:(k = [ 1,×1,x2,(,x N ] T (n+1) (1方程组可用矩阵表示为y = ( ( + ( 式(2 -1- 3)其中:y = [ y1,y2,…,y N ] T (N (1)( = [ (1,(2,…,( N ] T (N 1)N (n+1)
拓展资料
最小二乘估计的历史。
最小二乘估计的来源很有意思。
1801年1月1日，西西里巴勒莫学院的天文学家朱塞普·皮亚齐发现了一颗未知轨迹的星星，后来被其命名为谷神星。
经过40天的跟踪观测后，由于地球的轨道运动，使得谷神星消失在太阳耀眼的背景眩光中。
几个月后，当谷神星应该重新出现时，皮亚齐却无法找到它。
计算一个行星的轨道在当时还是一个很难的问题。
我们不能简单地把观测到的某一个行星的一系列位置，看成是椭圆轨道上的一系列点，并直接按椭圆进行拟合，因为，观测点（地球）本身也是运动的，卫星位置的不同观测值，是在一个运动的坐标系上得到的，
当时计算行星的轨道，唯一成功的先例是1781年发现的天王星。
然而，天王星的发现，除了归功于数据量丰富（天文学家们在很多夜晚对于天王星做出了观测），幸运也占了很大因素。
因为，天文学家在估计天王星轨道的时候，做了一个“天王星轨道是圆”的假设。
虽然这个假设对于一般的行星不成立（现在我们都知道一个行星的轨道应该是椭圆），但对于天王星恰好几乎是正确的。
而谷神星的轨道是一个椭圆，该椭圆的形状（离心率，即椭的程度）是未知的。
当时，几位鼎鼎大名的人物，包括欧拉，朗伯（热力学比尔-朗伯定律的发现者），拉格朗日（拉格朗日乘子法和中值定理），以及拉普拉斯（拉普拉斯定理和拉普拉斯变换），都没能找到从一系列短期观测中确定行星轨道的方法。
拉普拉斯甚至认为，这个问题本身就是不可解决的。
这时，高斯（Karl Friedrich Gauss, 1777-1855）登场了。
年轻时的高斯
当时，高斯只有24岁。
虽然年轻，但他研究包括月球的运动和天体运动相关的问题已有很多年了。
他18岁在计算天体轨道时，发明了最小二乘估计这个方法。
和同时期其他研究天体轨道的数学家不同，高斯的方法不需要先对天体轨道的离心率做假设。
高斯拿到皮亚齐的观测数据后，开始投入对谷神星轨道的计算。
高斯用于估计谷神星轨道的皮亚齐的观测数据
在计算谷神星的轨道时，高斯除了借助于最小二乘法来消除观测误差外，还天才地发明了一系列方法，进一步提高了轨道的估计精度。
11月底，高斯把他预测谷神星轨道的结果发给了冯·扎克（Von Zach）。
扎克将髙斯、他自己以及其他一些人的预测结果发表在1801年12月初的一个天文学刊物上，值得一提的是，髙斯的预测结果和其他人的结果有很大差别。
然而，就如同真理掌握在少数人的手里那样，只有高斯准确地预测出了谷神星的位置：
1801年12月31日，谷神星消失在人们的视线中将近一年后，冯·扎克在高斯预测的位置附近重新找到了谷神星！
两天后，天文学家欧伯斯（Olbers）也根据髙斯的结果发现了谷神星。
这个令人惊叹不已的成就，使得当时年仅24岁的高斯在欧洲天文学界一下声名鹊起。
这个故事给了我两点启发：
• 判断一个理论是否有用，关键要看它对未知事情的预测能力，而不是对已知事情的解释能力。
髙斯之所以出名，是因为他的理论预测了谷神星将来的位置。
相反，每个人都可以提出一万种理由来解释为什么谷神星在过去或是现在的位置，但这没用。
• 天才是存在的。
世界能发展到今天，都是由历史长河中偶尔闪耀的天才，以及无数普通人的坚固卓绝的努力，在可累加的科学体系中不断进步而创造的。
