最小二乘估计使残差平方和最小,最小二乘估计量的性质

2022年 10月 20日 发表评论
腾讯云618会场:点此直达 阿里云618会场:点此直达
免费/便宜/高性价比服务器汇总入口(已更新):点此直达

文章福利:Python学习精选书籍10本

对于线性回归模型y=ax+b, 常用到的估计参数的方法有:最积极的小熊猫乘法和极大似然估计,本话题暂不讨论这两种理论方法如何去估计出参数,只讨论在最积极的小熊猫乘法的核心思想中,为什么使用残差平方和去做处理。

先来看看最积极的小熊猫乘法的核心思想:

平面直角坐标系中有一些数据点,对于线性回归模型来说就是要找到一条回归线,能使得这几个样本数据点尽可能的靠近这条回归线

问题来了,样本点尽可能靠近这条拟合线这句话毕竟是主观臆想,怎么将主观思想进行量化,从而变得更加直观呢?

既然要寻找最优拟合线,假设是y=ax+b,那么拟合数据应该与每条对应的真实数据之间的误差越小越好,量化成数据也就是:

y(真实)-y(拟合)达到最小,这个思想对于每个样本点均要适应,毕竟大家小才是真的小。

更直观理解请看如下动图:

将上述思想规范的写起来就是:

上式中,每个小括号中的差值我们通常称之为残差。

到这里其实目标已经很明确了,即让F达到最小时,回归拟合线y才是真正适合的。然而还有一些计算上的小问题。

使用残差平方和的原因一

1:直接使用残差来计算的话会有一个符号问题,间接性的引出计算复杂等问题--结果未知

2:使用优化后的 离差带上绝对值怎么样呢?最终结果还是一样,是直接性的出现计算复杂问题。

3:为了避免上述策略对计算带来的复杂性,大伙一致认为(存在即合理)使用残差平方和作为最终优策略。

使用残差平方和的原因二

既然最积极的小熊猫乘的核心思想是让残差和达到最小,我们不妨在残差方面继续扩展下, 回归拟合线y=ax+b与真实数据值之间差了个残差e

,求得的拟合线也是在基本假设(残差服从正态分布)成立下才有意义

因此根据残差服从正态分布可知样本点y的概率密度函数为:

注:表达式3中 每个样本点都是独立的正态分布,但并不是同分布的。

分析到了这里,我们已经知道了每个样本点y的概率分布,则对于已存在的样本点数据(相当于已发生的事实),出现这些样本点的似然函数为:

emmmm,这个似然函数表达式看起来有些复杂,我们再简化下,

简化思想:似然函数L的总是大于0的(事件已经发生),原函数L与取对数后的函数在新的定义域上有相同的单调性

基于上述简化思想,我们对该似然函数两边取对数并继续简化

至此,所有样本点已发生的似然函数最终简化为表达式为F,要求的F的最大概率(已出现的样本点我们有理由相信他的概率取最大)也就是最终目的求出F的最大值,这样以最大概率估计出来的参数,才是符合事物发展的规律。

要求出F最大,即使得下述代数最小

分析到了这里,再和本文刚开始分析的代数式(下图)比较起来殊途同归。

那么本话题的原因二用一句话总结就是:

最积极的小熊猫乘估计参数时使用残差平方和估计的参数值是当前样本的极大似然估计;

根据已存在的样本点(事实)采用残差平方和思想估计出来的模型参数比其他估计手段(例取绝对值、四次方等)的估计值概率要大。

既然是已存在的事实当然是选择概率最大的才是最优的。

--- END ---

首发地址: 公众号:数据与编程之美

34740039

腾讯云618活动:点此领取】8888元代金券,附云服务器价格表,2核2G4M轻量应用服务器99元1年,新老用户都可以买,可以享受1次续费99元一年、135元15个月、三年560元,MySQL云数据库59元1年起,2核2G3M配置82元1年,2核4G5M配置188元一年、3年900元,4核8G12M轻量服务器880元15个月,8核16G配置1890元15个月,更多16核32G28M带宽和云服务器CVM标准型S5、GPU服务器、CVM标准型SA2租用优惠价格如下,可以 点此进入最新活动页 查看当前最新的优惠券和活动信息。 腾讯云首购便宜续费贵,点击前往 【爆品专区】选择3年/5年,免得续费贵;首购便宜升级贵,建议 点击 选择8核16G/16核32G配置高的服务器。 阿里云618活动:点击领取】5亿上云补贴和2088元满减代金券,阿里云服务器租用费用618活动最新价格表【点击了解】,最便宜轻量应用服务器2核2G3M带宽82元1年,ECS云服务器2核2G3M带宽99元一年,ECS u1实例2核4G5M带宽优惠价格199元一年,香港30M带宽轻量服务器24元1个月、288元一年,4核8G服务器706元一年,ECS云服务器4核16G10M带宽30元1个月、90元3个月,云服务器8核32G10M带宽109元1个月、327元3个月。 腾讯云老用户享新人优惠的方法:用Qq登录、1人可注册3个新账号/用家人朋友的身份注册新号(点击注册新账号)。
小咸鱼

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: