线性回归方程怎么求解(线性回归的理论与实践)

100次浏览     发布时间:2024-10-13 12:30:06    


我们都听说过软件中的机器学习。

机器学习算法首先想到的是简单的线性回归。那么简单的线性回归是如何产生的,
遵循了什么样的思维方式呢?

假设您只有一家商店 12 个月的月收入。根据这些数据
我们要预测下个月的收益。想想你怎么能做到这一点。

这就是这个算法可以做到的!

我们说我们有月收入。现在让我们绘制这个数据的点图并创建一个假想的线段。

从逻辑上讲,这应该接近二维平面中正确的月收入值。
让我们好好猜测一下。即点和线之间必须有一个垂直距离,并且这个距离是最小的。
应该取最小值。我想说你在谈论衍生品。
因为当我们对方程求导并将其设置为零时,它等于方程将取的最小值。这样我们应该得到一个直的方程。

让这条假想线的方程是这样的。

我们要做的是找到系数α和β。

如果我们说点到线的距离,

那么,如果系数α和β是,

在这里,我们看到了作为偏微分结果的方程。
这些方程为我们提供了一组正规方程。

如果我们使用行列式和消去法求解这组方程,β 的值将是,

然后,通过从两个正规方程中的第一个求解 α,我们可以找到 α 的值,如下所示。

如果我们想写得更简单,

现在让我们用一些数学魔法重新排列 β 的方程。

现在我们可以写了;

定理:样本数据 {( , ); 如果 ; = 1, 2, 3,⋯ , } 然后 = + x

是的,到目前为止我们已经学习了理论部分,现在让我们通过应用它们来尝试这些过程。

首先,让我们创建一个数据。

该数据显示了高中生根据确定的工作时间从考试中获得的分数。

现在让我们根据上述等式创建 alpha 和 beta 系数。

现在让我们使用 sklearn 库中的线性回归模块来实现。

可以看出,α和β系数在两种方法中具有相同的值。

现在让我们可视化我们得到的值。

我的线性回归

Sklearn 线性回归

如您所见,两张图是相同的。

是的,现在让我们通过向我们的模型提供测试数据来获得新的预测。

我们将为此创建一个简单的函数,我们将使用手动计算的系数。

现在让我们比较一下我们的估计。

可以看出,我们用两种方法获得了相同的结果。