核心结论是 spss 线性回归公式推导的核心思路就是最小二乘法，也就是找到一条最优直线，让所有样本点到这条直线的纵向残差平方和达到最小值，通过对残差平方和函数求偏导并令偏导数等于零，求解出回归方程的截距项和斜率系数，spss 软件内部就是按照这套数学推导逻辑自动计算回归系数，使用者不需要手动演算，但是理解公式推导才能看懂 spss 输出的系数表，明白系数代表的真实含义。之所以要学习这套推导，是因为很多人只会在 spss 里面点菜单跑线性回归，却不清楚回归系数是怎么求出来的，遇到多重共线性拟合优度异常的时候无法判断问题根源，一元线性回归是基础，多元线性回归是一元推导的矩阵形式拓展，推导逻辑保持一致，都是最小化残差平方和，只是变量数量增加之后改用矩阵运算，spss 也是使用矩阵算法完成多元回归的系数求解。下面分层展开完整推导过程，同时关联 spss 输出结果的对应位置。

一 一元线性回归基础模型设定

一元线性回归只有一个自变量 x，因变量 y，总体回归模型表达式

y 等于 β0 加 β1 乘 x 加 ε

β0 是总体截距，β1 是总体斜率，ε 是随机误差项，代表模型没有解释的部分

我们通过样本估计得到样本回归方程，也就是 spss 最终输出的方程

y 帽等于 b0 加 b1 乘 x

y 帽是预测值，b0 是样本截距估计值，b1 是样本斜率估计值

残差 e 等于 y 减 y 帽，也就是真实 y 减去预测 y，残差是可以直接观测的，和不可观测的总体误差 ε 不一样

二 最小二乘目标函数

最小二乘的优化目标，就是让残差平方和 SSE 最小

SSE 等于求和 括号 y 减 y 帽 平方

把 y 帽替换成 b0 加 b1x 之后

SSE 等于求和 括号 y 减 b0 减 b1x 平方

这个式子里面，b0 和 b1 是未知参数，x 和 y 是已知样本数据，SSE 是关于 b0 和 b1 的二元函数，想要找到最小值，就要对 b0 和 b1 分别求偏导数，令偏导数等于零，得到正规方程组

三 求偏导推导正规方程

对 b0 求偏导，令偏导等于零

负二倍求和 括号 y 减 b0 减 b1x 等于 0

化简之后得到 求和 y 等于 n 乘 b0 加 b1 乘求和 x

n 代表样本总数量

对 b1 求偏导，令偏导等于零

负二倍求和 x 乘括号 y 减 b0 减 b1x 等于 0

化简之后得到 求和 xy 等于 b0 乘求和 x 加 b1 乘求和 x 平方

联立上面两个等式，就是正规方程组，接下来解这个二元一次方程组，就可以求出 b1 和 b0

四 求解回归系数公式

斜率 b1 推导结果

b1 等于 n 乘求和 xy 减 求和 x 乘求和 y 除以 n 乘求和 x 平方 减 括号求和 x 平方

也可以写成协方差形式

b1 等于 x 和 y 的协方差 除以 x 的方差

这个形式更好理解，斜率本质就是自变量和因变量的协方差除以自变量自身方差

截距 b0 推导结果

b0 等于 y 均值 减 b1 乘 x 均值

y 均值是所有 y 样本平均值，x 均值是所有 x 样本平均值，这个公式说明回归直线一定穿过 x 均值和 y 均值组成的中心点，这是一元线性回归非常重要的性质，spss 输出的常量也就是截距，就是这里计算出来的 b0

五 多元线性回归矩阵形式推导

当自变量不止一个，也就是多元线性回归，一元的求和公式就变得非常繁琐，所以推导改用矩阵形式，也是 spss 多元线性回归内部计算方式

模型矩阵形式 Y 等于 Xβ 加 ε

Y 是因变量列向量，X 是设计矩阵，第一列全部是 1 用来对应截距，后面每一列对应一个自变量，β 是系数列向量

残差平方和 SSE 等于 括号 Y 减 Xβ 转置 乘 括号 Y 减 Xβ

对 β 求导令导数等于零，得到矩阵正规方程

X 转置 X 乘 β 帽 等于 X 转置 Y

求解得到系数估计值

β 帽等于 X 转置 X 的逆矩阵 乘 X 转置 Y

这个就是多元线性回归核心公式，spss 的系数表全部自变量对应的 B 列数值，就是这个矩阵运算求解出来的 β 帽

注意前提条件 X 转置 X 矩阵必须可逆，如果自变量存在严重多重共线性，这个矩阵会接近奇异，逆矩阵计算不稳定，spss 系数标准误会变大，甚至输出警告，这也是推导公式可以解释的底层原因

六 配套统计量推导 和 spss 输出对应关系

七 推导前提假设

这套 spss 线性回归公式推导成立，需要满足经典线性回归假定，也就是线性关系，随机误差零均值，误差同方差，误差无自相关，自变量和误差不相关，误差服从正态分布，如果这些假定破坏，最小二乘估计虽然还能算出系数，但是估计不再是最优无偏估计，spss 输出的显著性检验结果就不可靠，这也是为什么做完回归之后需要做残差诊断。

整体总结，spss 线性回归公式推导从一元最小二乘求偏导得到正规方程，解出斜率和截距，拓展到多元之后使用矩阵求逆得到全部回归系数，spss 只是自动化完成这套数学运算，理解推导之后，可以看懂系数来源，理解多重共线性异方差等问题的数学本质，不再只是机械点击 spss 菜单。

【常见问题】

问题 1 spss 线性回归公式推导里面正规方程组的作用是什么？

回答 1 spss 线性回归公式推导当中的正规方程组，是对残差平方和求偏导等于零之后得到的方程组，作用就是求解最优的回归系数，是连接最小二乘优化目标和最终 b0 b1 计算公式的关键桥梁，spss 在计算一元线性回归系数的时候，本质就是求解这组正规方程得到回归参数。

问题 2 spss 线性回归公式推导为什么多元回归要用矩阵形式？

回答 2 spss 线性回归公式推导，当自变量数量增加之后，一元的求和公式会非常冗长，矩阵形式可以统一表达所有自变量的系数求解，spss 多元线性回归内部就是按照矩阵公式 β 帽等于 X 转置 X 逆矩阵乘 X 转置 Y 完成运算，同时矩阵形式也方便解释多重共线性带来 X 转置 X 不可逆的问题。

问题 3 spss 线性回归公式推导得到的最小二乘估计为什么要求误差正态？

回答 3 spss 线性回归公式推导本身求系数的时候不需要正态假定，但是后续 spss 输出的 t 检验 F 检验这些显著性判断，需要误差服从正态分布这个前提，如果不满足正态，spss 线性回归公式推导得到的系数虽然可以计算，但是显著性检验结果会失真，不能直接解读系数显著。

【免责申明】

本文内容仅用于 spss 线性回归公式推导相关统计学学习参考，不构成科研论文数据分析专业指导，不同学科对线性回归建模规范存在差异，实际使用 spss 开展线性回归建模时，请结合专业领域标准，必要时咨询统计学专业人员，因直接套用本文内容产生的建模误差与风险，由使用者自行承担。