计量经济学理论/矩阵微分

矩阵微分有一些简单的规则。这些规则使得许多计量经济学问题可以用矩阵形式来表示，这比使用嵌套的求和符号更加简单和简洁。

对内积关于向量的求导

设**a**为给定的列向量，设**x**为列选择向量（待选择的数值向量）。它们的转置可以表示为**a'**和**x'**。然后，它们的内积（一个标量）关于**x**的导数是一个列向量

∂a'x/∂x = ∂x'a/∂x = a.

对二次型关于向量的求导

设**A**为矩阵，可以是对称矩阵也可以是非对称矩阵，考虑二次型**x'Ax**，它本身是一个标量。这个二次型关于向量**x**的导数是一个列向量

∂x'Ax/∂x = (A+A')x.

但在计量经济学中，二次型中的矩阵几乎总是对称的。如果**A**确实是对称的，公式可以简化为

∂x'Ax/∂x = 2Ax.

应用于普通最小二乘法

或许计量经济学中最基本的概念是普通最小二乘法，在这种方法中，我们选择回归系数以最小化回归的残差平方和（误差预测）。假设回归模型为

y = Xβ + e,

其中**y**是一个 *n*×1 的观测因变量值的向量，**X**是一个 *n×k* 的矩阵，其中每一列都是一个 *n*×1 的观测自变量值的向量（*k<n*），**β**是一个 *k*×1 的待选估计响应系数向量，**e**是一个 *n*×1 的残差向量。

读者可以确认残差平方和 - **e** 元素的平方之和 - 由下式给出

e'e = (y - Xβ)'(y - Xβ) = y'y - y'Xβ - β'X'y + β'X'Xβ = y'y - 2β'(X'y) + β'(X'X)β

其中最后一个等式成立是因为**y'Xβ**是一个标量，因此它本身就是它的转置。注意，**(X'y)** 是一个 *k*×1 的向量，**(X'X)** 是一个 *k×k* 的矩阵。使用上述微分规则，我们得到

∂e'e/∂β = -2X'y + 2(X'X)β,

我们使用了 **X'X** 是对称的事实。当我们通过将这个向量导数等同于零向量来表示一阶条件时，我们得到

(X'X)β = X'y,

这可以解出选择向量 **β** 如下

β = (X'X)^-1X'y.

这就是普通最小二乘估计量。注意，只要 **X** 的列满秩，表达式 **(X'X)^-1** 就存在，并且 **(X'X)** 是正定的，确保二阶条件得到满足。