问题描述

我们使用$n$个属性描述事物$y$，已测得$m$组属性值

$$\begin{equation}x_{k}=(x_{1k},x_{2k},...,x_{nk})^T\end{equation}, k = 1,...,m$$

和其对应$m$个$Y$值，试构造函数$y=f(x)$以解释、预测该事物的变化。

问题建模

显然，对于每个$y_i,i=1,…,m$，我们需要构造以下函数形式：

$$y_i = w_1x_{1i}+...+w_nx_{ni}+b$$

为了表述的简洁与计算的方便，我们尽量将其化简为向量或矩阵形式。

令$w$=$(w_1,…,w_n)^T$，则

$$y_i = w^Tx_i + b$$

我们还可以再简化，令

$$\bar{w}=\left(\begin{matrix}w \\ b\end{matrix}\right),\bar{x}_i = \left(\begin{matrix}x_i \\ 1\end{matrix}\right)$$

则得

$$y_i = \bar{w}^T\bar{x_i}$$

对于全部m组测量值，我们可以写出以下式子

$$\begin{equation} \begin{aligned} \left ( \begin{array}{c} y_1 \\ \cdots \\ y_m \end{array} \right) &= \left( \begin{array}{c} \bar{w}^T\bar{x}_1 \\ \cdots \\ \bar{w}^T\bar{x}_m \end{array} \right) \\ &=\bar{w}^T\left( \begin{array}{c} \bar{x}_1 \\ \cdots \\ \bar{x}_m \end{array} \right) \end{aligned} \end{equation}$$

由于此问题中$\bar{w}$才是自变量，我们可以令$y = (y_1, …, y_m)^T$，$D=(\bar{x}_1,…,\bar{x}_m)^T$，写成以下形式

$$y = D^T\bar{w}$$

由于已知样本值，我们可以使用最小二乘法，对以下式子求解即可。

$$min \space (Y - y)^T(Y-y)$$