判别分析的统计背景

判别分析的方法有参数方法和非参数方法。参数方法假定每个类的观测来自（多元）正态分布总体，各类的分布的均值（中心）可以不同。非参数方法不要求知道各类所来自总体的分布，它对每一类使用非参数方法估计该类的分布密度，然后据此建立判别规则。

记X为用来建立判别规则的P维随机变量，S为合并协方差阵估计，t=1,...,G为组的下标，共有G个组。记n_t为第t组中训练样本的个数，m_t为第t组的自变量均值向量，S_t为第t组的协方差阵， | S_t | 为S_t的行列式，q_t为第t组出现的先验概率，p(t|x)为自变量为x的观测属于第t组的后验概率，f_t(x)为第t组的分布密度在X=x处的值，f(x)为非条件密度。

按照Bayes理论，自变量为x的观测属于第t组的后验概率p(t | x) = q_tf_t(x) / f(x)。于是，可以把自变量X的取值空间R^P划分为G个区域R_t,t=1,...,G，使得当X的取值x属于R_t时后验概率在第t组最大，即

建立的判别规则为：计算自变量x到每一个组中心的广义平方距离，并把x判入最近的类。广义平方距离的计算可能使用合并的协方差阵估计或者单独的协方差阵估计，并与先验概率有关，定义为

其中

V_t = S_t （使用单个类的协方差阵估计）或 V_t = S（使用合并的协方差阵估计）。m_t可以用第t组的均值\overline{X_t}代替。在使用合并协方差阵时，

其中x^'S ^{? 1}x是共同的可以不考虑，于是在比较x到各组中心的广义平方距离时，只要计算线性判别函数，当x到第t组的线性判别函数最大时把x对应观测判入第t组。在如果使用单个类的协方差阵估计V_t = S_t则距离函数是x的二次函数，称为二次判别函数。

后验概率可以用广义距离表示为

因此，参数方法的判别规则为：先决定是使用合并协方差阵还是单个类的协方差阵，计算x到各组的广义距离，把x判入最近的组；或者计算x属于各组的后验概率，把x判入后验概率最大的组。如果x的最大的后验概率都很小（小于一个给定的界限），则把它判入其它组。

非参数判别方法仍使用Bayes后验概率密度的大小来进行判别，但这时第t组在x处的密度值f_t(x)不再具有参数形式，不象参数方法那样可以用m_t和S_t（或S_t）表示出来。非参数方法用核方法或最近邻方法来估计概率密度f_t(x)。

最近邻估计和核估计也都需要定义空间中的距离。除了可以用欧氏距离外，还可以用马氏（MahalanoBIS）距离，定义为：

其中V_t为以下形式之一：

V_t = S合并协方差阵

V_t = diag(S)合并协方差阵的对角阵

V_t = S_t第t组内的协方差阵

V_t = diag(S_t)第t组内的协方差阵的对角阵

V_t = I单位阵，这时距离即普通欧氏距离