向量空间模型的基本原理

1．文档向量的构造

对于任一文档，我们可以把它表示为如下t维向量的形式：

其中，向量分量w_tj代表第i个标引词k_i在文档d_j中所具有的权重，t为系统中标引词的总数。在布尔模型中，w_tj的取值范围是{0，1}；在向量空间模型中，由于采用“部分匹配”策略，w_tj的取值范围是一个连续的实数区间[0，1]。

在检索的前处理中，一篇文档中会标引出多个不同的标引词，而这些标引词对表达该篇文档主题的能力往往是不同的。也就是说，每个标引词应该具有不同的权值。如何计算文档向量中每个标引词的权值，不仅关系到文档向量的形成，也关系到后续的检索匹配结果。

标引词权重的大小主要依赖其在不同环境中的出现频率统计信息，相应的权重就分成局部权重和全局权重。

局部权重(Local Weight)l_tj是按第i个标引词在第j篇文档中的出现频率计算的权重。它以提高查全率为目的，对在文档中频繁出现的标引项给予较大的权重。

全局权重(Global Weight)g_t则是按第i个标引词在整个系统文档集合中的分布确定的权重。它以提高查准率为目的，对在许多文档中都出现的标引项给予较低的权重，而对仅在特定文档中出现频次较高的标引项给予较大的权重。计算全局权重的典型方法就是逆文档频率IDF(Inverse Document Frequency)加权法。

g_i = log(N / n_i)

其中，N为系统文档总数，n_i为系统中含有标引词k_i的文档数。

2．提问向量的构造

在向量空间模型中，用户的信息需求被转换为提问向量，并用与文档向量类似的表示形式表示，即

这里，t为系统中标引词的总数，向量分量w_tq表示第i个标引词k_i在提问q中的权值，且有。对于查询语词的权值，Sahon和Buckley认为可以采用如下的方法：

式中，freq_iq为标引词k_i在表述用户信息需求的文本内容中所出现的次数，而maxtf_q则是在表述用户信息需求的文本内容中所使用的所有标引词出现次数的最大值。

3．文档与提问向量相似度的计算

在文档与提问向量化表示的基础之上，文档与查询提问之间的相关程度(即相似度)就可以由它们各自向量在t维空间的相对位置来决定。

向量间相似程度的度量方法有很多种，主要有内积法(Inner PRoduct)、Dice法(Dice CoeffICIent)、Jaccard法(Jaccard Coefficient)和余弦法(Cosine Coefficient)。

较常用的度量方法是提问向量和文档向量间的内积法，其计算公式如下：

其中，QT_i是检索提问中检索项i的权值，DT_i是文档中标引项i的权值，N为总的项数。

当每个向量都通过余弦法进行加权后，则内积法转换为余弦法。余弦法采用的相似度计算指标是两个向量夹角的余弦函数。