function 将数据点分配到最近的聚类中心

背景

在对大样本进行聚类时，由于k-means的计算开销问题，通常随机选取部分样本进行聚类，得到聚类中心。然而往往要得到每个样本最近聚类中心，这常用在检索索引构建中，eg. OPQ (PAMI 2014)，Inverted Multi-Index(PAMI 2014)。

算法步骤

设一个特征向量p（1*2000），2000是特征维数。聚类中心矩阵为C（256*2000），256为中心数，2000为特征维数。

1. 数据归一化

对p各维计算平方和，得到p_norm，是一个浮点数。

2. 聚类中心归一化

对C的每一行，计算各维平方和，得到c_norm:256*1

3. p_norm 扩展至 1*256

4. 计算p_norm = p_norm+c_norm;

5. 计算点p到256个中心的距离向量dis=−2C∗p+p_norm

6. 计算dis中最小的那个数据的index，即为离点p最近的聚类中心

分析

为什么第5步中的算式就得到距离了呢？

答：设C中的一个聚类中心向量为(c1,c2,...,c2000), 样本点p为(p1,p2,...,p2000), 则第1步中的归一化即为p21+...+p22000, 第2步中的归一化即为c21+...+c22000, 则5中的算式其实为：−2(p1∗c1+...+p2000∗c2000)+p21+...+p22000+c21+...+c22000

即：

(p1−c1)2+...+(pn−cn)2：）

C++代码

要用到blas库, blas函数的功能解释请查询官网document

// 设有一个数据点vector<float> point
//    聚类中心vector<float> vocabs, float* vocabs_matrices
// centroids_norms_为第2步中的聚类中心norm
float p_norm = cblas_sdot(feature_dim, &(point[0]), 1, &(point[0]), 1);
cblas_saxpy(vocabs_[0].size(), 1,
(centroids_norms_[0]), 1, &(p_norms_[0]), 1);
cblas_sgemv(CblasRowMajor, CblasNoTrans,
vocabs_[0].size(), subspace_dimension, -2.0,
vocabs_matrices_[0], feature_dim, &(point[0]), 1, 1, &(p_norms_[0]), 1);

Matlab代码

Matlab for循环的效率低，用矩阵运算。

设数据矩阵P为10000*2000，其中2000是特征维数，10000是样本数聚类中心矩阵为C为256*2000，256为中心数，2000为特征维数。

1. 数据归一化

对P的每一行，计算各维平方和（实际实现中的归一化一般不做开平方），得到P_norm：10000*1。

2. 聚类中心归一化

对C的每一行，计算各维平方和，得到C_norm:256*1

3. P_norm 扩展至 10000*256（将原来的10000*1的P_norm复制9999遍，按列填充矩阵）， C_norm扩展至256*10000（同上，也是复制填充向量得出）。

4. 其后步骤同上。

% 将数据点分配到附近的聚类中心
% Input:
%    points vocab 都按列组织，eg. points中一列位一个特征，行数为特征维数，列数为样本数
% Output:
%    idx_table 为每个样本分配到的最近的聚类中心的下标（从0开始！）
function idx_table = calidx(points, vocab)
disp('Cal coarse ids...');
n_vocab = size(vocab, 2);
N = size(points, 2);
idx_table = zeros(N, 1);

vocab_norm = sum(vocab .^ 2, 1);   % get a row vector

p_norm = repmat(sum(points .^ 2, 1), [n_vocab, 1]) + repmat(vocab_norm', [1, N]); % get n_vocab*N

dis = -2.0 * vocab' * points + p_norm;  % get n_vocab * N dis

[~, idx_table] = min(dis, [], 1);

idx_table = idx_table - 1;  % Matlab下标从1开始，转成从0开始的