基于多特征集成的图像自动标注方法研究

基于多特征集成的图像自动标注方法研究 【中文摘要】随着数码设备和计算机网络的发展及广泛应用,数 字图像在计算机中的存储量呈爆炸式的增长。 为了实现计算机对海量 图像的自动管理,图像检索特别是图像自动标注成为近年来研究的重 点和热点。针对图像的多标注问题和“语义鸿沟”问题,本文研究使 用多特征集成的图像自动标注方法,以进一步提高图像自动标注的性 能。 本文的主要研究内容和创新点如下:(1)为解决传统图像标注中标 注词与图像区域之间缺乏对应关系的问题,本文在对未标注图像进行 标注之前,引入分割算法将图像划分成若干个图像区域,并对每个图
像区域分别进行图像自动标注的策略,使图像区域与标注词之间建立 起一一对应的关系。(2)鉴于目前图像自动标注中只有少量已标注样 本的实际情况,本文采用半监督学习方法思想来建立标注模型。该方 法同时将已标注样本和未标注样本用于机器学习中,并利用图像底层 视觉特征空间的分布信息,来度量未标注图像到各标注词之间的视觉 特征距离,从而为未标注图像选择标注关键词。 (3)针对图像自动标注 系统多采用单个分类器,从而导致标注准确率较低问题,本文研究并 提出基于多特征集成的图像自动标注算法 EMDAIA。该算法将图像自 动标注问题看作是图像的多分类问题,构造并集合多个分类器的分类
结果,选择出现概率最大的预测词来对图像进行标注。EMDAIA 使用 LabelMe 图像数据库进行实验,实验结果表明,EMDAIA 比仅使用单一 特征进行图像自动标注的准确率提高了约 10%。(4)研究并提出一种 基于感兴趣区域的图像自动标注方法 ROIAIA,该方法在对未标注图像 进行标注前,先采用 Itti 模型提取图像的感兴趣区域,然后对提取的 感兴趣区域进行标注。实验表明,基于感兴趣区域的图像自动标注能 有效地减少图像次要区域对主要区域的影响,将图像自动标注的注意 力集中到用户感兴趣的图像区域。(5)研究了特征子集的选择对图像
自动标注性能的影响,对提取的 10 种视觉特征选择后组合成 10 个不 同的特征子集,在 PASCAL VOC 2008 图像数据库上进行实验,结果表明: 使用多特征集成可以提高分类器的分类性能,8 种视觉特征构造特征 子集时图像标注的平均准确率最高,继续增加特征的种类反而会降低 标注结果的准确率。 【英文摘要】With the development of digital equipment and computer network, the number of digital images is growing
dramatically. In order to manage the large volumes of digital images automatically, various image retrieval techniques, especially image automatically annotation algorithms, draw a lot of attentions in recent years. Aiming at handling the problem of multiple
annotations and“semantic gap”of images, this paper investigates how to utilize multiple visual descriptors to improve the performance of automatically image annotation.The major contents and contributions of this paper are:(1) In order to cope with the problem
of lacking linkages between images regions and label keywords, this paper employs a Normalized Cuts algorithm to segment each image into image regions before annotation, and then uses an image annotation strategy on each image region respectively, so as to
create one-VS-one linkages between image regions and label keywords.(2) As currently only limited labeled samples are available while a large amount of unlabeled samples exist in a given image annotation system, this paper adopts the idea of semi-supervised
learning to construct learning models. The model utilizes both labeled and unlabeled samples for training, and then uses visual descriptors to measure the distance between unlabeled images and labeled keywords, so as to choose the appropriate keywords for
the unlabeled image.(3)As most available automatic image annotation algorithms use only a single classifier to predict keywords, the accuracy of these algorithms are relatively low. This paper proposes a novel algorithm, EMDAIA, for automatic image annotation.
EMDAIA regards the image annotation task as an image classification task, and integrates the classification results of multiple classifiers, i.e., selects the keywords with the maximum probability to label the images. Experimental results on LabelMe dataset
demonstrate that EMDAIA achieves approximately 10% improvement in accuracy over the single descriptor approachs.(4) The paper also proposes a ROIAIA algorithm for automatic image annotation. Before annotating an unlabeled image, ROIAIA firstly uses the Itti
model to extract the region of interest, and then annotates the interest regions by keywords. Experimental results show that, ROIAIA can effectively reduce the impact of the secondary regions, and greatly improve the speed of automatic image annotation.(5)
In order to evaluate the efficiency of annotation by different feature subsets, this paper extracts several of features, and chooses 10 different feature subsets for experiments. Experimental results on the PASCAL VOC 2008 database show that using ensemble
of multiple descriptors can improve the accuracy of annotation. It achieves the best annotation performance while integrating 8 descriptors. Afterwards, its performance will degrade while keeping increasing the use of descriptors. 【关键词】图像 自动标注 多特征集成 分类 感兴趣区域
特征 选择 【英文关键词】Image Ensemble descriptors interest Automatic annotation classification Region of Feature extraction 摘要 1.1 研究 【目录】基于多特征集成的图像自动标注方法研究 5-6 ABSTRACT 6-7 第一章 绪论 10-17 目的与意义 10-13 术 10-12 12-13 状 13 14-15 15-17 1.1.1 图像自动标注是图像检索的关键技 1.1.2 图像自动标注具有广泛的应用前景
1.2 国内外研究现状 13-14 1.2.2 国外研究现状 13-14 1.4 本文的研究内容 15 1.2.1 国内研究现 1.3 存在问题 1.5 论文的组织结构 2.1 图 第二章 图像自动标注的相关技术 17-24 17 2.2 图像的视觉特征表示 像自动标注基本框架 17-21 取 20-21 22-23 2.2.1 图像分割 18-20 2.2.2 图像视觉特征提 2.4 标注模型 2.3 图像的相似性度量 21-22 2.5 本章小结 23-24 24-39 第三章 基于多特征集成的 图像自动标注方法
24-25 习 25 3.1 EMDAIA 基本思想 3.2.1 为什么使用集成学 3.2.3 单分 3.2 集成学习 25-29 3.2.2 集成学习的思想和方法 25-29 类器分类结果的整合方法 29 29-33 31-33 33 3.3 EMDAIA 基本框架 3.3.2 测试阶段 3.4.1 实验数据 3.3.1 模型训练阶段 30-31 3.4 实验结果与分析 33-38 3.4.2 特征提取 33-35 3.4.3 几种距离度量方法标 注结果比较 35-36 分析 36-38 3.4.4 多特征集成和单一特征实验结果及
第四章 基于感兴趣区 3.5 本章小结 38-39 域的图像自动标注方法 39-48 39-40 41-42 4.1 图像的感兴趣区域 4.2.1 特征选择 4.2.3 测试阶段 4.2 ROIAIA 基本框架 40-43 4.2.2 模型训练阶段 42-43 43 43-44 45-46 48-50 50-54 4.3 实验结果与分析 43-46 4.3.1 实验数据 4.3.3 实验结果 4.3.2 特征子集的构造 44-45 4.4 本章小结 46-48 5.1 结论 48 致谢 54-55 第五章
结论与展望 参考文献 5.2 展望 48-50 作者简介 55