【一步一步的积累】Auto-context and Its Application to High-level Vision Tasks

(CVPR 2008) Auto-context and Its Application to High-level Vision Tasks

不论是分割还是分类，context都是很有用的信息。尤其是深度学习流行以后，能自动去挖掘一些context的内部相关性，所以对于如何引入尽可能多的context，成为了一个研究方向。这篇文章虽然和深度学习无关，但是有很多宝贵的观点。

作者认为

Unlike many the energy

minimization algorithms where the modeling and computing stages are separated, auto-context uses the same procedures in the two. 这是和传统的方法做对比的，对于深度学习来说，现在也是揉在一块了。因此这点不再赘述。
每一个被分类的像素除了常规的小领域信息，还会有更大领域的label信息，并且这些label信息还在一次一次的迭代中越来越准确。所以不同于一般的“图像patch
+ 标注”的数据，该文使用的是“图像patch + label的possiblity map + 标注”作为数据

简单说说这篇文章的实现：

以target pixel为中心，把领域patch和一个假设label是uniform分布的概率图作为特征（图中为全灰色）进行训练（文中使用boosting的方法，其实用什么样的分类器并没有关系）
生成的新的label的概率图，这个概率图的准确性取决于纯appearance的分类能力，因此也不能太差。
进行迭代，再次将图像patch和新生成的概率图作为输入，然后进行训练。直到程序收敛为止
整个过程如下图：



我觉得这篇文章的想法虽然不难，但是具有很有意思的论点和很强的启发性：

label信息的使用。作者认为“label (in probabilities) contexts greatly improve the segmentation/labeling result.”。更甚于之前Wolf and Bileschi认为label context可能会achieve the same effect as using image appearance, in object detection. 我个人的看法是，label的概率图的迭代过程如同信息的提取过程，如果使用在深度学习中，可以辅助提取大context的信息关系，减少网络训练难度，如本文标题所述，这是一个auto的过程。
同时作者也给出了证明，说明了这样的迭代是保证了error的下降的。

综上，在实际的项目中，使用过在分类结果上继续分类的做法，但是由于当时不知道如何保证其收敛性就中断了，另外，当时单纯的依靠label possibility map而放弃了appearance的输入，导致最后结果偏移很严重。因此，鉴于这篇文章的启发，可以重新将这个想法执行，测试一下实践中是否能满足预期效果。