遮挡人脸检测--Detecting Masked Faces in the Wild with LLE-CNNs

Detecting Masked Faces in the Wild with LLE-CNNs

CVPR2017

本文针对遮挡人脸检测问题，首先建立了一个新的数据库：MAFA, with 30,811 Internet images and 35,806 masked faces，其次提出了一个 CNN 网络 LLE-CNNs 来用于遮挡人脸检测。

首先来看看新建的数据库

3 MAFA: A Dataset of Masked Faces

3.1. Dataset Construction

我们首先用关键词为 face, mask, occlusion and cover 在网上搜索相关图像，得到大约 300K 张图像，然后过滤掉没有遮挡的图像，剩下 30,811 张图像，每张图像至少有一个遮挡人脸。

我们标记的信息如下：1) Location of faces 2) Locations of eyes 3) Locations of masks 4) Face orientation 5) Occlusion degree 6) Mask type

对于遮挡的人脸，两个眼睛还是相对稳定的特征点，眼睛基本不会被遮挡的，需要眼睛看东西啊





3.2. Dataset Statistics



4 LLE-CNNs for Masked Face Detection

遮挡人脸检测存在两个大的挑战：incomplete facial cues and inaccurate features from mask regions。例如对于一张左侧人脸图像，其嘴巴、下巴、鼻子 都被一个mask 遮挡，导致大部分人脸特征点都是不可见的，从 mask 区域 提取的人脸特征向量含有大量噪声。在这个情况下 需要我们从人脸以外的区域提取额外的信息用于恢复人脸特征，降低噪声的影响。

LLE-CNNs



Proposal Module 人脸候选区域提取模块： 这里级联了两个CNN网络用于 人脸候选区域的生成及特征提取。候选区域的生成使用了文献【35】中的 P-Net，三个卷积层和一个 softmax layer，考虑到遮挡人脸检测难度较大，这里我们的阈值设置较低，生成了大量人脸候选区域。然后用 文献【24】的 VGG 人脸识别网络队每个候选区域 提取一个 4096d descriptor 在将其归一化。这个descriptor 即含有有用信息也含有噪声信息。 the extracted high-dimensional descriptor encodes bothv aluable facial cues as well as the noisy features from mask regions

Embedding Module 这个模块主要实现对被遮挡的人脸特征恢复，抑制特征中的噪声信息。

The embedding module recovers the missing facial cues in x and suppresses the noisy features incorporated by mask regions.

Toward this end, a feasible solution is to find the most similar faces or non-faces from an external database and use them to refine x .

这里主要通过查字典的方式 试图将被遮挡的特征区域恢复出来

Verification Module 利用被修复的人脸特征进行人脸区域验证 ，对人脸位置和尺度的微调，

The verification module classifies face candidates from the refined facial cues and refines their positions as well as scales

5 Experiments





11