翻译：结合卫星图像和机器学习预测贫穷

                              结合卫星图像和机器学习预测贫穷（翻译）

将自己最近读的文献翻译整理一下，一方面和大家分享，另一方面便于自己以后回头来看看。
关于经济生计的可靠的数据在发展中国家依然缺乏，这妨碍了去研究这些结果并制定出改进它们的政策等工作。我们这里展示了一种的精确，低廉和可升级的方法，即基于高分辨率卫星图像来估计消费开支和财产财富。通过使用来自五个非洲国家国家（尼日利亚、坦桑尼亚、
乌干达、马拉维和卢旺达）的勘测和卫星数据，我们展示卷积神经网络如何通过训练后去识别图象特征，这可以阐释出在地方级经济结果变化量的75%。我们的方法，只需要公开可利用的数据，就能在发展中国家跟踪并瞄准贫穷。它也展示了机器学习技术在有限的训练数据中是如何强有力地被应用，这也表明了机器学习在横跨许多科学领域中宽广和潜在的应用。

人口的经济特征的准确测量对研究和政策至关重要。这种测量将影响各自政府的决定——关于怎样调拨缺乏资源以及为了解和跟踪改善人类生计的进展这一全球性工作提供基础。虽然可利用的经济数据的数量和质量在发展中国家近年来已经得到了改善，但是关于经济发展重要的测量数据是许多发展中国家仍然缺乏的(1)。这个数据空白阻碍了去辨认和了解在这些结果上的变化和有效地精准干预到最需要的区域（“精准扶贫”）等工作的进行。

数据空白的现象在非洲大陆普遍存在。
根据世界银行数据显示，在2000年到2010年期间，59个非洲国家中的39个国家开展的具有全国代表性质的贫穷普查少于两次
。这些国家中，有14个国家在这个期间一次都没有开展过这种性质的普查
(4) (Fig.1A)。来自已开展的普查中的大多数数据还未涉及公共领域。人口统计和健康调查(DHS)的覆盖面也同样有限，主要来源是在多数发展中国家关于人口健康统计以及为国际上关于家庭财产（财富的通常衡量方法）的可匹配的数据(Fig.
1B)。 在同一个11年期间，
59个国家中的20个国家没有实行过关于财产 的DHS的普查，并且另外19个国家也仅仅只实行过一次。在非洲和其他地方由于这些短板(1)
也催生着一次“数据革命”的需求——着手加快数据收集的工作 。但以更加频繁的家庭调查来缩小这些数据空白可能极其昂贵，要在每个国家的15年期间去测量联合国可持续发展目标中的每一个目标都可能将花费上百亿美元
(5) ——并且要公共机构来实施也是很困难的，有些政府也看不到什么好处，便也无心为之。(2，6)。

如果传统数据收集的工作很困难，可用一个可替代的方法来测量这些结果——使用已收集的数据，例如数据从社会媒介，移动电话网络或者卫星等这些新颖的来源。最近一种普遍的方法是利用卫星图象的光度(“夜光”)估计经济活动(7-10)。并且这个独特的技术在改进国家经济生产统计方面已经卓有成效
(7，
10)，但是这种方法似乎不能较好区分国际贫困线(人口人均每天$1.90 )附近的人口区域经济活动。在这些贫困区域，光度水平也一般是非常低并且显示变化不大(Fig.1，C—F，和Fig.S1)，使夜光在研究和跟踪极其贫困人口的生活方面潜在作用不大。
近来另外的方法——使用移动电话数据估计贫穷(11，12)也显示出优势，但让人难以充分信任国家自己给出的不同的数据集。（数据缺乏客观性）

我们这里展示了一种新颖的机器学习方法——从高分辨率白天卫星图像来提取社会经济的数据。我们在最近关于五个非洲国家的可获得的地方经济结果的数据中，证实了这种方法。与现有的方法对比，我们的方法仅仅利用在公共领域可获得的数据就可以产生细颗粒的贫穷和财富估计。

迁移学习：

在全球范围内的高分辨率卫星图像越来越容易得到，这些包括了大量与经济活动密切相关的地貌特征的信息。
不幸地，这样数据是高度无特定结构的，因而从这些图像中提取特征，即便是结合强化的人工分析，这项工作也极具挑战性。近年来，基于深度学习技术对大规模图像数据集的应用在计算机视觉上取得了根本性的提升，例如目标识别与分类。但是这些技术大都是在监督学习范畴内卓有成效，即有大量标识的训练数据。然而在我们的项目中，带标签的数据很少。甚至在关于细节的家庭普查的数据也是这样。人调查的数据仅仅包含几百个地方的信息。这也得到了大量的数据集，却比用在深度学习应用中的数据量小。因此，深度学习模型，例如从卫星图像卷积神经网络主要是被训练后直接去估测经济结果，但由于关于这些结果的训练数据比较稀少，导致这项技术的应用也存在极大的挑战。

通过迁移学习的方法，我们克服了这个困难（参见补充材料部分1）。通过使用带噪但易获得的贫困指标来训练深度学习模型，然后使用这个模型来估测集中居住式的家庭开支或家庭财富（大致相当于农村的村庄或城市的小区，这是在地理上最小的群居单位）。我们可以在公共领域普查中获得这些地方的经纬度数据来工我们使用（参见补充材料1.4）。在这些地方可获得的家庭支出数据是贫困国家关于贫困统计的基本衡量标准数据。我们所使用的支出数据来源于LSMS(世界银行生活水准测量研究)。为了测算财产，我们使用了来自DHS的资产评定指标作为对所有资产最主要的衡量指标。虽然资产指标不能被直接使用去构建评定贫困的基准，但基于资产的衡量方式被认为能够较好的捕获家庭长期的经济状况。有很多列举的资产所带来的优势可以直接的被调查者观测到，因此所评测的误差相对较小。

为了去估测这些结果，我们将迁移学习的模型分为三步：

1.首先采用在ImageNet上已经预训练过的CNN模型。再学着给每张图像正确的分类；模型要学会识别浅层图像特征，比如边沿和边角特征，这在视觉任务中很常见。

2.我们在从这些图象分类任务中获取的知识并在一项新的任务中优化CNN网络，训练输入白天卫星图像来预测的相对应的夜间光强度。我们这里使用词“预测”是某一财产没有直接地观察而是其期望估计值，而不是它推断关于未来某事的意思。夜光虽是噪声，但也是全球性地存在以及是全球性地可利用的经济活动指标。
在第二步中，模型学会“总结” 输入的高维白天卫星图象，作为预测夜光变化的低维图像特征集 (参见fig.2).
训练的CNN可以视为特征提取器——每张输入的图像的非线性映射来通过简明的特征向量表示
(补充材料1.1)。相对高分辨率的全球地表地貌的白天图像(来自谷歌API)和夜光(20)是可以获得的，这就提供一个非常大带标记的训练数据集。（结合了白天卫星图像和夜晚灯光强度）

3. 我们使用来自调查的数据的平均群集值，和其由CNN提取的与白天图像的相应的图像特征 来训练脊回归模型，该模型可以预估群集支出或资产。脊模型中加入正则项能够预防过拟合，这也是从高维数据中和相对较小的调查数据集提取特征潜在的挑战。基于直观地，我们期望在能解释夜光的变化特征的某一子集也能够对经济结果有预测性。

在以上这个实验中，第二步训练步骤使用了夜光数据，直接使用指标作为经济状况的预测，在有瑕疵的指标上部分训练的一个模型如何使预测经济状况得到提升？虽然在低支出区域夜光变化不大（fig.1,C到F）调查数据表明在卫星图像其它可见的特征，如屋顶材料、离城区的距离等与支出大致呈线性变化，并且这些能很好的捕获到较为贫穷地带的变化情况。因为在收入较高的地区夜
c752
光和这些特征会显示出变化现象，在夜光数据上训练能够帮助CNN学会提取像这样的特征，因而在整个消费分布中更能够捕获到变动现象。

在区分人口密集且贫穷的地带和人口稀疏且富裕的地带时，夜光数据也比较显得很吃力。另外的方法就是不使用夜光数据去估测人均消费。我们的方法就是没有依赖夜光数据，也能够把这区分开。并且只是将夜光数据当做媒介标签来学习与经济状况相关的图像特征。我们分析中的最后一步就是训练一个模型直接通过白天图像特征，没有依赖夜光数据去估测人均消费力的结果。

提取图像特征的可视化表明了这个模型学会了一些与生计水平相关的地貌特征。这个模型也能够很清楚地识别出一些语义特征，比如城镇、道路、水体、农业区。由于是无监督的，意味着模型没有被特定告知去学习这些可能会与经济情况有关特征。它通过自主学习这些有用的特征去估测夜光光强。与从卫星图像提取特征的已有的工作相比，那些都相当依赖于人工标识的数据。

结果分析：

我们的迁移学习模型在以群集式的多个非洲国家中，对其平均家庭消费开支和财产财富极具预测性。基于为每个国家分开训练并交叉验证的预测模型阐释了四个国家在普通家庭消费上37%—55%的变化量，而且这些数据是近来调查可获得的
(Fig.3)以及依据近来调查数据显示，五个国家在普通家庭财产财富上的变化量达到55%到75% (Fig. S3)。
将所有五个国家观测得到的消费或财产数据混合后训练的模型(“此后合并的模型”)执行得到类似地结果，并且在这些结果中，交叉验证预测阐释了全部变化量的44%—59%
(fig.S4)。

这种高整体预测能力被实现了，尽管缺乏白天成像的时态标签(即，每个图象确切的日期是未知的)，以及对群集地不太了解，由于数据收集代办处为保护普查对象的隐私，导致10公里随机噪声被增加到群座标。财产的预测能力一致地高于消费力的预测能力，或许反应了在财产调查中可利用更大的样本;
财产指标被认为是长期经济水平一个更好的体现  (16，
17) (可能与地貌特征相关，因为地貌随特征着时间的改变不大);
并且/或者指标中的某些资产(例如屋顶类型)
的可能性可通过提取的特点直接地被确认(参见补充材料2.1)。从乌干达LSMS的不同的可利用的数据中，通过建立我们自己的财产指标并将与指标相关的预测能力和在同样的普查中的消费力的表现做对比，我们可以调查得到这些潜在的具有说明问题的指标。在被测量的结果上，我们发现了不同，而不是调查设计或在白天图像直接识别重要资产的不同，这可能解释了这些表现区别(参见补充材料2.1和fig.S5)。
终于在最近一项研究中，我们的模型对卢旺达的财产估计表现超过了使用手机数据估计同样结果的表现 (11) (在那项研究中群级r2 =0.62和我们的研究中r2
= 0.75在; r2是决定因子)， 由于我们的预测模型有着额外的优势，我们的预测可以由公共形式的数据完全建立起来。当横跨国家时，就不需要评估私有化的数据集。（不需要用单独国家的内部隐私数据——不对外开放的数据）

要测试我们的迁移学习模型在直接使用夜光估计生计问题是否得到改善，我们进行了100次实验——单独地为每一个国家和混合模型进行10层交叉验证，每一次将我们迁移学习模型的预测能力与仅用夜光的模型的预测能力做对比。与100次试验为每个国家和为合并的模型，每次比较我们的调动的预测能力学会模型的我们到那单独夜光。
要了解在消费分布的不同子集的相对表现，根据受限于平均消费的消费分布以每1/5下降的群样品，试验分开地进行。对财产进行同样的步骤处理。

尽管我们的模型只是部分基于夜光来训练，实质上我们的模型在消费力和财产上的变化比单独使用夜光更有预测性。
对于开支，我们的模型在消费分布的几乎各个方面都胜过了仅用夜光的模型，对于合并的模型和国家单独地运行模型(Fig.4A fig.S6)。 在混合的模型中，对于在国际贫困线之下的群集，以在r2的平均增长量为0.04的试验中我们的模型在胜过仅仅使用夜光的模型的81.3%。对于处于两倍贫困线以下的群落，以在r2的平均增长量为0.10的试验中我们的模型在胜过仅仅使用夜光的模型的98.5%。提升了81.2%的说服力。对于处于三倍贫困线以下的群落，以在r2的平均增长量为0.12的试验中相应的说服力提升了54.2%。对于各自国家的结果是相似的，在所有国家由于我们的模型在几乎消费分布的所有部分胜过了仅仅使用夜光模型的预测能力
(fig.S6)。相比夜光，我们的模型在财产评估比消费评估的相关表现更好(fig. 4B)，特别是低于平均财产水平的群落。使用关于夜光更多的信息意味着会使仅使用夜光模型的表现得到一些改善，但我们的模型仍然胜过被改进使用的夜光的模型
(参见补充材料2.2和S7)。

在使用可利用的调查数据，从白天成像和预测经济结果去提取信息方面，我们也研究了我们的方法相比其他简易的方法是否有提升。我们发现我们的卷积神经网络特征提取器远远胜过通用图象特征，例如颜色直方图和有向梯度直方图(参见补充材料2.3和fig.S8)。在最近的调查中，我们的方法的表现比一种直观的方法——使用过去调研的数据去预测结果——同样好甚至更好(参见补充材料2.4和表S2)。

要进一步定量我们的结论的统计意义，我们进行了一次实验，在这次试验中，我们给需调研的地点随机再分配白天图像，并在这些错误的图像上再训练我们的模型(参见补充材料1.7)。在每个国家单独及混合的模型中，我们将这个实验重复了1000次，然后比较预测能力，当白天图象被分配了到它们正确地点时(如fig. 3)  在这1000次重复的试验中获得r2值的分布。 如图4 、C和D所示，使用“正确”白天成像得到的r
2值远远高于从重新整合的图象得到的任一r2值，对消费和财产而言，表明我们的模型的预测能力的水平并非偶然出现。（说明该模型预测能力好是稳定的，并非偶然的）

最后，利用我们基于在多个国家对消费和财产调研的方法，我们拓展并研究得出由一个国家的数据和图像特征训练的模型可以去估测其他国家的生活水平。去检验一个特定模型是否能推断边界处的地方对了解仅由地区的图像而无调研数据是否能做到精确预测是很有用的，因为在实际问题中，很多非洲国家都缺乏调研数据（如fig.1），同样在国家民众生计的决定因素上政府也鲜有关注。（实际应用中，大多数非洲国家不能提供准确的普查数据，并且政府对影响国家民众生计的决定因素的关注甚少，这就需要利用已有数据的国家来构建模型，去估测暂无数据的毗邻国家的生活水平）

对于消费力和财产，我们发现由自己国家数据训练的模型做预测的表现一致优胜于由其他国家数据训练的模型所作的预测，这和期望中的结果一样。但我们也发现模型在毗邻边界处预测也不错，他国预测总是靠近于本国预测的精确度。在几乎所有结果中，利用所有四国消费调查和五国财产调查的数据而混合的模型也相当接近于本国预测模型的预测能力。   这些结果表明，至少对于我们这些采样的国家，生计问题的共同决定因素在图像中显露无疑，并且可以利用这些共性去相当准确地预估消费和财产结果，因为有些国家的调查数据找不到。

讨论：

我们的方法显示出，对于五个非洲国家的经济状况的空间分布，现有的高分辨率白天卫星图像可以用于做相当准确预测。尽管关于白天成像的时间和群落地点的数据不够准确，但我们的模型依然表现的不错，今后在这些维度中的数据更加精确后，我们的模型性能也会得到进一步的提升。

值得注意的是，当用我们样本中的一个国家来训练模型用于估计其他国家的消费或财产时，我们的模型的预测能力只是微弱下降。尽管国家之间经济模式和政策会有所不同，模型获得的特征能够去识别生计决定因子的基本共性，表明了我们的方法能够填补由于在许多非洲国家普查数据匮乏引起的庞大数据空白。与最近依靠私有的商业数据集的其他方法对比，我们的方法仅使用了公开地可利用的数据，并且几乎是没有成本的。

虽然我们的模型在估测经群落济状况胜过其他需要收集数据的方法(即，手机数据，夜光)
，我们当前在辩别群落的问题上无法评测它的能力，因为公共领域调查数据需要保护普查对象的隐私。 原则上，我们的模型可以在任何分辨率的白天卫星图像上做预测，虽然做更大规模预测会存在更多噪声。地面实况数据新的来源，不论来源于更多被分割的普查或新颖的拥堵源渠道，这都能使我们的模型评估家庭经济水平。结合我们提取的特征与其他被收集的数据，在这些数据是可利用的地点，也可增加对家庭和群落经济水平的预测能力。（模型结合多方位数据能够提升模型的预测能力）

如果有限利用白天成像的高分辨率时间序列，在某个特定地方，随着时间的变化，我们基于迁移学习方法的模型的也不能预测这些地方的经济状况的变化，这样预测对研究员和政府决策人员都是非常有帮助的，随着更多的高分辨率卫星图像地获得，那么不久的将来这样的预测应该能够实现。

使用丰富但有噪音的数据显示出我们基于迁移学习的机器学习的能力是非常强大的，这也是随着数据集扩充而兴起的技术。这即便在某些关键结果的数据匮乏的条件下，也能够高效的使用机器学习工具。我们的方法在横跨许多科学领域能够得到拓展应用，并且对于由低廉产出的颗粒状数据来预测其他国际组织的社会经济结果也是很有帮助，例如联合国提议的可持续发展目标(5)。（应用广泛）