浅谈facebook威胁分析框架

facebook在去年的时候曾向外公开自家的威胁情报分析框架

ThreatData

(Understanding Online Threats with ThreatData) ，消息发出后更多的人关心的是是否开源，反正我是没有找到这个开源框架。

For us to do our part effectively, we must continually search for new types of attacks and deeply understand existing ones. Given the pace of criminals today, one of the hard parts is actually keeping track of all the data related to malware, phishing, and other risks. We wanted an easier way to organize our work and incorporate new threat information we receive so that we can do more to protect people.

从官方的描述来说，这个系统的初衷是用于持续跟踪恶意信息，并从历史教训中分析，总结，从而预防新的威胁，然而并没有涉及到关于情报分享的部分。

关于情报源头信息组织的杂乱无序，无论是不是需要分享，都需要解决这个问题，因此文中提到这个系统一大部分是在将杂乱无章的情报转化

transform

成一种高效标准的格式来进行存储和分析，这就是文章中提到的

ThreatDatum

。

系统组成有三个重要部分：

Data Collection

也就是所谓的威胁情报源。从文章汇总列举出来的来看，和目前的源头基本一致，开源的威胁库如virusTotal，从供应商那里提供的情报源，当然也包括自己公司平时就能注意到的一些情报信息。比如：

Malware file hashes from VirusTotal

Malicious URLs from multiple open source blogs and malware tracking sites

Vendor-generated threat intelligence we purchase

Facebook’s internal sources of threat intelligence

Browser extensions for importing data as a Facebook security team member reads an article, blog, or other content.

Data Storage

facebook并没有将所有的数据都按照同一种类型来存放，他们将数据按照需求存放到了两个仓库中

Hive

用于判断之前是否见过此中威胁，以及统计当前恶意代码多一些还是钓鱼网站多一些。

Scuba

用于判断当前新出现的威胁，以及最多的钓鱼网站站点。

Real-time Response

文章发表时，facebook做了哪些响应：

恶意域名和URL，随时存放到黑名单中。

从公有的恶意代码仓库中下载恶意代码文件hash值，存储并自动分析

将威胁数据共享至内部应急中心，分析或处理。

下面这幅图是我根据文章描述，在

gliffy

上画出来的图，可能有些出入：



威胁情报吹的再高，到头来获取的还是这些基础数据。数据存储本身没有技术含量，最重要的部分还是在关联分析和机器解读上，诚然威胁情报的提出是出于云计算和大数据的日趋成熟，数据关系在系统中非常重要。

从facebook的架构上来说，并没有提及到共享机制，所以只能算是一个企业的尝试，如果真的要做大做强，信息共享是必须的。

而在应急响应部分，做的事情还是传统响应的一些做法，比如添加规则，创建黑名单等。数据挖掘是这些杂乱无章的数据背后的财富。

个人而言，情报的追踪也是一个很关键的部分，再到stix中提到的TTPs，更是一种威胁情报的高级利用和解读，需要专业的分析人员去做大数据处理。