Rare Event Analysis

Background

Drowning in data, starving for knowledge.

如同矿石提炼黄金的过程，大量的数据中，只蕴含了少量有趣的事件。这些少量事件中，出现频次相对更低的稀有事件，可能导致显著的结果，且往往是负面的。

应用

• 网络入侵检测
• 信用卡欺诈检测
• 病理诊断

传统策略在稀有事件分析中的不足

以网络KPI问题定位为例：

• 异常点处理：考虑KPI问题点和数据打点问题点的区别；
• 特征选取和提取：

> a <- c(rnorm(100), 15)
> b <- c(rnorm(100), 15)
> cor(a, b, method ="spearman")
[1] 0.1072103
> cor(a, b, method = "pearson")
[1] 0.7590896

• 评估标准不适用