机器学习深入与强化--特征工程

机器学习算法是一个架子，特征需要我们自己去处理，做出更好的特征，让算法去学习，从而达到更好的效果。

意义中灵活性指的是，如果使用的是简单的LR，处理起来更灵活，更好控制。





做的都是一些基础的事情，比如：

1、跑数据，但互联网的数据都是大数据，不会存在一台服务器上，一般存在HDFS或者Hive表里，自己去写mapreduce的任务，去写HQL去聚合处理这些数据，也就是在数据仓库里打杂。

2、数据清洗。比如电商里很多数据是刷单刷出来的，这部分数据会严重影响模型的判断力。

3、分析业务。针对特定业务想特征，会思考采集什么样的特征对之后的结果有用处。

4、最后用在特定的算法上。

5、找出误判的case，分析误分的原因，在特征的层面再次调整模型。









知道了哪些数据需要采集，接下来就要确定这些数据的存储逻辑、存储方式和存储格式



存储之后就是数据清洗，去掉脏数据





接下来进行数据采样，因为大部分情况下，正负样本的分布是不均衡的

正>>负，且量都挺大==>下采样

正>>负，量不大==>

1、采集更多的数据，如采集时间拉长

2、修改损失函数，给较少的样本一个大的权重，迫使其学习时照顾到少量样本



数据特征工程的数据分为几种类型



归一化：每个维度不一样，梯度下降时出现困难，因为下降方向是由每个维度的方向向量合成的，导致凸函数中下降时出现震荡，一句话就是收敛慢，准确度低。



类别型有三个处理方法：







时间型的数值：即可以看做连续值，也可以看做离散值

停留持续时间可以反映喜好程度，间隔时间可以反映再次购买的需求。













特征与业务相关性很强，要学会开脑洞，有以下三种方法：