实战天池精准医疗大赛之一_数据分析
2018-01-30 13:20
507 查看
1. 赛题说明
天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测,这是明天即将开始的天池大数据比赛。赛题名字看起来很高深,其实是根据年龄,性别,肝功,血常规等体验指标,预测血糖值。数据挺少的,特征40个左右,训练集5000多个实例,测试集1000个实例。任何机器都能很快跑完。比赛地址:https://tianchi.aliyun.com/competition/introduction.htm?spm=5176.100066.0.0.57e6e8dfMg8Z8V&raceId=231638
2. 预处理
(1) 缺失数据
有大量的缺失值,特征分四类,分别是乙肝、血常规、肝功能、肾功能,一般的缺失值都是缺失整个类别数据(由于患者未做某项检查)。除血常规以外,其余三项都有大量的缺失值,尤其是乙肝类检查,多一半都是空值。 如果去掉这些数据,将会损失3/4的数据量。假设:医生不要求做该项检查,说明他认为该项指标基本正常,则在指标的正常范围内取随机值填充。(2) 其它操作
替换去掉其中中文字符3. 数据分析
(1) 相关性分析:
岁数与血糖的相关性最大为0.32,甘油三酯相关性0.23,还有年龄,碱性磷酸酶,白细胞计数等6项指标在0.15左右。(2) PCA降维:
前15个特征约占信息量的99.8%(3) 分析血糖值分布:
绝大多数分布在4-15之间,比赛前期可将此范围之外的认为噪声。![](https://upload-images.jianshu.io/upload_images/5357893-afd12dd5c907f593.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/594)
4. 算法
(1) 算法分析
这是一个有监督的回归问题,此比赛基本可以定位成特征工程加调参问题。预计先使用GBDT和随机森林,后面集成多个模型。 因为数据少,主要注意过拟合问题,可能使用先分类后回归的方式。注意回归不是按正确率计算结果的,此题根据题目要求,评估指标为MSE(2) 迭代分析
左图是迭代与误差的关系,迭代到100次后,测试集误差不再下降,训练集还在下降,好像开始过拟合,当然这与我设置的学习率相关,右图是迭代后计算的特征权重排序。![](https://upload-images.jianshu.io/upload_images/5357893-96294e508d3a1846.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/500)
(3) 查看预测的主要出错位置
从训练集中切出10%作为测试,蓝线是实际值,橙线为预测值,可以看到,由于大部分值分布在5-6之间,因此所有预测都被拉到了这个区间之内。 忽然想到之前“微信互动”预测中有一种做法,就是找到一个值,将训练集中所有实例都预测成该值,再计算误差。代入此题,试了一下,设为5.6分时误差最小,为2.4,比gbdt的2.2误差略高一些,说明算法比瞎蒙还是好一点。![](https://upload-images.jianshu.io/upload_images/5357893-04353b079c45aa5e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/300)
5. 一些想法
(1) 一般去医院看病有问题的居多,所以相对正常值有些偏差,医生也可能作出有倾向性的判断。(2) 该题可以把已有的知识和算法融合,使用一些现成的数据,比如正常范围。
(3) 周末检查拿结果的可能是比较特殊的病人。
(4) 岁数分成几段,更具代表意义。
(5) 可将数据修改为正常值,偏高,偏低,几个层次,做分段特征。
(6) 考虑病情比较严重的情况,可能需要分开处理,作为噪点先拿出来。
(7) 预测只是想知道被测试人是否为糖尿病,而不关注是预测与实际值的微小差距,所以也可以将其处理为分类问题。
(8) 可能需要对误差函数和评价函数做微调。
6. 一些尝试
(1) 在本地测试,删除所有缺失数据的实例,预测效果好很多。(2) 如不考虑大于10的数据,预测效果好很多。
(3) 目前在特征工程方面,只做了修改缺失值,而排序特征,离散特征,统计特征都还没做,算法方面只使用了sklearn自带的gbdt,其它算法也还没试。
相关文章推荐
- 实战天池精准医疗大赛——复赛之妊娠糖尿病与基因数据分析
- [置顶] 数据挖掘实战之天池精准医疗大赛(6)——特征工程2
- [置顶] 数据挖掘实战之天池精准医疗大赛(7)——模型构建与总结
- [置顶] 数据挖掘实战之天池精准医疗大赛(1)——赛题与数据
- [置顶] 数据挖掘实战之天池精准医疗大赛(5)——特征工程1
- 实战天池精准医疗大赛之二_再接再厉
- 实战天池精准医疗大赛之三_分类回归与排序
- 实战天池精准医疗大赛之四_初赛总结
- 新手教程:如何精准收集网站数据与实战分析
- 天池精准医疗大赛-血糖预测
- 大数据spark“蘑菇云”行动超大型项目实战第68课:spark RDD案例和spark sql案例对比实战 看电影的例子分析 某门热门电影的年龄、性别分析
- Couchbase案例实战分析之----用户概要存储(User Profile)数据建模讲解(Part 1)
- python数据分析与挖掘学习笔记(7)-交通路标自动识别实战与神经网络算法
- 天池体验(二)——新人离线赛数据可视化分析
- 《医疗大数据》:雅虎的工程师利用工作之便和业余时间做的一些医疗相关的数据的分析,水平比较业余。2星
- 读书笔记-数据科学实战-Capt2_汽车数据可视化分析
- 天池—广东政务数据创新大赛—智能算法赛总结
- python数据分析美国大选项目实战(三)
- 医疗健康大数据: 应用实例与系统分析(转)
- R实战之从头到尾分析广告数据集