实习每日总结_20170109

每日总结
 2017-01-09   
星期一  林洋洋  全球鹰网科
 

一 工作安排

⑴ 数据整理及测试实现自动化，如果发现发现新的数据源，要立刻测试数据的有效性。

⑵ 拉卡拉测试 周反馈...。

⑶ 借鉴微步在线工具可以得到什么经验，可以学习？

二 工作进度

⑴ 没有发现有效数据源(部分数据密码已加密)。

⑵ 微步在线主要做的如下：

鉴别检测攻击、排除误报（威胁情报；文件检测；高级分析）
定性攻击目的、战术能力、攻击团伙等（情报上下文；沙箱的行为分析；多引擎检测历史结果）
溯源攻击者还做过什么，身份信息（关联拓线；whois信息；情报上下文）
可以借鉴有哪几点？：

1.基本检索（手机号，ip等），鉴别数据来源；

2.给用户提供情报接口；
⑶ 初步了解数据处理的基本概念，对今后处理也许有帮助。

 

三 工作总结

这个社会只会给有能力的人机会，自己在这方面还差很多！

 

附：

数据查重去重,数据匹配过程
帮助更多需要自动化解决工作的人们。

步骤：不完整，重复，错误，格式不规范数据 -> 数据清洗 -> 正确规范数据 -> 数据去重技术 -> 数据匹配。

使用过的一些相关软件，查看它们各自的缺陷：

缺陷：1.人工干预多； 2.数据率(数据质量)不高； 3.过于依赖地址，电话信息。

维护：数据在不断使用和变化的过程中，如果不维护，数据质量会不断下降(数据重复，格式不一致问题)。->
数据清理，数据匹配，数据查重