对大数据信息挖掘、分析的浅显认识
2015-12-09 19:19
351 查看
大数据是复杂多样的,更新速度异常之快,规模更加庞大。但具有高度分析的新价值,所以研究大数据对我们的未来发展趋势起着决定性的影响,所以我们团队研究了一些关于数据浅显分析的理论。通过这些分析我们可以了解到如何去筛选用户群,如何去决策改善我们的特征,以迎接未来发展的趋势。
1)、余弦相似度的删选方式
在我们生活中,我们可以发现有很多相似的问题或其他事物,这样我们可以通过这种方法来删选有效信息。
例如我们南校区学生对食堂的态度:
句子A:我喜欢在二楼吃饭,不喜欢在一楼吃饭。
句子B:我不喜欢在二楼吃饭,也不喜欢在一楼吃饭。
可以看出,两句话用词越相似,他们的内容就应该越相似。所以,我们可以从用词的频率去着手计算他们的相似程度。
(1)、分词
句子A:我 /喜欢 / 在 / 二楼/ 吃饭,不 / 喜欢 / 在 / 一楼 / 吃饭。
句子B:我 / 不 / 喜欢 / 在 / 二楼 / 吃饭, 也 / 不 / 喜欢 / 在 / 一楼 / 吃饭。
(2)、列出所有的词
我,喜欢,在,二楼,一楼,吃饭,不,也
(3)、计算词频
句子A:我 1,喜欢 2,在 2,二楼 1,一楼 1,吃饭 2,不 1,也0
句子B:我 1,喜欢 2,在 2,二楼 1,一楼 1,吃饭 2,不 2,也1
(4)、构造词频向量
句子A:【1,2,2,1,1,2,1,0】
句子B:【1,2,2,1,1,2,2,1】
通过以上步骤,我们可以将两个句子变成我们正在学的线性代数里面的简单的矩阵,也可以叫做横向量,然后通过计算这两个向量的相似度,就可以得出这两个句子的相似度。
向量的相似度也就是我们高中所学的两向量的夹角,夹角越小表明相似度越大。下面我们就利用求余弦的方式来求夹角。
求得cos(A,B)=0.95032889
值越趋近1,则表明夹角越小,所以说上面两句话的相似度还是比较高的。
可以通过这种方法计算很多方面的数据(比如文章,新闻等)的相似度。
未完待续......
1)、余弦相似度的删选方式
在我们生活中,我们可以发现有很多相似的问题或其他事物,这样我们可以通过这种方法来删选有效信息。
例如我们南校区学生对食堂的态度:
句子A:我喜欢在二楼吃饭,不喜欢在一楼吃饭。
句子B:我不喜欢在二楼吃饭,也不喜欢在一楼吃饭。
可以看出,两句话用词越相似,他们的内容就应该越相似。所以,我们可以从用词的频率去着手计算他们的相似程度。
(1)、分词
句子A:我 /喜欢 / 在 / 二楼/ 吃饭,不 / 喜欢 / 在 / 一楼 / 吃饭。
句子B:我 / 不 / 喜欢 / 在 / 二楼 / 吃饭, 也 / 不 / 喜欢 / 在 / 一楼 / 吃饭。
(2)、列出所有的词
我,喜欢,在,二楼,一楼,吃饭,不,也
(3)、计算词频
句子A:我 1,喜欢 2,在 2,二楼 1,一楼 1,吃饭 2,不 1,也0
句子B:我 1,喜欢 2,在 2,二楼 1,一楼 1,吃饭 2,不 2,也1
(4)、构造词频向量
句子A:【1,2,2,1,1,2,1,0】
句子B:【1,2,2,1,1,2,2,1】
通过以上步骤,我们可以将两个句子变成我们正在学的线性代数里面的简单的矩阵,也可以叫做横向量,然后通过计算这两个向量的相似度,就可以得出这两个句子的相似度。
向量的相似度也就是我们高中所学的两向量的夹角,夹角越小表明相似度越大。下面我们就利用求余弦的方式来求夹角。
求得cos(A,B)=0.95032889
值越趋近1,则表明夹角越小,所以说上面两句话的相似度还是比较高的。
可以通过这种方法计算很多方面的数据(比如文章,新闻等)的相似度。
未完待续......
相关文章推荐
- 康诺云推出三款智能硬件产品,为健康管理业务搭建数据池
- MySQL中使用innobackupex、xtrabackup进行大数据的备份和还原教程
- php+ajax导入大数据时产生的问题处理
- C# 大数据导出word的假死报错的处理方法
- 用Python实现协同过滤的教程
- Python利用多进程将大量数据放入有限内存的教程
- mongodb常遇到的错误。
- Stack数据结构的特点后进先出的应用:大数据运算
- YARN或将成为Hadoop新发力点
- Hadoop 1.x版本伪单机配置
- Glusterfs的编译选项 #pragma GCC poison system popen
- Python 大数据思维导图
- 大白话storm
- SQL优化(二) 快速计算Distinct Count
- O2O的万达模式:不玩电商玩大会员大数据
- 在线数据迁移经验:如何为正在飞行的飞机更换引擎
- 不到100行代码实现一个简单的推荐系统
- 参加2013大数据全球技术峰会有感
- 大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合