对大数据信息挖掘、分析的浅显认识
来源:互联网 发布:唱歌视频录制软件 编辑:程序博客网 时间:2024/06/05 08:03
大数据是复杂多样的,更新速度异常之快,规模更加庞大。但具有高度分析的新价值,所以研究大数据对我们的未来发展趋势起着决定性的影响,所以我们团队研究了一些关于数据浅显分析的理论。通过这些分析我们可以了解到如何去筛选用户群,如何去决策改善我们的特征,以迎接未来发展的趋势。
1)、余弦相似度的删选方式
在我们生活中,我们可以发现有很多相似的问题或其他事物,这样我们可以通过这种方法来删选有效信息。
例如我们南校区学生对食堂的态度:
句子A:我喜欢在二楼吃饭,不喜欢在一楼吃饭。
句子B:我不喜欢在二楼吃饭,也不喜欢在一楼吃饭。
可以看出,两句话用词越相似,他们的内容就应该越相似。所以,我们可以从用词的频率去着手计算他们的相似程度。
(1)、分词
句子A:我 /喜欢 / 在 / 二楼/ 吃饭,不 / 喜欢 / 在 / 一楼 / 吃饭。
句子B:我 / 不 / 喜欢 / 在 / 二楼 / 吃饭, 也 / 不 / 喜欢 / 在 / 一楼 / 吃饭。
(2)、列出所有的词
我,喜欢,在,二楼,一楼,吃饭,不,也
(3)、计算词频
句子A:我 1,喜欢 2,在 2,二楼 1,一楼 1,吃饭 2,不 1,也0
句子B:我 1,喜欢 2,在 2,二楼 1,一楼 1,吃饭 2,不 2,也1
(4)、构造词频向量
句子A:【1,2,2,1,1,2,1,0】
句子B:【1,2,2,1,1,2,2,1】
通过以上步骤,我们可以将两个句子变成我们正在学的线性代数里面的简单的矩阵,也可以叫做横向量,然后通过计算这两个向量的相似度,就可以得出这两个句子的相似度。
向量的相似度也就是我们高中所学的两向量的夹角,夹角越小表明相似度越大。下面我们就利用求余弦的方式来求夹角。
求得cos(A,B)=0.95032889
值越趋近1,则表明夹角越小,所以说上面两句话的相似度还是比较高的。
可以通过这种方法计算很多方面的数据(比如文章,新闻等)的相似度。
未完待续......
- 对大数据信息挖掘、分析的浅显认识
- 国双科技--大数据分析处理和信息挖掘
- 大数据分析与挖掘的视角
- 对大数据的初步认识
- 我对现在大数据的认识
- 对license数据的挖掘与分析
- 认识大数据分析
- 大数据系统的浅显易懂理解
- jamvm的浅显认识
- 大数据分析- 基于Hadoop/Mahout的大数据挖掘
- 大数据分析- 基于Hadoop/Mahout的大数据挖掘
- 大数据分析- 基于Hadoop/Mahout的大数据挖掘
- 大数据分析- 基于Hadoop/Mahout的大数据挖掘
- 大数据分析- 基于Hadoop/Mahout的大数据挖掘
- 【数据挖掘结果】大数据企业的汇总信息
- 读取数据的ff_read_packet 浅显分析
- 大数据、数据分析、数据挖掘的差别
- 定义大数据:浅显易懂的大数据入门
- aaa
- ORACLE常用函数之数值型函数
- Android学习第三天————ListView组件
- 让Android项目健壮的几个建议
- 从今天起让自己做一条每天都有梦想的咸鱼
- 对大数据信息挖掘、分析的浅显认识
- 将drawable设置到imageview里
- 利用Jquery对动态元素进行操作
- java代码实现贪心算法删除数字问题
- AutoLayout代码中修改约束遇到的坑
- leetcode -- Insertion Sort List -- 重点,需要优化
- 使用Jprofiler远程监控Tongweb应用服务器
- 今天看到一篇文章,觉得甚有道理
- php一些小知识点总结