两篇文章的相似度比较
来源:互联网 发布:数据录入员在家兼职 编辑:程序博客网 时间:2024/05/21 16:13
仅仅考虑两篇文章的词组,并未考虑文本的语义信息。
实现原理:
1. 对两篇文档进行词频统计;
2. 利用“TF-IDF和余弦相似度”原理,计算两篇文档的相似度。
实现过程:
1.利用lucene对大量文章建立索引,创建语料库,来提高TF-IDF的准确度。
2. 通过余弦公式计算出两篇文章的相似度。
package twodocsimiliary;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStreamReader;import java.io.Reader;import java.io.StringReader;import java.text.DecimalFormat;import java.util.HashMap;import java.util.Map;import org.apache.lucene.index.DirectoryReader;import org.apache.lucene.index.IndexReader;import org.apache.lucene.index.Term;import org.apache.lucene.search.IndexSearcher;import org.apache.lucene.search.TermQuery;import org.apache.lucene.search.TopDocs;import org.apache.lucene.store.FSDirectory;import org.wltea.analyzer.core.IKSegmenter;import org.wltea.analyzer.core.Lexeme;/** * 仅仅考虑词组,并未考虑文本的语义信息 * @author wangss * @date Aug 26, 2014 */public class comparisontwodoc {public static Map<Long,String> words = new HashMap<Long,String>();public static void main(String []args){//AnalyzerWord analyzer = new AnalyzerWord();String path_a = "H:\\a.txt";String path_b = "H:\\c.txt";String str = readFiles(path_a);String str2 = readFiles(path_b);Map<Long,Double> tf_a = iniCosine(str);Map<Long,Double> tf_b = iniCosine(str2);long molecular=0;//分子long denominator_a=0;//分母long denominator_b=0;System.out.println("两篇文档相似的词有:");DecimalFormat df = new DecimalFormat("0.00");for(long tfa :tf_a.keySet()){denominator_a += tf_a.get(tfa)*tf_a.get(tfa);molecular += tf_a.get(tfa)*(null==tf_b.get(tfa)?0:tf_b.get(tfa));if(tf_a.get(tfa)!=null && tf_b.get(tfa)!=null){System.out.println(words.get(tfa)+" TF-IDF词频统计 文档一:" +df.format(tf_a.get(tfa))+";文档二:"+df.format(tf_b.get(tfa)));}}for(long tfb : tf_b.keySet()){denominator_b += tf_b.get(tfb)*tf_b.get(tfb);}double result = 0;if(denominator_a!=0 && denominator_b!=0){result = (molecular/(Math.sqrt(denominator_a)*Math.sqrt(denominator_b)));}System.out.println("两篇文档相似度:"+df.format(result*100) +"%");}private static String readFiles(String path_a) {try {InputStreamReader file_a = new InputStreamReader(new FileInputStream(new File(path_a)), "GBK");BufferedReader bufferedReader = new BufferedReader(file_a);StringBuffer str_a = new StringBuffer(); String lineTxt = null; while((lineTxt = bufferedReader.readLine()) != null){// System.out.println(lineTxt); str_a.append(lineTxt); } file_a.close(); return str_a.toString();} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();return null;}}private static Map<Long,Double> iniCosine(String str) {Map<Long,Long> tf = new HashMap<Long,Long>();Map<Long,Double> idf = new HashMap<Long,Double>();Reader input = new StringReader(str); // 智能分词关闭(对分词的精度影响很大) IKSegmenter iks = new IKSegmenter(input, true); Lexeme lexeme = null;// StringBuilder sb = new StringBuilder(); try { //读取索引 IndexReader indexReader = DirectoryReader.open(FSDirectory.open(new File("H:\\testIndex"))); int allDocs = indexReader.numDocs();//文档总数// System.out.println("文档总数:"+allDocs); /*QueryParser queryParser = new MultiFieldQueryParser( Version.LUCENE_45,new String[]{"content"} , new IKAnalyzer());*/ while ((lexeme = iks.next()) != null) { String lexemeText = lexeme.getLexemeText(); long hash = ELFHash(lexemeText); IndexSearcher indexSearcher = new IndexSearcher(indexReader);TopDocs topDocs = indexSearcher.search(new TermQuery(new Term("content",lexemeText)), indexReader.maxDoc());int totalHits = topDocs.scoreDocs.length;double log = Math.log(allDocs/(totalHits+1));if(log<0) log = 0;//文档反转频度|idf.put(hash, log); tf.put(hash, null==tf.get(hash)?1:tf.get(hash).longValue()+1); words.put(hash, lexemeText); } //计算TF-IDF的值 for(long m : idf.keySet()){ idf.put(m, tf.get(m)*idf.get(m)); } } catch (IOException e) { e.printStackTrace(); } return idf;}public static long ELFHash(String str){long hash = 0;long x = 0;for(int i = 0; i<str.length();i++){hash = (hash << 4)+str.charAt(i);if((x = hash & 0xF0000000L)!= 0){hash ^= (x >> 24);hash &= ~x;}}return (hash & 0x7FFFFFFF);}}
对比两篇文档的相似度,分析结果如下:
样本说明(字数600左右,来自新浪博客文章):a.txt分别和b.txt c.txt d.txt进行对比
1. a.txt和b.txt内容一样;
2. a.txt和c.txt有一半左右内容一样;
3. a.txt和d.txt是两篇不同的新浪博客文章;
对比结果:
1. 两篇文档(一样的文档)相似度:100.00%;
2. 两篇文档(一半类似)相似度:53.25%;
两篇文档相似词的词频统计如下:
“诉说” TF-IDF词频统计 文档一:0.69;文档二:0.69
“文坛” TF-IDF词频统计 文档一:0.69;文档二:0.69
“简称” TF-IDF词频统计 文档一:0.69;文档二:0.69
“挖苦” TF-IDF词频统计 文档一:0.69;文档二:0.69
“命名” TF-IDF词频统计 文档一:0.69;文档二:0.69
“票” TF-IDF词频统计 文档一:0.69;文档二:0.69
“拽” TF-IDF词频统计 文档一:0.69;文档二:0.69
......
3. 两篇文档(来自不同的博客文章)相似度:8.46%;
两篇文档相似词的词频统计如下:
“纳税人” TF-IDF词频统计 文档一:2.08;文档二:3.47
“过去” TF-IDF词频统计 文档一:0.00;文档二:0.00
“关心” TF-IDF词频统计 文档一:0.69;文档二:0.69
“写” TF-IDF词频统计 文档一:0.69;文档二:0.69
“真正” TF-IDF词频统计 文档一:0.69;文档二:0.69
“今天” TF-IDF词频统计 文档一:0.00;文档二:0.00 ----(为0,说明在每篇文档中都出现了这个词,重要性就会很低)
“奖金” TF-IDF词频统计 文档一:0.69;文档二:0.69
......
相似性大于指定阈值(通常应大于40-50%),即可认定两篇文档相似。
0 0
- 两篇文章的相似度比较
- 比较两波形的相似度
- 比较两波形的相似度
- 两篇文章相似度:TF-IDF与余弦相似性的应用
- 两篇文章相似度:TF-IDF与余弦相似性的应用
- JAVA 比较两张图片的相似度的代码
- 怎样用word2007比较两篇文章的差异
- 学习Selenium比较好的两篇文章
- 比较两篇文章的相似性方法
- JAVA 比较两张图片的相似度
- java--比较两张图片的相似度
- 比较两张图片的相似度-python
- android中比较两张图片的相似度
- JAVA 比较两张图片的相似度
- [Java]比较两张图片的相似度
- 如何比较两句句子的相似度
- JAVA 比较两张图片的相似度
- 比较两张图片的相似程序
- ctags为系统头文件目录生成tags
- TopCoder 636 B 【暴力】
- NOI 2003 逃学的小孩【树形DP】
- 转自牛人博客一篇文章: 从最大似然到EM算法浅解
- linux下用vim+ctags看源代码
- 两篇文章的相似度比较
- --计算机专业就业前景--
- 我的编程学习日志(13)--打开一个文件的方法(system(),ShellExecute())
- Java异常机制
- cocos2d-x应用窗口相关源码剖析5-其他细节
- iOS Code Signing: 解惑(译)
- 键盘KVC通知
- 数据结构—单链表
- C/C++中函数参数传递详解