文本关键词的提取算法实验[又是转的]

   近期刚刚开始进入 SE 的领域，觉得这里面确实有很多值得研究的东西，从 网络爬虫 到 网页信息的抽取 再到 文本关键词的提取 以及用户检索（个性化SE） 等等 包罗万象。

    下午玩完，先来无事，再次浏览了一下  蛙蛙池塘 的博客，觉得里面的对关键词的提取算法还不错，所以个人又在上午实验的基础上，完善了下这部分。

    对于该部分，蛙蛙池塘 的实现我觉得有一点是不合理的（个人意见）：对于词频的统计应该是该词在该类中所出现的所有次数（如：在某一类（1，2，4）中，单词A在1中出现的次数是3次， 在4中出现的次数是1次， 在 2中出现了 0次， 那么单词A的词频应该是 3+1+0 =4 ， 而不是 1+1+0=2 ）

   输入数据是：

测试输入如下
================================
a 奥运 拳击 入场券 基本 分罄 邹市明 夺冠 对手 浮出 水面
a 股民 要 清楚 自己 的 目的
a 印花税 之 股民 四季
a ASP.NET 自定义 控件 复杂 属性 声明 持久性 浅析
a 运动员 行李 将 “后 上 先 下” 奥运 相关 人员 行李 实名制
a asp.net 控件 开发 显示 控件 内容
a 奥运 票务 网上 成功 订票 后 应 及时 到 银行 代售 网点 付款
a 某 心理 健康 站 开张 后 首 个 咨询 者 是 位 新 股民
a 残疾 女 青年 入围 奥运 游泳 比赛 创 奥运 历史 两 项 第一
a 介绍 一 个 ASP.net MVC 系列 教程
a 在 asp.net 中 实现 观察者 模式 ，或 有 更 好 的 方法 （续）
a 输 大钱 的 股民 给 我们 启迪
a Asp.Net 页面 执行 流程 分析
a 杭州 股民 放 鞭炮 庆祝 印花税 下调
================================

具体的Java实现如下：  只列举了 GetKeyword的实现

 public List<String> GetKeyword(List<Integer> arr, int count) { // 1、给每个文档分词并保存在一个列表里 List<String> allWords = new ArrayList<String>(); for (int i = 0; i < arr.size(); i++) { // 这里把一个文档里出现的多个词进行消重 List s1 = this._tokenizer.Partition(_docs[arr.get(i)]); String[] s2 = this.GetDistinctWords((String[]) s1 .toArray(new String[s1.size()])); for (int i1 = 0; i1 < s2.length; i1++) allWords.add(s2[i1]); } // 2、用一个字典保存词的词频,key是词，value是重复次数 Map.Entry[] tfDict = SortByDuplicateCount(allWords); // 3、遍历已排序的词频字典，并获取每个词的IDF值，并把更新后的结果放入一个tfidfDict词典 // 该词典的key是词，value是tfidf值 Map<String, Float> tfidfDict = new HashMap<String, Float>(); for (int i = 0; i < tfDict.length; i++) { int termt = (Integer) tfDict[i].getValue(); String term = (String) tfDict[i].getKey(); { int index = this._wordsIndex.get(term); float idf = GetInverseDocumentFrequency(index); // System.out.println(tfDict[i].getKey()+" 词频："+ termt // +"文档频率："+idf+" "+termt * idf); tfidfDict.put(term, termt * idf); } } // 4、给tfidf字典俺权重排序 Map.Entry[] tfidfDictSet = SortMap.getSortedHashtableByValue(tfidfDict);// GetSortByValueDict(tfidfDict); // 5、更新要提取的关键词数量 int keywordCount = count; if (keywordCount > tfidfDict.size()) keywordCount = tfidfDict.size(); // 6、用一个数组保存tfidf字典的keys，这些key已排序 // String[] keywordArr = new String[tfidfDict.size()]; // tfidfDict.Keys.CopyTo(keywordArr,0); // Set keySet = tfidfDict.keySet(); // 7、在关键词数组里取出前几个关键词返回给调用者 List<String> result = new ArrayList<String>(keywordCount); int tempCount = 0; for (int i = 0; i < tfidfDictSet.length; i++) { tempCount++; result.add((String) tfidfDictSet[i].getKey()); if (tempCount >= keywordCount) break; } return result; }

输出数据：

Iteration 0...
Iteration 1...
Iteration 2...
-----------------
0  聚类成员是 :[3, 5, 9, 10, 11]

a ASP.NET 自定义 控件 复杂 属性 声明 持久性 浅析
a asp.net 控件 开发 显示 控件 内容
a 介绍 一 个 ASP.net MVC 系列 教程
a 在 asp.net 中 实现 观察者 模式 ，或 有 更 好 的 方法 （续）
a 输 大钱 的 股民 给 我们 启迪
-------------asp.net  控件  ---
-----------------
1  聚类成员是 :[0, 4, 6, 8]

a 奥运 拳击 入场券 基本 分罄 邹市明 夺冠 对手 浮出 水面
a 运动员 行李 将 “后 上 先 下” 奥运 相关 人员 行李 实名制
a 奥运 票务 网上 成功 订票 后 应 及时 到 银行 代售 网点 付款
a 残疾 女 青年 入围 奥运 游泳 比赛 创 奥运 历史 两 项 第一  拳击
-------------奥运  拳击  ---
-----------------
2  聚类成员是 :[1, 2, 7, 12, 13]

a 股民 要 清楚 自己 的 目的
a 印花税 之 股民 四季
a 某 心理 健康 站 开张 后 首 个 咨询 者 是 位 新 股民
a Asp.Net 页面 执行 流程 分析
a 杭州 股民 放 鞭炮 庆祝 印花税 下调
-------------股民  印花税  ---

 

本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/Samule704/archive/2010/01/01/5118425.aspx