• 大小: 6KB
    文件类型: .zip
    金币: 1
    下载: 0 次
    发布日期: 2021-06-01
  • 语言: 其他
  • 标签: Hadoop  并行框架  

资源简介

这是一个在hadoop集群环境下的文档倒排程序。数据源是莎士比亚文集(运行是需要设置)

资源截图

代码片段和文件信息

package example;

import java.io.IOException;
import java.util.Iterator;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Reducer;

public class InvertedIndexCombiner extends Reducer< PostingIntWritablePostingIntWritable> 
{ @Override
protected void reduce(Posting key Iterable values Context context)
throws IOException InterruptedException 
  { Iterator it = values.iterator();
 
  int sum=0;
 
  while(it.hasNext()){
  sum++;
  it.next();
  }
 
  context.write(keynew IntWritable(sum));
}
}






 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2011-04-26 09:49  InvertedIndex\
     文件        4462  2011-04-26 09:39  InvertedIndex\.classpath
     文件         389  2011-04-26 09:38  InvertedIndex\.project
     目录           0  2011-05-16 20:02  InvertedIndex\bin\
     文件           0  2011-04-26 09:49  InvertedIndex\SecurityAuth.audit
     目录           0  2011-04-26 09:39  InvertedIndex\src\
     目录           0  2011-04-26 10:57  InvertedIndex\src\example\
     文件         608  2011-05-16 14:30  InvertedIndex\src\example\InvertedIndexCombiner.java
     文件        1527  2011-04-26 10:59  InvertedIndex\src\example\InvertedIndexer.java
     文件        1042  2011-05-16 14:22  InvertedIndex\src\example\InvertedIndexMapper.java
     文件        2575  2011-04-26 14:55  InvertedIndex\src\example\InvertedIndexReducer.java
     文件         405  2011-04-26 10:58  InvertedIndex\src\example\NewPartitioner.java
     文件        3034  2011-04-26 10:45  InvertedIndex\src\example\Posting.java

评论

共有 条评论