资源简介
关于Hadoop的WordCount实例代码,能够实现实现单词计数。

代码片段和文件信息
package com.tl.mr.wordcount;
import java.io.IOException;
import org.apache.commons.collections.map.StaticBucketMap;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class WordCountDriver {
public static void main(String[] args) throws IOException ClassNotFoundException InterruptedException {
Configuration conf = new Configuration();
// 1 获取Job对象
Job job = Job.getInstance(conf);
// 2设置jar存储位置
job.setJarByClass(WordCountDriver.class);
// 3 关联Map和Reduce类
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(wordCountReduce.class);
// 4 设置Mapper阶段输出数据的key和value类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
// 5设置最终数据输出的keyvalue类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
// 6设置输入路径和输出路径
FileInputFormat.setInputPaths(job new Path(args[0]));
FileOutputFormat.setOutputPath(job new Path(args[1]));
// 7提价作业
boolean resulr = job.waitForCompletion(true);
System.exit(resulr?0:1);
}
}
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
文件 1433 2019-01-14 12:27 WordConunt\.classpath
文件 768 2019-01-14 12:27 WordConunt\.project
文件 430 2019-01-14 12:27 WordConunt\.settings\org.eclipse.jdt.core.prefs
文件 90 2019-01-14 12:27 WordConunt\.settings\org.eclipse.m2e.core.prefs
文件 122 2019-01-14 12:27 WordConunt\.settings\org.eclipse.wst.common.project.facet.core.xm
文件 421 2019-01-14 12:27 WordConunt\.settings\org.eclipse.wst.validation.prefs
文件 1347 2019-01-14 12:27 WordConunt\pom.xm
文件 1426 2019-01-14 12:27 WordConunt\src\main\java\com\tl\mr\wordcount\WordCountDriver.java
文件 1001 2019-01-14 12:27 WordConunt\src\main\java\com\tl\mr\wordcount\WordCountMapper.java
文件 694 2019-01-14 12:27 WordConunt\src\main\java\com\tl\mr\wordcount\wordCountReduce.java
文件 442 2019-01-14 12:27 WordConunt\src\main\resources\log4j.properties
文件 1905 2019-01-14 12:27 WordConunt\target\classes\com\tl\mr\wordcount\WordCountDriver.class
文件 2386 2019-01-14 12:27 WordConunt\target\classes\com\tl\mr\wordcount\WordCountMapper.class
文件 2307 2019-01-14 12:27 WordConunt\target\classes\com\tl\mr\wordcount\wordCountReduce.class
文件 442 2019-01-14 12:27 WordConunt\target\classes\log4j.properties
文件 115 2019-01-14 12:27 WordConunt\target\classes\me
文件 216 2019-01-14 12:27 WordConunt\target\classes\me
文件 1347 2019-01-14 12:27 WordConunt\target\classes\me
目录 0 2019-01-14 12:27 WordConunt\src\main\java\com\tl\mr\wordcount
目录 0 2019-01-14 12:27 WordConunt\src\main\java\com\tl\mr
目录 0 2019-01-14 12:27 WordConunt\target\classes\com\tl\mr\wordcount
目录 0 2019-01-14 12:27 WordConunt\target\classes\me
目录 0 2019-01-14 12:27 WordConunt\src\main\java\com\tl
目录 0 2019-01-14 12:27 WordConunt\target\classes\com\tl\mr
目录 0 2019-01-14 12:27 WordConunt\target\classes\me
目录 0 2019-01-14 12:27 WordConunt\src\main\java\com
目录 0 2019-01-14 12:27 WordConunt\target\classes\com\tl
目录 0 2019-01-14 12:27 WordConunt\target\classes\me
目录 0 2019-01-14 12:27 WordConunt\src\main\java
目录 0 2019-01-14 12:27 WordConunt\src\main\resources
............此处省略15个文件信息
相关资源
- 《Hadoop大数据技术》课程设计报告.
- Hadoop.in.Practice.2nd.Edition
- 基于Greenplum Hadoop- 分布式平台的大数
- 构建用户自画像视频教程真实企业项
- hdp安装手册
- hadoop技术内幕三件套
- [百度网盘]Hadoop技术内幕 深入解析M
- Hadoop技术内幕 深入解析YARN架构设计与
- Hadoop技术内幕:深入解析YARN架构设计
- Hadoop技术内幕 完整三本合集baidu链接
- 中国大数据技术与产业发展报告
- 在Hadoop生态中大数据平台架构与实践
- hadoop集群搭建教程.zip
- Hadoop技术内幕 深入解析HADOOP COMMON和
- 大数据技术之面试题 .pdf
- windows64位平台的hadoop2.8.4插件包(ha
- hadoop-2.5.0-cdh5.3.6 编译native包
- MapReduce基于物品的协同过滤算法实现
- 大数据组件介绍PPT
- 《Hadoop构建数据仓库实践》电子书
- Gi盘——基于hadoop的分布式网盘项目
- Hadoop深度学习
- CDH5hadoop集群搭建手册,大数据平台搭
- 第8讲:Pig应用开发文档
- 第7讲:Hive数据仓库文档
- 基于Hadoop的微博信息挖掘
- hadoop API
- Hadoop编程操作 高性能云计算
- Hadoop安全:大数据平台隐私保护.pdf
- Kerberos权威指南 Kerberos The Definitive G
评论
共有 条评论