资源简介

本资源是《Hadoop大数据开发基础》的全套配套资源(含源数据、代码、实训数据、习题答案),适合Hadoop开发者和大数据学习者学习大数据技术,本资源可以方便大家学习和参考。

资源截图

代码片段和文件信息

package test;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class accessTimesSort {

public static class MyMapper 
extends Mapperject TextIntWritableText>{

public void map(object key Text value Context context
             ) throws IOException InterruptedException {

 String lines = value.toString();  
 String array[] = lines.split(“\t“);         //指定tab为分隔符,组成数组
 int keyOutput = Integer.parseInt(array[1]); //提取访问次数做为Key
 String valueOutput = array[0];              //提取访问日期做为Values
 context.write(new IntWritable(keyOutput) new Text(valueOutput)); 
 }
}

public static class MyReducer 
extends Reducer {

public void reduce(IntWritable key Iterable values 
                Context context
                ) throws IOException InterruptedException {
    for(Text value : values){
        context.write(value key);
    }
  }
}

public static void main(String[] args) throws Exception{
    Configuration conf = new Configuration();
    String[] otherArgs = new GenericOptionsParser(conf args).getRemainingArgs();
    if (otherArgs.length < 2) {
      System.err.println(“Usage: wordcount  [...] “);
      System.exit(2);
    }
    Job job = new Job(conf “Access Time Sort“);
    job.setJarByClass(accessTimesSort.class);
    job.setMapperClass(MyMapper.class);
    job.setReducerClass(MyReducer.class);
    job.setMapOutputKeyClass(IntWritable.class);
    job.setMapOutputValueClass(Text.class);
    
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    
    for (int i = 0; i < otherArgs.length - 1; ++i) {
      FileInputFormat.addInputPath(job new Path(otherArgs[i]));
    }
    FileOutputFormat.setOutputPath(job
      new Path(otherArgs[otherArgs.length - 1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2019-04-10 00:19  《Hadoop大数据开发基础》源数据和代码\
     目录           0  2019-04-10 00:20  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\
     目录           0  2019-04-10 00:19  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第2章\
     目录           0  2019-04-10 00:19  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第2章\02-习题答案\
     文件       47572  2018-07-29 17:49  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第2章\02-习题答案\第二章习题答案.docx
     目录           0  2019-04-10 00:20  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\
     目录           0  2019-04-10 00:19  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\01-任务程序\
     目录           0  2019-04-10 00:19  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\01-任务程序\data\
     文件   226379675  2018-07-29 18:06  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\01-任务程序\data\email_log.txt
     目录           0  2019-04-10 00:20  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\02-习题答案\
     目录           0  2019-04-10 00:20  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\02-习题答案\data\
     文件          46  2018-07-29 17:49  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\02-习题答案\data\helloword.txt
     文件      180032  2018-07-29 17:49  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\02-习题答案\第三章习题答案.docx
     目录           0  2019-04-10 00:20  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\
     目录           0  2019-04-10 00:20  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\
     目录           0  2019-04-10 00:20  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\
     目录           0  2019-04-10 00:20  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\
     目录           0  2019-04-10 00:20  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\
     文件       18967  2018-07-29 17:49  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\.classpath
     文件         440  2018-07-29 17:49  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\.project
     目录           0  2019-04-10 00:20  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\.settings\
     文件         670  2018-07-29 17:49  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\.settings\org.eclipse.jdt.core.prefs
     目录           0  2019-04-10 00:20  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\
     目录           0  2019-04-10 00:20  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\
     文件        2197  2018-07-29 17:49  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\accessTimesSort$MyMapper.class
     文件        2213  2018-07-29 17:49  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\accessTimesSort$MyReducer.class
     文件        2185  2018-07-29 17:49  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\accessTimesSort.class
     文件        2215  2018-07-29 17:49  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\dailyAccessCount$MyMapper.class
     文件        2368  2018-07-29 17:49  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\dailyAccessCount$MyReducer.class
     文件        2192  2018-07-29 17:49  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\dailyAccessCount.class
     文件        2025  2018-07-29 17:49  《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\dataDistinct$MyMapper.class
............此处省略199个文件信息

评论

共有 条评论