用MR和Hive对sougou.500w.utf8进行数据分析

在hadoop集群搭建完毕之后，可以对sougou.500w.utf数据进行分析处理，用MapReduce和Hive两种操作对所需要求的管理下得到想要看到的结果，下载压缩包里有源码，截图，文档及数据要求

package lkp;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class Eight {
	public static int sum1 = 0;
	public static int sum2 = 0;

	public static class MyMapper extends Mapperject Text Text Text> {

		@Override
		protected void map（object key Text value Mapperject Text Text Text>.Context context）
				throws IOException InterruptedException {
			sum2++;
			String[] str = value.toString（）.split（“\t“）;
			int rank = Integer.parseInt（str[3]）;
			if（rank<11）
			{
				sum1=sum1+1;
				
			}	
		}

	}

	public static void main（String[] args） throws IOException ClassNotFoundException InterruptedException {
		Configuration conf = new Configuration（）;
		conf.set（“fs.defaultFS“ “hdfs://192.168.51.232:9000“）;
		Job job = Job.getInstance（conf “eight“）;
		job.setMapperClass（MyMapper.class）;
		
		job.setOutputKeyClass（Text.class）;
		
		job.setOutputValueClass（Text.class）;
		
		job.setJarByClass（Eight.class）;
		
		FileInputFormat.addInputPath（job new Path（“/lkp/MR/sogou.500w.utf8.flt“））;
		
		FileOutputFormat.setOutputPath（job new Path（“/lkp/Mr/eight“））;
		job.waitForCompletion（true）;
		System.out.println（“sum1=“+sum1+“\tsum2=“+sum2）;
		float percentage = （float）sum1/（float）sum2;
		System.out.println（“Rank在10以内的点击次数占比：“ +percentage）;
		
	}

}

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2017-11-30 09:37  sougou.500w.utf8数据分析\
     目录           0  2017-11-30 09:37  sougou.500w.utf8数据分析\java 代码\
     文件        1649  2017-06-19 15:32  sougou.500w.utf8数据分析\java 代码\Eight.java
     文件        3285  2017-06-19 15:31  sougou.500w.utf8数据分析\java 代码\Five.java
     文件        2429  2017-06-19 16:31  sougou.500w.utf8数据分析\java 代码\Four.java
     文件        3841  2017-06-21 15:25  sougou.500w.utf8数据分析\java 代码\HbaseImport.java
     文件        1816  2017-06-19 15:36  sougou.500w.utf8数据分析\java 代码\Nine.java
     文件        1716  2017-06-19 16:00  sougou.500w.utf8数据分析\java 代码\One.java
     文件        3775  2017-06-19 15:31  sougou.500w.utf8数据分析\java 代码\Seven.java
     文件        3391  2017-06-19 15:31  sougou.500w.utf8数据分析\java 代码\Six.java
     文件        2706  2017-06-21 09:52  sougou.500w.utf8数据分析\java 代码\Ten.java
     文件        2493  2017-06-21 10:49  sougou.500w.utf8数据分析\java 代码\Three.java
     文件        2385  2017-06-19 16:26  sougou.500w.utf8数据分析\java 代码\Two.java
     文件         229  2017-06-22 16:27  sougou.500w.utf8数据分析\参考文献.txt
     文件     1400582  2017-06-27 14:57  sougou.500w.utf8数据分析\分布式计算应用开发课程设计.docx
     目录           0  2017-11-30 09:37  sougou.500w.utf8数据分析\截图\
     文件        2411  2017-06-13 16:04  sougou.500w.utf8数据分析\截图\.sh.png
     文件       55341  2017-06-14 18:08  sougou.500w.utf8数据分析\截图\1.png
     文件       48954  2017-06-14 19:07  sougou.500w.utf8数据分析\截图\11.png
     文件       59928  2017-06-14 18:08  sougou.500w.utf8数据分析\截图\2.png
     文件       56593  2017-06-14 18:48  sougou.500w.utf8数据分析\截图\2用户.png
     文件       36693  2017-06-16 16:54  sougou.500w.utf8数据分析\截图\five.png
     文件       47305  2017-06-14 19:09  sougou.500w.utf8数据分析\截图\gong.png
     文件       73107  2017-06-15 12:08  sougou.500w.utf8数据分析\截图\hbase shell.png
     文件       47443  2017-06-15 12:07  sougou.500w.utf8数据分析\截图\java.png
     文件       53014  2017-06-19 11:44  sougou.500w.utf8数据分析\截图\javaeight.png
     文件       34655  2017-06-19 11:32  sougou.500w.utf8数据分析\截图\javafour.png
     文件       62406  2017-06-19 11:48  sougou.500w.utf8数据分析\截图\javanine.png
     文件       55691  2017-06-19 11:23  sougou.500w.utf8数据分析\截图\javaone.png
     文件       50419  2017-06-19 11:37  sougou.500w.utf8数据分析\截图\javasix.png
     文件       50305  2017-06-19 11:51  sougou.500w.utf8数据分析\截图\javaten.png
............此处省略21个文件信息