• 大小: 168KB
    文件类型: .zip
    金币: 1
    下载: 0 次
    发布日期: 2021-05-28
  • 语言: 其他
  • 标签: hive  hadoop  MapReduce  

资源简介

1、功能描述
用户的手机,连接到不同的基站会产生一条记录。
数据格式为:用户标识 设备标识 基站位置 通讯的日期 通讯时间
example: 0000009999 0054785806 00000089 2016-02-21 21:55:37

需要得到的数据格式为:
用户标识 时段 基站位置 停留时间
example: 0000000001 09-18 00000003 15
用户0000000001在09-18点这个时间段在基站00000003停留了15分钟

资源截图

代码片段和文件信息

package phoneMapReduce;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * Created by ue50 on 11/13/19.
 */
public class PhoneMain
{
    public static void main(String[] args) throws InterruptedException IOException ClassNotFoundException
    {
        //String.equals()比较字符串的值是否相同
        if(args == null || “0“.equals(args[0]))
        {
            throw new RuntimeException(“argument is not right!“);
        }

        //Configuration是作业的配置信息类
        Configuration configuration = new Configuration();
        //set(String name String value)设置配置项
        configuration.set(“timeRange“ args[0]);

        Job job = Job.getInstance(configuration);
        job.setJarByClass(PhoneMain.class);

        job.setMapperClass(PhoneMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputKeyClass(Text.class);

        job.setReducerClass(PhoneReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

        //FileInputFormat.setInputPaths(job new Path(“hdfs://xdata-m0:8020/user/ue50/pos.txt“));
        //FileOutputFormat.setOutputPath(job new Path(“hdfs://xdata-m0:8020/user/ue50/out“));

        FileInputFormat.setInputPaths(job new Path(args[1]));
        FileOutputFormat.setOutputPath(job new Path(args[2]));

        job.waitForCompletion(true);
    }
}

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     文件        1664  2019-11-14 16:03  exam3\PhoneMain.java
     文件        2711  2019-11-14 16:03  exam3\PhoneMapper.java
     文件        3806  2019-11-14 16:35  exam3\PhoneReducer.java
     文件        3669  2019-11-14 16:03  exam3\pom.xml
     文件     1168660  2019-11-14 16:03  exam3\pos.txt
     文件       59652  2019-11-14 16:03  exam3\实践三运营商用户基站停留数据统计.docx
     目录           0  2019-11-30 23:19  exam3\

评论

共有 条评论