资源简介
1、功能描述
用户的手机,连接到不同的基站会产生一条记录。
数据格式为:用户标识 设备标识 基站位置 通讯的日期 通讯时间
example: 0000009999 0054785806 00000089 2016-02-21 21:55:37
需要得到的数据格式为:
用户标识 时段 基站位置 停留时间
example: 0000000001 09-18 00000003 15
用户0000000001在09-18点这个时间段在基站00000003停留了15分钟
用户的手机,连接到不同的基站会产生一条记录。
数据格式为:用户标识 设备标识 基站位置 通讯的日期 通讯时间
example: 0000009999 0054785806 00000089 2016-02-21 21:55:37
需要得到的数据格式为:
用户标识 时段 基站位置 停留时间
example: 0000000001 09-18 00000003 15
用户0000000001在09-18点这个时间段在基站00000003停留了15分钟
代码片段和文件信息
package phoneMapReduce;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;
/**
* Created by ue50 on 11/13/19.
*/
public class PhoneMain
{
public static void main(String[] args) throws InterruptedException IOException ClassNotFoundException
{
//String.equals()比较字符串的值是否相同
if(args == null || “0“.equals(args[0]))
{
throw new RuntimeException(“argument is not right!“);
}
//Configuration是作业的配置信息类
Configuration configuration = new Configuration();
//set(String name String value)设置配置项
configuration.set(“timeRange“ args[0]);
Job job = Job.getInstance(configuration);
job.setJarByClass(PhoneMain.class);
job.setMapperClass(PhoneMapper.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputKeyClass(Text.class);
job.setReducerClass(PhoneReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
//FileInputFormat.setInputPaths(job new Path(“hdfs://xdata-m0:8020/user/ue50/pos.txt“));
//FileOutputFormat.setOutputPath(job new Path(“hdfs://xdata-m0:8020/user/ue50/out“));
FileInputFormat.setInputPaths(job new Path(args[1]));
FileOutputFormat.setOutputPath(job new Path(args[2]));
job.waitForCompletion(true);
}
}
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
文件 1664 2019-11-14 16:03 exam3\PhoneMain.java
文件 2711 2019-11-14 16:03 exam3\PhoneMapper.java
文件 3806 2019-11-14 16:35 exam3\PhoneReducer.java
文件 3669 2019-11-14 16:03 exam3\pom.xm
文件 1168660 2019-11-14 16:03 exam3\pos.txt
文件 59652 2019-11-14 16:03 exam3\实践三运营商用户基站停留数据统计.docx
目录 0 2019-11-30 23:19 exam3\
- 上一篇:带约束处理的粒子群算法,简明清晰
- 下一篇:复制粘贴工具
相关资源
- 电影推荐系统:基于spark、hadoop、ka
-
hba
se和hive常用命令记录总结 - Hadoop安装ubuntu16.04+ hadoop-2.9.1.tar.gz+j
- Hadoop权威指南 NCDC气象数据
- hadoop的winutils.exe工具和hadoop.dll
- csv大文件分割工具 超好用
- 大数据 hadoop mapreduce 词频统计
- win10编译好的hadoop2.8.3、hadoop2.6.4安装
- 传智播客7天Hadoop培训视频吴超
- Google大数据三大经典论文
- hadoop网盘小项目介绍及相关代码
- hadoop气象数据
- Eclipse编译Hive
- 传智播客Hadoop教程(吴超版本,价值
- hadoop.dll
- 基于MapReduce的Apriori算法代码及其使用
- 基于MapReduce的Apriori算法代码
- hadoop_64_native_lib
- hadoop实战项目
- PageRank算法的mapreduce实现
- windows中的hadoop2.7.3的32位的hadoop-2.7.
- hadoop2.7.3的32位的hadoop.dll和winutils.ex
- Hadoop词频统计完整版
- hadoop+lucene几种结合形式
- 大数据培训视频教程.zip
- Hadoop MapReduce实现tfidf源码
- 整理的大数据hadoop教学视频尚硅谷,
- hadoop3.0.0以上版本的winutil
- Hue之编译之后的压缩包
- windows64位平台的hadoop2.5.2插件包(ha
评论
共有 条评论