eclipse上编写mapreduce程序,进行词频统计
开启分布式文件系统(这里为伪分布),将/opt/input/test.txt文件上传到分布式文件系统中的/input下hdfs dfs –put /opt/input/test.txt /input/
path中加入
启动eclipse
新建MapReduceDemo Java项目,将hadoop相关的jar包配置在项目中
右键项目 Properties ->java build path ** -> **libraries 中add external jars
在src下新建package,命名为com.sj.mapreduce
新建类 WordCountMapper.java
1 | package com.sj.mapreduce; |
新建类WordCountReducer.java
1 | package com.sj.mapreduce; |
新建类WordCountDriver.java
1 | package com.sj.mapreduce; |
运行WordCountDriver.java
对分布式系统中/input/test.txt中的测试文件进行词频统计,得到结果