基于hadoop的贝叶斯文本分类器实现过程
贝叶斯基础理论（这个东西的项目概览）
对这个工程总体的流程可以参考这个文献里面的做法即可
参考文献1
远程原件目录
/user/coderlau/input
hadoop文件系统命令行主要是hdfs
对于初学者而言，在这个地方主要是注意两个地方即可，一个是Linux 环境下本身的文件路径，和HDFS系统远程文件系统，这是两个不同的东西
hadoop 执行源码情况
hadoop jar 源码打包成的jar 文件情况（关于这部分设计到如何去打包一个Java项目， 然后上传到服务器进行运行(这里的服务器是指Linux系统概念情况)）
编程实践
主要是理解两个过程，一个map和reduce ,关于这个可以查看官方的文档资料等情况
官方文档
根据自己写的代码情况 自己定义参数情况
自定义参数情况
主要是主程序中的入口问题
程序编写
-
mapper 程序部分 Mapper 接口
-
在写正式的程序之前需要设置一些变量情况
主要是context 中的key 和value的设置， 分别定义一个 InWritable one = new InWritable
和一个Text word , 这里面的Text 和word 其实即使 后面Map的输出结果context中的两个参数
map 中的数据处理来源其实就是 map 方法中的参数 Text value
-
setup 方法（）
-
map（）干活的方法(也是重写模块)
-
While(循环进行统计)
-
mappe函数的一个输出情况，context.write(key, new InWritable(1); // output’s type is: Context
context.write(new Text(className + “/” + word), new IntWritable(1));\
在这里要注意的地方是 InWritable 对象可以在后面进行创建，也可以在前面进行创建
-
reducer程序 Reducer 部分
context(key, new IntWritable(sum)) sum是Java中的原始数据， 要进行转换成为
-
然后在主程序中进行调用上述参数
- Configuration conf = new Configuration()
- 可以对上述参数进行一系列的设置等情况
- Job 进行一些列的设置情况
- 然后设置参数
- 主要是文件的输入格式和输出格式等情况书写
- FileInputFormat.setInputPaths(conf, new Path(otherArgs[0]));
- FileOutputFormat.setOutputPath(conf, new Path(otherArgs[1]));
程序代码案例
Hadoop 中最基本的词语统计功能
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org
