程序员经验分享-hwhale

Hadoop-1.2 单机部署

2023-05-16
准备相关资源环境 
运行环境工具

Linux Centos 6.3

JDK 1.7.0_51

SSH Secure Shell

  1. 下载Hadoop1.2

 

http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/

 

这里下载的是hadoop-1.2.1.tar.gz，解压缩：

 


tar -zxvf hadoop-1.2.1.tar.gz


   

 

  2. 配置系统环境变量

 


vi /hadoop/hadoop1.2.1/conf/hadoop-env.sh
      
  3. 测试安装 
source hadoop-env.sh
hadoop version
   
       
  4. 运行前配置，由于Hadoop是分布式系统，要在单机上运行就要采用伪分布式方式
   1) 在运行目录中，创建tmp hdfs/name hdfs/data目录 
cd /hadoop/hadoop-1.2.1
mkdir tmp
mkdir hdfs
mkdir hdfs/name
mkdir hdfs/data
    2) mapred-site.xml     

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>
   3) hdfs-site.xml    

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/hadoop/hadoop-1.2.1/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/hadoop/hadoop-1.2.1/hdfs/data</value>
    </property>
</configuration>
    4) core-site.xml 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop/hadoop-1.2.1/tmp</value>
    </property>
</configuration>
  
  5. 格式化namenode，不然的话在jps里找不到namenode    
hadoop namenode -format
       
  6. 执行启动 
start-all.sh
       
 7. 检查启动是否正常，应出现DataNode/NameNode/TaskTracker/SecondaryNameNode/JobTracker进程
    
8. 一切OK，恭喜Hadoop部署运行成功！
最后可自己去运行Hadoop-examples相关例子来试试效果，如：WordCount。
 

 
 
 
 
 
 

 


 
 

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop-1.2 单机部署 的相关文章

随机推荐

  • Android设备的电池续航时间优化（Optimizing Battery Life）——（一）监听电池电量和电池的充电状态...

    当你想通过减少后台更新服务的更新频率来降低程序对电池的影响时 xff0c 检查电池当前的电量和充电状态将是一个比较好的起点 程序更新对电池造成的影响将取决于当前电池电量和充电状态 xff0c 比如说 xff0c 当设备正在充电的时候 xff

  • 如何利用github打造博客专属域名

    转载请标明出处 xff1a http blog csdn net lmj623565791 article details 51319147 xff1b 本文出自 张鸿洋的博客 一 概述 哈 xff0c 本篇博客不属于Android技术类的

  • 基于HTML5实现的在线3D虚拟试衣系统（试衣间）解决方案

    3D虚拟试衣系统的使用场景主要是在线电商或数字营销 xff0c 为品牌服装 服饰 饰品添加高端3D虚拟购物动效 xff0c 提升用户感官体验和交互体验 要研发这样的在线系统 xff0c 有2个方向 xff0c 一个是使用Flash或Unit

  • 2011移动开发者大会亮点之一：六大精彩主题论坛抢鲜看

    2011中国移动开发者大会将是2011年度中国最大规模的移动盛事 本次大会全面覆盖软件应用和服务 平台 运营商 终端 芯片等移动产业链各个领域 xff0c 与此同时 xff0c 专注于产业链中最活跃的因素 应用软件的研发 创新与商业模式 x

  • collections的max()

    java util Collections的max方法可以获得集合中的最大值 xff1b 之前取map的最大key值 xff0c 还得自己写方法 xff0c 原来有现成的 xff1b max Collection lt extends T

  • “河软CSDN2011级表彰暨实习动员大会”顺利召开！

    9点30分 伴随着激昂的开场曲 xff0c 主持人走到台前 xff01 河软CSDN2011级表彰暨 实习动员大会即将开始 xff0c 请各位嘉宾入场 xff01 他们分别是 CSDN教育事业部总经 理李天山先生 河北软件职业技术学院 软件

  • ubuntu系统adb shell无法连接设备解决方法

    1 问题描述 xff1a alex 64 ubuntu adb shell daemon not running starting now at tcp 5037 daemon started successfully error insu

  • IT毕业生给学弟学妹们的真心话——离校座谈记录

    活动 xff1a 2009级毕业生离校前座谈 地点 xff1a 烟台大学计算机学院4409学业指导工作室 组织 xff1a 烟台大学CSDN高校俱乐部 时间 xff1a 2013年6月1日 上午8 30 参加人员 xff1a 主持人 xff

  • 生活就是工作学习锻炼身体

    多做事情多学习 少浪费时间 业精于勤荒于嬉 xff0c 行成于思而毁于随

  • golang之路--时间格式化

    有人问了问go的时间格式化问题 xff0c 于是乎自己尝试了下 xff0c 发现巨坑爹 xff0c 不按常理出牌啊 format的竟然模版必须如下面的每个数字 fuck t 61 time Unix 1362984425 0 nt 61 t

  • 生产者消费者模式C++程序模拟实现

    关于生产者和消费者的分析可以参考 xff1a http blog csdn net kenden23 article details 16340673 这里是利用C 43 43 简单模拟一个生产者消费者的工作模式 没有考虑到同步问题 操作了

  • Active MQ C++实现通讯

    Active MQ C 43 43 实现通讯 Kagula 2011 9 13 简介 在参考资料 2 的基础上介绍如何用C 43 43 调用Active MQ的客户端API 环境 xff1a 1 Windows XP SP3 2 Visua

  • OA工作流设计思路——请大神点评啊

    lt p gt OA工作流设计思路 请大神点评啊 xff0c 很多可能想的不是很到位 lt p gt lt p gt 此设计思路暂时没有包含详细的设计 xff0c 就是一个方向 xff0c 请大神指正下 xff0c 然方案更加完善 xff0

  • 解决Spring AOP 事务 配置 失效原因

    采用AOP配置声明式事务有5种方式 xff0c 下面只说关于采用TransactionInterceptor事务拦截器的方式 xff0c 配置程序如下 xff1a transactionManager xff1a lt bean id 61

  • 兼容chrome与firefox使用offsetWidth得到不同值的问题

    Ext3 x Ext MessageBox alert 在chrome与firefox显示的宽度不一致问题 究其原因是因为msgEl getWidth 得到的值不一致导致的 修正宽度应方法 xff1a chrome xff1a rect 6

  • 内嵌标志表达式

    对应的内嵌标志表达式是 i xff0c 它有四种形式 xff1a 1 xff0c i 2 xff0c i 3 xff0c i X 4 xff0c i X 不带有 的是开标志 xff0c 带有 的是关标志 把上面的代码改成这样 xff1a J

  • LoadRunner 90 Percent设置

    90 Percent 的设置 xff1a tools xff08 工具 xff09 options xff08 选项 xff09 General选项卡最下面有个Summary Report

  • 高通8155平台YOCTO CMAKE 编译问题解决方法

    硬件平台 xff1a 高通8155 软件平台 xff1a yocoto linux 43 ubuntu16 04 最近开始接触8155平台 xff0c 发现编译阶段出现cmake编译失败 xff0c 网上搜了一下没有相关的解决方案 xff0

  • 解决Ext.Grid单元格不能被选择

    ExtJs3 x版本 xff0c Ext grid GridPanel单元格数据不能被选择 xff0c 在不同浏览器环境下的解决方法不同 xff1a 1 Chrome Safari xff1a ext webkit x grid panel

  • Hadoop-1.2 单机部署

    准备相关资源环境 运行环境工具 Linux Centos 6 3 JDK 1 7 0 51 SSH Secure Shell 1 下载Hadoop1 2 http mirrors cnnic cn apache hadoop common

热门标签