程序员经验分享-hwhale

转：CDH5 集群安装教程

2023-11-15

一、虚拟机的安装和网络配置。

1、虚拟机安装。

 

2、安装CentOS-6.5 64位版本。

   桥接模式；

   Master：

   内存：3G；

   硬盘容量40G；

   4核；

   Slave：

   内存2G；

   硬盘容量30G；

   2核；

 

3、网络配置(master,slave)

   1)进入root账号

   su - root

   输入密码：

  

 vi /etc/sysconfig/network

 

   

 

   2)关闭防火墙

     

复制代码

    vi /etc/sysconfig/selinux

     #SELinux=disable

     

     Service iptables stop

     Chkconfig iptables off

     Chkconfig iptables --list

复制代码

 

    

   3)网络设置

    

     

复制代码

Vi  /etc/sysconfig/network-scripts/ifcfg-eth0

 

 DEVICE="eth0"

 BOOTPROTO="static"

 IPADDR=192.168.2.115 或者 192.168.2.116

 NM_CONTROLLED="yes"

 ONBOOT="yes"

 TYPE="Ethernet"

 DNS1=8.8.8.8

 DNS2=8.8.4.4

 GATEWAY=192.168.2.1

复制代码

 

 

注释：IPADDR，在你的本地电脑上，看好你的ip地址是什么

 

4)设置/etc/hosts

   Vi /etc/hosts

 127.0.0.1      localhost

 192.168.2.115  master

 192.168.2.116  slave1

 

 

  根据你设置的节点数，自己配。

 

 

二、CDH安装

1、下载文件：

1)cm5.1.0

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.1.0/RPMS/x86_64/

2)Installer.bin

http://archive.cloudera.com/cm5/installer/5.1.0/

 

3、集群安装

1)Master节点上传：

cloudera-manager-installer.bin

cloudera-manager.repo

cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

jdk-6u31-linux-amd64.rpm

oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm

2)安装

cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

jdk-6u31-linux-amd64.rpm

oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm

另外，将cloudera-manager.repo上传到/etc/yum.repos.d目录下。

执行yum clean all  清空yum缓存

yum list|grep cloudera 验证repo文件是否起效

Chmod +x cloudera-manager-installer.bin

在root用户下，执行bin文件  ./cloudera-manager-installer.bin

 

开始了Clouder manager集群安装。

 

2）slave等节点安装

 

cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

jdk-6u31-linux-amd64.rpm

oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm

另外，将cloudera-manager.repo上传到/etc/yum.repos.d目录下。

执行yum clean all  清空yum缓存

yum list|grep cloudera 验证repo文件是否起效

 

3）离线安装parcel

 

上传parcel文件到

/opt/cloudera/parcel-repo

修改sha文件，只保留哈希码。

CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel

CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha

Manifest.json

在安装界面中：

这里没检索出5.1.0版本，如何解决？

手工修改url为  http://archive.cloudera.com/cdh5/parcels/5.1.0/

 

https://www.cnblogs.com/invban/p/5740682.html

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

技术大数据

cdh5

安装

转：CDH5 集群安装教程 的相关文章

  • Qt Creator下载和安装(详细教程)

    简介 Qt是跨平台的图形开发库 目前由Digia全资子公司 Qt Company 独立运营 官方网址 http www qt io 也可以访问Qt项目域名 http qt project org Qt本身支持众多操作系统 从通用操作系统Li

  • SAS 9.4 的超详细安装过程（保姆级教程）（含安装包+常见问题解决）

    目录 SAS 9 4 的超详细安装过程 一 安装前的准备 1 1 环境准备 1 2 安装包分享 解压密码见最后 二 安装过程 2 1 下载解压完成 2 2 点击setup exe安装 2 3 以管理员身份运行 选择 简体中文 2 4 安装S

  • win7下metasploit-framework安装及使用笔记

    1 去官网下载最新版本的metasploit framework 2 下载好后 退出电脑的杀毒软件 因为安装的时候里面好多文件会被当做病毒删除 3 点击安装 下一步下一步依次即可 4 安装完成后启动 这个启动的地方我找了好久 具体启动的地方

  • Flutter SDK安装

    SDK下载安装 Flutter集成了Dart 因此不需要单独安装dart sdk Flutter的SDK可以从官网下载 https flutter io docs development tools sdk archive tab wind

  • npm安装报Error: EPERM: operation not permitted, mkdir ‘D:\Program Files\nodejs\node_cache\_cacache

    node js安装完成后执行命令 npm install express g 报如下错误 npm ERR code EPERM npm ERR syscall mkdir npm ERR path D Program Files nodej

  • idea2022更改本地仓库，配置阿里云中央仓库

    注意 files setting与files other settings是不同的东西 因为idea版本的不同 其他设置的称呼都不同 idea2022的other settings指的是截图所示 解决 要想每次新建项目的仓库路径为自己设置的

  • xpath下载安装

    xpath是我们提取网页内容的常用的一款Chrome插件 反正就是很好用 下面是提供xpath安装的方式 1 找到Chrome插件官网地址下载xpath http chromecj com web development 2018 01 8

  • 【Docker】Docker 如何在容器内安装vi命令(vi不能使用)

    文章目录 1 背景 1 背景 mac下安装了docker 然后用docker 安装了grafana软件 然后进入grafana base lcc lcc prometheus docker exec it 4b5f517f4340 bash

  • Apache服务器的下载安装与配置

    最近在学习Android 需要搭建一个服务器 于是在网上查找了一些资料 主要参考博文https www cnblogs com yerenyuan p 5460336 html点击打开链接 目前官网可以下载的版本是2 4 29 分VC14和

  • Windows环境下TensorFlow的安装及如何在Jupyter Notebook中使用TensorFlow

    最近开始学习TensorFlow 因为自己电脑配置不高 只能在Windows下安装cpu版的TensorFlow 首先安装了最新版的Anaconda 接着使用pip命令安装TensorFlow出现下面的问题 tensorflow 1 1 0

  • 转：基于Spark的电影推荐系统（包含爬虫项目、web网站、后台管理系统以及spark推荐系统）

    版权声明 本文为博主原创文章 遵循 CC 4 0 BY SA 版权协议 转载请附上原文出处链接和本声明 本文链接 https blog csdn net u011254180 article details 80006453 本次项目是基于

  • 解决mysql不是内部或外部命令 环境变量 并且

    安装Mysql后 当我们在cmd中敲入mysql时会出现 Mysql 不是内部或外部命令 也不是可运行的程序或其处理文件 打开我的电脑在我的电脑右键中选择属性 然后单击选择高级系统设置 在系统属性的 高级 中选择环境变量path 选择Mys

  • Hive简介和安装

    1 Hive是基于hadoop的数据仓库解决方案 由facebook贡献给Apache Hive出现的初衷是让不熟悉编程的数据分析人员也能够使用hadoop处理大数据 这是怎么实现的呢 2 我们先来看看Hive提供的接口 从下面Hive的架

  • 显卡RTX2080 + CUDA10 + win10 + tensorflow配置安装探坑记

    步骤主要参考该博客https blog csdn net mayunhe cs article details 87216299 结合自己探坑经历记录了具体过程 1 安装显卡驱动 先是在微星官网上下载对应显卡的驱动 不知道为啥给的是nvid

  • EduSoho网校系统安装教程（三）：nginx配置

    Ubuntu下nginx的配置 安装nginx sudo apt get install nginx 配置Nginx sudo vim etc nginx nginx conf 在http 添加 client max body size 1

  • docker-engine安装

    最近一直在使用docker 做一些试验 每个新机器都需要部署docker的环境 环境信息如下 RedHat 7 2 安装 docker官方的安装 docker engine 1 sudo rpm import https sks keyse

  • 12-Linux下Oracle 11g R2数据库安装

    Oracle 11g R2数据库安装 安装环境准备 需要先装centos系统 并更新组件 安装请参考centos6 5安装手册 用户一览 用户 所在组 权限 Root root 超级用户 Oracle oinstall dba 安装地址 组

  • Android APP安装后在桌面上不显示应用图标

    前几天在写项目的时候运行的时候突然Android桌面上没有了应用图标 但是应用里面下载的应用有 调试版本和发布正式的版本都没有 之前以为是因为用了不同的keystore发布了两个不同的正式版本造成的问题 后来在看别人的文章才知道是什么问题

  • 【MySQL】—— 在windows下的MySQL安装与配置

    更新日志 2020 11 13 文章发布 说明 本文地址 MySQL 在windows下的MySQL安装与配置 https blog csdn net maixiaochai article details 109676520 关于 Mai

  • Nginx-简介

    用Python语言开发的站点使用的Web服务器主要有Nginx Apache以及淘宝的Tengine Nginx是由Igor Sysoev在2004年发布的一个开源 高性能的HTTP服务器和反向代理 它还可以用来作为IMAP POP3的代理

随机推荐

  • 0 基础 Java 自学之路（2023年最新版）

    目录 一 语言的选择 二 Java学习路线 三 学习资料哪里找 1 Java经典书籍推荐 2 Java经典视频推荐 3 经典博客推荐 四 如何规划时间 五 是否要报培训班 写了10多年的代码 之前做过某东的高级架构师 在技术这条路上跌跌撞撞

  • python-leetCode-给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的两个整数

    给定一个整数数组 nums 和一个目标值 target 请你在该数组中找出和为目标值的 两个 整数 你可以假设每种输入只会对应一个答案 但是 你不能重复利用这个数组中同样的元素 示例 给定 nums 2 7 11 15 target 9 因

  • R语言编写函数

    基本思路参考此文章 http blog csdn net myl1992 article details 44936009 在这片博文中涉及到list相关知识 很受用 http blog csdn net u012543538 articl

  • Hudi 基础入门篇

    Hudi 诞生 Apache Hudi由Uber开发并开源 该项目在2016年开始开发 并于2017年开源 2019年1月进入 Apache 孵化器 且2020年6月称为Apache 顶级项目 目前最新版本 0 9 0版本 Hudi 一开始

  • JSONArray属性值的修改

    之前直接通过生成字符串后进行字符串替换实现的 实际上这里可能会替换调value的值中相同的字符 虽然概率很低 但是鉴于对个人的严格要求 还是严谨地修改了实现方法 主要基于如下的方法 public static JSONObject tran

  • VC++ 文件操作封装类

    头文件声明 SysUtils h pragma once include

  • 什么是模式识别，模式识别概念的基本介绍

    模式识别又常称作模式分类 从处理问题的性质和解决问题的方法等角度 模式识别分为有监督的分类 Supervised Classification 和无监督的分类 Unsupervised Classification 两种 模式还可分成抽象的

  • Python入门之类和对象

    对象 属性 方法 对象是类的实例 换句话说 类主要定义对象的结构 然后我们以类为模板创建对象 类不但包含方法定义 而且还包含所有实例共享的数据 封装 信息隐蔽技术 我们可以使用关键字 class 定义 Python 类 关键字后面紧跟类的名

  • TextureTailor自制Plist碎图工具

    最近在开发小游戏 美术资源是个令人头疼的问题 故搜寻了一些网上的资源文件 但是总被plist格式和png图片格式所困扰 在参考了一些大佬的代码后自制了一个符合我个人需求的小工具 先放源码地址 TextureTailor 再来预览一下效果 界

  • linux服务篇-RSYNC数据备份

    Rsync remote sync 是UNIX及类UNIX平台下一款神奇的数据镜像备份软件 它不像FTP或其他文件传输服务那样需要进行全备份 Rsync可以根据数据的变化进行差异备份 从而减少数据流量 提高工作效率 你可以使用它进行本地数据

  • 关于深度学习中的分类器

    因为之前一直都是用caffe做图像去噪 增强方面的工作 没太接触分类 上个学习会上通过报告学习了下关于分类的相关基础知识 为接下来分类的相关工作研究奠定下基础 基础之分类器 1 SVM 线性核SVM 一般应用于多分类 分类的结果 如3分类

  • 开关电源环路学习笔记(6)-开关变换器传递函数Gvd(s)推导过程

    终于到了最关键的环节 也是最难的环节 如何求出开关级的传递函数 也就是下图这一级 哎 不得不说 太难了 不过没办法 先前夸下海口 跟兄弟们说我要把环路搞清楚 现在搞不动也得搞啊 这一级之所以这么难 主要是有开关元器件 本身是非线性的 当然了

  • ip命令网络配置

    Linux的ip命令和ifconfig类似 但前者功能更强大 并旨在取代后者 使用ip命令 只需一个命令 你就能很轻松地执行一些网络管理任务 ifconfig是net tools中已被废弃使用的一个命令 许多年前就已经没有维护了 Linux

  • 华为方舟编译器开源项目编译第四弹——自带Java测试用例的编译

    在编译Java测试用例时的错误提示信息 javac option bootclasspath not allowed with target 1 9 Usage javac

  • 计算机硬件基础——第五章：指令系统（二）

    文章目录 指令 要求计算机执行特定操作的命令 是程序员智慧计算机工作的最小单位 指令系统 一台计算机全部指令的集合 也称为计算机指令集 80X86 CPU的常用指令 逻辑运算指令 用来对字或字节按位进行逻辑运算 逻辑与AND 指令 逻辑或O

  • 计算机网络基础知识（非常详细）从零基础入门到精通，看完这一篇就够了

    目录 一 计算机网络的概念 二 计算机网络的功能 三 计算机网络的组成 1 组成部分 2 工作方式 3 功能组成 四 计算机网络的分类 1 按分布范围分 2 按使用者分 3 按交换技术分 4 按拓扑结构分 5 按传输技术分 五 标准化工作

  • WAF识别软件（WAFW00F）以及WAF绕过

    责任声明 本文章仅供学习交流使用 如有利用进行非法行为 上传者不承担任何责任 使用者后果自负 WAF防护分析 什么是WAF Web应用防护系统分为两种 软件与硬件 安全公司内部的为硬件 个人或小企业为软件 无论哪一种都是为web提供安全 存

  • 有效数字

    有效数字 数学上用 四舍五入 的法则将一个位数很多的数表示成一定位数的数 如果一个近似数的误差限是它某一位的半个单位 则称它准确到这一位 即该位数字是准确的 有效的和可靠的 并且 从该位起直到前面第一个非零数字为止的所有数字都称为有效数字

  • mysql ERROR: Error 1005: Can't create table (errno: 121)

    Q Executing SQL script in server ERROR Error 1005 Can t create table aquaticstar link errno 121 A I searched quickly for

  • 转：CDH5 集群安装教程

    一 虚拟机的安装和网络配置 1 虚拟机安装 2 安装CentOS 6 5 64位版本 桥接模式 Master 内存 3G 硬盘容量40G 4核 Slave 内存2G 硬盘容量30G 2核 3 网络配置 master slave 1 进入ro

热门标签