虚拟机搭建Hadoop集群环境-CentOS篇

2023-11-04

Linux环境安装

具体步骤参考博客

虚拟机环境准备

虚拟机克隆

在前一步骤中准备好安装了CentOS 7 的虚拟机,克隆一个虚拟机出来,过程如下图:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

修改虚拟机IP

  • 克隆完成后,启动bigdata-101虚拟机,使用root用户登录,修改虚拟机的IP地址

    在这里插入图片描述

    • 编辑/etc/sysconfig/network-scripts/ifcfg-ens33文件,修改成如下内容:

      vim /etc/sysconfig/network-scripts/ifcfg-ens33
      # 修改内容如下
      TYPE=Ethernet
      BOOTPROTO=static # 设置静态IP
      NAME=ens33
      DEVICE=ens33
      ONBOOT=yes
      IPADDR=192.168.1.101 # 自定义IP地址
      PREFIX=24
      GATEWAY=192.168.1.2
      DNS1=192.168.1.2
      

在这里插入图片描述
在这里插入图片描述

  • 设置虚拟机虚拟网络编辑器,编辑->虚拟网络编辑器->VMnet8->更改配置:

在这里插入图片描述
在这里插入图片描述

将子网IP按下图调整,最后点击 NAT 设置:



![在这里插入图片描述](https://img-blog.csdnimg.cn/20210222181122128.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTIwNzUzODM=,size_16,color_FFFFFF,t_70)

在这里插入图片描述

  • 设置VMnet8 属性,保证默认网关、首先DNS服务器和Linux环境配置一致

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

修改主机名

  • 查看当前主机名

    hostname
    

在这里插入图片描述

  • 执行vim /etc/sysconfig/network,输入以下内容:

    HOSTNAME=bigdata101
    

在这里插入图片描述

  • 执行 vim /etc/hosts,加入以下内容:

    192.168.1.101 bigdata101
    192.168.1.102 bigdata102
    192.168.1.103 bigdata103
    

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

创建普通用户

  • 创建一个普通用户用于日常操作,用户名为bigdata,为方便学习记忆,密码也可设置为bigdata

    # 添加用户
    useradd bigdata
    # 设置密码
    passwd bigdata
    

在这里插入图片描述

  • 给新添加的 hadoop用户配置 root 权限:

    # 添加写入模式
    chmod u+w /etc/sudoers
    # 在 root ALL=(ALL)	ALL 下添加一行内容
    bigdata ALL=(ALL)        NOPASSWD: ALL
    # 重新将文件设置为只读
    chmod u-w /etc/sudoers
    

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

重启虚拟机

  • 为使配置生效,重启虚拟机:

    reboot
    
  • 使用bigdata用户登录:

    在这里插入图片描述

  • 验证虚拟机IP及主机名:

    # 查看当前主机IP
    ifconfig
    # 查看主机名
    hostname
    

在这里插入图片描述

使用Xshell远程访问

在 VMware 上直接操作 Linux 用户体验不友好,故使用 Xshell来远程访问虚拟机。

  • 修改Windows 主机映射文件(Win10 系统文件路径:C:\Windows\System32\drivers\etc)hosts,添加如下内容:
192.168.1.101 bigdata101
192.168.1.102 bigdata102
192.168.1.103 bigdata103

在这里插入图片描述
在这里插入图片描述

  • 使用Xshell新建会话,输入相关内容:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

集群搭建

安装 JDK

  • bigdata101虚拟机上创建目录,并调整目录所属用户及组

    sudo mkdir /opt/module /opt/software 
    

    在这里插入图片描述
    在这里插入图片描述

  • 使用Xftp上传JDK安装包并解压

    在这里插入图片描述
    在这里插入图片描述

    cd /opt/software
    tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
    

在这里插入图片描述
在这里插入图片描述

  • 配置环境变量,验证是否安装成功

    sudo touch /etc/profile.d/my_env.sh
    sudo vi /etc/profile.d/my_env.sh
    # 在my_env.sh输入以下内容后,保存退出
    export JAVA_HOME=/opt/module/jdk1.8.0_212
    export PATH=$PATH:$JAVA_HOME/bin
    

    在这里插入图片描述

    如图所示,打印出Java版本信息后即表明安装成功。

安装 Hadoop

  • hadoop安装包上传至 /opt/software目录 ;

  • 解压安装

    cd /opt/software
    tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
    

    在这里插入图片描述

  • 配置环境变量

    sudo vim /etc/profile.d/my_env.sh
    # 输入以下内容并保存退出
    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    
  • 刷新环境变量,验证是否安装成功

    source /etc/profile.d/my_env.sh
    hadoop version
    

在这里插入图片描述

关闭防火墙

  • 查看防火墙状态

    systemctl status firewalld.service
    

    在这里插入图片描述

  • 关闭防火墙

    sudo systemctl stop firewalld.service
    

    在这里插入图片描述

  • 永久关闭防火墙

    sudo systemctl disable firewalld.service
    

在这里插入图片描述

其它节点虚拟机克隆

  • bigdata-101为模板,克隆两个虚拟机,命名为bigdata-102,bigdata-103(克隆前需要将bigdata-101进行关机操作)

  • 修改对应节点虚拟机IP及主机名

    bigdata-102 IP 修改为:192.168.1.102,主机名修改为:bigdata102

    bigdata-103 IP 修改为:192.168.1.103,主机名修改为:bigdata103

  • 启动三台虚拟机

配置 SSH 无密钥登录

  • 生成公钥和私钥

    # 执行后连敲三下空格
    ssh-keygen -t rsa
    

在这里插入图片描述

  • 分发公钥

    ssh-copy-id bigdata101
    ssh-copy-id bigdata102
    ssh-copy-id bigdata103
    

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 切换到其它虚拟机分别执行生成公钥和私钥、分发公钥操作

  • 切换root用户,对三台虚拟机分别执行生成公钥和私钥、分发公钥操作

  • 验证 SSH 无密钥登录

    ssh bigdata101
    ssh bigdata102
    ssh bigdata103
    

    在这里插入图片描述

编写文件集群分发脚本

  • 在三台虚拟机上分别安装 rsync 服务

    sudo yum install -y rsync
    

在这里插入图片描述

  • 创建/home/bigdata/bin目录

    cd
    mkdir bin
    

    在这里插入图片描述

  • 创建集群分发脚本

    cd /home/bigdata/bin
    touch xsync
    vi xsync
    

在这里插入图片描述

  • 输入脚本内容

    #!/bin/bash
    #1 获取输入参数个数,如果没有参数,直接退出
    pcount=$#
    if ((pcount==0)); then
    echo no args;
    exit;
    fi
    
    #2 获取文件名称
    p1=$1
    fname=`basename $p1`
    echo fname=$fname
    
    #3 获取上级目录到绝对路径
    pdir=`cd -P $(dirname $p1); pwd`
    echo pdir=$pdir
    
    #4 获取当前用户名称
    user=`whoami`
    
    #5 循环
    for host in bigdata101 bigdata102 bigdata103
    do
        echo ------------------- $host --------------
        rsync -av $pdir/$fname $user@$host:$pdir
    done
    
  • 给脚本添加执行权限

    chmod u+x xsync
    

    在这里插入图片描述

修改Hadoop配置为集群配置

  • HDFS 相关文件配置

    • 配置 core-site.xml

      <!-- 指定HDFS中NameNode的地址 -->
      <property>
      		<name>fs.defaultFS</name>
            <value>hdfs://bigdata101:9000</value>
      </property>
      
      <!-- 指定Hadoop运行时产生文件的存储目录 -->
      <property>
      		<name>hadoop.tmp.dir</name>
      		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
      </property>
      

      注意:/opt/module/hadoop-2.7.2/data/tmp 需提前创建。

    • 配置 hadoop-env.sh

      export JAVA_HOME=/opt/module/jdk1.8.0_212
      
    • 配置 hdfs-site.xml

      <!-- 配置文件副本数 -->
      <property>
      	<name>dfs.replication</name>
      	<value>3</value>
      </property>
      <property>
          <name>dfs.http.address</name>
          <value>bigdata101:50070</value>
      </property>
      <!-- 指定Hadoop辅助名称节点主机配置 -->
      <property>
      	<name>dfs.namenode.secondary.http-address</name>
      	<value>bigdata103:50090</value>
      </property>
      
  • YARN 文件配置

    • 配置yarn-site.xml

      <!-- Reducer获取数据的方式 -->
      <property>
      	<name>yarn.nodemanager.aux-services</name>
      	<value>mapreduce_shuffle</value>
      </property>
      
      <!-- 指定YARN的ResourceManager的地址 -->
      <property>
      	<name>yarn.resourcemanager.hostname</name>
      	<value>bigdata102</value>
      </property>
      
      <!-- 日志聚集功能使能 -->
      <property>
          <name>yarn.log-aggregation-enable</name>
          <value>true</value>
      </property>
      
      <!-- 日志保留时间设置7天 -->
      <property>
          <name>yarn.log-aggregation.retain-seconds</name>
          <value>604800</value>
      </property>
      
    • 配置 yarn-env.sh

      export JAVA_HOME=/opt/module/jdk1.8.0_212
      
  • MapReduce 文件配置

    • 配置mapred-site.xml

      <!-- 指定MR运行在Yarn上 -->
      <property>
      	<name>mapreduce.framework.name</name>
      	<value>yarn</value>
      </property>
      
      <!-- 历史服务器端地址 -->
      <property>
          <name>mapreduce.jobhistory.address</name>
          <value>bigdata101:10020</value>
      </property>
      
      <!-- 历史服务器web端地址 -->
      <property>
          <name>mapreduce.jobhistory.webapp.address</name>
          <value>bigdata101:19888</value>
      </property>
      
    • 配置mapred-env.sh

      export JAVA_HOME=/opt/module/jdk1.8.0_212
      
  • slaves 文件配置

    vi slaves
    # 添加以下内容
    bigdata101
    bigdata102
    bigdata103
    
  • 将文件分发到其它节点

    xsync /opt/module/hadoop-2.7.2/
    

    在这里插入图片描述

集群时间同步

  • 使用bigdata101为时间服务,其它虚拟机时间跟它保持同步,切换root用户,在三台虚拟机上安装 ntp 服务

    su
    yum install -y ntp
    rpm -qa | grep ntp
    

    在这里插入图片描述

  • 修改 ntp 配置文件

    vi /etc/ntp.conf
    # 添加内容:授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间
    restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
    # 修改内容:集群在局域网中,不使用其他互联网上的时间
    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst
    # 添加内容:当该节点丢失网络连接,依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步
    server 127.127.1.0
    fudge 127.127.1.0 stratum 10
    

    在这里插入图片描述

  • 修改/etc/sysconfig/ntpd 文件

    vim /etc/sysconfig/ntpd
    # 添加以下内容:让硬件时间与系统时间一起同步
    SYNC_HWCLOCK=yes
    
  • 重新启动ntpd服务并设置开机启动

    # 启动服务
    service ntpd start
    # 查看服务状态
    service ntpd status
    # 设置开机启动
    chkconfig ntpd on
    

    在这里插入图片描述

  • 其它机器配置(必须使用root用户)

    • 在其他机器配置10分钟与时间服务器同步一次

      crontab -e
      # 编写定时任务如下
      */10 * * * * /usr/sbin/ntpdate bigdata101
      
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

虚拟机搭建Hadoop集群环境-CentOS篇 的相关文章

  • HDFS容量:如何阅读“dfsadmin报告”

    我使用的是 Hadoop 2 6 0 当我运行 hdfs dfsadmin report 时 我得到类似这样的信息 简化 Configured Capacity 3 TB Present Capacity 400GB DFS Remaini
  • crontab 作业的 STDOUT 和 STDERR 输出在哪里

    有谁知道 CentOS 中正常 crontab 作业输出的 STDOUT 和 STDERR 在哪里 我检查了 var log cron文件 但它只记录了 cron 作业执行的时间和命令 没有找到 STDOUT 或 STDERR 内容 看看
  • 在 CentOS 6.4 中意外删除了符号链接 libc.so.6。如何获得 sudo 权限来重新创建它?

    我不小心删除了符号链接 lib64 libc so 6 gt lib64 libc 2 12 so sudo rm libc so 6 然后我不能使用任何东西 包括ls命令 我输入的任何命令都会出现错误 ls error while loa
  • Hadoop setInputPathFilter错误

    我正在使用 Hadoop 0 20 2 无法更改 并且我想向我的输入路径添加一个过滤器 数据如下 path1 test a1 path1 test a2 path1 train a1 path1 train a2 我只想处理所有文件trai
  • 使用 python 从 HDFS 获取文件名列表

    这里是 Hadoop 菜鸟 我搜索了一些有关 hadoop 和 python 入门的教程 但没有取得太大成功 我还不需要使用映射器和缩减器进行任何工作 但这更多是一个访问问题 作为Hadoop集群的一部分 HDFS 上有一堆 dat 文件
  • 如何使用新的 Hadoop API 来使用 MultipleTextOutputFormat?

    我想编写多个输出文件 如何使用 Job 而不是 JobConf 来执行此操作 创建基于密钥的输出文件名的简单方法 input data type key value cupertino apple sunnyvale banana cupe
  • 将 hadoop fs 路径转换为 ​​EMR 上的 hdfs:// 路径

    我想知道如何将数据从 EMR 集群的 HDFS 文件系统移动到 S3 存储桶 我认识到我可以直接在 Spark 中写入 S3 但原则上 之后执行它也应该很简单 到目前为止 我还没有发现在实践中这是正确的 AWS 文档建议s3 dist cp
  • java.io.IOException:无法获取 LocationBlock 的块长度

    我正在使用 HDP 2 1 对于集群 我遇到了以下异常 并且 MapReduce 作业因此失败 实际上 我们定期使用 Flume 版本的数据创建表 1 4 我检查了映射器尝试读取的数据文件 但我找不到任何内容 2014 11 28 00 0
  • 将多个前缀行过滤器设置为扫描仪 hbase java

    我想创建一台扫描仪 它可以为我提供带有 2 个前缀过滤器的结果例如 我想要其键以字符串 x 开头或以字符串 y 开头的所有行 目前我知道只能使用一个前缀 方法如下 scan setRowPrefixFilter prefixFiltet 在
  • EC2 增加大小后无法调整卷大小

    我已按照调整 EC2 卷大小的步骤进行操作 停止实例 拍摄当前卷的快照 在同一区域中从上一个快照创建了一个更大大小的新卷 从实例中分离旧卷 将新卷附加到同一安装点的实例 旧卷是 5GB 我创建的卷是 100GB 现在 当我重新启动实例并运行
  • Bash:更新文件中的变量

    我知道这是一个简单的答案 在找到答案之前我可能可以继续在谷歌上进行挖掘 但我的日程很紧 我希望能得到一个轻松的答复 我需要在安装时更新 ifcfg eth0 中的变量 换句话说 这就是需要发生的事情 以下变量需要更改 ONBOOT no B
  • 使用 Hadoop 映射两个数据集

    假设我有两个键值数据集 数据集A和B 我们称它们为数据集A和B 我想用 B 组的数据更新 A 组中的所有数据 其中两者在键上匹配 因为我要处理如此大量的数据 所以我使用 Hadoop 进行 MapReduce 我担心的是 为了在 A 和 B
  • hadoop2.2.0追加文件发生AlreadyBeingCreatedException

    我遇到了一个关于hadoop2 2 0追加操作的问题 我通过 HDFS java API 将一些字节附加到 hdfs 文件 首先 如果在附加操作之前文件不存在 我将创建目标文件 代码如下 String fileUri hdfs hadoop
  • 猪如何过滤不同的对(对)

    我是猪的新手 我有一个 Pig 脚本 它在两个元素之间生成制表符分隔的对 每行一对 例如 John Paul Tom Nik Mark Bill Tom Nik Paul John 我需要过滤掉重复的组合 如果我使用 DISTINCT 我会
  • 获取 emr-ddb-hadoop.jar 将 DynamoDB 与 EMR Spark 连接

    我有一个 DynamoDB 表 需要将其连接到 EMR Spark SQL 才能对该表运行查询 我获得了带有发行标签 emr 4 6 0 和 Spark 1 6 1 的 EMR Spark Cluster 我指的是文档 使用 Spark 分
  • hive 从两个数组创建映射或键/值对

    我有两个具有相同数量值的数组 它们映射为 1 1 我需要从这两个数组创建一个键 值对或映射 键 值 任何想法或提示都会有帮助 当前表结构 USA WEST NUMBER Street City 135 Pacific Irvine USA
  • MiniDFSCluster UnsatisfiedLinkError org.apache.hadoop.io.nativeio.NativeIO$Windows.access0

    做时 new MiniDFSCluster Builder config build 我得到这个异常 java lang UnsatisfiedLinkError org apache hadoop io nativeio NativeIO
  • 将数据从 oracle 移动到 HDFS,处理并从 HDFS 移动到 Teradata

    我的要求是 将数据从 Oracle 移至 HDFS 处理HDFS上的数据 将处理后的数据移至 Teradata 还需要每 15 分钟执行一次整个处理 源数据量可能接近50GB 处理后的数据也可能相同 在网上搜索了很多之后 我发现 PRARO
  • 如何将SQL数据加载到Hortonworks中?

    我已在我的电脑中安装了 Hortonworks SandBox 还尝试使用 CSV 文件 并以表结构的方式获取它 这是可以的 Hive Hadoop nw 我想将当前的 SQL 数据库迁移到沙箱 MS SQL 2008 r2 中 我将如何做
  • 适用于 Hadoop 的 DynamoDB 输入格式

    我必须使用 Hadoop mapreduce 处理保留在 Amazon Dynamodb 中的一些数据 我在互联网上搜索 Dynamo DB 的 Hadoop InputFormat 但找不到它 我对 Dynamo DB 不熟悉 所以我猜测

随机推荐

  • 学习笔记 JavaScript ES6 ES6数组的扩展

    学习内容 类数组 伪数组 Array from Array of copyWithin fill includes 类数组 伪数组 下面这几行代码的返回值就是伪数组 伪数组有索引 且长度是非负的整数 即长度length属性 但是没有数组的方
  • 51单片机学习笔记(二) 单个数码管显示1到9

    转自我的博客 http sincos in p 20 数码管 其实就是8个发光二极管按顺序排列而成的 所以让数码管显示特定的数字 只需要将该亮的二极管点亮 不该亮的灭了就好了 为了达到这个目的 就得参考电路图了 51HEI开发板的电路图在我
  • 腾讯校招编程题之快递分身术

    题目描述 城市里有3000条横向的道路和3000条纵向的道路 分别从1开始编号知道3000 相邻两条平行道路的间距为1 我们用 x y 表示第x号横向道路和第y号纵向道路 N个需要送快递的点坐落在这些交点上 小Q只能沿着这些道路送快递 而且
  • [Unity3D]Lua中使用协程coroutine和计时器timer

    习惯了unity3d的协程用法 那么我们在Unity里面怎么使用 StartCoroutine StopCoroutine WaitForSeconds 首先lua也有coroutine 其实lua中的协程真的是暂停 用法和unity并非相
  • 模型分类model

    模型可以按照多个维度进行分类 以下是常见的几种模型分类方式 1 根据应用领域分类 数学模型 基于数学原理和方程式来描述和解决问题 如微积分模型 线性代数模型等 物理模型 基于物理原理和规律来模拟和解释现象 如力学模型 电路模型等 经济模型
  • D3.js 绘制柱状图

    使用D3 V4版本绘制 使用D3绘制柱状图 绘制效果如下 使用D3绘制柱状图 先对需要绘制的图形拆解 主要分为以下几个部分 1 比例尺的定义 2 坐标轴的绘制 3 添加矩形 4 修改坐标轴样式 5 柱状图装饰效果添加 首先 先定义data
  • Docker存储

    前言 上一篇文章中简单总结了一下docke的基础使用方法 这次我来总结一下有关docker存储方面的相关知识 本文同样建立在CloudMan的系列教程之上 有兴趣的可以直接移步 有些人可能觉得这个很简单 存储就是硬盘嘛 docker容器既然
  • Shell脚本之for循坏语句

    目录 一 for循环语句 1 1 列表循环 1 2 不带列表循环 1 3 类C风格的for循环 1 4 for循环案列 二 总结 一 for循环语句 语法结构 列表循环 不带列表循环 类c风格的for循环 1 1 列表循环 1 格式1 fo
  • stm32 定时器TIM时钟步骤

    1 TIM3 时钟使能 RCC APB1PeriphClockCmd RCC APB1Periph TIMx ENABLE 时钟使能 2 初始化定时器参数 设置自动重装值 分频系数 计数方式等 定时器的初始化函数TIM TimeBaseIn
  • 高性能TCPServer

    最近两天正在学习TCPServer 在网上看到比较好的两篇文章 在这里记录下来 High Performance NET Socket Server Using Async Winsock 原文地址 Introduction Sockets
  • 手机端开发(uni-app、vant、mui)优缺点分析

    疫情期间 使用过uni app 最近又接触了vant 但是由于项目部署原因 项目不支持前后端分离 仅支持静态页Html css项目 所以最后用mui开发一套 今天就介绍一下 我用过这三个框架的看法以及他们之间的优缺点 一 优点 1 uni
  • 【开放域目标检测】三:Learning transferable visual models from natural language supervision论文补充

    这里主要再简单看一下框架图 训练比较简单 使用的是对比学习的方法 做图文匹配的任务 计算相似度 给定batch N N N的image text pairs CLIP预测 N N
  • Devpress (DxReport)使用ReportDesigner (一) 基本功能

    1 Devpress DxReport 编辑 1 新建一个XtraReport 2 在报告上点右键添加元素 元素说明 1 其中有报告头 报告尾 页头 页尾 组头 组尾 详细 2 一份报告只有一个报告头一个报告尾 里面的元素只也现一次 3 页
  • 删掉node包

    删掉node包 删掉node包 命令 npm install rimraf g rimraf node modules
  • WIN11更改WSL2的存放路径

    目前在网上常常能查阅到的方法为先导出系统发行版 子系统名称 为tarball文件 然后再重新导入tarball为新的发行版 并设置新的安装位置 之后再删除旧的发行版 此方法也是微软官方推荐的方法 详见 如何备份我的 WSL 发行版 或者如何
  • 12月大事件日历

    12月大事件日历 11月30 12月2日 中国光伏行业年度大会 12月1日 印度央行启动零售数字卢比试点 12月2日 美国11月非农数据失业率 12月4日 OPEC 会议 12月5日 G7对俄 原油价格上限 生效 12月7日 EIT能源展望
  • Vue实现加载效果

    Vue实现加载效果 div div loading默认为false 点击查询按钮时加载页面 QueryData this loading true const iframe this refs top this refs top src 要
  • 【Shell牛客刷题系列】SHELL11 转置文件的内容:继续awk命令的升级打怪之旅

    该系列是基于牛客Shell题库 针对具体题目进行查漏补缺 学习相应的命令 刷题链接 牛客题霸 Shell篇 该系列文章都放到专栏下 专栏链接为 专栏 Linux 欢迎关注专栏 本文知识预告 首先简单学习了rs命令 这个命令不常用 了解即可
  • 三种Python中两个列表数字“相加”的方法

    目录 for循环 map numpy 最近我在用Python处理数据时 需要将列表数据相加实现 累积 效果的 需要注意 我这里所说的列表相加 并非是下面这种 列表元素相加 的情况 list 1 1 2 3 list 2 4 5 6 prin
  • 虚拟机搭建Hadoop集群环境-CentOS篇

    文章目录 Linux环境安装 虚拟机环境准备 虚拟机克隆 修改虚拟机IP 修改主机名 创建普通用户 重启虚拟机 使用Xshell远程访问 集群搭建 安装 JDK 安装 Hadoop 关闭防火墙 其它节点虚拟机克隆 配置 SSH 无密钥登录