Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
hadoop集群出现两个datanode节点互相排斥的情况解决
我明明配置了3个节点的datanode 但是在 http mini2 50070 dfshealth html tab overview 的管理界面了只看到两天存活 Live Nodes 为 2 Dead Nodes 为 0 我想就算有一台
Hadoop
hadoop集群
DataNode
傻瓜式Hadoop 集群部署
傻瓜式Hadoop集群部署 资料来自网上并经过本人整理 Hadoop编译篇 一 Hadoop下载 1 在Hadoop官网上下载hadoop 2 7 2的源码包 下载地址 http mirrors noc im apache hadoop c
大数据
Hadoop
环境搭建
hadoop集群
hadoop集群部署
基于Docker快速搭建Hadoop集群和Flink运行环境
前言 搭建集群 环境升级 配置Hadoop 配置Flink 打包镜像 启动集群 前言 本文主要讲 基于Docker在本地快速搭建一个Hadoop 2 7 2集群和Flink 1 11 2运行环境 用于日常Flink任务运行测试 前任栽树 后
Flink实战
hadoop集群
flink
Docker
环境搭建
hadoop集群搭建
文章目录 一 基本配置 所有节点 一 配置静态网络 二 修改主机名和修改host文件 三 禁用SELINUX 四 关闭防火墙 并取消开机自启动 五 配置NTP时间同步 集群所有节点 六 下载一下vim编辑器 七 安装JDK1 8 八 创建h
hadoop集群
Hadoop
大数据
HDFS
为什么hadoop没有slaves配置文件?
这个问题我昨天折腾了一晚上 上网也没查到什么 最后发现原来是hadoop3 0以后slaves更名为workers 直接在workers填写子节点的主机名或ip地址即可 Duang 的一下 搞了一晚上的全分布式集群就跑起来了 有需要配置ha
大数据
hadoop集群
slaves
Hadoop伪分布式
Hadoop全分布式
windows安装JDK、maven 和 IDEA
一 JDK安装 Java程序必须运行在JVM之上 或者说java exe就是JVM 所以 使用Java的第一件事情是安装JDK 1 获取安装包 官方网址 https www oracle com java technologies down
hadoop集群
Java
Windows
Maven
spark 统计线上日志ip分组统计
线上日志格式如下 每次访问都会记录ip 标记红色部分 获取某一行看看怎么解析 2017 12 01 09 57 11 970 http nio 8082 exec 2 INFO com fullshare common aop Contro
spark
hadoop集群
基础架构
hadoop实践(六)eclipse 打包和liunx下运行
在eclipse环境下开发的代码 可以打包并放入到linux环境的 hadoop 下运行 第一步 打包 前提是已经安装了打包工具 fatjar 首先eclipse右上角 从map reduce 切换到java 点击工程 右键会出现fat j
大数据
Hadoop
eclipse
hadoop集群
hadoop实践(三)hadoop 集群配置
第一步 集群规划 master 192 168 136 140 slave1 192 168 136 151 slave2 192 168 136 152 第二步 配置环境变量 1 vi etc profile 在最后面添加如下代码 exp
Hadoop
大数据
hadoop集群
hadoop集群配置
一个具体的配置 这里只搭建一个三台主机的小机群 10 37 128 2 master namenode jobtracker master 主机名 10 37 128 3 salve datanode tasktracker slave1
Hadoop
hadoop集群