Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Linux环境下的jdk安装(大数据环境)
jdk安装 创建软件存放目录 上传文件 我使用的MobaXterm 创建解压目录 解压jdk压缩包 修改软件名 使他简洁易操作 配置环境变量 让配置文件生效 查看jdk版本信息 将HP01 的usr文件夹整体拷贝到HP02 HP03目录下
Hadoop系列
大数据
Linux
Java
Hadoop
用最简单的例子告诉你kafka是怎么用的
1 首先打开zookeeper集群和kafka集群 三台都开上 2 创建 Kafka 主题 call 在任意几点创都可以 kafka topics sh zookeeper hadoop01 2181 topic call create r
Hadoop系列
Hadoop
HDFS API操作的访问方式及JUnit测试类的使用
HDFS API操作的访问方式 主要分为使用文件系统访问方式和URL访问方式 package com wyg hdfs import java io File import java io FileOutputStream import j
Hadoop系列
HDFS
Linux环境下安装Hadoop(完全分布式)
切换到安装目录 解压Hadoop压缩包 修改软件名称 hadoop配置 切换目录 将以下配置文件放在usr app hadoop2 7 3 etc hadoop 目录下 这里 的文件是老师配好的 配置hadoop环境 让hadoop环境配置
Hadoop系列
Hadoop
大数据
Linux
hive安装与配置详解
1 hive下载地址http mirror bit edu cn apache hive 2 上传至software目录下 3 解压至指定目录 4 重命名hive 5 修改环境变量 6 让环境生效 7 查看hive版本 8 修改hive s
Hadoop系列
hive
锁定文件失败 打不开磁盘“E:\HP02\HP01-cl1.vmdk”或它所依赖的某个快照磁盘。 模块“Disk”启动失败。 未能启动虚拟机
解决办法 将框内文件删除
Hadoop系列
VMware
zookeeper分布式安装与配置
1 上传zookeeper压缩包到服务器 opt software 目录下 根据自己情况定 2 解压zookeeper到 usr app 目录下 根据自己安装的地方来 3 将解压过去到usr app下的zookeeper改名 4 在 usr
Hadoop系列
Zookeeper
ReduceTask工作机制图解
1 Copy阶段 ReduceTask从各个MapTask上远程拷贝一片数据 并针对某一片数据 如果其大小超过一定阈值 则写到磁盘上 否则直接放到内存中 2 Merge阶段 在远程拷贝数据的同时 ReduceTask启动了两个后台线程对内存
Hadoop系列
大数据
Hadoop
hadoop在windows上的环境配置及HDFS API编程示范
1 将Hadoop压缩包解压放在指定目录 2 Hadoop本地环境配置 新建一个HADOOP HOME 添加path 3 安装maven 解决java开发依赖问题 这里可以直接去官网上下载 https maven apache org
Hadoop系列
Hadoop
MapReduce官方案例wordcount
wordcountReduce java package MaperReduce import java io IOException import org apache hadoop io LongWritable import org
Hadoop系列
Hadoop
MapReduce
Java
org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state wo
90 的hive数据库初始化失败的原因都是配置文件没整明白 咱们可以看看hive env sh template 这句话的意思是 lt 警告 这个文件是自动生成的 只用于文档的目的 gt lt 警告 你对这个文件所做的任何修改都将被Hive
Hadoop系列
1024程序员节
hive
connect to host master port 22: No route to host 问题解决方案
问题描述 connect to host master port 22 No route to host 问题分析 先去ifconfig能不能出现你自己配的网卡 一般情况是不能的 或者重启网卡会启动失败 当然了使用远程连接工具也会连接不上
Hadoop系列
Hadoop
Hive架构及基础知识
1 用户接口 Client CLI hive shell JDBC ODBC java 访问 hive WEBUI 浏览器访问 hive 2 元数据 Metastore 元数据包括 表名 表所属的数据库 默认是 default 表的拥有者
Hadoop系列
hive
数据库
大数据
Hadoop
大数据平台搭建及搭建过程出错解析
1 安装第一台虚拟机 参照博主文章 连接如下 https blog csdn net weixin 46457946 article details 114758813 2 配置网卡 配置网卡前看看你的ifconfig命令能不能用 一般来说
Hadoop系列
Hadoop
hive设置为本地模式,从而避免MapReduce
配置如下参数 可以开启Hive的本地模式 hive gt set hive exec mode local auto true 默认为false
Hadoop系列
hive
MapReduce job任务源码提交流程
waitForCompletion submit 1建立连接 connect 1 创建提交Job的代理 new Cluster getConfiguration 1 判断是本地yarn还是远程 initialize jobTrackAddr
Hadoop系列
大数据
Hadoop
Java