1、启动Hadoop
./start-all.sh
[root@elk-server sbin]# ./start-all.sh
Starting namenodes on [elk-server]
上一次登录：日 11月 24 21:57:43 CST 2019从 192.168.88.1pts/0 上
elk-server: Warning: Permanently added 'elk-server,192.168.88.135' (ECDSA) to the list of known hosts.
Starting datanodes
上一次登录：日 11月 24 22:44:47 CST 2019pts/0 上
node1: WARNING: /usr/local/hadoop/hadoop-3.0.3/logs does not exist. Creating.
Starting secondary namenodes [elk-server]
上一次登录：日 11月 24 22:44:50 CST 2019pts/0 上
Starting resourcemanager
上一次登录：日 11月 24 22:44:55 CST 2019pts/0 上
Starting nodemanagers
上一次登录：日 11月 24 22:45:02 CST 2019pts/0 上
2、检查Hadoop服务启动情况
jps
[root@elk-server sbin]# jps
7713 NameNode
8516 Jps
8201 ResourceManager
7965 SecondaryNameNode
3、检查HDFS 系统根目录
hadoop fs -ls /
[root@elk-server sbin]# hadoop fs -ls /
4、HDFS创建文件夹
hadoop fs -mkdir /test
[root@elk-server sbin]# hadoop fs -mkdir /test
[root@elk-server sbin]# hadoop fs -ls /
Found 1 items
drwxr-xr-x - root supergroup 0 2019-11-25 00:15 /test
5、HDFS 创建级联文件夹
hadoop fs -mkdir -p /input/data
[root@elk-server sbin]# hadoop fs -mkdir -p /input/data
[root@elk-server sbin]# hadoop fs -ls /
Found 2 items
drwxr-xr-x - root supergroup 0 2019-11-25 00:18 /input
drwxr-xr-x - root supergroup 0 2019-11-25 00:15 /test
6、HDFS查看系统根目录下指定文件夹包括的文件
hadoop fs -ls -R /input
[root@elk-server sbin]# hadoop fs -ls -R /input
drwxr-xr-x - root supergroup 0 2019-11-25 00:18 /input/data
7、HDFS上传文件
hadoop fs -put words.txt /input/data
[root@elk-server data]# hadoop fs -put words.txt /input/data
[root@elk-server data]# hadoop fs -ls -R /input/data
-rw-r--r-- 1 root supergroup 38 2019-11-25 00:24 /input/data/words.tx
8、HDFS 下载文件
hadoop fs -get /input/data/words.txt /usr/local/data/newwords.txt
[root@elk-server data]# hadoop fs -get /input/data/words.txt /usr/local/data/newwords.txt
[root@elk-server data]# ll
总用量 8
-rw-r--r-- 1 root root 38 11月 25 00:27 newwords.txt
-rw-r--r-- 1 root root 38 11月 25 00:23 words.txt
9、HDFS 文件复制
hadoop fs -cp /input/data/words.txt /test
[root@elk-server data]# hadoop fs -cp /input/data/words.txt /test
[root@elk-server data]# hadoop fs -ls /test
Found 1 items
-rw-r--r-- 1 root supergroup 38 2019-11-25 00:30 /test/words.txt
10、HDFS 文件移动
hadoop fs -mv /test/words.txt /input
[root@elk-server data]# hadoop fs -mv /test/words.txt /input
[root@elk-server data]# hadoop fs -ls /input
Found 2 items
drwxr-xr-x - root supergroup 0 2019-11-25 00:24 /input/data
-rw-r--r-- 1 root supergroup 38 2019-11-25 00:30 /input/words.txt
11、HDFS 删除文件或文件夹
hadoop fs -rm /input/words.txt
[root@elk-server data]# hadoop fs -rm /input/words.txt
Deleted /input/words.txt
[root@elk-server data]# hadoop fs -ls /input
Found 1 items
drwxr-xr-x - root supergroup 0 2019-11-25 00:24 /input/data
删除空目录
hadoop fs -rmdir /test
[root@elk-server data]# hadoop fs -rmdir /test
[root@elk-server data]# hadoop fs -ls /
Found 1 items
drwxr-xr-x - root supergroup 0 2019-11-25 00:37 /input
强制删除
hadoop fs -rm -r /input
[root@elk-server data]# hadoop fs -rm -r /input
Deleted /input
[root@elk-server data]# hadoop fs -ls /
12、HDFS 查看文件内容
hadoop fs -cat /input/data/words.txt
[root@elk-server data]# hadoop fs -mkdir -p /input/data
[root@elk-server data]# hadoop fs -put words.txt /input/data
[root@elk-server data]# hadoop fs -ls /
Found 1 items
drwxr-xr-x - root supergroup 0 2019-11-25 00:42 /input
[root@elk-server data]# hadoop fs -cat /input/data/words.txt
hell zhangsan
hello lisi
hello wangwu
[root@elk-server data]#
13、HDFS 修改文件权限，参考Linux 指令之chmod
14、HDFS 修改文件所属组，参考Linux指令之chgrp
15、HDFS 修改为文件所属用户，参考Linux指令之chown
16、HDFS 显示文件相关属性值，参考Linux 指令之du
[root@elk-server data]# hadoop fs -du /input/data/words.txt
38 38 /input/data/words.txt
17、HDFS 显示文件大学，参考Linux 指令之dus
[root@elk-server data]# hadoop fs -dus /input/data/words.txt
dus: DEPRECATED: Please use 'du -s' instead.
38 38 /input/data/words.txt
18、HDFS 清空回收站,参考Linux 指令之expunge
[root@elk-server data]# hadoop fs -expunge #清空回收站
19、setrep
使用方法：hadoop fs -setrep [-R] <path>
改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。
示例：
- hadoop fs -setrep -w 3 -R /user/hadoop/dir1
返回值：
成功返回0，失败返回-1。
20、tail
使用方法：hadoop fs -tail [-f] URI
将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致。
示例：
返回值：
成功返回0，失败返回-1。
21、test
使用方法：hadoop fs -test -[ezd] URI
选项：
-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。
-d 如果路径是个目录，则返回1，否则返回0。
示例：
-
- hadoop fs -test -e filename
22、查看Hadoop集群状态
hdfs dfsadmin -report
[root@elk-server data]# hdfs dfsadmin -report
Configured Capacity: 18238930944 (16.99 GB)
Present Capacity: 13269663744 (12.36 GB)
DFS Remaining: 13269647360 (12.36 GB)
DFS Used: 16384 (16 KB)
DFS Used%: 0.00%
Replicated Blocks:
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
Pending deletion blocks: 0
Erasure Coded Block Groups:
Low redundancy block groups: 0
Block groups with corrupt internal blocks: 0
Missing block groups: 0
Pending deletion blocks: 0
-------------------------------------------------
Live datanodes (1):
Name: 192.168.88.136:9866 (node1)
Hostname: node1
Decommission Status : Normal
Configured Capacity: 18238930944 (16.99 GB)
DFS Used: 16384 (16 KB)
Non DFS Used: 4969267200 (4.63 GB)
DFS Remaining: 13269647360 (12.36 GB)
DFS Used%: 0.00%
DFS Remaining%: 72.75%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Mon Nov 25 00:53:27 CST 2019
Last Block Report: Sun Nov 24 22:44:58 CST 2019
