Hadoop----hdfs dfs常用命令

2023-05-16

-mkdir 创建目录  hdfs dfs -mkdir [-p] < paths>

-ls  查看目录下内容,包括文件名,权限,所有者,大小和修改时间  hdfs dfs -ls [-R] < args>

-put  将本地文件或目录上传到HDFS中的路径  hdfs dfs -put < localsrc>< dst>

-get  将文件或目录从HDFS中的路径拷贝到本地文件路径  hdfs dfs -get [-ignoreCrc] [-crc] < src> < localdst>  

-dus  显示文件长度的摘要。  hdfs dfs -dus < args>  注意:不推荐使用此命令。而是使用hdfs dfs -du -s。

-mv  在HDFS文件系统中,将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。

-cp  在HDFS文件系统中,将文件或目录复制到目标路径下  hdfs dfs -cp [-f] [-p | -p [topax] ] URI [ URI] < dest> 

-rm  删除一个文件或目录  hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI] 
        
-cat  显示文件内容到标准输出上。  hdfs dfs -cat URI [URI]
        
-text 获取源文件并以文本格式输出文件。允许的格式为zip和TextRecordInputStream。  hdfs dfs -text

-stat 显示文件所占块数(%b),文件名(%n),块大小(%n),复制数(%r),修改时间(%y%Y)  hdfs dfs -stat URI [URI]
        
-tail 显示文件的最后1kb内容到标准输出  hdfs dfs -tail [-f] URI 
        
-count 统计与指定文件模式匹配的路径下的目录,文件和字节数  hdfs dfs -count [-q] [-h] < paths>

-getmerge 将源目录和目标文件作为输入,并将src中的文件连接到目标本地文件(把两个文件的内容合并起来) 
		   hdfs dfs -getmerge < src> < localdst> [addnl] 注:合并后的文件位于当前目录,不在hdfs中,是本地文件

-grep 从hdfs上过滤包含某个字符的行内容  hdfs dfs -cat < srcpath> | grep 过滤字段

-copyFromLocal 从本地复制文件到hdfs文件系统(与-put命令相似)  hdfs dfs -copyFromLocal < localsrc> URI  
                选项:如果目标已存在,则-f选项将覆盖目标。

-copyToLocal  复制hdfs文件系统中的文件到本地 (与-get命令相似)  
                hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI < localdst>  
	 
	
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop----hdfs dfs常用命令 的相关文章

随机推荐