程序员经验分享-hwhale

使用IDEA工具，通过Java API 操作 HDFS （文件/目录的操作，含源码，详细操作步骤）

2023-05-16

文章目录

  • 一，了解 HDFS Java API
    • （一）HDFS常见类与接口
    • （二）FileSystem的常用方法
  • 二，编写Java程序访问HDFS
    • 01 创建Maven项目
    • 02 添加相关依赖
    • 03 创建日志属性文件
      • （1）在resources目录里创建log4j.properties文件
    • 04 启动集群HDFS服务
    • 05 在HDFS上创建文件
      • （1）创建net.army.hdfs包
      • （2）在net.army.hdfs包里创建CreateFileOnHDFS类
      • （3）编写create1()方法
      • （4）编写create2()方法，事先判断文件是否存在
    • 06 写入HDFS文件
      • （1）在net.hw.hdfs包里创建WriteFileOnHDFS类
      • （2）将数据直接写入HDFS文件
      • （3）将本地文件写入HDFS文件
    • 07 读取HDFS文件
      • （1）在net.hw.hdfs包里创建ReadFileOnHDFS类
      • （2）读取HDFS文件直接在控制台显示
      • （3）读取HDFS文件，保存为本地文件
    • 08 重命名目录或文件
      • （1）在net.hw.hdfs包里创建RenameDirOrFile类
      • （2）重命名目录
      • （3）重命名文件
    • 09 显示文件列表
      • （1）在net.hw.hdfs包里创建ListHDFSFiles类
      • （2）显示指定目录下文件全部信息
      • （3）显示指定目录下文件路径和长度信息
    • 10 获取文件块信息
      • （1）在net.hw.hdfs包里创建GetBlockLocations类
      • （2）用getFileBlockLocations()方法来获取物理切块信息
      • （3）编写代码，获取文件块信息
    • 11 创建目录
      • （1）在net.hw.hdfs包里创建MakeDirOnHDFS类
      • （2）编写代码，创建目录
    • 12 判断目录或文件是否存在
      • （1）在net.hw.hdfs包里创建DirFileExistsOrNot类
      • （2）创建dirExists()方法
      • （3）创建fileExists()方法
    • 13 判断Path指向目录还是文件
      • （1）在net.hw.hdfs包里创建PathToFileOrDir类
      • （2）编写代码，进行判断
    • 14 删除目录或文件
      • （1）在net.hw.hdfs包里创建DeleteFileOrDir类
      • （2）删除文件
      • （3）删除目录
      • （4）删除目录或文件

一，了解 HDFS Java API

Hadoop文件系统API文档：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/filesystem/index.html
在这里插入图片描述

（一）HDFS常见类与接口

Hadoop整合了众多文件系统，HDFS只是这个文件系统的一个实例，下表整合了一些类或接口：

类或接口功能描述
org.apache.hadoop.fs.FileSystem一个通用文件系统的抽象基类，可被分布式文件系统继承。
org.apache.hadoop.fs.FileStatus文件状态接口，用于向客户端展示系统中文件和目录的元数据。具体包括文件大小、块大小、副本信息、所有者、修改时间等，可通过FileSystem.listStatus()方法获得具体的实例对象。
org.apache.hadoop.fs.FileDataInputStream文件输入流，用于读取Hadoop文件。
org.apache.hadoop.fs.FileDataOutputStream文件输出流，用于写Hadoop文件。
org.apache.hadoop.fs.Configuration访问配置项，所有配置项的值，如果在core-site.xml中有对应的配置，则以core-site.xml为准。
org.apache.hadoop.fs.Path路径，用于表示Hadoop文件系统中的一个文件或一个目录的路径。
org.apache.hadoop.fs.PathFilter路径过滤器接口，通过实现方法PathFilter.accept(Path path)来判断

（二）FileSystem的常用方法

FileSystem类API文档：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/filesystem/filesystem.html
在这里插入图片描述

FileSystem对象的一些方法可以对文件进行操作，如下表所示：

方法名功能描述
copyFromLocalFile(Path src, Path dst)从本地磁盘复制文件到HDFS
copyToLocalFile(Path src, Path dst)从HDFS复制文件到本地磁盘
mkdirs(Path f)建立子目录
rename(Path src, Path dst)重命名文件或文件夹
delete(Path f)删除指定文件

二，编写Java程序访问HDFS

01 创建Maven项目

创建名称为HDFSDemo的Maven项目
在这里插入图片描述
创建成功
在这里插入图片描述

02 添加相关依赖

在pom.xml文件里添加hadoop和junit依赖

1.在pox.xml文件中添加如下内容：

<dependencies>             
    <!--hadoop客户端-->                       
    <dependency>                                  
        <groupId>org.apache.hadoop</groupId>      
        <artifactId>hadoop-client</artifactId>    
        <version>3.3.4</version>                  
    </dependency>     
    <!--单元测试框架-->                            
    <dependency>                                  
        <groupId>junit</groupId>                  
        <artifactId>junit</artifactId>            
        <version>4.13.2</version>                 
    </dependency>                                 
</dependencies>

在这里插入图片描述

2.下载相关依赖到本地仓库
在这里插入图片描述3.查看下载好的依赖
在这里插入图片描述

03 创建日志属性文件

（1）在resources目录里创建log4j.properties文件

1.右击【resources】，选择【New】，单击【Resource Bundle】
在这里插入图片描述2.在弹出的对话框中输入log4j，按【ok】键，成功创建
在这里插入图片描述
3.向log4j.properties文件中添加如下内容：

log4j.rootLogger=stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/hdfs.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

在这里插入图片描述

04 启动集群HDFS服务

在主节点输入命令：start-dfs.sh
在这里插入图片描述
在Hadoop WebUI界面查看
在这里插入图片描述

05 在HDFS上创建文件

注：在HDFS Shell里利用hdfs dfs -touchz命令可以创建时间戳文件+

（1）创建net.army.hdfs包

1.右击【java】，选择【New】，单击【Package】
在这里插入图片描述2.在弹出的对话框中输入：net.army.hdfs，按下回车键，创建成功
在这里插入图片描述

（2）在net.army.hdfs包里创建CreateFileOnHDFS类

1.右击【net.army.hdfs】包，选择【New】，单击【Java Class】
在这里插入图片描述2.在弹出的对话框中输入：CreateFileOnHDFS，按下回车键，创建成功
在这里插入图片描述

（3）编写create1()方法

create1()源码

@Test                                                    
public void create1() throws Exception {                 
    // 创建配置对象                                            
    Configuration conf = new Configuration();            
    // 定义统一资源标识符（uri: uniform resource identifier）       
    String uri = "hdfs://master:9000";                   
    // 创建文件系统对象（基于HDFS的文件系统）                             
    FileSystem fs = FileSystem.get(new URI(uri), conf);  
    // 创建路径对象（指向文件）                                      
    Path path = new Path(uri + "/ied01/hadoop.txt");     
    // 基于路径对象创建文件                                        
    boolean result = fs.createNewFile(path);             
    // 根据返回值判断文件是否创建成功                                   
    if (result) {                                        
        System.out.println("文件[" + path + "]创建成功！");     
    } else {                                             
        System.out.println("文件[" + path + "]创建失败！");     
    }                                                    
}

注：导包不要导错了，请仔细对照

运行程序，查看结果
在这里插入图片描述在Hadoop WebUI查看
在这里插入图片描述

（4）编写create2()方法，事先判断文件是否存在

create2()源码

@Test                                                                    
public void create2() throws Exception {                                 
    // 创建配置对象                                                            
    Configuration conf = new Configuration();                            
    // 定义统一资源标识符（uri：uniform resource identifier)                        
    String uri = "hdfs://master:9000";                                   
    // 创建文件系统对象（基于HDFS的文件系统）                                             
    FileSystem fs = FileSystem.get(new URI(uri), conf);                  
    // 创建路径对象                                                            
    Path path = new Path(uri + "/ied01/hadoop.txt");                     
    // 判断路径对象指向的文件是否存在                                                   
    if (fs.exists(path)) {                                               
        // 提示用户文件已存在                                                     
        System.out.println("文件[" + path + "]已经存在！");                     
    } else {                                                             
        // 基于路径对象创建文件                                                    
        boolean result = fs.createNewFile(path);                         
        // 根据返回值判断文件是否创建成功                                               
        if (result) {                                                    
            System.out.println("文件[" + path + "]创建成功！");                 
        } else {                                                         
            System.out.println("文件[" + path + "]创建失败！");                 
        }                                                                
    }                                                                    
}

运行程序，查看结果
在这里插入图片描述

06 写入HDFS文件

注：类似于HDFS Shell里的hdfs dfs -put命令

（1）在net.hw.hdfs包里创建WriteFileOnHDFS类

1.右击【net.army.hdfs】包，选择【New】，单击【Java Class】
在这里插入图片描述
2.在弹出的对话框中输入：WriteFileOnHDFS，按下回车键，创建成功
在这里插入图片描述

（2）将数据直接写入HDFS文件

创建write1()方法

write1()源码

@Test                                                  
public void write1() throws Exception {                
    // 创建配置对象                                          
    Configuration conf = new Configuration();          
    // 定义统一资源标识符（uri: uniform resource identifier）     
    String uri = "hdfs://master:9000";                 
    // 创建文件系统对象（基于HDFS的文件系统）                           
    FileSystem fs = FileSystem.get(new URI(uri), conf);
    // 创建路径对象（指向文件）                                    
    Path path = new Path(uri + "/ied01/hello.txt");    
    // 创建文件系统数据字节输出流（出水管：数据从程序到文件）                     
    FSDataOutputStream out = fs.create(path);          
    // 通过字节输出流向文件写数据                                   
    out.write("Hello Hadoop World".getBytes());        
    // 关闭文件系统数据字节输出流                                   
    out.close();                                       
    // 关闭文件系统对象                                        
    fs.close();                                        
    // 提示用户写文件成功                                       
    System.out.println("文件[" + path + "]写入成功！");       
}

运行write1()测试方法，查看结果，抛出RemoteException异常，三个数据节点都在运行，但是无法写入数据
在这里插入图片描述修改代码，设置数据节点主机名属性，如下图所示
在这里插入图片描述运行程序，查看结果
在这里插入图片描述在Hadoop WebUI查看hello.txt文件
在这里插入图片描述

（3）将本地文件写入HDFS文件

在项目根目录创建一个文本文件test.txt

1.右击【HDFSDemo】，选择【New】，单击【File】
在这里插入图片描述2.在弹出的对话框中输入test.txt，按下回车键，创建成功
在这里插入图片描述
3.向test.txt文件添加如下内容：

hello linux world
hello hadoop world
hello zookeeper world
hello hive world
hell hbase world

在这里插入图片描述

创建write2()方法

write2()源码

@Test                                                                          
public void write2() throws Exception {                                        
    // 创建配置对象                                                                  
    Configuration conf = new Configuration();                                  
    // 设置数据节点主机名属性                                                             
    conf.set("dfs.client.use.datanode.hostname", "true");                      
    // 定义统一资源标识符（uri: uniform resource identifier）                             
    String uri = "hdfs://master:9000";                                         
    // 创建文件系统对象（基于HDFS的文件系统）                                                   
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                
    // 创建路径对象（指向文件）                                                            
    Path path = new Path(uri + "/ied01/exam.txt");                             
    // 创建文件系统数据字节输出流（出水管：数据从程序到文件）                                             
    FSDataOutputStream out = fs.create(path);                                  
    // 创建文件字符输入流对象（进水管：数据从文件到程序）                                               
    FileReader fr = new FileReader("test.txt");                                
    // 创建缓冲字符输入流对象                                                             
    BufferedReader br = new BufferedReader(fr);                                
    // 定义行字符串变量                                                                
    String nextLine = "";                                                      
    // 通过循环遍历缓冲字符输入流                                                           
    while ((nextLine = br.readLine()) != null) {                               
        // 在控制台输出读取的行                                                          
        System.out.println(nextLine);                                          
        // 通过文件系统数据字节输出流对象写入指定文件                                               
        out.write((nextLine + "\n").getBytes());                                        
    }                                                                          
    // 关闭缓冲字符输入流                                                               
    br.close();                                                                
    // 关闭文件字符输入流                                                               
    fr.close();                                                                
    // 关闭文件系统数据字节输出流                                                           
    out.close();                                                               
    // 提示用户写入文件成功                                                              
    System.out.println("本地文件[test.txt]成功写入[" + path + "]！");                   
}

运行write2()测试方法，查看结果
在这里插入图片描述
查看/ied01/exam.txt内容，输入命令：hdfs dfs -cat /ied01/exam.txt
在这里插入图片描述

注：其实这个方法的功能就是将本地文件复制（上传）到HDFS，有没有更简单的处理方法呢？有的，通过使用一个工具类IOUtils来完成文件的相关操作。

创建write3()方法

write3()源码

@Test                                                                  
public void write3() throws Exception {                               
    // 创建配置对象                                                          
    Configuration conf = new Configuration();                          
    // 设置数据节点主机名属性                                                     
    conf.set("dfs.client.use.datanode.hostname", "true");              
    // 定义统一资源标识符（uri: uniform resource identifier）                     
    String uri = "hdfs://master:9000";                                 
    // 创建文件系统对象（基于HDFS的文件系统）                                           
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");        
    // 创建路径对象（指向文件）                                                    
    Path path = new Path(uri + "/ied01/test.txt");                     
    // 创建文件系统数据字节输出流（出水管：数据从程序到文件）                                     
    FSDataOutputStream out = fs.create(path);                          
    // 创建文件字节输入流（进水管：数据从文件到程序）                                         
    FileInputStream in = new FileInputStream("test.txt");              
    // 利用IOUtils类提供的字节拷贝方法在控制台显示文件内容                                   
    IOUtils.copyBytes(in, System.out, 1024, false);                    
    // 利用IOUtils类提供的字节拷贝方法来复制文件                                        
    IOUtils.copyBytes(in, out, conf);                                  
    // 关闭文件字节输入流                                                       
    in.close();                                                        
    // 关闭文件系统数据字节输出流                                                   
    out.close();                                                       
    // 提示用户写入文件成功                                                      
    System.out.println("本地文件[test.txt]成功写入[" + path + "]！");           
}

运行write3()测试方法，查看结果
在这里插入图片描述

在webui界面查看创建的文件，大小为0B，说明没有成功写入，是怎么肥事呢？
在这里插入图片描述原来是因为字节输入流的数据已经输出到到控制台，此时字节输入流里已经没有数据，此时执行IOUtils.copyBytes(in, out, conf);，因此输出流肯定也没有数据可以写入文件，那该怎么办呢？

那当然是再次读取文件，让字节输入流有数据。
在这里插入图片描述运行write3()方法，查看结果
在这里插入图片描述
再到webui界面，查看/ied01/test.txt文件，数据成功写入了
在这里插入图片描述

07 读取HDFS文件

注：相当于Shell里的两个命令：hdfs dfs -cat和hdfs dfs -get

（1）在net.hw.hdfs包里创建ReadFileOnHDFS类

1.右击【net.army.hdfs】包，选择【New】，单击【Java Class】
在这里插入图片描述
2.在弹出的对话框中输入：ReadFileOnHDFS，按下回车键，创建成功
在这里插入图片描述

（2）读取HDFS文件直接在控制台显示

准备读取hdfs://master:9000/ied01/test.txt文件
在这里插入图片描述创建read1()方法

read1()源码

@Test                                                                 
public void read1() throws Exception {                                
    // 创建配置对象                                                         
    Configuration conf = new Configuration();                         
    // 设置数据节点主机名属性                                                    
    conf.set("dfs.client.use.datanode.hostname", "true");             
    // 定义统一资源标识符（uri: uniform resource identifier）                    
    String uri = "hdfs://master:9000";                                
    // 创建文件系统对象（基于HDFS的文件系统）                                          
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");       
    // 创建路径对象（指向文件）                                                   
    Path path = new Path(uri + "/ied01/test.txt");                    
    // 创建文件系统数据字节输入流（进水管：数据从文件到程序）                                    
    FSDataInputStream in = fs.open(path);                             
    // 创建缓冲字符输入流，提高读取效率（字节流-->字符流-->缓冲流）                              
    BufferedReader br = new BufferedReader(new InputStreamReader(in));
    // 定义行字符串变量                                                       
    String nextLine = "";                                             
    // 通过循环遍历缓冲字符输入流                                                  
    while ((nextLine = br.readLine()) != null) {                      
        // 在控制台输出读取的行                                                 
        System.out.println(nextLine);                                 
    }                                                                 
    // 关闭缓冲字符输入流                                                      
    br.close();                                                       
    // 关闭文件系统数据字节输入流                                                  
    in.close();                                                       
    // 关闭文件系统                                                         
    fs.close();                                                       
}

运行read1()测试方法，查看结果
在这里插入图片描述其实，我们可以使用IOUtils类来简化代码，创建read2()测试方法

read2()源码

@Test                                                          
public void read2() throws Exception {                         
    // 创建配置对象                                                  
    Configuration conf = new Configuration();                  
    // 设置数据节点主机名属性                                             
    conf.set("dfs.client.use.datanode.hostname", "true");      
    // 定义统一资源标识符（uri: uniform resource identifier）             
    String uri = "hdfs://master:9000";                         
    // 创建文件系统对象（基于HDFS的文件系统）                                   
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
    // 创建路径对象（指向文件）                                            
    Path path = new Path(uri + "/ied01/test.txt");             
    // 创建文件系统数据字节输入流（进水管：数据从文件到程序）                             
    FSDataInputStream in = fs.open(path);                      
    // 读取文件在控制台显示，显示完后关闭流                                      
    IOUtils.copyBytes(in, System.out, 1024, true);             
}

运行read2()测试方法，查看结果
在这里插入图片描述

（3）读取HDFS文件，保存为本地文件

任务：将/ied01/test.txt下载到项目的download目录里

创建download目录
右击【HDFSDemo】，选择【New】，单击【Directory】，在弹出的对话框中输入：download，按下回车键，创建成功
在这里插入图片描述在这里插入图片描述
在这里插入图片描述创建read3()方法

read()3源码

@Test                                                                           
public void read3() throws Exception {                                          
    // 创建配置对象                                                                   
    Configuration conf = new Configuration();                                   
    // 设置数据节点主机名属性                                                              
    conf.set("dfs.client.use.datanode.hostname", "true");                       
    // 定义统一资源标识符（uri: uniform resource identifier）                              
    String uri = "hdfs://master:9000";                                          
    // 创建文件系统对象（基于HDFS的文件系统）                                                    
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                 
    // 创建路径对象（指向文件）                                                             
    Path path = new Path(uri + "/ied01/test.txt");                              
    // 创建文件系统数据字节输入流（进水管：数据从文件到程序）                                              
    FSDataInputStream in = fs.open(path);                                       
    // 创建文件字节输出流（出水管：数据从程序到文件）                                                  
    FileOutputStream out = new FileOutputStream("download/exam.txt");           
    // 利用IOUtils工具类读取HDFS文件（靠输入流），写入本地文件（靠输出流）                                  
    IOUtils.copyBytes(in, out, conf);                                           
    // 关闭文件字节输出流                                                                
    out.close();                                                                
    // 关闭文件系统数据字节流输入流                                                           
    in.close();                                                                 
    // 关闭文件系统                                                                   
    fs.close();                                                                 
    // 提示用户文件下载成功                                                               
    System.out.println("文件[" + path + "]下载到本地文件[download/exam.txt]！");          
}

运行read3()测试方法，查看结果
在这里插入图片描述

08 重命名目录或文件

注：相当于Shell里的hdfs dfs -mv命令

（1）在net.hw.hdfs包里创建RenameDirOrFile类

1.右击【net.army.hdfs】包，选择【New】，单击【Java Class】
在这里插入图片描述2.在弹出的对话框中输入：RenameDirOrFile，按下回车键，创建成功
在这里插入图片描述

（2）重命名目录

任务：将/ied01目录更名为/lzy01

编写renameDir()方法

renameDir()源码

@Test                                                                                               
public void renameDir() throws Exception {                                                          
    // 创建配置对象                                                                                       
    Configuration conf = new Configuration();                                                       
    // 设置数据节点主机名属性                                                                                  
    conf.set("dfs.client.use.datanode.hostname", "true");                                           
    // 定义统一资源标识符（uri: uniform resource identifier）                                                  
    String uri = "hdfs://master:9000";                                                              
    // 创建文件系统对象（基于HDFS的文件系统）                                                                        
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                                     
    // 创建源路径对象（指向目录）                                                                                
    Path sourcePath = new Path(uri + "/ied01");                                                     
    // 创建目标路径对象（指向目录）                                                                               
    Path destinationPath = new Path(uri + "/lzy01");                                                
    // 利用文件系统对象重命名目录                                                                                
    fs.rename(sourcePath, destinationPath);                                                         
    // 关闭文件系统                                                                                       
    fs.close();                                                                                     
    // 提示用户目录更名成功                                                                                   
    System.out.println("目录[" + sourcePath.getName() + "]更名为目录[" + destinationPath.getName() + "]！");
}

运行renameDir()方法，查看结果
在这里插入图片描述在Hadoop WebUI界面查看
在这里插入图片描述

（3）重命名文件

任务：将lzy01目录下的hello.txt重命名为hi.txt

创建renameFile()方法

renameFile()源码

@Test                                                                                                      
public void renameFile() throws Exception {                                                                
    // 创建配置对象                                                                                              
    Configuration conf = new Configuration();                                                              
    // 设置数据节点主机名属性                                                                                         
    conf.set("dfs.client.use.datanode.hostname", "true");                                                  
    // 定义统一资源标识符（uri: uniform resource identifier）                                                         
    String uri = "hdfs://master:9000";                                                                     
    // 创建文件系统对象（基于HDFS的文件系统）                                                                               
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                                            
    // 创建源路径对象（指向文件）                                                                                       
    Path sourcePath = new Path(uri + "/lzy01/hello.txt");                                                  
    // 创建目标路径对象（指向文件）                                                                                      
    Path destinationPath = new Path(uri + "/lzy01/hi.txt");                                                
    // 利用文件系统对象重命名文件                                                                                       
    fs.rename(sourcePath, destinationPath);                                                                
    // 关闭文件系统                                                                                              
    fs.close();                                                                                            
    // 提示用户文件更名成功                                                                                          
    System.out.println("文件[" + sourcePath.getName() + "]更名为文件[" + destinationPath.getName() + "]！");       
}

运行renameFile()测试方法，查看结果
在这里插入图片描述在Hadoop WebUI界面查看
在这里插入图片描述

09 显示文件列表

（1）在net.hw.hdfs包里创建ListHDFSFiles类

1.右击【net.army.hdfs】包，选择【New】，单击【Java Class】
在这里插入图片描述
2.在弹出的对话框中输入：ListHDFSFiles，按下回车键，创建成功
在这里插入图片描述

（2）显示指定目录下文件全部信息

任务：显示/lzy01目录下的文件列表

在这里插入图片描述创建list1()方法
在这里插入图片描述文件系统对象的listFiles()方法第二个参数设置true，这样可以将/lzy01目录的一切文件，包括子目录里的文件，都一网打尽

list1()源码

@Test                                                                             
public void list1() throws Exception {                                            
    // 创建配置对象                                                                     
    Configuration conf = new Configuration();                                     
    // 设置数据节点主机名属性                                                                
    conf.set("dfs.client.use.datanode.hostname", "true");                         
    // 定义uri字符串                                                                   
    String uri = "hdfs://master:9000";                                            
    // 创建文件系统对象                                                                   
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                   
    // 创建远程迭代器对象，泛型是位置文件状态类（相当于`hdfs dfs -ls -R /lzy01`）                          
    RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("/lzy01"), true);
    // 遍历远程迭代器                                                                    
    while (ri.hasNext()) {                                                        
        System.out.println(ri.next());                                            
    }                                                                             
}

运行list1()测试方法，查看结果
在这里插入图片描述
上述文件状态对象封装的有关信息，可以通过相应的方法来获取，比如getPath()方法就可以获取路径信息，getLen()方法就可以获取文件长度信息……

（3）显示指定目录下文件路径和长度信息

编写list2()方法
在这里插入图片描述

list2()源码

@Test                                                                                                 
public void list2() throws Exception {                                                                
    // 创建配置对象                                                                                         
    Configuration conf = new Configuration();                                                         
    // 设置数据节点主机名属性                                                                                    
    conf.set("dfs.client.use.datanode.hostname", "true");                                             
    // 定义uri字符串                                                                                       
    String uri = "hdfs://master:9000";                                                                
    // 创建文件系统对象                                                                                       
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                                       
    // 创建远程迭代器对象，泛型是位置文件状态类（相当于`hdfs dfs -ls -R /lzy01`）                                              
    RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("/lzy01"), true);                    
    // 遍历远程迭代器                                                                                        
    while (ri.hasNext()) {                                                                            
        LocatedFileStatus lfs = ri.next();                                                            
        System.out.println(lfs.getPath() + " " + lfs.getLen() + "字节");                                
    }                                                                                                 
}

运行list2()测试方法，查看结果
在这里插入图片描述对照Hadoop WebUI上给出的文件长度信息
在这里插入图片描述

10 获取文件块信息

任务：获取/lzy01/apache-hive-3.1.3-bin.tar.gz文件块信息

在这里插入图片描述
hive压缩包会分割成3个文件块
在这里插入图片描述

（1）在net.hw.hdfs包里创建GetBlockLocations类

1.右击【net.army.hdfs】包，选择【New】，单击【Java Class】
在这里插入图片描述
2.在弹出的对话框中输入：GetBlockLocations，按下回车键，创建成功
在这里插入图片描述

（2）用getFileBlockLocations()方法来获取物理切块信息

在这里插入图片描述

注：参数说明

  • Path p：文件路径
  • long start：起点
  • long len：长度

（3）编写代码，获取文件块信息

在这里插入图片描述

源码：

package net.army.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
import java.util.Arrays;
/**
 * 作者：Army
 * 日期：2022/12/12
 * 功能：获取文件块信息
 */

public class GetBlockLocations {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向文件
        Path path = new Path("/lzy01/apache-hive-3.1.3-bin.tar.gz");
        // 获取文件块信息
        BlockLocation[] blks = fs.getFileBlockLocations(path, 0, Integer.MAX_VALUE);
        // 利用Lambda表达式遍历块信息
        Arrays.asList(blks).forEach(blk -> System.out.println(blk));
    }
}

尝试用传统for循环、增强for循环或迭代器来遍历块信息

// 利用增强for循环遍历块信息                                                   
for (BlockLocation blk : blks) {                                  
    System.out.println(blk);                                      
}    
                                                             
// 利用传统for循环遍历块信息                                                   
for (int i = 0; i < blks.length; i++) {                           
    System.out.println(blks[i]);                                  
}    
                                                             
// 利用迭代器遍历块信息                                                       
Iterator<BlockLocation> iterator = Arrays.asList(blks).iterator();  
while (iterator.hasNext()) {                                        
     System.out.println(iterator.next());                            
}

运行程序，查看结果（切点位置，块大小，块存在位置）
在这里插入图片描述
由此可见，apache-hive-3.1.3-bin.tar.gz被hive物理切分成3块，前2块长度均为134217728字节（128MB），第3块长度为58505211字节（55.80MB）。

11 创建目录

任务：在HDFS上创建/ied01目录

（1）在net.hw.hdfs包里创建MakeDirOnHDFS类

1.右击【net.army.hdfs】包，选择【New】，单击【Java Class】
在这里插入图片描述
2.在弹出的对话框中输入：MakeDirOnHDFS，按下回车键，创建成功
在这里插入图片描述

（2）编写代码，创建目录

源代码

package net.army.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
/**
 * 作者：Army
 * 日期：2022/12/12
 * 功能：在HDFS上创建目录
 */

public class MakeDirOnHDFS {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向目录
        Path path = new Path("/ied01");
        // 利用文件系统创建指定目录
        boolean result = fs.mkdirs(path);
        // 判断目录是否创建成功
        if (result) {
            System.out.println("目录[" + path + "]创建成功！" );
        } else {
            System.out.println("目录[" + path + "]创建失败！" );
        }
    }
}

运行程序，查看结果
在这里插入图片描述
在Hadoop WebUI界面查看
在这里插入图片描述

12 判断目录或文件是否存在

任务：判断HDFS上/ied01目录是否存在，判断/ied01/hadoop.txt文件是否存在

（1）在net.hw.hdfs包里创建DirFileExistsOrNot类

1.右击【net.army.hdfs】包，选择【New】，单击【Java Class】
在这里插入图片描述
2.在弹出的对话框中输入：DirFileExistsOrNot，按下回车键，创建成功
在这里插入图片描述

（2）创建dirExists()方法

在这里插入图片描述dirExists()源码

@Test                                                          
public void dirExists() throws Exception {                     
    // 创建配置对象                                                  
    Configuration conf = new Configuration();                  
    // 设置数据节点主机名属性                                             
    conf.set("dfs.client.use.datanode.hostname", "true");      
    // 定义uri字符串                                                
    String uri = "hdfs://master:9000";                         
    // 创建文件系统对象                                                
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
    // 创建路径对象，指向目录                                             
    Path path = new Path("/ied01");                            
    // 判断目录是否存在                                                
    if (fs.exists(path)) {                                     
        System.out.println("目录[" + path + "]存在！");             
    } else {                                                   
        System.out.println("目录[" + path + "]不存在！");            
    }                                                          
}

运行dirExists()方法，查看结果
在这里插入图片描述
修改代码，再测试
在这里插入图片描述在这里插入图片描述

（3）创建fileExists()方法

在这里插入图片描述fileExists()源码

@Test                                                                  
public void fileExists() throws Exception {                            
    // 创建配置对象                                                          
    Configuration conf = new Configuration();                          
    // 设置数据节点主机名属性                                                     
    conf.set("dfs.client.use.datanode.hostname", "true");              
    // 定义uri字符串                                                        
    String uri = "hdfs://master:9000";                                 
    // 创建文件系统对象                                                        
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");        
    // 创建路径对象，指向文件                                                     
    Path path = new Path("/ied01/music.txt");                          
    // 判断文件是否存在                                                        
    if (fs.exists(path)) {                                             
        System.out.println("文件[" + path + "]存在！");                     
    } else {                                                           
        System.out.println("文件[" + path + "]不存在！");                    
    }                                                                  
}

运行fileExists()方法，查看结果
在这里插入图片描述

13 判断Path指向目录还是文件

（1）在net.hw.hdfs包里创建PathToFileOrDir类

1.右击【net.army.hdfs】包，选择【New】，单击【Java Class】
在这里插入图片描述
2.在弹出的对话框中输入：PathToFileOrDir，按下回车键，创建成功
在这里插入图片描述

（2）编写代码，进行判断

PathToFileOrDir源码

package net.army.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

/**
 * 作者：Army
 * 日期：2022/12/12
 * 功能：判断路径指向目录还是文件
 */

public class PathToFileOrDir {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");

        // 创建路径对象，指向目录
        Path path1 = new Path("/ied08");
        if (fs.isDirectory(path1)) {
            System.out.println("[" + path1 + "]指向的是目录！");
        } else {
            System.out.println("[" + path1 + "]指向的是文件！");
        }

        // 创建路径对象，指向文件
        Path path2 = new Path("/lzy01/howard.txt");
        if (fs.isFile(path2)) {
            System.out.println("[" + path2 + "]指向的是文件！");
        } else {
            System.out.println("[" + path2 + "]指向的是目录！");
        }
    }
}

运行程序，查看结果
在这里插入图片描述结果明显不对，说明程序逻辑上有问题，原因在于/ied08目录不存在，/lzy01/howard.txt文件不存在，修改代码，加上目录或文件存在与否的判断
在这里插入图片描述运行程序，查看结果
在这里插入图片描述
修改代码，改成存在的目录和文件
在这里插入图片描述运行程序，查看结果
在这里插入图片描述

最终源码

package net.army.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

/**
 * 作者：Army
 * 日期：2022/12/12
 * 功能：判断路径指向目录还是文件
 */

public class PathToFileOrDir {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");

        // 创建路径对象，指向目录
        Path path1 = new Path("/ied01");
        if (fs.exists(path1)) {
            if (fs.isDirectory(path1)) {
                System.out.println("[" + path1 + "]指向的是目录！");
            } else {
                System.out.println("[" + path1 + "]指向的是文件！");
            }
        } else {
            System.out.println("路径[" + path1 + "]不存在！");
        }


        // 创建路径对象，指向文件
        Path path2 = new Path("/lzy01/test.txt");
        if (fs.exists(path2)) {
            if (fs.isFile(path2)) {
                System.out.println("[" + path2 + "]指向的是文件！");
            } else {
                System.out.println("[" + path2 + "]指向的是目录！");
            }
        } else {
            System.out.println("路径[" + path2 + "]不存在！");
        }
    }
}

14 删除目录或文件

注：类似于HDFS Shell里的hdfs dfs -rmdir和hdfs dfs -rm -r命令

（1）在net.hw.hdfs包里创建DeleteFileOrDir类

1.右击【net.army.hdfs】包，选择【New】，单击【Java Class】
在这里插入图片描述
2.在弹出的对话框中输入：DeleteFileOrDir，按下回车键，创建成功
在这里插入图片描述

（2）删除文件

任务：删除/lzy01/hi.txt文件

在这里插入图片描述创建deleteFile()方法
在这里插入图片描述deleteFile()源码

@Test                                                          
public void deleteFile() throws Exception {                    
    // 创建配置对象                                                  
    Configuration conf = new Configuration();                  
    // 设置数据节点主机名属性                                             
    conf.set("dfs.client.use.datanode.hostname", "true");      
    // 定义uri字符串                                                
    String uri = "hdfs://master:9000";                         
    // 创建文件系统对象                                                
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
    // 创建路径对象（指向文件）                                            
    Path path = new Path(uri + "/lzy01/hi.txt");               
    // 删除路径对象指向的文件（第二个参数表明是否递归，删除文件，不用递归）                      
    boolean result = fs.delete(path, false);                   
    // 根据返回结果提示用户                                              
    if (result) {                                              
        System.out.println("文件[" + path + "]删除成功！");           
    } else {                                                   
        System.out.println("文件[" + path + "]删除失败！");           
    }                                                          
}

运行deleteFile()测试方法，查看结果
在这里插入图片描述在Hadoop WebUI界面查看，已经没有hi.txt文件了
在这里插入图片描述再运行deleteFile()测试方法，查看结果
在这里插入图片描述
我们可以设计在删除文件之前，判断文件是否存在，需要修改代码
在这里插入图片描述
源码

@Test                                                          
public void deleteFile() throws Exception {                    
    // 创建配置对象                                                  
    Configuration conf = new Configuration();                  
    // 设置数据节点主机名属性                                             
    conf.set("dfs.client.use.datanode.hostname", "true");      
    // 定义uri字符串                                                
    String uri = "hdfs://master:9000";                         
    // 创建文件系统对象                                                
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
    // 创建路径对象（指向文件）                                            
    Path path = new Path(uri + "/lzy01/hi.txt");               
    // 判断路径对象指向的文件是否存在                                         
    if (fs.exists(path)) {                                     
        // 删除路径对象指向的文件（第二个参数表明是否递归，删除文件，不用递归）                  
        boolean result = fs.delete(path, false);               
        // 根据返回结果提示用户                                          
        if (result) {                                          
            System.out.println("文件[" + path + "]删除成功！");       
        } else {                                               
            System.out.println("文件[" + path + "]删除失败！");       
        }                                                      
    } else {                                                   
        System.out.println("文件[" + path + "]不存在！");            
    }                                                          
}

再运行deleteFile()测试方法，查看结果
在这里插入图片描述

（3）删除目录

任务：删除/lzy01目录

编写deleteDir()方法
在这里插入图片描述deleteDir()源码

@Test                                                             
public void deleteDir() throws Exception {                        
    // 创建配置对象                                                     
    Configuration conf = new Configuration();                     
    // 设置数据节点主机名属性                                                
    conf.set("dfs.client.use.datanode.hostname", "true");         
    // 定义uri字符串                                                   
    String uri = "hdfs://master:9000";                            
    // 创建文件系统对象                                                   
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");   
    // 创建路径对象（指向目录）                                               
    Path path = new Path(uri + "/lzy01");                         
    // 判断路径对象指向的目录否存在                                             
    if (fs.exists(path)) {                                        
        // 删除路径对象指向的目录（第二个参数表明是否递归，删除文件，要递归）                      
        boolean result = fs.delete(path, true);                   
        // 根据返回结果提示用户                                             
        if (result) {                                             
            System.out.println("目录[" + path + "]删除成功！");          
        } else {                                                  
            System.out.println("目录[" + path + "]删除失败！");          
        }                                                         
    } else {                                                      
        System.out.println("目录[" + path + "]不存在！");               
    }                                                             
}

运行deleteDir()方法，查看结果
在这里插入图片描述再运行deleteDir()方法，查看结果
在这里插入图片描述

（4）删除目录或文件

注：进行三个层面的判断：判断是否存在、判断类型（目录或文件）、判断删除是否成功

任务：删除/ied02/read.txt文件和/lzy01目录

在这里插入图片描述编写delete()方法
在这里插入图片描述
运行程序，查看结果
在这里插入图片描述
再次运行程序，查看结果
在这里插入图片描述

源码

@Test                                                           
public void delete() throws Exception {                         
    // 创建配置对象                                                   
    Configuration conf = new Configuration();                   
    // 设置数据节点主机名属性                                              
    conf.set("dfs.client.use.datanode.hostname", "true");       
    // 定义uri字符串                                                 
    String uri = "hdfs://master:9000";                          
    // 创建文件系统对象                                                 
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root"); 
    // 定义随机对象                                                   
    Random random = new Random();                               
    // 产生随机整数 - [0, 1]                                          
    int choice = random.nextInt(100) % 2;                       
    // 定义路径字符串                                                  
    String[] strPath = {"/ied02/read.txt", "/lzy01"};           
    // 创建路径对象（指向目录或文件）                                          
    Path path = new Path(uri + strPath[choice]);                
    // 判断存在性                                                    
    if (fs.exists(path)) {                                      
        // 判断类型：目录或文件                                           
        String type = "";                                       
        if (fs.isDirectory(path)) {                             
            type = "目录";                                        
        } else {                                                
            type = "文件";                                        
        }                                                       
        // 删除路径对象指向的目录或文件                                       
        boolean result = fs.delete(path, true);                 
        // 判断删除是否成功                                             
        if (result) {                                           
            System.out.println(type + "[" + path + "]删除成功！");   
        } else {                                                
            System.out.println(type + "[" + path + "]删除失败！");   
        }                                                       
    } else {                                                    
        System.out.println("路径[" + path + "]不存在！");             
    }                                                           
}
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

使用IDEA工具，通过Java API 操作 HDFS （文件/目录的操作，含源码，详细操作步骤） 的相关文章

  • 使用MeshLab软件处理pcd点云文件

    目录 前言1 安装MeshLab软件2 利用pcl库将pcd文件转成ply文件3 利用MeshLab旋转ply点云4 将ply文件转为pcd文件5 将ply文件转为pcd文件 xff08 添加读取配置文件版本 xff09 前言 在使用D43

  • 用C/C++读取配置文件的小例子

    这里提供了一个用C C 43 43 读取配置文件的简单框架 xff0c 具体内容可以依据自己的需要修改 GitHub上面的链接 xff1a https github com YuanpengDuan read config 新建一个文件夹

  • 洛谷P1080 [NOIP2012 提高组] 国王游戏

    此题用到的算法有贪心和高精度计算 高精度 高精度真的太折磨人了 xff0c 我搞了好久好久 xff08 PS xff1a python可跳过这一步 xff0c 它自带高精度 一开始我想用long long 但这个数据长度已经超过long l

  • Python中统一快速更换变量的名称

    首先 xff0c 选中需要更改的变量名称 xff0c 其次按下 Ctrl 43 R xff0c 就会出现如下的界面 其次输入你要替换成的变量名字 例如下方截图 xff0c 我要将num替换为str1 最后 xff0c 点击 Replace

  • Linux Qt程序打包

    前言 当我们在linux系统上开发一些工具时 xff0c 想快速分发给相关人员使用时 xff0c 我们可以把开发的相关依赖进行打包 xff0c 然后分发使用 xff0c 其中打包过程中遇到一些问题 xff0c 在没有安装Qt的机器上运行回报

  • word转pdf保持图片清晰度

    今天写论文的遇到两个问题 1 word插入的图片清晰度不够高 xff0c 放大之后不清晰了 2 word里面清晰度高 xff0c 但是转pdf之后放大不清晰了 问题1解决办法 xff1a word中 gt 插入图片 gt 右键选择图片 按照

  • c++字符串连接函数strcat_s

    格式 int a 100 61 0 int b 100 61 0 strcat s a b 功能 把字符数组2 b 连到字符数组1 a 后面 字符数组1必须足够大 连接前两串以 0 结束

  • Python语音合成探究（二、朗读文本的编码问题）

    语音合成时 xff0c 选取的朗读文本大多是网上收集来的TXT 文件 xff0c 有些文件会因为编码原因打开不了 xff0c 程序运行出错 如同样是 离骚 txt 文档 xff0c 用 with open 39 离骚 txt 39 as f

  • 关于Windows上的Android子系统安装

    Win11早些时候的版本公式里展示的安卓系统 Windows Subsystem for Android 简称WSA xff0c 现在可以在电脑中使用 xff0c 过了一年多的时间才想起还有个这种功能 xff0c 在安装时也是发现一些小细节

  • 大一上学期C++课程设计——学生成绩管理系统（QT项目）

    这里是一个大一的萌新 xff01 仅做学习分享 工程文件在评论区置顶 xff01 xff01 近期整理了一下大一上学期的课程设计报告作为学习总结 xff0c 使用的软件是Qt Creator xff0c 主界面效果如下图 QT具体环境如下图

  • 单片机控制直流电机(风扇)电路详解

    单片机引脚为什么无法直接控制电机或风扇 xff1f 我们在使用单片机去控制 43 5V的直流电机或者散热风扇时 xff0c 可能会有一种疑惑 xff0c 51单片机的引脚电压为 43 5V xff0c 为什么不直接用单片机引脚去驱动电机或者

  • [NOIP2002 普及组] 过河卒

    题目描述 棋盘上 AA 点有一个过河卒 xff0c 需要走到目标 BB 点 卒行走的规则 xff1a 可以向下 或者向右 同时在棋盘上 CC 点有一个对方的马 xff0c 该马所在的点和所有跳跃一步可达的点称为对方马的控制点 因此称之为 马

  • Qt学习笔记（5）

    目录 一 菜单栏 MenuBar 二 工具栏 ToolBar 三 状态栏 StatusBar 四 浮动窗口 DockWidget 五 右键菜单 六 托盘菜单 一 菜单栏 MenuBar 只能有一个 创建的最上方 菜单栏有两种方式可以创建 x

  • ftp 命令访问 ftp服务器

    服务端与客户端 登录到FTP服务器时 xff0c 你可以看到服务端的文件 xff0c 这个时候就要有一个区分 xff0c 一个是服务端 xff0c 一个是客户端 xff0c 你发起连接的这台电脑就叫做客户端 xff0c 要连接的FTP服务器

  • day13-面向对象3

    一 私有权限 封装的意义 xff1a 将属性和方法放到一起做为一个整体 xff0c 然后通过实例化对象来处理 xff1b 隐藏内部实现细节 xff0c 只需要和对象及其属性和方法交互就可以了 xff1b 对类的属性和方法增加 访问权限控制

  • 如何在Linux下安装软件，以移植安装libjpeg解码库为例(总结)

    首先 xff0c 从软件官方网站或者其它渠道获取安装软件源码包 xff0c 选择所需软件版本 xff0c 解压放到一个自定义目录下 安装Linux软件通常需要如下三个步骤 xff1a 步骤一 xff1a xff1a configure xx

  • keil5里错误怎么解决Undefined symbol STM32_Control (referred from main.o).

    解决方法 xff1a 遇见这样的问题是忘记添加 xff08 c xff09 文件了 xff0c 如果不知道添加哪个 xff0c 可以根据下面显示的错误点击转到定义文件 xff0c 和 c文件 哪个没有就是缺少哪个文件啦 xff0c 直接添加

  • Ubuntu 安装CUDA

    1 查看操作系统的发行版号和操作系统版本 uname a Linux herri01 HP Z4 G4 Workstation 5 15 0 48 generic 54 Ubuntu SMP Fri Aug 26 13 26 29 UTC

  • 用冒泡法对10个整数从小到大排序。

    第一次学冒泡排序 xff0c 给十个数进行排序 xff0c 我们用到的是冒泡法 xff0c 每次将最大的一个数放到最后 xff0c 由于前九次已经把后面的序列排好 xff0c 所以一共只需要进行九次即可 xff1b 同时在进行第i次排序的时

  • spring boot集成mybatis-plus——Mybatis Plus 批量 Insert_新增数据（图文讲解）

    Mybatis Plus 批量 Insert 新增数据 图文讲解 更新时间 2023 01 10 16 02 58 前言 大家好 xff0c 我是小哈 本小节中 xff0c 我们将学习如何通过 Mybatis Plus 实现 MySQL 批

随机推荐

热门标签