Spring批处理文件归档

2024-03-06

我目前正在学习 Spring Batch,并且面临着文件归档任务的挑战。基本上我需要读取单独的 CSV 文件并将它们放入一个新的存档文件夹中,并在原始文件名后附加当前日期。我想知道的是如何从 multiResourceItemReader 获取原始文件名,在 FlatfileItemWriter 中使用它作为文件名+日期,然后删除原始文件。

这是我当前的代码:

@Autowired
public JobBuilderFactory jobBuilderFactory;

@Autowired
public StepBuilderFactory stepBuilderFactory;

@Value("classpath*:/data/CSV_FOR_ARCHIVING*.csv")
private Resource inputFiles[];

@Bean
public MultiResourceItemReader<Person> multiResourceItemReader() {
    MultiResourceItemReader<Person> itemReader = new MultiResourceItemReader<>();

    itemReader.setDelegate(personItemReader());
    itemReader.setResources(inputFiles);

    return itemReader;
}

@Bean
public FlatFileItemReader<Person> personItemReader() {
    FlatFileItemReader<Person> itemReader = new FlatFileItemReader<>();

    itemReader.setLinesToSkip(1);

    DefaultLineMapper<Person> personLineMapper = new DefaultLineMapper<>();

    DelimitedLineTokenizer tokenizer = new DelimitedLineTokenizer();
    tokenizer.setNames(new String[] { "id", "firstName", "lastName", "email", "gender" });

    personLineMapper.setLineTokenizer(tokenizer);
    personLineMapper.setFieldSetMapper(new PersonFieldSetMapper());
    personLineMapper.afterPropertiesSet();

    itemReader.setLineMapper(personLineMapper);

    return itemReader;
}

@Bean
public FlatFileItemWriter<Person> jsonWriter() throws Exception {
    FlatFileItemWriter<Person> personWriter = new FlatFileItemWriter<>();

    personWriter.setLineAggregator(new PersonLineAggregator());
    File outputPath = File.createTempFile("PersonOutput", ".csv", new File("C:/Users/default/Documents"));
    System.out.println("Output Path: " + outputPath.getAbsolutePath());

    personWriter.setResource(new FileSystemResource(outputPath));
    personWriter.afterPropertiesSet();

    return personWriter;
}

@Bean
public Step step1() throws Exception {
    return stepBuilderFactory.get("step1").<Person, Person>chunk(10)
            .listener(new ItemReaderListener())
            .reader(multiResourceItemReader())
            .writer(jsonWriter())
            .build();
}

@Bean
public Job job() throws Exception {
    return jobBuilderFactory.get("job")
            .start(step1())
            .build();
}

单独读取和存档的 CSV 文件 https://i.stack.imgur.com/6P3Sm.png

编辑1: 感谢@Niraj 的回答,我已经实现了 ResourceAware,并且已经可以获得文件名。现在我的新问题是如何告诉我的 FlatFileItemWriter 在每次资源更改时创建并写入新文件?


使用ResourceAware接口获取当前文件名。 ResourceSuffixCreator 接口可根据您的需要创建后缀

http://docs.spring.io/spring-batch/trunk/apidocs/org/springframework/batch/item/ResourceAware.html http://docs.spring.io/spring-batch/trunk/apidocs/org/springframework/batch/item/ResourceAware.html http://docs.spring.io/spring-batch/apidocs/org/springframework/batch/item/file/ResourceSuffixCreator.html http://docs.spring.io/spring-batch/apidocs/org/springframework/batch/item/file/ResourceSuffixCreator.html

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Spring批处理文件归档 的相关文章

  • JAVA 中的 Composer 相当于什么? [关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我目前从 PHP 转向 java 有没有类似的工具composer https getcomposer org 在 PHP 中用于 JAV
  • 了解 netty 通道缓冲区和水印

    我正在尝试了解网络缓冲区和水印 作为一个测试用例 我有一个 netty 服务器 它向客户端写入数据 客户端被阻止 基本上每次读取之间有 10 秒的睡眠时间 在正常 I O 下 如果接收方被阻塞 TCP 发送方将受到限制 由于流量控制 发送速
  • 如何在 Android 中的 Chrome 或 Firefox 等特定浏览器的 Web 视图中加载应用程序

    我是 Android 新手 我正在做一个应用程序 我需要在平板电脑上的 Web 视图中加载现有的应用程序 在平板电脑中 当我使用 Web 视图加载应用程序时 我的应用程序将加载到默认浏览器中 如何在平板电脑上的 Web 视图中的特定浏览器
  • 使用全局变量从内部函数获取空字符串

    请帮助我解决一些小问题 我确信你能做到 D 我试图在 firestore 文档 user cases information 上设置一个字段 其中包含一个字段 case number 首先我声明这个全局变量 private String c
  • Java Junit 测试 HTTP POST 请求

    我需要测试以下方法而不改变方法本身 该方法向服务器发出 POST 方法 但我需要制作一个独立于服务器的测试用例 在将其重定向到本地文件之前 我测试了类似的方法 但为此我将协议指定为文件 主机名指定为 localhost 端口指定为 1 我的
  • spring 批流作业 VS spring 组合任务

    我想使用 spring complex task 执行我的应用程序 并且我已经构建了执行完美的复杂 spring batch Flow Jobs 您能解释一下 spring 批处理流作业与 spring 组合任务之间有什么区别吗 其中哪一个
  • Spring 5.0.3 依赖问题

    升级到 spring 5 0 3 后我遇到以下问题 09 25 29 141 ERROR org jboss msc service fail ServerService Thread Pool 175 MSC000001 Failed t
  • 使用 Jena 查询维基数据

    目前 Wikidata 有一个 SPARQL 端点 https query wikidata org https query wikidata org 我想使用 Jena 3 0 1 查询此网站 我使用以下代码 但收到错误消息 端点返回的
  • FileObserver 不适用于 Android 6.0 Marshmallow (API 23) 中的外部存储

    我有一个应用程序可以观察外部存储上的公共目录FileObserver 它运行良好Lollipop设备 我想添加对Marshmallow 所以我用它设置了一台 Nexus 9 平板电脑 在 Marshmallow 设备上 它失败 在 Loll
  • 绘制平滑曲线

    我想创建更平滑的曲线 而不仅仅是线角 这是我现在画的图 这是我的代码 case FREEHAND float pts float ptk ptk new float 2 imageMatrix invert inv if mCurrentS
  • 在拇指上方显示修改后的 JSlider 值

    有没有一种简单的方法可以在使用某些 外观和感觉 的同时更改 JSlider 上方标签中显示的值 为了清楚起见 我正在谈论这个值 具体来说 我想显示除以 1000 的值而不是值本身 我知道如果我显示它们 我可以为刻度设置标签 但用户将不得不猜
  • 但是创建静态实用方法不应该被过度使用吗?如何避免呢? [关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 随着时间的推移 java项目中引入了许多实用方法来完成更复杂和简单的任务 当使用静态方法时 我们在代码中引入了紧密耦合 这使得我们的代
  • Java 中如何验证字符串的格式是否正确

    我目前正在用 Java 编写一个验证方法来检查字符串是否是要更改为日期的几种不同格式之一 我希望它接受的格式如下 MM DD YY M DD YY MM D YY 和 M D YY 我正在测试第一种格式 每次它都告诉我它无效 即使我输入了有
  • 从 CLI 部署 Maven 项目?

    在 IDE 中构建并运行良好 cd home thufir NetBeansProjects HelloMaven JAVA HOME usr lib jvm java 8 openjdk amd64 home thufir local s
  • 接口是否像对象一样对待?

    为什么下面的代码可以工作 interface I class A implements I public String toString return in a class B extends A public String toStrin
  • 如何在 spring-data 中强制使用 CrudRepository 进行预加载?

    我有一个实体 其中包含List就是这样lazy默认加载 interface MyEntityRepository extends CrudRepository
  • Java 8 方法签名不一致

    Java 8 为我们提供了具有很长签名的新方法 如下所示 static
  • 无法连接到docker中的elasticsearch容器

    我正在尝试使用 docker 的官方 elasticsearch 镜像 我遵循了本指南 https www elastic co guide en elasticsearch reference current docker html但是当
  • java.lang.UnsatisfiedLinkError - android studio gradle 中的 NDK?

    文件夹结构 app main java jni Android mk Application mk hello jni c res 在构建 gradle apply plugin com android application androi
  • Java 中序列化的目的是什么?

    我读过很多关于序列化的文章 以及它如何如此美好和伟大 但没有一个论点足够令人信服 我想知道是否有人能真正告诉我通过序列化一个类我们真正可以实现什么 让我们先定义序列化 然后我们才能讨论它为什么如此有用 序列化只是将现有对象转换为字节数组 该

随机推荐