如何解析一个巨大的 JSON 文件而不将其加载到内存中

我有一个很大的 JSON 文件 (2.5MB)，包含大约 80000 行。

它看起来像这样：

{
  "a": 123,
  "b": 0.26,
  "c": [HUGE irrelevant object],
  "d": 32
}

我只想为键存储整数值a, b and d并忽略 JSON 的其余部分（即忽略 JSON 中的任何内容）c value).

我无法修改原始 JSON，因为它是由第三方服务创建的，我从其服务器下载该服务。

如何在不将整个文件加载到内存中的情况下执行此操作？

我尝试使用gson https://github.com/google/gson库并创建了这样的 bean：

public class MyJsonBean {
  @SerializedName("a")
  @Expose
  public Integer a;

  @SerializedName("b")
  @Expose
  public Double b;

  @SerializedName("d")
  @Expose
  public Integer d;
}

但即便如此，为了使用 Gson 反序列化它，我需要先下载并读取内存中的整个文件，然后将其作为字符串传递给 Gson？

File myFile = new File(<FILENAME>);
myFile.createNewFile();

URL url = new URL(<URL>);
OutputStream out = new BufferedOutputStream(new FileOutputStream(myFile));
URLConnection conn = url.openConnection();

HttpURLConnection httpConn = (HttpURLConnection) conn;

InputStream in = conn.getInputStream();
byte[] buffer = new byte[1024];

int numRead;
while ((numRead = in.read(buffer)) != -1) {
  out.write(buffer, 0, numRead);
}

FileInputStream fis = new FileInputStream(myFile);
byte[] data = new byte[(int) myFile.length()];
fis.read(data);
String str = new String(data, "UTF-8");

Gson gson = new Gson();
MyJsonBean response = gson.fromJson(str, MyJsonBean.class);

System.out.println("a: " + response.a + "" + response.b + "" + response.d);

有什么方法可以避免加载整个文件并只获取我需要的相关值？

您绝对应该检查不同的方法和库。如果您真的关心性能检查：Gson, Jackson https://github.com/FasterXML/jackson-databind and JsonPath https://github.com/json-path/JsonPath库来做到这一点并选择最快的一个。当然你必须加载整个JSON文件可能在本地磁盘上TMP文件夹并在之后解析它。

Simple JsonPath解决方案可能如下所示：

import com.jayway.jsonpath.DocumentContext;
import com.jayway.jsonpath.JsonPath;

import java.io.File;

public class JsonPathApp {
    public static void main(String[] args) throws Exception {
        File jsonFile = new File("./resource/test.json").getAbsoluteFile();

        DocumentContext documentContext = JsonPath.parse(jsonFile);
        System.out.println("" + documentContext.read("$.a"));
        System.out.println("" + documentContext.read("$.b"));
        System.out.println("" + documentContext.read("$.d"));
    }
}

请注意，我没有创建任何POJO，只需使用读取给定值JSONPath特征类似于XPath。你可以做同样的事情Jackson:

import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;

import java.io.File;

public class JsonPathApp {
    public static void main(String[] args) throws Exception {
        File jsonFile = new File("./resource/test.json").getAbsoluteFile();

        ObjectMapper mapper = new ObjectMapper();
        JsonNode root = mapper.readTree(jsonFile);
        System.out.println(root.get("a"));
        System.out.println(root.get("b"));
        System.out.println(root.get("d"));
    }
}

我们不需要JSONPath因为我们需要的值直接在root节点。如你看到的，API看起来几乎一样。我们还可以创建POJO结构：

import com.fasterxml.jackson.annotation.JsonIgnoreProperties;
import com.fasterxml.jackson.databind.ObjectMapper;

import java.io.File;
import java.math.BigDecimal;

public class JsonPathApp {
    public static void main(String[] args) throws Exception {
        File jsonFile = new File("./resource/test.json").getAbsoluteFile();

        ObjectMapper mapper = new ObjectMapper();
        Pojo pojo = mapper.readValue(jsonFile, Pojo.class);
        System.out.println(pojo);
    }
}

@JsonIgnoreProperties(ignoreUnknown = true)
class Pojo {
    private Integer a;
    private BigDecimal b;
    private Integer d;

    // getters, setters
}

即便如此，两个库都允许读取JSON有效负载直接来​​自URL我建议使用您能找到的最佳方法在另一个步骤中下载它。欲了解更多信息，请阅读这篇文章：从 Java 中的 URL 下载文件 https://www.baeldung.com/java-download-file.