BigQuery JDBC 驱动程序返回的行数不会超过 100,000 行

2024-04-01

我在 Pentaho PDI 中使用 Google BigQuery 的 starschema JDBC 驱动程序:

http://code.google.com/p/starschema-bigquery-jdbc/ http://code.google.com/p/starschema-bigquery-jdbc/

我通过 BigQuery Web 控制台的查询返回 129,993 行,但当我通过 JDBC 驱动程序执行相同的查询时,它仅返回 100,000 行。是否有某种我不知道的选项或限制?


StarSchema 代码看起来只返回结果的第一页。

代码在这里here https://code.google.com/p/starschema-bigquery-jdbc/source/browse/src/main/java/net/starschema/clouddb/jdbc/BQSupportFuncts.java#330应更新以获得其余结果。它应该看起来像:

public static GetQueryResultsResponse getQueryResults(Bigquery bigquery,
        String projectId, Job completedJob) throws IOException {        
    GetQueryResultsResponse queryResult = bigquery.jobs()
            .getQueryResults(projectId,
                    completedJob.getJobReference().getJobId()).execute();
    while(queryResult.getTotalRows() > queryResult.getRows().size()) {
        queryResult.getRows().addAll(
            bigquery.jobs()
                .getQueryResults(projectId,
                        completedJob.getJobReference().getJobId())
                .setStartIndex(queryResult.getRows().size())
                .execute()
                .getRows());            
    }
    return queryResult;
}
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

BigQuery JDBC 驱动程序返回的行数不会超过 100,000 行 的相关文章

随机推荐