以极高的速度获取行

我在 Oracle 中有一个非常大的表（数亿行，包含数字和字符串），我需要读取该表的所有内容，对其进行格式化并写入文件或任何其他资源。 一般来说，我的解决方案如下所示：

package my.odp;

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.TimeUnit;
import java.lang.Throwable;
import java.sql.*;


public class Main {
public static volatile boolean finished = false;

public static void main(final String[] args) throws InterruptedException {
    final ArrayBlockingQueue<String> queue = new ArrayBlockingQueue<String>(10000);
    final Thread writeWorker = new Thread("ODP Writer") {
        public void run() {
            try {
                File targetFile = new File(args[0]);
                FileWriter fileWriter = new FileWriter(targetFile);
                BufferedWriter writer = new BufferedWriter(fileWriter);
                String str;
                try {
                    while (!finished) {
                        str = queue.poll(200, TimeUnit.MILLISECONDS);
                        if (str == null) {
                            Thread.sleep(50);
                            continue;
                        }
                        writer.write(str);
                        writer.write('\n');
                    }
                } catch (InterruptedException e) {
                    writer.close();
                    return;
                }
            }
            catch (Throwable e) {
                e.printStackTrace();
                return;
            }
        }
    };

    final Thread readerThread = new Thread("ODP Reader") {
        public void run() {
            try {
                Class.forName("oracle.jdbc.OracleDriver");
                Connection conn = DriverManager.getConnection("jdbc:oracle:thin:@//xxx.xxx.xxx.xxx:1521/orcl", "user", "pass");

                Statement stmt = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
                stmt.setFetchSize(500000);
                ResultSet rs = stmt.executeQuery("select * from src_schema.big_table_view");
                System.out.println("Fetching result");
                while (rs.next()) {
                    StringBuilder sb = new StringBuilder();
                    sb.append(rs.getString(1)).append('\t');//OWNER
                    sb.append(rs.getString(2)).append('\t');//OBJECT_NAME
                    sb.append(rs.getString(3)).append('\t');//SUBOBJECT_NAME
                    sb.append(rs.getLong(4)).append('\t');//OBJECT_ID
                    sb.append(rs.getLong(5)).append('\t');//DATA_OBJECT_ID
                    sb.append(rs.getString(6)).append('\t');//OBJECT_TYPE
                    sb.append(rs.getString(7)).append('\t');//CREATED
                    sb.append(rs.getString(8)).append('\t');//LAST_DDL_TIME
                    sb.append(rs.getString(9)).append('\t');//TIMESTAMP
                    sb.append(rs.getString(10)).append('\t');//STATUS
                    sb.append(rs.getString(11)).append('\t');//TEMPORARY
                    sb.append(rs.getString(12)).append('\t');//GENERATED
                    sb.append(rs.getString(13)).append('\t');//SECONDARY
                    sb.append(rs.getString(14)).append('\t');//NAMESPACE
                    sb.append(rs.getString(15));//EDITION_NAME
                    queue.put(sb.toString());
                }

                rs.close();
                stmt.close();
                conn.close();
                finished = true;
            } catch (Throwable e) {
                e.printStackTrace();
                return;
            }
        }
    };
    long startTime = System.currentTimeMillis();
    writeWorker.start();
    readerThread.start();
    System.out.println("Waiting for join..");
    writeWorker.join();
    System.out.println("Exit:"+ (System.currentTimeMillis() - startTime));
}

}

有两个线程：一个用于从结果集中获取行，另一个用于写入字符串值。测得的加载速度约为 10Mb/s，就我而言，我需要将其速度提高 10 倍。 Profiler 显示最耗时的方法是

oracle.jdbc.driver.OracleResultSetImpl.getString()

and

oracle.net.ns.Packet.receive()

您有什么想法如何使 jdbc 更快地加载数据吗？ 任何关于查询优化、字符串加载优化、调整 JDBC 驱动程序或使用另一个驱动程序、直接使用 oracle JDBC 实现、调整 Oracle 的想法都值得赞赏。

UPDATE:我将讨论结果整理并列出如下：

1. 除了连接到 Oracle 数据库之外，我无法访问 DBMS 服务器，并且服务器无法连接到任何外部资源。无法应用任何使用服务器或远程文件系统的转储和提取实用程序，也无法在服务器上安装和使用任何外部 java 或 PL/SQL 例程。仅用于执行查询的连接 - 仅此而已。

2. 我使用了探查器并挖掘了 Oracle JDBC 驱动程序。我发现最昂贵的操作是读取数据，即 Socket.read()。所有字符串字段都表示为一个字符数组，对性能几乎没有影响。一般来说，我使用探查器检查了整个应用程序，并且 Socket.read() 绝对是最昂贵的操作。提取字段、构建字符串、写入数据几乎不消耗任何资源。问题仅在于读取数据。

3. 服务器端数据表示的任何优化都不会产生实际效果。连接字符串和转换时间戳不会影响性能。

4. 应用程序被重写为具有多个读取器线程，这些线程将准备好的数据放入写入器队列中。每个线程都有自己的连接，没有使用池，因为它们会减慢提取速度（我使用了oracle推荐的UCP池，它消耗了大约10%的执行时间，所以我放弃了）。结果集 fetchSize 也有所增加，因为从默认值 (10) 切换到 50000 可带来高达 50% 的性能增长。

5. 我测试了多线程版本如何与 4 个读取线程配合使用，发现增加读取器数量只会减慢提取速度。 我尝试启动 2 个实例，每个实例都有两个读取器，并且都与单个实例同时工作，即双数据提取需要与单实例相同的时间。不知道为什么会发生这种情况，但看起来 oracle 驱动程序有一些性能限制。具有 4 个独立连接的应用程序比具有 2 个连接的 2 个应用程序实例运行速度慢。 （探查器用于确保驱动程序的 Socket.read() 仍然是主要问题，所有其他部分在多线程模式下工作正常）。

6. 我尝试使用 SAS 获取所有数据，它执行相同提取的速度比 JDBC 快 2 倍，两者都使用与 Oracle 的单一连接，并且不能使用任何转储操作。 Oracle 确保 JDBC 瘦驱动程序与本机驱动程序一样快。

也许 Oracle 有另一种方法可以通过 ODBC 或其他方式快速提取到远程主机？

假设您已经检查了基本的网络内容，例如接口、防火墙、代理以及数据库服务器的硬件元素。

选项1 ：

代替 ：

Class.forName("oracle.jdbc.OracleDriver");
Connection conn = DriverManager.getConnection("jdbc:oracle:thin:@//xxx.xxx.xxx.xxx:1521/orcl", "user", "pass");

尝试使用：

OracleDataSource ods = new OracleDataSource();
java.util.Properties prop = new java.util.Properties();
prop.setProperty("MinLimit", "2");
prop.setProperty("MaxLimit", "10");
String url = "jdbc:oracle:oci8:@//xxx.xxx.xxx.xxx:1521/orcl";
ods.setURL(url);
ods.setUser("USER");
ods.setPassword("PWD");
ods.setConnectionCachingEnabled(true);
ods.setConnectionCacheProperties (prop);
ods.setConnectionCacheName("ImplicitCache01");

更多细节here http://docs.oracle.com/cd/B19306_01/java.102/b14355/concache.htm

选项 2：获取大小

正如斯蒂芬强烈指出的那样，fetchsize 似乎太大了。

并且，对于 500,000 的获取大小，您的 -Xms 和 -Xmx 是多少。另外，在分析器中，最大堆大小是多少？

选项 3：数据库

• 检查索引和查询计划src_schema.big_table_view

• 这是一个工具还是一个应用系统。如果只是一个工具，你可以 基于数据库系统添加并行度、索引提示、分区等 能力

选项 4：线程

Say n

你可以开始了n写入器的线程，每个线程都配置为处理某个存储桶，例如thread1 处理 0 到 10000，写入n不同的文件，一旦所有线程完成，后连接，最好使用低级操作系统命令将文件合并在一起。

也就是说，所有这些都不应该是像现在这样的预定义代码。'n'并且桶应该在运行时计算。创建超过系统支持的线程数量只会搞砸。

选项 5：

代替

select * from src_schema.big_table_view

你可以使用

SELECT column1||CHR(9)||column2||CHR(9).....||columnN FROM src_schema.big_table_view

这可以避免创建 500000StringBuilders and Strings。 （假设不涉及其他复杂的格式）。 CHR(9) 是制表符。

选项 6：

同时，您还可以向 DBA 检查是否存在任何数据库系统问题，并提出 SR甲骨文支持 https://support.oracle.com.