Amazon Redshift 提供使用“复制”命令从 s3 对象加载表数据的功能。他们是使用复制命令的一种方法,但也为每个插入的行设置额外的“col=CONSTANT”。
我想在每个复制的行上设置一个 job_id (不在源数据中),我认为当“copy”获取时,必须执行几百万次插入,以便每行都有一个作业属性,这将是一种耻辱我已经完成了 99%,并且表现更好。
也许有更聪明的解决方案?
如果您希望在单个 COPY 命令中添加的所有行都具有相同的 job_id 值,那么您可以将数据复制到临时表中,然后将 job_id 列添加到该表中,然后将临时表中的所有数据插入最终表中,如下所示:
CREATE TABLE destination_staging (LIKE destination);
ALTER TABLE destination_staging DROP COLUMN job_id;
COPY destination_staging FROM 's3://data/destination/(...)' (...)
ALTER TABLE destination_staging ADD COLUM job_id INT DEFAULT 42;
INSERT INTO destination SELECT * FROM destination_staging ORDER BY sortkey_column;
DROP TABLE destination_staging;
ANALYZE TABLE destination;
VACUUM destination;
ANALYZE 和 VACUUM 不是必需的,但强烈建议这样做,以便更新查询分析器并将所有新数据放入正确的位置。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)