我正在使用 SQLAlchemy 1.1.0b 将大量数据批量插入到 PostgreSQL 中,并且遇到了重复的键错误。
from sqlalchemy import *
from sqlalchemy.orm import sessionmaker
from sqlalchemy.ext.automap import automap_base
import pg
engine = create_engine("postgresql+pygresql://" + uname + ":" + passw + "@" + url)
# reflectively load the database.
metadata = MetaData()
metadata.reflect(bind=engine)
session = sessionmaker(autocommit=True, autoflush=True)
session.configure(bind=engine)
session = session()
base = automap_base(metadata=metadata)
base.prepare(engine, reflect=True)
table_name = "arbitrary_table_name" # this will always be arbitrary
mapped_table = getattr(base.classses, table_name)
# col and col2 exist in the table.
chunks = [[{"col":"val"},{"col2":"val2"}],[{"col":"val"},{"col2":"val3"}]]
for chunk in chunks:
session.bulk_insert_mappings(mapped_table, chunk)
session.commit()
当我运行它时,我得到这个:
sqlalchemy.exc.IntegrityError: (pg.IntegrityError) ERROR: duplicate key value violates unique constraint <constraint>
我似乎无法正确实例化mapped_table
as a Table()
对象,要么。
我正在处理时间序列数据,因此我正在批量抓取数据,并且时间范围内有一些重叠。我想做批量更新插入以确保数据一致性。
对大型数据集进行批量更新插入的最佳方法是什么?我知道PostgreSQL 支持更新插入 https://stackoverflow.com/questions/17267417/how-to-upsert-merge-insert-on-duplicate-update-in-postgresql现在,但我不知道如何在 SQLAlchemy 中执行此操作。
from https://stackoverflow.com/a/26018934/465974 https://stackoverflow.com/a/26018934/465974
找到这个命令后,我能够执行 upserts,但它是
值得一提的是,对于批量“更新插入”来说,此操作速度很慢。
另一种方法是获取您想要的主键列表
upsert,并在数据库中查询任何匹配的 id:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)