在 Redshift 中,我运行以下命令将数据从表卸载到 S3 中的文件中:
unload('select * from table')
to 's3://bucket/unload/file_'
iam_role 'arn:aws:iam:<aws-account-id>:role/<role_name>'
我想在 Python 中做同样的事情 - 有什么建议如何复制这个吗?我看到了使用访问密钥和秘密的示例,但这对我来说不是一个选择 - 需要在非公共存储桶上使用基于角色的凭据。
您将需要两组凭据。通过 IAM 角色访问 S3 存储桶的 IAM 凭证和用于执行 SQL 命令的 Redshift ODBC 凭证。
创建一个连接到 Redshift 的 Python 程序,其方式类似于 SQL Server 等其他数据库,并执行查询。该程序将需要 Redshift 登录凭据,而不是 IAM 凭据(Redshift 用户名、密码)。
S3 的 IAM 凭证作为角色分配给 Redshift,以便 Redshift 可以将结果存储在 S3 上。这是iam_role 'arn:aws:iam:<aws-account-id>:role/<role_name>'
您的问题中 Redshift 查询的一部分。
您不需要 boto3(或 boto)来访问 Redshift,除非您计划实际与 Redshift API 交互(它不访问存储在 Redshift 内的数据库)。
以下是访问 Redshift 的示例 Python 程序。这段代码的链接是here。信用由于瓦伦·维尔马
Internet 上还有其他示例可以帮助您入门。
############ REQUIREMENTS ####################
# sudo apt-get install python-pip
# sudo apt-get install libpq-dev
# sudo pip install psycopg2
# sudo pip install sqlalchemy
# sudo pip install sqlalchemy-redshift
##############################################
import sqlalchemy as sa
from sqlalchemy.orm import sessionmaker
#>>>>>>>> MAKE CHANGES HERE <<<<<<<<<<<<<
DATABASE = "dbname"
USER = "username"
PASSWORD = "password"
HOST = "host"
PORT = ""
SCHEMA = "public" #default is "public"
####### connection and session creation ##############
connection_string = "redshift+psycopg2://%s:%s@%s:%s/%s" % (USER,PASSWORD,HOST,str(PORT),DATABASE)
engine = sa.create_engine(connection_string)
session = sessionmaker()
session.configure(bind=engine)
s = session()
SetPath = "SET search_path TO %s" % SCHEMA
s.execute(SetPath)
###### All Set Session created using provided schema #######
################ write queries from here ######################
query = "unload('select * from table') to 's3://bucket/unload/file_' iam_role 'arn:aws:iam:<aws-account-id>:role/<role_name>';"
rr = s.execute(query)
all_results = rr.fetchall()
def pretty(all_results):
for row in all_results :
print "row start >>>>>>>>>>>>>>>>>>>>"
for r in row :
print " ----" , r
print "row end >>>>>>>>>>>>>>>>>>>>>>"
pretty(all_results)
########## close session in the end ###############
s.close()
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)