无法使用 SparkSubmitOperator 执行 Spark 作业

我能跑Spark工作使用BashOperator但我想用SparkSubmitOperator对于它使用Spark 独立模式.

Here's my DAG for SparkSubmitOperator and 堆栈跟踪

args = {
    'owner': 'airflow',
    'start_date': datetime(2018, 5, 24)
}
dag = DAG('spark_job', default_args=args, schedule_interval="*/10 * * * *")

operator = SparkSubmitOperator(
    task_id='spark_submit_job',
    application='/home/ubuntu/test.py',
    total_executor_cores='1',
    executor_cores='1',
    executor_memory='2g',
    num_executors='1',
    name='airflow-spark',
    verbose=False,
    driver_memory='1g',
    conf={'master':'spark://xx.xx.xx.xx:7077'},
    dag=dag,
)

查看源代码spark_submit_hook它似乎_resolve_connection()总是设置master=yarn。我该如何改变master 属性值 by Spark独立主 URL？我可以设置运行哪些属性Spark job in 独立模式?

您可以使用 Airflow Web UI 创建新连接或更改spark-default联系。

大师可以local, yarn, spark://HOST:PORT, mesos://HOST:PORT and k8s://https://<HOST>:<PORT>.

您还可以在附加中提供以下命令：

{"queue": "root.default", "deploy_mode": "cluster", "spark_home": "", "spark_binary": "spark-submit", "namespace": "default"}

“spark-submit”二进制文件应该位于 PATH 中，或者 Spark-home 在连接的额外部分中设置。