使用 gcloud cli 执行具有多个输入/输出的 Dataflow 作业

我在 Dataprep 中设计了数据转换，现在尝试使用 Dataflow 中的模板来运行它。我的流程有多个输入和输出 - 数据流模板将它们作为 json 对象提供，其中每个输入和位置都有键/值对。它们看起来像这样（添加换行符以便于阅读）：

{
    "location1": "project:bq_dataset.bq_table1",
    #...
    "location10": "project:bq_dataset.bq_table10",
    "location17": "project:bq_dataset.bq_table17"
}

我有 17 个输入（主要是查找）和 2 个输出（1 个 csv，1 个 bigquery）。我将这些传递给gcloudCLI 像这样：

gcloud dataflow jobs run job-201807301630 /
    --gcs-location=gs://bucketname/dataprep/dataprep_template /
    --parameters inputLocations={"location1":"project..."},outputLocations={"location1":"gs://bucketname/output.csv"}

但我收到错误：

ERROR: (gcloud.dataflow.jobs.run) unrecognized arguments:
inputLocations=location1:project:bq_dataset.bq_table1,outputLocations=location2:project:bq_dataset.bq_output1
inputLocations=location10:project:bq_dataset.bq_table10,outputLocations=location1:gs://bucketname/output.csv

从错误消息来看，它似乎正在合并输入和输出，这样当我有两个输出时，每两个输入都与两个输出配对：

input1:output1
input2:output2
input3:output1
input4:output2
input5:output1
input6:output2
...

我尝试引用输入/输出对象（单和双，加上删除对象中的引号），将它们包装在[]，使用波形符但没有欢乐。有人设法执行具有多个输入的数据流作业吗？

经过大量的尝试和错误，我终于找到了解决方案。涉及几个步骤。

格式为--parameters

The --parametersargument 是字典类型的参数。您可以通过键入以下内容来阅读文档中的详细信息gcloud topic escaping在 CLI 中，但简而言之，这意味着您需要一个=之间--parameters和参数，格式为 key=value 对，值用引号括起来 ("):

--parameters=inputLocations="object",outputLocations="object"

逃离物体

然后，对象需要转义引号以避免过早结束该值，因此

{"location1":"gcs://bucket/whatever"...

Becomes

{\"location1\":\"gcs://bucket/whatever\"...

选择不同的分隔符

接下来，CLI 会感到困惑，因为虽然键=值对用逗号分隔，但值在对象中也有逗号。因此，您可以通过将其放在克拉之间来定义不同的分隔符（^) 在参数的开头和键=值对之间：

--parameters=^*^inputLocations="{"\location1\":\"...\"}"*outputLocations="{"\location1\":\"...\"}"

I used *因为;不起作用 - 也许是因为它标志着 CLI 命令的结束？谁知道。

另请注意，gcloud topic escaping信息说：

在 Windows 上的 cmd.exe 和 PowerShell 中，^ 是一个特殊字符， 你必须通过重复它来逃避它。在下面的例子中，每次 你看到^，将其替换为^^^^。

别忘了customGcsTempLocation

经历了这一切之后，我忘记了customGcsTempLocation需要添加到 key=value 对中--parameters争论。不要忘记用一个将它与其他的分开*并再次将其括在引号中：

...}*customGcsTempLocation="gs://bucket/whatever"

在线文档中几乎没有对此进行解释，因此我一生中的几天都不会回来 - 希望我能在这方面帮助其他人。