我正在尝试将批量评分的输出写入数据湖:
parallel_step_name = "batchscoring-" + datetime.now().strftime("%Y%m%d%H%M")
output_dir = PipelineData(name="scores",
datastore=def_ADL_store,
output_mode="upload",
output_path_on_compute="path in data lake")
parallel_run_config = ParallelRunConfig(
environment=curated_environment,
entry_script="use_model.py",
source_directory="./",
output_action="append_row",
mini_batch_size="20",
error_threshold=1,
compute_target=compute_target,
process_count_per_node=2,
node_count=2
)
batch_score_step = ParallelRunStep(
name=parallel_step_name,
inputs=[test_data.as_named_input("test_data")],
output=output_dir,
parallel_run_config=parallel_run_config,
allow_reuse=False
)
但是我遇到错误:“code”:“UserError”,
"message": "用户程序失败并出现异常:缺少参数 --output 或其值为空。"
如何将批量评分结果写入数据湖?
我认为 ADLS 不受支持PipelineData
。我的建议是使用工作区的默认 blob 存储PipelineData
,然后使用DataTransferStep
对于之后的ParallelRunStep
完成了。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)