我正在 ADF 中进行自定义活动,其中涉及从 Azure 存储 Blob 读取多个文件,对它们进行一些处理,最后将生成的文件写入 Azure Data Lake Store。
最后一步是我停止的地方,因为据我所知,.NET SDK 只允许从本地文件上传。
有没有办法(以编程方式)将文件上传到 ADL Store,它所在的位置not从本地文件?可能是一个 blob 或一个流。如果没有,有什么解决方法吗?
是的,可以从 Stream 上传,技巧是先创建文件,然后将流附加到其中:
string dataLakeAccount = "DLSAccountName";
var adlsFileSystemClient = new DataLakeStoreFileSystemManagementClient(credentials);
adlsFileSystemClient.FileSystem.Create(dataLakeAccount, filepath, overwrite: true);
adlsFileSystemClient.FileSystem.Append(dataLakeAccount, filepath, stream);
也可以看看本文 https://learn.microsoft.com/en-us/azure/data-lake-store/data-lake-store-data-operations-net-sdk.
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)