在尝试连接时本地hadoop与AZURE BLOB存储(即使用作为 HDFS 的 Blob 存储)和
Hadoop 版本 - 2.7.1,它抛出异常
这里我已经通过设置属性成功形成了本地集群
<property>
<name>fs.default.name</name>
<value>wasb://accoun[email protected] /cdn-cgi/l/email-protection</value>
</property>
后面是 core-site.xml 中 Blob 存储的键值。
列出文件或制作时HDFS操作到 blob 存储,得到以下异常
ls: No FileSystem for scheme: wasb
任何人请指导我解决上述问题。
- 你需要添加hadoop-azure.jar http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-azure/2.7.1在 hadoop 类路径中。
- 下载azure-存储-java https://github.com/Azure/azure-storage-java项目并使用 maven 构建它,然后您将获得 azure-storage-3.0.0.jar。将构建的 jar 添加到 hadoop 类路径中。
现在您可以进行所有操作。参考Azure Blob 存储 https://hadoop.apache.org/docs/stable/hadoop-azure/index.html文档以获取更多信息。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)