我需要构建一个实用程序类来测试与 HDFS 的连接。测试应显示 HDFS 的服务器端版本和任何其他元数据。虽然有很多可用的客户端演示,但没有关于提取服务器元数据的内容。有人可以帮忙吗?
请注意,我的客户端是远程 java 客户端,没有 hadoop 和 HDFS 配置文件来初始化配置。我需要通过使用 URL 动态连接到 HDFS 名称节点服务来完成此操作。
Hadoop 通过 HTTP 公开一些您可以使用的信息。看Cloudera http://www.cloudera.com/blog/2009/08/hadoop-default-ports-quick-reference/的文章。
可能最简单的方法是连接到NN
UI 和解析内容
服务器返回:
URL url = new URL("http://myhost:50070/dfshealth.jsp");
BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream()));
...
另一方面,如果您知道 NN 和 JT 的地址,则可以连接到它们
使用像这样的简单客户端(Hadoop 0.20.0-r1056497):
import java.net.InetSocketAddress;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hdfs.DFSClient;
import org.apache.hadoop.hdfs.protocol.ClientProtocol;
import org.apache.hadoop.hdfs.protocol.DatanodeInfo;
import org.apache.hadoop.hdfs.protocol.FSConstants.DatanodeReportType;
import org.apache.hadoop.mapred.ClusterStatus;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.util.VersionInfo;
public class NNConnTest {
private enum NNStats {
STATS_CAPACITY_IDX(0,
"Total storage capacity of the system, in bytes: ");
//... see org.apache.hadoop.hdfs.protocol.ClientProtocol
private int id;
private String desc;
private NNStats(int id, String desc) {
this.id = id;
this.desc = desc;
}
public String getDesc() {
return desc;
}
public int getId() {
return id;
}
}
private enum ClusterStats {
//see org.apache.hadoop.mapred.ClusterStatus API docs
USED_MEM {
@Override
public String getDesc() {
String desc = "Total heap memory used by the JobTracker: ";
return desc + clusterStatus.getUsedMemory();
}
};
private static ClusterStatus clusterStatus;
public static void setClusterStatus(ClusterStatus stat) {
clusterStatus = stat;
}
public abstract String getDesc();
}
public static void main(String[] args) throws Exception {
InetSocketAddress namenodeAddr = new InetSocketAddress("myhost",8020);
InetSocketAddress jobtrackerAddr = new InetSocketAddress("myhost",8021);
Configuration conf = new Configuration();
//query NameNode
DFSClient client = new DFSClient(namenodeAddr, conf);
ClientProtocol namenode = client.namenode;
long[] stats = namenode.getStats();
System.out.println("NameNode info: ");
for (NNStats sf : NNStats.values()) {
System.out.println(sf.getDesc() + stats[sf.getId()]);
}
//query JobTracker
JobClient jobClient = new JobClient(jobtrackerAddr, conf);
ClusterStatus clusterStatus = jobClient.getClusterStatus(true);
System.out.println("\nJobTracker info: ");
System.out.println("State: " +
clusterStatus.getJobTrackerState().toString());
ClusterStats.setClusterStatus(clusterStatus);
for (ClusterStats cs : ClusterStats.values()) {
System.out.println(cs.getDesc());
}
System.out.println("\nHadoop build version: "
+ VersionInfo.getBuildVersion());
//query Datanodes
System.out.println("\nDataNode info: ");
DatanodeInfo[] datanodeReport = namenode.getDatanodeReport(
DatanodeReportType.ALL);
for (DatanodeInfo di : datanodeReport) {
System.out.println("Host: " + di.getHostName());
System.out.println(di.getDatanodeReport());
}
}
}
确保您的客户应该使用same
Hadoop 版本与您的集群不同EOFException
可能会发生。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)