我正在 Amazon AWS 上使用 Elastic Mapreduce 基础设施。 jowflow 自动终止。根据亚马逊控制台，最后一次状态更改原因是：“作业流程中的所有从站都被终止”。
创建作业流命令：
elastic-mapreduce --create --name MyCluster --alive --instance-group master --instance-type m1.xlarge --instance-count 1 --bid-price 2.0 --instance-group core --instance-type m1.xlarge --instance-count 10 --bid-price 2.0 --hive-interactive --enable-debugging
Details about jobflow :
日志的最后几行...
Total MapReduce jobs = 2
Launching Job 1 out of 2
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
set mapred.reduce.tasks=<number>
Starting Job = job_201310231204_0099, Tracking URL = http://ip-10-197-16-105.us-west-1.compute.internal:9100/jobdetails.jsp?jobid=job_201310231204_0099
Kill Command = /home/hadoop/bin/hadoop job -Dmapred.job.tracker=10.197.16.105:9001 -kill job_201310231204_0099
2013-10-23 14:11:38,618 Stage-1 map = 0%, reduce = 0%
2013-10-23 14:11:48,741 Stage-1 map = 100%, reduce = 0%
正如您在上面的日志中看到的那样，不会抛出任何错误。
我认为原因是什么
我认为这是因为现货实例价格突然上涨所致。更多详细信息请参见我下面的回答。
我在这里回答我自己的问题。
我认为这是因为现货实例价格突然上涨所致。对于 m1.xlarge 实例，我的出价是每个实例每小时 2 美元。
AWS 控制台现货实例定价快照：
您可以注意到定价的蓝色跳跃。我的出价是 2 美元，实际价格跳至 11 美元。因此我的集群被自动杀死。