在Python中使用Hadoop处理大型csv文件

我有一个巨大的 CSV 文件，想在 Amazon EMR (python) 上使用 Hadoop MapReduce 进行处理。

该文件有 7 个字段，但是我只查看date and quantity field.

 "date" "receiptId" "productId" "quantity"  "price" "posId" "cashierId"

首先，我的mapper.py

import sys

def main(argv):
    line = sys.stdin.readline()
    try:
        while line:
            list = line.split('\t')

            #If date meets criteria, add quantity to express key
                if int(list[0][11:13])>=17 and int(list[0][11:13])<=19:
                    print '%s\t%s' % ("Express", int(list[3]))
            #Else, add quantity to non-express key
                else:
                    print '%s\t%s' % ("Non-express", int(list[3]))

            line =  sys.stdin.readline()
except "end of file":
        return None
if __name__ == "__main__":
        main(sys.argv)

对于减速器，我将使用流命令：aggregate。

问题：

1. 我的代码对吗？我在 Amazon EMR 中运行它，但输出为空。

2. 所以我的最终结果应该是：快递，XXX和非快递，YYY。我可以让它在返回结果之前进行除法运算吗？只是 XXX/YYY 的结果。我应该把这段代码放在哪里？减速机？？

3. 另外，这是一个巨大的 CSV 文件，那么映射会将其分成几个分区吗？或者我是否需要显式调用 FileSplit？如果是这样，我该怎么做？

在这里回答我自己的问题！

1. 代码错误。如果您使用聚合库来减少，您的输出不会遵循通常的键值对。它需要一个“前缀”。

   if int(list[0][11:13])>=17 and int(list[0][11:13])<=19:
       #This is the correct way of printing for aggregate library
       #Print all as a string.
       print  "LongValueSum:" + "Express" + "\t" + list[3]
   

   其他可用的“前缀”有：DoubleValueSum、LongValueMax、LongValueMin、StringValueMax、StringValueMin、UniqValueCount、ValueHistogram。欲了解更多信息，请看这里http://hadoop.apache.org/common/docs/r0.15.2/api/org/apache/hadoop/mapred/lib/aggregate/package-summary.html http://hadoop.apache.org/common/docs/r0.15.2/api/org/apache/hadoop/mapred/lib/aggregate/package-summary.html.

2. 是的，如果您想做的不仅仅是基本总和、最小值、最大值或计数，您需要编写自己的减速器。

3. 我还没有答案。