迭代 pandas 数据框，检查值并创建其中的一些值

好的，我有一个（大）数据框，如下所示：

         date       time      value
0     20100201         0         1
1     20100201         6         2
2     20100201        12         3
3     20100201        18         4
4     20100202         0         5
5     20100202         6         6
6     20100202        12         7
7     20100202        18         8
8     20100203         0         9
9     20100203        18        11
10    20100204         6        12
...
8845  20160101        18      8846  

如您所见，数据框有一列date，一列time每天四个小时（00、06、12、18）和一栏value.

问题是数据框中缺少日期，在上面的示例中，第 8 行和第 9 行之间应该有两行，对应于小时6 and 12当日的20100203，以及第 9 行和第 10 行之间对应于小时的额外行0当日的20100204.

我需要什么？我想重复一下date数据框的列，检查每一天都存在并且没有人丢失，并且每天都有四个小时（00,06,12,18）。如果迭代期间缺少某些内容，则应添加exactly那个地方，失踪的人date and time and NaN作为一个值。为了不再次复制所有数据框，让我把最终版本中应该出现的相关方面放在一起：

...
7     20100202        18         8
8     20100203         0         9
9     20100203         6       NaN
10    20100203        12       NaN   
11    20100203        18        11
12    20100204         0       NaN
13    20100204         6        12
...

如果您有兴趣，这里提出了这个问题的更简单版本python 中的模块化算法迭代 pandas 数据帧 https://stackoverflow.com/questions/37328504/modular-arithmetic-in-python-to-iterate-a-pandas-dataframe并得到了用户@Alexander 和@piRSquared 的热情解答。这里要求的版本是一个更困难的版本，涉及（我认为）datetime 和 timedelta 的使用以及迭代更多列。

抱歉发了这么长的帖子，非常感谢。

您可以使用pivot http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.pivot.html重塑 - 你得到NaN按列缺失值time, then unstack http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.unstack.html with reset_index http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.reset_index.html and sort_values http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.sort_values.html:

import pandas as pd

df = pd.DataFrame({'date': {0: 20100201, 1: 20100201, 2: 20100201, 3: 20100201, 4: 20100202, 5: 20100202, 6: 20100202, 7: 20100202, 8: 20100203, 9: 20100203, 10: 20100204}, 
                   'time': {0: 0, 1: 6, 2: 12, 3: 18, 4: 0, 5: 6, 6: 12, 7: 18, 8: 0, 9: 18, 10: 6},
                   'value': {0: 1, 1: 2, 2: 3, 3: 4, 4: 5, 5: 6, 6: 7, 7: 8, 8: 9, 9: 11, 10: 12}})

print (df)
        date  time  value
0   20100201     0      1
1   20100201     6      2
2   20100201    12      3
3   20100201    18      4
4   20100202     0      5
5   20100202     6      6
6   20100202    12      7
7   20100202    18      8
8   20100203     0      9
9   20100203    18     11
10  20100204     6     12

print (df.pivot(index='date', columns='time', values='value')
         .unstack()
         .reset_index(name='value')
         .sort_values('date'))

    time      date  value
0      0  20100201    1.0
4      6  20100201    2.0
8     12  20100201    3.0
12    18  20100201    4.0
1      0  20100202    5.0
5      6  20100202    6.0
9     12  20100202    7.0
13    18  20100202    8.0
2      0  20100203    9.0
6      6  20100203    NaN
10    12  20100203    NaN
14    18  20100203   11.0
3      0  20100204    NaN
7      6  20100204   12.0
11    12  20100204    NaN
15    18  20100204    NaN

也许你可以reset_index http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.reset_index.html再次，如果你需要好的index like:

print (df.pivot(index='date', columns='time', values='value')
         .unstack()
         .reset_index(name='value')
         .sort_values('date')
         .reset_index(drop=True))

    time      date  value
0      0  20100201    1.0
1      6  20100201    2.0
2     12  20100201    3.0
3     18  20100201    4.0
4      0  20100202    5.0
5      6  20100202    6.0
6     12  20100202    7.0
7     18  20100202    8.0
8      0  20100203    9.0
9      6  20100203    NaN
10    12  20100203    NaN
11    18  20100203   11.0
12     0  20100204    NaN
13     6  20100204   12.0
14    12  20100204    NaN
15    18  20100204    NaN