Python + Pandas 中的差异

我正在尝试执行差异中的差异 https://en.wikipedia.org/wiki/Difference_in_differences（使用面板数据和固定效应）使用 Python 和 Pandas 进行分析。我没有经济学背景，我只是想过滤数据并运行我被告知的方法。然而，据我所知，我了解到基本的 diff-in-diffs 模型如下所示：

也就是说，我正在处理一个多变量模型。

下面是 R 中的一个简单示例：

https://thetarzan.wordpress.com/2011/06/20/differences-in-differences-estimation-in-r-and-stata/ https://thetarzan.wordpress.com/2011/06/20/differences-in-differences-estimation-in-r-and-stata/

可以看出，回归将一个因变量和树状观察集作为输入。

我的输入数据如下所示：

    Name    Permits_13  Score_13    Permits_14  Score_14    Permits_15  Score_15
0   P.S. 015 ROBERTO CLEMENTE   12.0    284 22  279 32  283
1   P.S. 019 ASHER LEVY 18.0    296 51  301 55  308
2   P.S. 020 ANNA SILVER    9.0 294 9   290 10  293
3   P.S. 034 FRANKLIN D. ROOSEVELT  3.0 294 4   292 1   296
4   P.S. 064 ROBERT SIMON   3.0 287 15  288 17  291
5   P.S. 110 FLORENCE NIGHTINGALE   0.0 313 3   306 4   308
6   P.S. 134 HENRIETTA SZOLD    4.0 290 12  292 17  288
7   P.S. 137 JOHN L. BERNSTEIN  4.0 276 12  273 17  274
8   P.S. 140 NATHAN STRAUS  13.0    282 37  284 59  284
9   P.S. 142 AMALIA CASTRO  7.0 290 15  285 25  284
10  P.S. 184M SHUANG WEN    5.0 327 12  327 9   327

通过一些研究，我发现这是在 Pandas 中使用固定效应和面板数据的方法：

Pandas 或 Statsmodels 中的固定效果 https://stackoverflow.com/questions/24195432/fixed-effect-in-pandas-or-statsmodels

我执行了一些转换来获取多索引数据：

rng = pandas.date_range(start=pandas.datetime(2013, 1, 1), periods=3, freq='A')
index = pandas.MultiIndex.from_product([rng, df['Name']], names=['date', 'id'])
d1 = numpy.array(df.ix[:, ['Permits_13', 'Score_13']])
d2 = numpy.array(df.ix[:, ['Permits_14', 'Score_14']])
d3 = numpy.array(df.ix[:, ['Permits_15', 'Score_15']])
data = numpy.concatenate((d1, d2, d3), axis=0)
s = pandas.DataFrame(data, index=index)  
s = s.astype('float')

但是，我不知道如何将所有这些变量传递给模型，例如可以在 R 中完成：

reg1 = lm(work ~ post93 + anykids + p93kids.interaction, data = etc)

这里，13、14、15代表2013年、2014年、2015年的数据，我认为应该用来创建面板。 我这样称呼该模型：

reg  = PanelOLS(y=s['y'],x=s[['x']],time_effects=True)

这是结果：

（一位经济学家）告诉我，这似乎并不具有固定效应。

--EDIT--

我想验证的是在给定时间的情况下许可数量对分数的影响。许可证的数量就是治疗，它是一个强化治疗.

代码示例可以在这里找到：https://www.dropbox.com/sh/ped312ur604357r/AACQGloHDAy8I2C6HITFzjqza?dl=0 https://www.dropbox.com/sh/ped312ur604357r/AACQGloHDAy8I2C6HITFzjqza?dl=0.

看来您需要的不是差异中的差异（DD）回归。当您可以区分对照组和治疗组时，DD 回归就有意义。一个标准的简化示例是药物的评估。您将一群病人分成两组。其中一半人没有接受任何治疗：他们是对照组。另一半则接受药物治疗：他们是治疗组。从本质上讲，DD 回归将捕捉到这样一个事实：药物的真正效果不能直接通过服用药物的人数变得健康来衡量。直觉上，你想知道这些人是否比那些没有服用任何药物的人表现得更好。这个结果可以通过添加另一个类别来完善：安慰剂，即给予看起来像药物但实际上不是药物的人……但这将是一个明确定义的群体。最后但并非最不重要的一点是，要使 DD 回归真正合适，您需要确保各组的异质性不会导致结果出现偏差。对于你的药物测试来说，一个糟糕的情况是，如果治疗组只包括年轻人和超级健康的人（因此总体上更有可能治愈），而对照组是一群老酗酒者......

就你的情况而言，如果我没有弄错的话，每个人都会在某种程度上受到“对待”......所以你更接近一个标准的回归框架，其中要测量X对Y的影响（例如智商对工资）。我知道您想衡量许可数量对分数的影响（或者是其他方式？-_-），并且您需要处理经典的内生性，即如果彼得比保罗更熟练，他会通常会获得更多许可和更高分数。因此，您真正想要使用的是这样一个事实：随着时间的推移，具有相同水平的技能，彼得（分别是保罗）将在多年来“获得”不同级别的许可证......在那里您将真正衡量许可证的影响得分上...

我可能猜得不好，但我想坚持这样一个事实：如果您没有付出足够的努力来理解/解释数据中发生的情况，有很多方法可以获得有偏见的、因此毫无意义的结果。关于技术细节，您的估计只有年份固定效应（可能没有估计，而是通过贬低考虑在内，因此不会在输出中返回），所以您想要做的是添加entity_effects = True。如果你想更进一步...恐怕迄今为止任何Python包都没有很好地涵盖面板数据回归（包括计量经济学的参考统计模型），所以如果你不愿意投资...我宁愿建议使用 R 或 Stata。同时，如果您只需要固定效应回归，您还可以使用 statsmodels 获得它（如果需要，它还允许对标准错误进行聚类......）：

import statsmodels.formula.api as smf
df = s.reset_index(drop = False)
reg = smf.ols('y ~ x + C(date) + C(id)',
              data = df).fit()
print(reg.summary())
# clustering standard errors at individual level
reg_cl = smf.ols(formula='y ~ x + C(date) + C(id)',
                 data=df).fit(cov_type='cluster',
                              cov_kwds={'groups': df['id']})
print(reg_cl.summary())
# output only coeff and standard error of x
print(u'{:.3f} ({:.3f})'.format(reg.params.ix['x'], reg.bse.ix['x']))
print(u'{:.3f} ({:.3f})'.format(reg_cl.params.ix['x'], reg_cl.bse.ix['x']))

关于计量经济学，您可能会在交叉验证上获得比这里更多/更好的答案。