我正在尝试绘制 300 万行大数据集的漂亮直方图（我有 2CPU/16GB RAM）。尽管我提供了垃圾箱，但我从未得到过任何线索。有没有更有效的方法来绘制直方图？请参阅下面的代码。
df0 = dd.read_csv(filename, sep="|", header=None, dtype=np.str, error_bad_lines=False, usecols=col0, quoting=3, encoding='ISO-8859-1')
dfs = df0[df0['DocumentTypeStndCode']=='D'].compute()
dfs['Price'] = dfs[pd.to_numeric(dfs['Price'], errors='coerce').notnull()]
sns.distplot(dfs['Price'], bins=[0, 10000, 200000, 400000, 2000000], kde=False)
plt.show()
这对你来说不应该是问题。我展示了几秒钟的时间来生成给定 5000 万行的绘图。我首先尝试了pandas hist。
import pandas as pd
import numpy as np
%matplotlib inline
df = pd.DataFrame({
'values': np.random.beta(0.5, 0.1, size=50000000)
})
hist = df.hist(bins=10)
和seaborn一样
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
sns.distplot(df['values'], bins=[0, .10000, .200000, .400000, 2.000000], kde=False)
plt.show()
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
