所爬取的指标有小区名称、房屋位置、房屋户型、房屋面积、房屋朝向、房屋装修情况、有无电梯、楼层位置、附件有无地铁、关注度人数、看房次数、每平方米价格、房屋总价等指标,具体数据展示见表1,表2。
数据预处理是指在数据集中发现不准确、不完整或者不合理的数据,通过数据预处理,对这些数据进行一定的去重、修补、纠正或移除,将原始数据转化成分析算法适用的形式,以此提高数据质量。由于爬取的数据中包含类别型数据,为了方便后面数据分析,本文对分类型数据进行了分别赋值,处理后的变量表见表3,处理后的数据集部分见表4。
词云是文本大数据可视化的一种重要方式,该方法可以将文本信息中重复出现的词语进行高亮展示,使浏览文本信息的人们可以一眼看到关键信息。本文利用python对表1中的标题文本信息进行词云分析,输出结果见图1所示。
通过图1可以发现,在某网站上所挂楼房标题词中最多的是中间楼层、精装修、看房方便、采光好、近地铁、楼层好等字样,说明可能具有这些特点的房子更能吸引买家的注意,进而影响房屋的价格。
绘制词云图
import pandas as pd
file = open(r'\title.xlsx','rb')
data = pd.read_excel(file)
data.columns
title = data['标题']
import numpy as np
import os
lis = np.array(title)
lis = lis.tolist()
lis[:5]
str1 = "".join(lis)
item_main = str1.strip().replace('span','').replace('class','').replace('emoji','').replace(' ','')
def save_fig(fig_id, tight_layout=True):
path = os.path.join(r" E:\工作\硕士\学习\统计软件python\期末作业", fig_id + ".png")
print("Saving figure", fig_id)
if tight_layout:
plt.tight_layout()
plt.savefig(path, format='png', dpi=300)
import jieba
wordlist = jieba.cut(item_main,cut_all=True)
word_space_split =" ".join(wordlist)
type(word_space_split)
import matplotlib.pyplot as plt
from wordcloud import WordCloud,ImageColorGenerator
import PIL.Image as Image
coloring = np.array(Image.open(r'\Desktop\图片.jpg'))
my_wordcloud = WordCloud(background_color='white',max_words=200,mask=coloring,max_font_size=60,random_state=42,
scale=2,font_path=r'C:\Windows\Fonts\simkai.ttf').generate(item_main)
image_colors = ImageColorGenerator(coloring)
plt.imshow(my_wordcloud.recolor(color_func=image_colors))
plt.imshow(my_wordcloud)
plt.axis('off')
save_fig('my_wordcloud_fangjia')
plt.show()
利用python对搜集到的数据进行描述性分析,为了更加清晰的展示数据,分别绘制了饼图、条形图、嵌套环形图等图形,绘制图形的python代码见附件,其结果见图2、图3、图4、图5、图6所示。
图2房屋装修情况占比饼状图
import numpy as np
import matplotlib.pyplot as plt
data = pd.read_csv(r"E:\工作\硕士\学习\统计软件python\期末作业\qxhsj.csv")
plt.rcParams['font.sans-serif'] = ["Fangsong"]
plt.rcParams['axes.unicode_minus'] = False
# 设置画布大小
plt.figure(figsize=(12,6))
figure,axes = plt.subplots(1,1,figsize = (6,6),dpi = 120)
# 构造数据
y = [1139,33,891,921]
label=["其他", "毛坯", "简装", "精装"]
# 绘图
plt.pie(y,
labels=label, #
autopct='%.2f%%', # 让标签以百分比形式显示,且精确到两位小数
labeldistance = 1.1,
pctdistance = 0.9,
# shadow = True,
radius = 1,
startangle = 90,
counterclock = False
)
plt.title("房屋装修情况占比",fontsize = 12)
plt.savefig(r"E:\工作\硕士\学习\统计软件python\matplotlib饼图.jpg", format="png")
# 可视化呈现
plt.show()
图3房屋所在楼层位置比例饼状图
import numpy as np
import matplotlib.pyplot as plt
data = pd.read_csv(r"E:\工作\硕士\学习\统计软件python\期末作业\qxhsj.csv")
plt.rcParams['font.sans-serif'] = ["Fangsong"]
plt.rcParams['axes.unicode_minus'] = False
plt.figure(figsize=(12,6))
figure,axes = plt.subplots(1,1,figsize = (6,6),dpi = 120)
y = [806,1143,1036]
label=["低楼层", "中楼层", "高楼层"]
plt.pie(y,
labels=label,
autopct='%.2f%%',
labeldistance = 1.1,
pctdistance = 0.9,
# shadow = True,
radius = 1,
startangle = 90,
counterclock = False
)
plt.title("房屋所在楼层位置比例",fontsize = 12)
plt.savefig(r"E:\工作\硕士\学习\统计软件python\matplotlib饼图.jpg", format="png")
plt.show()
图4房源朝向分布情况
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.family']='KaiTi'
plt.figure(dpi=120)
provinces=['东', '南', '西', '北', '东南','东北', '西南', '西北']
gdp=[250, 1137,169, 768, 432,237,222,160]
plt.barh(provinces[::-1],gdp[::-1],height=0.5)
plt.title('房源朝向分布情况')
plt.grid(axis='x',ls='--',alpha=0.4)
plt.xlim(0,1200)
for i,j in enumerate(gdp[::-1]):
plt.text(j+0.05,i,j,va='center')
plt.xlabel('数量')
plt.ylabel('朝向')
plt.savefig(r"E:\工作\硕士\学习\统计软件python\matplotlib条形图.jpg",format="png")
plt.show()
图5 房屋户型与房屋附近有无地铁的嵌套环形图
import pyecharts.options as opts
from pyecharts.charts import Pie
inner_x_data = ["有地铁", "无地铁"]
inner_y_data = [1548, 1436]
inner_data_pair = [list(z) for z in zip(inner_x_data, inner_y_data)]
outer_x_data = [' 1室0厅 ', '2室1厅', '2室2厅', '3室1厅' '1室1厅', '3室2厅','1室2厅', '4室1厅', '4室2厅','其他']
outer_y_data = [47,621,611,215,144,1021,12,11,224,81]
outer_data_pair = [list(z) for z in zip(outer_x_data, outer_y_data)]
(
Pie(init_opts=opts.InitOpts(width="1600px", height="800px"))
.add(
series_name="有无地铁",
data_pair=inner_data_pair,
radius=[0, "30%"],
label_opts=opts.LabelOpts(position="inner"),
)
.add(
series_name="房型",
radius=["40%", "55%"],
data_pair=outer_data_pair,
label_opts=opts.LabelOpts(
position="outside",
formatter="{a|{a}}{abg|}\n{hr|}\n {b|{b}: }{c} {per|{d}%} ",
background_color="#eee",
border_color="#aaa",
border_width=1,
border_radius=4,
rich={
"a": {"color": "#999", "lineHeight": 22, "align": "center"},
"abg": {
"backgroundColor": "#e3e3e3",
"width": "100%",
"align": "right",
"height": 22,
"borderRadius": [4, 4, 0, 0],
},
"hr": {
"borderColor": "#aaa",
"width": "100%",
"borderWidth": 0.5,
"height": 0,
},
"b": {"fontSize": 16, "lineHeight": 33},
"per": {
"color": "#eee",
"backgroundColor": "#334455",
"padding": [2, 4],
"borderRadius": 2,
},
},
),
)
.set_global_opts(legend_opts=opts.LegendOpts(pos_left="left", orient="vertical"))
.set_series_opts(
tooltip_opts=opts.TooltipOpts(
trigger="item", formatter="{a} <br/>{b}: {c} ({d}%)"
)
)
.render("nested_pies.html")
)
图6房屋总价分布图
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.family']='KaiTi'
plt.figure(dpi=120)
provinces=['57万-357万', '357万-657万', '657万-957万', '957万-1257万', '1257万-1557万']
gdp=[1829,869,206,52,12]
plt.barh(provinces[::-1],gdp[::-1],height=0.5)
plt.title('房价分布')
plt.grid(axis='x',ls='--',alpha=0.4)
plt.xlim(0,2000)
for i,j in enumerate(gdp[::-1]):
plt.text(j+0.05,i,j,va='center')
plt.xlabel('数量(套)')
plt.ylabel('总价')
plt.savefig(r"E:\工作\硕士\学习\统计软件python\matplotlib条形图.jpg",format="png")
plt.show()
图7 房屋面积与房屋总价的散点图
import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
import seaborn as sns
data = pd.read_csv(r"E:\工作\硕士\学习\统计软件python\期末作业\qxhsj.csv")
data.head()
sns.lmplot(x="x3", y="y1", data=data)
plt.xlabel('房屋面积(平方米)')
plt.ylabel('房屋总价')
plt.savefig(r"E:\工作\硕士\学习\统计软件python\matplotlib.jpg", format="png")
图8 关注度人数与房屋总价的散点图
import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
import seaborn as sns
data = pd.read_csv(r"E:\工作\硕士\学习\统计软件python\期末作业\qxhsj.csv")
data.head()
sns.lmplot(x="x8", y="y1", data=data)
plt.xlabel('关注度(人次)')
plt.ylabel('房屋总价(万元)')
plt.savefig(r"E:\工作\硕士\学习\统计软件python\matplotlib.jpg", format="png")