数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等：
清洗数据的原则包括以下方面的内容：
##5 数据清洗实战
###5.1 Lending Club借贷数据预处理
Python资源库
cycler==0.10.0
husl==4.0.3
joblib==0.14.1
matplotlib==1.5.3
numpy==1.18.0
pandas==0.23.0
pyparsing==2.4.6
python-dateutil==2.8.1
pytz==2019.3
scikit-learn==0.22.1
scipy==1.1.0
seaborn==0.7.1
six==1.14.0
sklearn==0.0
# -*- coding: utf-8 -*-
"""
作者: Guangzhan
版本: 1.0
项目名称：Lending Club借贷数据处理及初步分析
"""
from __future__ import division, print_function
import os
import pandas as pd
import zipfile
from sklearn import preprocessing
dataset_path = './dataset'
zip_file_name = 'loan.csv.zip'
csv_file_name = './loan.csv'
def create_label(status_val):
label = 1
if status_val == 'Fully Paid':
label = 0
return label
def proc_emp_length(emp_length_val):
# 补全该函数
if emp_length_val == '< 1 year' or emp_length_val == 'n/a':
emp_length_feat = 0.5
elif emp_length_val == '10+ years':
emp_length_feat = 10
else:
emp_length_val = str(emp_length_val)
emp_length_feat = float(emp_length_val.rstrip(' years'))
return emp_length_feat
def run_main():
"""
主函数
"""
zip_file_path = os.path.join(dataset_path, zip_file_name)
csv_file_path = os.path.join(dataset_path, csv_file_name)
if not os.path.exists(csv_file_path):
# 如果不存在csv文件，解压zip文件
with zipfile.ZipFile(zip_file_path) as zf:
zf.extractall(dataset_path)
# == 1. 读取数据集 ==
raw_data = pd.read_csv(csv_file_path)
# == 2. 数据处理 ==
# 数据处理及转换，用于后续模型的输入
# 2.1 “借贷状态” (loan_status) 数据处理
# 根据借贷状态筛选数据，只保留借贷状态为'Fully Paid', 'Charged Off'和'Default'的数据
filter_mask = raw_data['loan_status'].isin(['Fully Paid', 'Charged Off', 'Default'])
filter_data = raw_data[filter_mask]
print(filter_data['loan_status'].value_counts())
# 为数据添加 0, 1 标签，'Fully Paid' -> 0, Otherwise -> 1
proc_filter_data = filter_data.copy()
proc_filter_data['label'] = filter_data['loan_status'].apply(create_label)
# 2.2 “工作年份” (emp_length) 数据处理
# 使用apply函数处理emp_length特征
proc_filter_data['emp_length_feat'] = filter_data['emp_length'].apply(proc_emp_length)
# 2.3 “开始借贷每月付款金额” (installment) 数据处理
proc_filter_data['installment_feat'] = proc_filter_data['installment'] / (proc_filter_data['annual_inc'] / 12)
# 2.4 “借贷评级” (grade) 数据处理
label_enc = preprocessing.LabelEncoder()
proc_filter_data['grade_feat'] = label_enc.fit_transform(proc_filter_data['grade'].values)
# 2.5 “借贷期限” (term) 数据处理
proc_filter_data['term_feat'] = proc_filter_data['term'].apply(lambda x: int(x[1:3]))
# 选择使用的列
numeric_cols = ['int_rate', 'grade_feat', 'loan_amnt', 'installment', 'annual_inc', 'dti',
'delinq_2yrs', 'inq_last_6mths', 'open_acc', 'pub_rec', 'revol_bal', 'revol_util',
'total_acc', 'collections_12_mths_ex_med', 'acc_now_delinq', 'term_feat',
'installment_feat', 'emp_length_feat']
category_cols = ['home_ownership']
label_col = ['label']
user_cols = numeric_cols + category_cols + label_col
final_samples = proc_filter_data[user_cols]
# 去掉空值
final_samples.dropna(inplace=True)
# 保存处理后的数据集
proc_data_filepath = './output/proc_data.csv'
final_samples.to_csv(os.path.join(proc_data_filepath), index=False)
if os.path.exists(csv_file_path):
# 如果存在csv文件，删除csv文件，释放空间
os.remove(csv_file_path)
if __name__ == '__main__':
run_main()
final_samples.to_csv(os.path.join(proc_data_filepath), index=False)
if os.path.exists(csv_file_path):
# 如果存在csv文件，删除csv文件，释放空间
os.remove(csv_file_path)
if __name__ == '__main__':
run_main()