estimator.score()
一般最常见使用的是准确率，即预测结果正确的百分比
在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)
精确率：预测结果为正例样本中真实为正例的比例（查得准）
召回率：真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）
其他分类标准，F1-score，反映了模型的稳健型
sklearn.metrics.classification_report
sklearn.metrics.classification_report(y_true,y_pred,target_names=None)
from sklearn.datasets import load_iris, fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report
def naviebayes():
#
news = fetch_20newsgroups(subset='all')
#数据分割
x_train, x_test, y_train, y_test =train_test_split(news.data,news.target,test_size=0.25)
# 对数据集进行特征抽取
tf=TfidfVectorizer()
#以训练集当中的词的列表进行每篇文章重要性分析
x_train=tf.fit_transform(x_train)
print(tf.get_feature_names())
x_test=tf.transform(x_test)
#进行朴素贝叶斯算法
mlt=MultinomialNB(alpha=1.0)
print(x_train.toarray())
mlt.fit(x_train,y_train)
y_predict=mlt.predict(x_test)
print("预测的文章类别为：", y_predict)
# 得出准确率
print("准确率为：",mlt.score(x_test,y_test))
print("每个类别的精确率和召回率为：", classification_report(y_test,y_predict,target_names=news.target_names))
return None
naviebayes()
结果：
预测的文章类别为： [16 18 17 ... 10 16 9]
准确率为： 0.8495331069609507
每个类别的精确率和召回率为： precision recall f1-score support
alt.atheism 0.84 0.72 0.78 200
comp.graphics 0.87 0.81 0.84 233
comp.os.ms-windows.misc 0.84 0.86 0.85 232
comp.sys.ibm.pc.hardware 0.70 0.85 0.77 243
comp.sys.mac.hardware 0.94 0.74 0.83 262
comp.windows.x 0.97 0.77 0.86 265
misc.forsale 0.95 0.73 0.82 252
rec.autos 0.87 0.92 0.89 246
rec.motorcycles 0.95 0.97 0.96 236
rec.sport.baseball 0.96 0.97 0.96 241
rec.sport.hockey 0.93 0.98 0.95 256
sci.crypt 0.74 0.97 0.84 240
sci.electronics 0.85 0.85 0.85 234
sci.med 0.97 0.90 0.93 250
sci.space 0.88 0.97 0.92 237
soc.religion.christian 0.59 0.97 0.73 259
talk.politics.guns 0.80 0.97 0.88 235
talk.politics.mideast 0.88 0.97 0.93 231
talk.politics.misc 0.97 0.63 0.76 193
talk.religion.misc 1.00 0.15 0.26 167
micro avg 0.85 0.85 0.85 4712
macro avg 0.87 0.84 0.83 4712
weighted avg 0.87 0.85 0.84 4712
取平均值作为最终结果。又称4折交叉验证。通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。
⽹格搜索：调参数 K-近邻：超参数K
若是有两个参数：a [2,3,5,8,10] b [20,70,80] 两两组合 15
sklearn.model_selection.GridSearchCV
sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)
estimator：估计器对象param_grid：估计器参数(dict){“n_neighbors”:[1,3,5]}cv：指定几折交叉验证fit：输入训练数据score：准确率best_score_:在交叉验证中测试的最好结果best_estimator_：最好的参数模型cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split,GridSearchCV
from sklearn.preprocessing import StandardScaler
import pandas as pd
def knncls():
#KNN预测用户签到位置
#（1）读取
data=pd.read_csv("train.csv")
#print(data.head(10))
#（2）处理
#1.缩小数据,查询数据，筛选
data= data.query("x>1.0 & x<1.25 & y>2.5 & x<2.75 ")
#2.处理时间数据
time_value=pd.to_datetime(data['time'],unit='s')
#print(time_value)
#3.把日期格式转换成字典格式
time_value=pd.DatetimeIndex(time_value)
#5.构造一些特征,
data.loc[:,'day']=time_value.day
data.loc[:,'hour'] = time_value.hour
data.loc[:,'weekday'] = time_value.weekday
#6.把时间戳特征删除
data=data.drop(['time'],axis=1)
#7.把签到数量小于n个的删除
place_count= data.groupby('place_id').count()
tf=place_count[place_count.row_id>5].reset_index()
data=data[data['place_id'].isin(tf.place_id)]
#8.取出数据中特征值和目标值
y=data['place_id']
x=data.drop(['place_id','row_id'],axis=1)
#9.数据分割，分割成训练集和测试集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.25)
#（3）特征工程
std=StandardScaler()
#对测试集和训练集的特征值进行标准化处理
x_train=std.fit_transform(x_train)
x_test=std.transform(x_test)
#（4）进行算法流程
knn=KNeighborsClassifier()
#构造一些参数的值进行搜索
param={"n_neighbors":[3,5,10]}
#进行网格搜索
gc=GridSearchCV(knn,param_grid=param,cv=4)
gc.fit(x_train,y_train)
#预测准确率
print("在测试集上的准确率",gc.score(x_test,y_test))
print("在交叉验证中最好的结果：",gc.best_score_)
print("选择最好的模型是：", gc.best_estimator_)
print("每个超参数每次交叉验证的结果：", gc.cv_results_)
return None
knncls()
结果：
在测试集上的准确率 0.14548372112664162
在交叉验证中最好的结果： 0.1311800773618157
选择最好的模型是： KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
metric_params=None, n_jobs=None, n_neighbors=10, p=2,
weights='uniform')
每个超参数每次交叉验证的结果： {'mean_fit_time': array([4.45146149, 4.44196486, 4.11655921]), 'std_fit_time': array([1.03164362, 0.27887817, 0.82325426]), 'mean_score_time': array([7.91340411, 9.79840308, 9.37138796]), 'std_score_time': array([1.20371498, 1.11789183, 0.34117932]), 'param_n_neighbors': masked_array(data=[3, 5, 10],
mask=[False, False, False],
fill_value='?',
dtype=object), 'params': [{'n_neighbors': 3}, {'n_neighbors': 5}, {'n_neighbors': 10}], 'split0_test_score': array([0.11439086, 0.12198176, 0.12945183]), 'split1_test_score': array([0.11406997, 0.12397793, 0.13036728]), 'split2_test_score': array([0.11594878, 0.12543602, 0.1317419 ]), 'split3_test_score': array([0.1179383 , 0.1270673 , 0.13326486]), 'mean_test_score': array([0.11556132, 0.12458124, 0.13118008]), 'std_test_score': array([0.00152546, 0.00187404, 0.00143886]), 'rank_test_score': array([3, 2, 1]), 'split0_train_score': array([0.440091 , 0.35226585, 0.27819626]), 'split1_train_score': array([0.43980955, 0.35193647, 0.27779743]), 'split2_train_score': array([0.43872216, 0.35040288, 0.2768066 ]), 'split3_train_score': array([0.43867638, 0.35147282, 0.27770352]), 'mean_train_score': array([0.43932477, 0.3515195 , 0.27762595]), 'std_train_score': array([0.00063357, 0.00070355, 0.00050794])}