模型评估相关参数学习

training process

loss

accurancy

val_loss

val_accurancy

testing process

classification_report(label, predict, digits=8)

label和predict需要选用相同维度的数组，label为标签，predict为模型输出结果，digit=8为输出浮点值位数。

最左边一列为类别标签

1. precision：精准度（true positive/true positive+false positive）在所有分类为x类的样本中确实为x类的比例；
2. recall：召回率（true positive/true positive+false negative）在所有标签为x类的样本中分类为x类的比例；
3. f1-score：F1值，（2/F1 = 1/P + 1/R，F1 = 2PR/(P+R)）精准度和召回率的调和平均值，精准度和召回率都高的时候F1值也高，越接近1模型的性能最好，在二元分类中F1值时测试准确值的量度；
4. support：每个标签的出现次数；
5. micro avg：微平均，不分类别建立全局混淆矩阵计算指标（样本数多的类别主导样本数少的类别）；
6. macro avg：宏平均，计算每个类型的算术平均；
7. weighted avg：使用类别样本数量作为权重；
8. samples avg：应该是抽样平均

accuracy:accurancy_score(label, predict)

micro avg的precision，返回分类的正确率

nomalize=True:返回分类的正确率（default）

nomalize=False:返回分类正确的样本数

precision:precision_score(label, predict, average='weighted')

weighted avg的precision

recall:recall_score(label, predict, average='weighted')

weighted avg的recall，计算召回率/查全率（正例被分类为正例的比例），多分类问题中返回每一类的平均召回率（这里设置为根据类别的样本个数权重计算的平均召回率）

fi-score:f1-score(label, predict, average='weighted')

weighted avg的f1-score

confusion matrix:confusion_matrix(label, predict)

混淆矩阵

auc:roc_auc_score(label, predict)[二分类]

计算auc（即曲线roc下面积），该数值越高模型性能越好，曲线roc横轴为FPR（FP/FP+TN，分类错误的正例在所有反例的比例），纵轴为TPR（TP/TP+FN，分类正确的正例在所有正例的比例）

roc:roc_curve[二分类]

fpr, tpr, thresholds = sklearn.metrics.roc_curve(label, predicts)