知乎用户,接待订阅同名微信公家号【景象形象学渣】
空报率与漏报率是景象形象行业中常用来评估预告模子机能的指标。评估指标的分歧本色上反映了使命需求的分歧,是以分歧的指标在对统一预告模子进行评估时将会获得分歧的成果。这就意味着预告模子的‘黑白’往往是相对的,好的模子不仅取决于数据和算法自己,还取决于是否契合现实问题需要。那么何时利用空报率,又何时利用漏报率呢?本篇将经由过程混合矩阵慢慢带大师领会精准度、查准率等多种评估指标,以此深切熟悉空报率与漏报率的寄义,并供给场景实例让读者体味评估指标若何反映现实使命需求。(文末顺带供给混合矩阵的 python 可视化代码便利大师利用。)
一、混合矩阵
混合矩阵也称误差矩阵,经常被用来对分类问题进行误差阐发。为便于理解,我们以二分类预告——晴雨预告为例,将其所有可能呈现的预告景象与实况成果两两进行交叉组合,获得如下四个根本项。
混合矩阵的四个根本项
真正例(True Positive):预告有雨 实况有雨
真反例(True Negative):预告无雨 实况无雨
假正例(False Positive):预告有雨 实况无雨(纳伪,第二类错误)
假反例(False Negative):预告无雨 实况有雨(弃真,第一类错误)
将上述各项的计数以矩阵的体例呈现(其实就是一张表格啦),就获得了该预告模子的混合矩阵。矩阵中的每一列代表展望类别,每列的数值和代表预告该类此外总次数;而每一行代表实况不雅测的类别,每行的数值和代表了该类别实况中呈现的总次数。
晴雨预告的混合矩阵
直不雅可见,当混合矩阵对角线数值越大时,模子总体机能越好。将其心猿意马量化,将矩阵中 TP 与 TN 的代数和除以矩阵所有元素的代数和称之为精准率(Accuracy)。
将 FN 与 FP 的代数和除以矩阵所有元素的代数和称之为错误率(Error Rate)。
二、细分评价指标
从界说式可知,精准率和错误率的巨细受到多个变量的约束,难以精准契合现实问题需要,需要引入细分指标。
1.查准率与空报率
查准率又可称为击中率、精确率(Precision,为了便利记忆可记英文,以免与精准率混合),其界说为真正例在预告正例中地点的占比。查准率是相对预告而言的,数值越大暗示正例呈现的可能性越大,预告可托度越高。(文末降水查准率为 259/(259+235)=0.524)
空报率与查准率有联系关系,被界说为假正例在所有预告正例中地点的占比,数值越大暗示狼来了的可能性越大,由界说可知,空报率=1- 击中率。
2.查全率与漏报率
查全率又可称为召回率(recall),其界说为真正例在所有实况为正例中的地点占比。查全率是相对实况而言的,数值越大暗示越疏而不漏,呈现丧家之犬的可能性越小。(文末降水查全率为 259/(259+242)=0.517)
漏报率与查全率有联系关系,被界说为假反例在所有实况为正例中的地点占比,可推知,漏报率=1- 查全率。
三、场景实例
查准率和查全率针对统一个模子时往往是一对矛盾的评价指标。查准率高时,查全率往往偏低;而查全率高时,查准率往往偏低。可以想象,在晴雨预告中为了使得查全率偏高,可以经由过程增添预告有雨的次数来实现,极端的,预告将来天天都有雨,查全率为 100%,但空报率极高,查准率极低;而为了使查准率偏高,可以经由过程只预告有把握的降水,诸如旌旗灯号较着的系统性大雨过程,这么做势必会削减预告次数,极端的,当只预告了一次降水且准确时,查准率为 100%,但查全率则极低,很多细雨和中雨过程都漏报了。
那么若何运用查准率和查全率综合评价预告模子的机能,从而在多个模子中选择相对较优的呢?请存眷本渣渣的同名微信公家号(搜刮 景象形象学渣 或者 qixiangxuezha),期待下回分化哦。
0 篇文章
如果觉得我的文章对您有用,请随意打赏。你的支持将鼓励我继续创作!