准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure-低调大师

准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure

2017-04-10 554

机器学习(ML),自然语言处理(NLP),信息检索(IR)等领域,评估(Evaluation)是一个必要的工作,而其评价指标往往有如下几点:准确率(Accuracy),精确率(Precision),召回率(Recall)和F1-Measure。(注：相对来说，IR 的 ground truth 很多时候是一个 Ordered List, 而不是一个 Bool 类型的 Unordered Collection，在都找到的情况下，排在第三名还是第四名损失并不是很大，而排在第一名和第一百名，虽然都是“找到了”，但是意义是不一样的，因此更多可能适用于 MAP 之类评估指标。)

本文将简单介绍其中几个概念。中文中这几个评价指标翻译各有不同，所以一般情况下推荐使用英文。

现在我先假定一个具体场景作为例子。

假如某个班级有男生80人,女生20人,共计100人.目标是找出所有女生. 现在某人挑选出50个人,其中20人是女生,另外还错误的把30个男生也当作女生挑选出来了. 作为评估者的你需要来评估(evaluation)下他的工作
首先我们可以计算准确率(accuracy),其定义是: 对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。也就是损失函数是0-1损失时测试数据集上的准确率[1].

这样说听起来有点抽象，简单说就是，前面的场景中，实际情况是那个班级有男的和女的两类，某人(也就是定义中所说的分类器)他又把班级中的人分为男女两类。accuracy需要得到的是此君分正确的人占总人数的比例。很容易，我们可以得到:他把其中70(20女+50男)人判定正确了,而总人数是100人，所以它的accuracy就是70 %(70 / 100).

由准确率，我们的确可以在一些场合，从某种意义上得到一个分类器是否有效，但它并不总是能有效的评价一个分类器的工作。举个例子,google抓取了argcv 100个页面，而它索引中共有10,000,000个页面,随机抽一个页面，分类下,这是不是argcv的页面呢?如果以accuracy来判断我的工作，那我会把所有的页面都判断为"不是argcv的页面",因为我这样效率非常高(return false,一句话),而accuracy已经到了99.999%(9,999,900/10,000,000),完爆其它很多分类器辛辛苦苦算的值,而我这个算法显然不是需求期待的,那怎么解决呢?这就是precision,recall和f1-measure出场的时间了.

在说precision,recall和f1-measure之前,我们需要先需要定义TP,FN,FP,TN四种分类情况. 按照前面例子,我们需要从一个班级中的人中寻找所有女生,如果把这个任务当成一个分类器的话,那么女生就是我们需要的,而男生不是,所以我们称女生为"正类",而男生为"负类".

 相关(Relevant),正类    无关(NonRelevant),负类

被检索到(Retrieved) true positives(TP 正类判定为正类,例子中就是正确的判定"这位是女生") false positives(FP 负类判定为正类,"存伪",例子中就是分明是男生却判断为女生,当下伪娘横行,这个错常有人犯)
未被检索到(Not Retrieved) false negatives(FN 正类判定为负类,"去真",例子中就是,分明是女生,这哥们却判断为男生--梁山伯同学犯的错就是这个) true negatives(TN 负类判定为负类,也就是一个男生被判断为男生,像我这样的纯爷们一准儿就会在此处)
通过这张表,我们可以很容易得到这几个值: TP=20 FP=30 FN=0 TN=50

精确率(precision)的公式是P = frac{TP}{TP+FP},它计算的是所有"正确被检索的item(TP)"占所有"实际被检索到的(TP+FP)"的比例.

在例子中就是希望知道此君得到的所有人中,正确的人(也就是女生)占有的比例.所以其precision也就是40%(20女生/(20女生+30误判为女生的男生)).

召回率(recall)的公式是R = frac{TP}{TP+FN},它计算的是所有"正确被检索的item(TP)"占所有"应该检索到的item(TP+FN)"的比例。

在例子中就是希望知道此君得到的女生占本班中所有女生的比例,所以其recall也就是100%(20女生/(20女生+ 0 误判为男生的女生))

F1值就是精确值和召回率的调和均值,也就是 frac{2}{F_1} = frac{1}{P} + frac{1}{R} 调整下也就是 F_1 = frac{2PR}{P+R} = frac{2TP}{2TP + FP + FN}
例子中 F1-measure 也就是约为 57.143%(frac{2 0.4 1}{0.4 + 1}).

需要说明的是,有人[2]列了这样个公式 F_a = frac{(a^2 + 1 )PR}{a^2(P+R)} 将F-measure一般化.

F1-measure认为精确率和召回率的权重是一样的,但有些场景下,我们可能认为精确率会更加重要,调整参数a,使用Fa-measure可以帮助我们更好的evaluate结果.

话虽然很多,其实实现非常轻松,点击此处可以看到我的一个简单的实现.

References
[1] 李航. 统计学习方法[M]. 北京:清华大学出版社,2012.
[2] 准确率（Precision）、召回率（Recall）以及综合评价指标（F1-Measure ）

微信关注我们

原文链接：https://yq.aliyun.com/articles/73571

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

卷积神经网络实战（可视化部分）——使用keras识别猫咪

更多深度文章，请关注云计算频道：https://yq.aliyun.com/cloud作者介绍：Erik Reppel，coinbase公司程序员作者博客：https://hackernoon.com/@erikreppel作者twitter：[https://twitter.com/programmer](https://twitter.com/programmer) 在近些年，深度学习领域的卷积神经网络（CNNs或ConvNets)在各行各业为我们解决了大量的实际问题。但是对于大多数人来说，CNN仿佛戴上了神秘的面纱。我经常会想，要是能将神经网络的过程分解，看一看每一个步骤是什么样的结果该有多好！这也就是这篇博客存在的意义。高级CNN 首先，我们要了解一下卷积神经网络擅长什么。CNN主要被用来找寻图片中的模式。这个过程主要有两个步骤，首先要对图片做卷积，然后找寻模式。在神经网络中，前几层是用来寻找边界和角，随着层数的增加，我们就能识别更加复杂的特征。这个性质让CNN非常擅长识别图片中的物体。 CNN是什么 CNN是一种特殊的神经网络，它包含卷积层、池化层和激活层。卷积层要想了...

2017-04-11

637

资料【英语中字】[BBC纪录片]现代生活的秘密规则: 算法 (2015) “算法（Algorithm）是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。”看过了维基百科的解释，你是不是依旧云里雾里，今天给大家推荐的是15年BBC的纪录片。片长1小时，可以在acFun上在线观看。搜索BBC 算法就好了。在这个时代，我们无时无刻不在与算法打交道，从最近红透半边天的AlphaGo，到手机拍照，再到交通信号灯……可以说，只要有计算机的地方，就有算法。算法，在引导，甚至支配着我们的行为。本片深入浅出，不涉及具体的算式、代码，即使没有数学基础看着也不会吃力。而你就算是对算法有所了解的，也能从这部纪录片中温故而知新。这部纪录片把什么是算法、人脸识别算法、最大公约数算法、冒泡排序、归并排序，page rank算法等的基本原理，进行了清晰的阐释。之后由旅行商（TSP）问题，引出了启发式算法，启发式算法用来解决那些目前无法给出最优解的问题，这类算法可以在较短的时间内给出相对好的解决方案，但其给出的答案并不总是最好的。本片还通过蜂群是如何解决...

2017-04-11

577

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。