呼伦贝尔股票配资 深度解读ROC曲线:不说全网最全,一定能增加你对ROC/AUC的全面理解!

呼伦贝尔股票配资 深度解读ROC曲线:不说全网最全,一定能增加你对ROC/AUC的全面理解!

国投证券研报指出,数据中心液冷趋势明确,温控厂商有望受益。从技术迭代和政策要求两方面来看,数据中心散热方案的升级已经是大势所趋,传统风冷技术方案向液冷的转型也较为明确。从整个产业链的分工来看,数据中心温控解决方案供应商有望实现价值量提升。

对于投资人而言,如何把握这个赛道的演变趋势及玩家策略无疑非常重要。就在9月初,2024动力电池大会在四川宜宾举办,第一财经深度调研此次参会的动力电池产业链厂商与相关专家,进一步了解该产业的边际变量与投资机会。

一、ROC曲线的简短历史既然天天都在用,人家的历史还是要知道一下的。ROC曲线产生于第二次世界大战期间,最早用在信号检测领域,是一种用于评价雷达的命中率与误报率之间权衡关系的可视化方法。后来逐步应用于评价机器学习分类模型的预测效果。二、ROC曲线绘制步骤现在软件太发达,不用懂ROC原理,轻轻松松一点或者几行代码,漂亮的ROC曲线就出来了!但是,知其然不知其所以然,总会让人心里没底。下面,我们简要概括ROC曲线到底怎么画出来的!对于任意一个分类预测模型,大多能输出类别预测概率。有了预测概率,绘制ROC曲线就好办了。首先,将所有样本的类别预测概率按照从大到小排序;其次,按照从0~1的概率阈值进行调整,分别得到不同概率阈值下的(假阳性率/FPR,真阳性率/TPR)数值对;最后,将以上数值对绘制在坐标系中,即可得到ROC曲线。三、AUC的两种计算方式ROC曲线下的面积即为AUC,关于AUC的常用计算方式有如下两种。(1)绘制出ROC曲线后,用微积分思想得到曲线下面积;(2)AUC的另一层含义是:一个正、负样本对,将正样本预测为正的概率比将负样本预测为正的概率大的可能性。这样好像还是比较抽象,举个例子,假设一共有a+b个样本,其中正样本为a个,负样本为b个。那么,总样本对数为a*b个。将正样本预测为正的概率大于负样本预测为正的概率的对子记作1,累计求和记作c,那么AUC就是c/(a*b)。四、AUC怎么解读?AUC是一个综合指标,不受阈值的影响,可以综合反应模型对类别的区分能力。那么如下两种情况的AUC该如何解读?(1)AUC=1什么含义?(AUC=1,表示任意给一个样本对,即一个正一个负,正样本预测为正的概率始终都超过负样本预测为正的概率。注意,AUC=1不表示任意阈值下都能实现完美区分,但可以说,至少存在一个阈值下,可以实现完美区分);(2)AUC=0.85什么含义?(AUC=0.85,表示任意给一个样本对,即一个正一个负,正样本预测为正的概率超过负样本预测为正的概率的可能性是85%)。五、多分类ROC曲线有的时候做的不是二分类,而是多分类任务,怎么办?能不能绘制ROC曲线?答案是可以的。那多分类ROC曲线与二分类有何区别,该怎么绘制呢?多分类ROC曲线实质与二分类类似。在训练多分类模型时,一般会采用one-versus-one或者one-versus-all策略。但无论采用何种训练策略,最终都会得到多分类中各个类别的预测概率,基于此可以(1)关注每个单一的类别,绘制每一个类别的ROC曲线(和二分类一样);(2)将3个类别混在一起,得到一条ROC曲线,常用的混合方式有macro和micro,前者表示先计算各个类别的混淆矩阵,而后再平均,后者表示将3个类别的混淆矩阵先混合在一起,而后计算。六、不平衡数据中,到底能不能用AUC?这个问题很关键,但目前没有定论。在不平衡数据中,有人说AUC好,也有人说不好。例如下文,于2022年发表在Aritificial intelligence in medicine,作者认为PR曲线容易受到不平衡影响,而ROC曲线不受不平衡影响,更建议用ROC曲线!

图片

Reference: Predicting liver cancers using skewed epidemiological data

但是,下面这篇发表在《统计与决策》的文章则表明,在不平衡情况下,AUC并不是理想的评价指标。

图片

Reference: 不平衡数据下模型评价指标的有效性探讨

再如下文,作者发现在面对不平衡数据时,ROC可能过于乐观,即AUC挺高的,并且模型之间AUC差异很小。但是,当你用PR曲线时,会发现PR曲线下面积(AUPRC)很低,且模型AUPRC差异较大。因此,作者不建议使用ROC曲线。

图片

图片

Reference: The Relationship Between Precision-Recall and ROC Curves

如下这个学习链接中,作者进一步阐释了为什么ROC不适合用在不平衡数据预测中,感兴趣可进一步学习。

学习链接:https://machinelearningmastery.com/roc-curves-and-precision-recall-curves-for-classification-in-python/呼伦贝尔股票配资

面对不平衡数据,用AUPRC,结果一般较低,用ROC结果一般较好。因此,大家不妨同时汇报两个指标,更加客观、科学。 本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报。