损失函数的分类

news/2024/11/5 20:55:57 标签: 分类, 数据挖掘, 人工智能

参考博客:【深度学习】损失函数详解-CSDN博客icon-default.png?t=O83Ahttps://blog.csdn.net/LogosTR_/article/details/126366482?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-0-126366482-blog-122704657.235^v43^pc_blog_bottom_relevance_base7&spm=1001.2101.3001.4242.1&utm_relevant_index=3

按照是否添加正则项可分为经验风险损失函数结构风险损失函数。按照任务类型分类,可分为两种:回归损失(针对连续型变量)和分类损失(针对离散型变量

回归损失

L1 Loss

Mean Absolute Error        平均绝对误差(MAE)        计算预测值与真实值差的绝对值        衡量预测值与真实值之间距离的平均误差幅度        范围为0到正无穷

L1 LossMean Absolute Error平均绝对误差(MAE)计算预测值与真实值差的绝对值衡量预测值与真实值之间距离的平均误差幅度范围为0到正无穷

L2 Loss

Mean Squred Error均方差(MSE)预测值与真实值之间距离的平方和范围同为0到正无穷

Smooth L1 Loss

平滑的L1损失(SLL)解决了L1损失在0点处梯度不可导的问题,使其更加平滑易于收敛

IoU Loss

交并比损失衡量模型生成的Predict bounding box和Ground-truth bounding box之间的重叠程度IoU标准用于测量真实和预测之间的相关度,相关度越高,该值越高

GIoU Loss

Generalized Intersection over Union泛化IoU损失GIoU通过计算任意两个形状(这里以矩形框为例)A和B的一个最小闭合凸面C(通常情况下可以理解为最小外接矩形),然后再计算C中排除掉A和B后的面积占C原始面积的比值,最后再用原始的IoU减去这个比值得到泛化后的IoU Loss

DIoU Loss

Distance-IoU loss距离IoU损失GIoU损失一般会增加预测框的大小使其能和目标框重叠,而DIoU损失则直接使目标框和预测框之间的中心点归一化距离最小,即让预测框的中心快速的向目标中心收敛

CIoU Loss

Complete IoU loss完整IoU损失GIoU考虑到了重叠面积的问题,DIoU考虑到了重叠面积和中心点距离的问题,CIoU则在此基础上进一步的考虑到了高宽比的问题。CIoU其在DIoU的基础上加多了一个惩罚项αv。其中 α 为权重为正数的重叠面积平衡因子,在回归中被赋与更高的优先级,特别是在两个边框不重叠的情况下;而 v 则用于测量宽高比的一致性。

分类损失

Focal Loss


焦点损失,出自何凯明的《Focal Loss for Dense Object Detection》,出发点是解决目标检测领域中one-stage算法如YOLO系列算法准确率不高的问题。作者认为样本的类别不均衡(比如前景和背景)是导致这个问题的主要原因。比如在很多输入图片中,我们利用网格去划分小窗口,大多数的窗口是不包含目标的。如此一来,如果我们直接运用原始的交叉熵损失,那么负样本所占比例会非常大,主导梯度的优化方向,即网络会偏向于将前景预测为背景。即使我们可以使用OHEM(在线困难样本挖掘)算法来处理不均衡的问题,虽然其增加了误分类样本的权重,但也容易忽略掉易分类样本。而Focal loss则是聚焦于训练一个困难样本的稀疏集,通过直接在标准的交叉熵损失基础上做改进,引进了两个惩罚因子,来减少易分类样本的权重,使得模型在训练过程中更专注于困难样本。其基本定义如下:

其中:

参数α和(1-α)分别用于控制正/负样本的比例,其取值范围为[0, 1]。α的取值一般可通过交叉验证来选择合适的值;
参数γ称为聚焦参数,其取值范围为[0, +∞),目的是通过减少易分类样本的权重,从而使模型在训练时更专注于困难样本。 当 γ = 0 时,Focal Loss就退化为交叉熵损失,γ 越大,对易分类样本的惩罚力度就越大。


http://www.niftyadmin.cn/n/5739853.html

相关文章

TypeScript中的类型注解、Interface接口、泛型

一、认识TypeScript 1.概述 TypeScript是具有类型语法的JavaScript,是一门强类型的编程语言。它是 JavaScript 的超集(js中的所有元素都属于ts),这意味着任何有效的 JavaScript 代码本身也是有效的 TypeScript 代码。 2.优点 静…

React 前端如何通过组件完成 “下载 Excel模板” 和 “上传 Excel 文件并读取内容生成可使用的对象数组”

文章目录 一、Excel 模板下载01、代码示例 二、Excel 文件上传01、文件展示02、示例代码03、前端样式展示04、数据结果展示 三、完整代码 本文的业务需求是建立在批量导入数据的情况下,普通组件只能少量导入,数据较多的情况都会选择 Excel 数据导入&…

区块链技术与应用-PKU 学习笔记

课程地址 资料: ETH-Security 区块链学习记录_比特币 BTC 密码学原理 比特币,又称加密货币(crypto-currency),它主要利用了密码学中的哈希函数(cryptographic hash function)的抗碰撞特性(collision resistance)和单向散列特性(hiding) …

北京交通大学机器学习实验

机器学习课程概要 🐧数学基础 🍬评估 🍕线性模型 🎂神经网络 🦞支持向量机 🐂贝叶斯分类 🐏决策树 👿集成学习 ❤️聚类 🍬降维与度量学习 🐸特征选择预稀疏表…

Claude 3.5 Sonnet模型新增了PDF支持功能

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领…

【深度学习基础】深入理解 卷积与卷积核

🌈 个人主页:十二月的猫-CSDN博客 🔥 系列专栏: 🏀深度学习_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步,十二点的黑夜遮蔽不住黎明的曙光 目录 1. 卷积 1.1 …

论文阅读-用于点云分析的自组织网络

目前存在的问题: 原始的SOM(1)训练结果与初始节点高度相关(2)样本更新规则取决于输入点的顺序3D 卷积神经网络(需要将数据转换为体素,存在分辨率损失和计算成本上涨的问题)、PointN…

AIGC学习笔记(4)——AI大模型开发工程师

文章目录 AI大模型开发工程师003 GPT大模型API实战1 Completion API和Chat Completion API学习OpenAI API的意义Completion API和Chat Completion API代码实践2 Chat Completion API详细参数messages可以包含多条信息messages角色设定message之Few-shot效果演示message之Zero-s…