目标检测——YOLOv7（十三）

简介：
继美团发布YOLOV6之后，YOLO系列原作者也发布了YOLOV7。主要从两点进行模型的优化：模型结构重参化和动态标签分配。
YOLOv7的特点是快！相同体量下比YOLOv5精度更高，速度快120%，比YOLOX快180%。
Github地址：https://github.com/WongKinYiu/yolov7
论文地址：https://arxiv.org/abs/2207.02696
作者给的算法性能如下图：

网络结构

核心原理详解：

1、Input：
整体复用YOLOV5的预处理方式和相关源码，唯一需要注意的是，官方主要是在640640和12801280这样的相对较大的图片上进行的训练和测试。

2、Backbone：
首先是经过 4 层卷积层，CBS 主要是 Conv+BN+SiLU 构成，在图中用不同的颜色表示不同的 size 和 stride, 如 (3, 2) 表示卷积核大小为 3 ，步长为 2。经过 4个 CBS 后，特征图变为 160×160×128 大小。
随后会经过论文中提出的 ELAN 模块，ELAN 由多个 CBS 构成，其输入输出特征大小保持不变，通道数在开始的两个 CBS 会有变化，后面的几个输入通道都是和输出通道保持一致的，经过最后一个 CBS 输出为需要的通道。
MP1层输入输出通道相同，输出长宽为输入长宽的一半。

综述整个backbone层由若干BConv层、E-ELAN层以及MPConv层交替减半长宽，增倍通道，提取特征。

3、 Head：
YOLOV7 head 其实就是一个 pafpn 的结构，和之前的YOLOV4，YOLOV5 一样。区别在于将 YOLOV5 中的 CSP 模块换成了ELAN-H 模块，同时下采样变为了MP2层。ELAN-H和 backbone 中的 ELAN 稍微有点区别就是 cat 的数量不同，通道数减半。

重参数化卷积
重参化技术是模型在推理时将多个模块合并成一个模块的方法，其实就是一种集成技术。常见的重参化技术有：

一种是用不同的训练数据训练多个相同的模型，然后对多个训练模型的权重进行平均。
一种是对不同迭代次数下模型权重进行加权平均。

虽然RepConv在VGG上取得了很不错的效果，但将它直接应用于ResNet和DenseNet或其他骨干网络时，它的精度却下降得很厉害。作者就是用梯度传播路径的方法来分析，因为RepConv结合了3×3卷积，1×1卷积，和在一个卷积层中的identity连接，可是这个identity破坏力ResNet的残差连接以及DenseNet的跨层连接，为不同的特征图提供了更多的梯度多样性。
因此，作者认为，在同时使用重参化卷积和残差连接或者跨层连接时，不应该存在identity连接，而且作者还分析重参数化的卷积应该如何与不同的网络结构相结合以及设计了不同的重参数化的卷积。

重参数化的作用：在保证模型性能的条件下加速网络，主要是对卷积+BN层以及不同卷积进行融合，合并为一个卷积模块。

辅助头检测
YOLOv7中，将head部分的浅层特征提取出来作为Aux head（辅助头），深层特征也就是网络的最终输出作为Lead head（引导头），如图b所示。

在计算损失时：

图c的策略是，lead head和aux head分别、单独计算损失，最终相加
图d的策略是，lead head单独计算损失，aux head将lead head匹配得到的正样本作为自己的正样本，并计算损失，最终相加（占比不同）
图e的策略是，lead head单独计算损失，aux head将lead head匹配得到的正样本（这里是粗匹配，也就是选择GT框中心点所在网格的上下左右4个邻域网络作为正样本筛选区域）作为自己的正样本，并计算损失，最终相加（占比不同）

动态标签分配
在网络的训练中，标签分配通常是指GT，这个是硬标签，但近年来，需要研究者会利用网络的推理结果来结合GT，去生成一些软标签，如IOU。
在YOLOv7中，有辅助头也有引导头，在训练时，它们二者都需要得到监督。因此，需要考虑如何为辅助头和引导头进行标签分配。因此在这里，作者提出了一种新的标签分配方法，是以引导头为主，通过引导头的推理来指引辅助头和自身的学习。
首先使用引导头的推理结果作为指导，生成从粗到细的层次标签，分别用于辅助头和引导头的学习。

Lead head guided label assigner 引导头引导标签分配引导头引导标签分配是根据引导头的预测结果和GT进行一系列优化计算来生成软标签，然后软标签作为辅助头和引导头的优化方向来训练模型。这样是由于引导头本身具备比较强的学习能力，因此由此产生的软标签应该更能代表源数据与目标之间的分布和相关性，而且还可以将这种方式当作是一种广义上的余量学习。通过让较浅的辅助头直接学习引导头已经学习到的信息，然后引导头就更能专注于学习到它还没有学习到的剩余信息。
Coarse-to-fine lead head guided label assigner 从粗到细的引导头引导标签分配 Coarse-to-fine引导头使用到了自身引导头的推理结果GT来生成软标签，进而引导标签进行分配。然而，在这个过程中会生成两组不同的软标签，即粗标签和细标签，其中细标签与引导头在标签分配器上生成的软标签是一样的，粗标签是通过允许更多的网格作为正目标，不单单只把gt中心点所在的网格当成候选目标，还把附近的三个也加进来了，增加正样本候选框的数量，以降低正样本分配的约束。因为辅助头的学习能力没有指导头强，所以为了避免丢失需要学习的信息，就提高辅助头的召回率，对于引导头的输出，可以从查准率中过滤出高精度值的结果作为最终输出。

但是如果粗标签的附加权重和细标签的附加权重差不多，那么在最终预测时就可能产生错误的先验结果。因此，为了使那些超粗的正网格影响更小，会在解码器中设置限制，来使超粗的正网格无法完美地产生软标签。通过以上的机制，允许在学习过程中动态调整细标签和粗标签的重要性，使细标签的始终优于粗标签。

总结

总的来说，在模型的结构上，yolov7的模型搭建延续了yolov5的手法，提出了ELAN的一个新颖concat结构和一个新颖的MP降维结构。同时，在部分版本中使用上了Rep结构（将3×3卷积，1×1卷积，残差链接）拓扑组合在一起。
对于正负样本的匹配上，使用了yoloX的SimOTA匹配方法，与yolov5的匹配方法进行融合。也就是simOTA中的第一步“使用中心先验”替换成“yolov5中的策略”，提供了更加精确的先验知识。同时还额外使用了辅助头。
但是无论是yolov6还是yolov7都使用了SimOTA的匹配方法，足以说明SimOTA的正负样本匹配策略是先进的。辅助头在宏观上也提供了一个额外的思路，就是在中间过程也可以进行一个损失计算，作为一个辅助的损失。这个辅助损失在结构计算上完全与正常的检测头计算损失相同，只是分配的权重不一样就可以了，这个权重比也可以作为是一个超参数调节。
而yolov6和yolov7也不约而同的都看上了参数重结构化的思路，也就是RepConv。说明这种训练过程和验证过程解耦的思路，可以改变网络的拓扑结构，从而加快推理速度，实现更快更强的目标检测算法。

查看全文

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.dgrt.cn/a/2299695.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

目标检测——YOLOv7（十三）

简介：继美团发布YOLOV6之后，YOLO系列原作者也发布了YOLOV7。主要从两点进行模型的优化：模型结构重参化和动态标签分配。 YOLOv7的特点是快！相同体量下比YOLOv5精度更高，速度快120%，比YOLOX快180%。 Github……

编程日记2023/4/12 23:53:06

NE555 Motor LED Chaser

文章目录1.前言2.资料下载1.前言
这个是从YouTube上搬运来的，如图所示
2.资料下载
所需材料 #1# 10k resistor 1 #2# 10k variable resistor 1 #3# 10uf capacitor 1 #4# 3mm blue led 4 #5# 3mm yellow led 4 #6# 3mm red led 4 #7# 3mm green led 4 #8# 3mm w……

编程日记2023/4/12 23:52:39

分布式监控平台-Zabbix

分布监控平台-Zabbix一、Zabbix概述1、Zabbix是什么？2、Zabbix监控原理二、部署Zabbix服务端（端口：10051）1、关闭防火墙修改主机名2、获取Zabbix下载资源3、安装SCL(Software Collections)，修改 Zabbix-front 前端源4……

编程日记2023/4/12 23:52:29

蓝桥杯：人物相关性分析

蓝桥杯：人物相关性分析https://www.lanqiao.cn/problems/198/learning/
目录
题目描述
输入描述
输出描述
输入输出样例
输入
输出
输入
输出
运行限制
题目分析:(滑动窗口)
AC代码（JAVA）题目描述小明正在分析一本小说中……

编程日记2023/4/12 23:52:17

redis主从复制详解

文章目录主从复制概述主从复制的作用主要包括：数据冗余故障恢复负载均衡高可用基石主从库之间采用的是读写分离的方式读操作写操作主从复制原理全量复制确立主从关系全量复制的三个阶段第一阶段是主从库间建立连接、协商同步的过程，主要是为全量复制做准……

编程日记2023/4/12 23:51:49

Baumer工业相机堡盟工业相机如何通过BGAPISDK的软触发实现两相机的同步采集（C#）

Baumer工业相机堡盟工业相机如何通过BGAPISDK的软触发实现两相机的同步采集（C#）Baumer工业相机Baumer工业相机的高速同步采集的技术背景Baumer工业相机通过BGAPI SDK在回调函数里同步保存图像工业相机在回调函数BufferEvent保存工业相机使用软触发进行同……

编程日记2023/4/12 23:51:35

Nacos 客户端服务注册源码分析-2

Nacos 客户端服务注册源码分析-2
继续接上回，上回分析到 NacosNamingService 的整个注册的流程，其实是通过 NacosFactory.createNamingService 方法，反射获取 NacosNamingService 接口的实现类 NacosNamingService ，而 NacosNami……

编程日记2023/4/12 23:51:25

决策树的深入浅出–很好的视频教程

http://v.youku.com/v_show/id_XMzA4NjAwNjE4OA.html?spma2h0k.8191407.0.0&froms1.8-1-1.2…

编程日记2023/4/12 23:51:06

Win10基础上安装Ubuntu双系统教程

步骤一：先在电脑上压缩出一个空间
步骤二：然后下载安装UutralSO，将ubuntu写入U盘
步骤三：https://jingyan.baidu.com/article/60ccbceb18624464cab197ea.html…

编程日记2023/4/12 23:51:05

Tensorflow的安装以及当前Ubuntu的版本检测

当前Ubuntu的版本检测：https://www.cnblogs.com/dirt2/p/6109338.html
安装tensorflow：https://blog.csdn.net/y1250056491/article/details/78670710…

编程日记2023/4/12 23:51:05

RapidOCR调优尝试教程

目录引言常见错例种类个别字丢失调优篇个别字识别错误调优篇情况一：轻量中英文模型识别对个别汉字识别错误情况二：轻量中英文模型对个别英文或数字识别错误相关链接引言
由于小伙伴们使用OCR的场景多种多样，单一的参数配置往往不能满足要求&……

编程日记2023/4/16 15:02:32

深度分析Palantir的投资价值，Palantir2023年将实现强劲反弹?

来源：猛兽财经作者：猛兽财经在本文中，猛兽财经将通过对Palantir的股票关键指标、商业模式、盈利能力、影响Palantir2023年股价的关键利好因素等方面，对Palantir进行全面、深度的分析。 Palantir股票的关键指标自从Palantir(PL……

编程日记2023/4/16 15:02:09

Pandas入门实践2 -数据处理

为了准备数据进行分析，我们需要执行数据处理。在本节中，我们将学习如何清理和重新格式化数据（例如，重命名列和修复数据类型不匹配）、对其进行重构/整形，以及对其进行丰富（例如，离散化……

编程日记2023/4/16 15:01:42

一、lua基础知识1

一、lua 的数据类型
–类型 a1; –number print(type(a)) –number b"HelloWorld"; print(type(b)) –string 两种数据类型 ctrue; print(type(c)) –boolean true 或者 false d print; d("HelloWorld"); print(type(d)); –function类型 ……

编程日记2023/4/16 15:01:28

二、lua语言基础2

1.lua的类型有哪些？答：lua的数据类型有：number,string,nil function,table,thread,userdata(用户自定义的类型),boolean（布尔类型) 2.什么是尾调用，尾调用有什么优点尾调用：在一个函数的最后一步开始调用另……

编程日记2023/4/16 15:01:27

quick-cocos2dx-luaUI控件讲解

–MyApp部分 require("config") require("cocos.init") require("framework.init") local MyApp class("MyApp", cc.mvc.AppBase) function MyApp:ctor() MyApp.super.ctor(self) end function MyApp:run() cc.FileUti……

编程日记2023/4/16 15:01:27

quick-cocos2dx lua语言讲解 (动作，定时器，触摸事件，工程的类的讲解)

–MainScene部分
— display.newScene 创建一个场景 — 在quick里面我们的控件、精灵一般是加载到场景上的 local MainScene class("MainScene", function() return display.newScene("MainScene") end) function MainScene:ctor() –创……

编程日记2023/4/16 15:01:26

使用quick-cocos2dx-lua 实现的小游戏（包含碰撞检测，触屏发子弹）

–主界面local MainScene class("MainScene", function()return display.newScene("MainScene")end)ON true;function MainScene:ctor()local bg cc.Sprite:create("main_background.png");bg:setScale(2);bg:setPosition(display.cx,display……

编程日记2023/4/16 15:01:26