【YOLOv7】告急改进点详解

[复制链接]
查看931 | 回复0 | 2023-8-23 11:48:50 | 显示全部楼层 |阅读模式
YOLOv7先容

YOLOv7论文在上个月6号挂在了Arxiv上之后,引起了巨大轰动,短短一个月的时间,Github上就有了4.3k个Star。
从论文题目可以看出来,YOLOv7又是一个集大成者的佳构;从Github源码可以看出, 团体结构与YOLOv5极其相似,因此有YOLOov5基础的小同伴可以无脑上手v7。
另外来看下v7的两位大牛作者,一作是 Chien-Yao Wang,近几年一直耕耘在目标检测范畴,尤其是YOLO系列,代表作:YOLOv7、YOLOR、ScaledYOLOv4、CSPNet等。二作是 Alexey Bochkovskiy,就是在20年Joseph Redmon公布退出CV范畴后扛起YOLO系列大旗并发布YOLOv4的那位大神。
 
团体网络架构

YOLOv7完整网络架构以及各组件的详细剖析可以移步至:【YOLOv7_0.1】网络结构与源码剖析,这里从另一个角度来相识YOLOov7的网络架构:
上面这张图是根据我现在的理解,对YOLOv7的团体结构举行的拆分,大概会有不准确的地方,欢迎各位小同伴前来交流~
可以很清楚的看到,YOLOv7大部分继承自YOLOv5,包罗团体网络架构、设置文件的设置和训练、推理、验证过程等等,根本上认识v5就可以无脑上手v7了;别的,v7也有不少继承自YOLOR,毕竟是同一个作者前后年的工作,包罗差别网络的筹划、超参数设置以及隐性知识学习的参加;另有就是在正样本匹配时仿照了YOLOX的SimOTA策略。
除了这些在已有YOLO版本中的算法之外,YOLOv7还包罗了近几年最新的trick:高效聚合网络(现在论文还未接收)、重参数化卷积、辅助头检测、模型缩放等等,因此学习YOLOv7还是非常有代价的。
 
高效聚合网络

图a和图b是之前常用的特征提取网络,图c则是YOLOv7告急用到的ELAN网络,固然有引文,但是并没有任何详细资料来学习,对此,作者是这么说的:
   ELAN paper will be released after accept at the latest.
  好叭,那就再等等。图d是对ELAN的改进,其等效网络就是下面这个,也就是两个ELAN(红框里)的Concat,作者的解释是:
   For E-ELAN architecture, since our edge device do not support group convolution and shuffle operation, we are forced to implement it as an equivalence architecture.
    
重参数化卷积

重参数化的作用:在包管模型性能的条件下加快网络,告急是对卷积+BN层以及差别卷积举行融合,归并为一个卷积模块。
下面给出了卷积+BN融合的公式化过程,赤色表现卷积参数(权重和偏置),蓝色是BN参数(                                   m                              m                  m是输入均值,                                   v                              v                  v是输入尺度差,                                   γ                              \gamma                  γ和                                   β                              \beta                  β是两个可学习的参数),最终颠末一系列化简,融合成了一个卷积:
在YOLOv7中,除了网络最后使用RepConv重参数化卷积之外,作者也提到了其他三处使用重参数化本事的地方:
   we perform reparameterization on conv-bn, repconv, orepa, and yolor.
  对应model/yolo.py中model类的fuse函数(这里):
 
辅助头检测

YOLOv7中,将head部分的浅层特征提取出来作为Aux head(辅助头),深层特征也就是网络的最终输出作为Lead head(引导头),如图b所示。
在盘算丧失时:


  • 图c的策略是,lead head和aux head分别、单独盘算丧失,最终相加
  • 图d的策略是,lead head单独盘算丧失,aux head将lead head匹配得到的正样本作为本身的正样本,并盘算丧失,最终相加(占比差别)
  • 图e的策略是,lead head单独盘算丧失,aux head将lead head匹配得到的正样本(这里是粗匹配,也就是选择GT框中央点地点网格的上下左右4个邻域网络作为正样本筛选地域)作为本身的正样本,并盘算丧失,最终相加(占比差别)
以training/yolov7-w6.yaml为例,最后detect模块的前四层为lead head,后四层为aux head,在推理时,只取前四层作为detect层的输出:
 
动态标签分配

YOLOv7的标签分配策略(正样本筛选),集成了YOLOv5和YOLOX两者的英华


  • YOLOv5
    Step1:Autoanchor策略,获得数据集最佳匹配的9个anchor(可选)
    Step2:根据GT框与anchor的宽高比,过滤掉不符合的anchor
    Step3:选择GT框的中央网格以及最邻近的2个邻域网格作为正样本筛选地域(辅助头则选择周围4个邻域网格)


  • YOLOX
    Step4:盘算GT框与正样本IOU并从大到小排序,选取前10个值举行求和(P6前20个),并取整作为当前GT框的K值
    Step5:根据丧失函数盘算每个GT框和候选anchor的丧失,保存丧失最小的前K个
    Step6:去掉同一个anchor被分配到多个GT框的情况
 
总结

概括:


  • YOLOv7在5FPS到160FPS的范围内,无论是速率或是精度,都超过了现在已知的检测器
  • 在V100上举行测试, 精度为56.8%AP的模型可到达30FPS(batch=1)以上的检测速率
  • 现在唯逐一款在云云高精度下仍能超过30FPS的检测器
不敷:


  • 代码冗余,版本更新问题
  • 精度虚高(参考:如何评价AlexeyAB版的YOLOv7?)
  • 验证时数据预处理的图像缩放异常(没有做padding操纵)
  • 验证时的NMS异常(应该是multi_label = False)
 


参考资料
目标检测算法——YOLOV7——详解
如何评价AlexeyAB版的YOLOv7?

来源:https://blog.csdn.net/weixin_43799388/article/details/126314633
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则