目标检测

1、一些在线的预测任务，给模型的算力空间是很小的。要求实时处理的话，那么一般就是20-30FPS的预测速度。即使主流的单阶段模型，预测速度也都是在旗舰GPU上的运行。

2、每个预定义anchorbox的损失包括两部分：1)用于分类的交叉熵损失和2)目标定位的L1/L2回归损失。损失函数的一般形式可以写成:

3、遥感与航空影像分析，工业视觉检测。缺陷检测、共件计数、尺寸测量，智能无人驾驶，车道线检测，交通标志检测、车辆检测、车牌号识别、车辆属性识别，ADAS等。

4、2Multi-ModelEnsembleMethod

5、适配Linux、Windows、NVJetson等多系统多平台，同时提供Python预测和C++预测，额外适配TensorRT，支持TensorRT动态尺寸输入及TensorRTINT8量化预测,模型预测加速性能满分！

6、投影：将点级特征聚合为体素级特征，并投影到其原始网格。这就形成了一个伪图像特征图。

7、图像问答和描述，图像与视频检索，视频内容分析，视觉目标跟踪，图神经网络GNN，生成对抗GAN，自动机器学习，神经架构搜索，网络压缩与轻量化，双目多目视觉，多源融合视觉，可见光成像、红外线成像、雷达波成像。

8、本文为作者自己参加的三个目标检测类算法比赛的经验总结，分为五个部分：数据研究和准备、参数调节、模型验证以及模型融合，作者还给出了一些关于比赛中其他需要注意的事项，为准备参赛的小伙伴们提供了详细的指导。>>极市双11现金福利，前往文末即可查看惊喜！

9、Convolutionalblockattentionmodule(CBAM)

10、早期的proposal检测方法遵循自底向上的检测理念，深受视觉显著性检测的影响。后来，研究人员开始转向low-levelvision(如边缘检测)和更精细的手工技能，以改进候选框的定位。2014年以后，随着CNN在视觉识别领域的普及，自上而下、基于学习的方法开始在这个问题上显示出更多的优势，目标proposal检测已经从自底向上的视觉发展到“对一组特定目标类的过度拟合”，检测器和proposal生成器之间的区别变得越来越模糊。(目标检测)。

11、在ROIPooling上做文章，文章SINet:AScale-InsensitiveConvolutionalNeuralNetworkforFastVehicleDetection认为小目标在pooling之后会导致物体结构失真，于是提出了新的Context-AwareRoIPooling方法。

12、两级检测器一直是目标检测领域的主导方法，其中最具代表性的是RCNN系列。与Two-Stage检测器相比One-Stage检测器同时预测box和目标的类别。One-Stage检测器的速度优势明显，但精度较低。对于One-Stage检测器，最具代表性的型号是YOLO系列、SSD和RetaNet。

13、一些公司正在应用无人机摄像对人难以到达的地方进行自动监测(例如BetterView)或者使用物体检测方法进行整体分析(例如TensorFlight)。除此之外，一些公司实现了不需人为干预下的场景自动检测和位置识别。使用TensorFlight实现汽车、树和行人的识别

14、设置好布防时间和所需要的联动方式，点击“应用”；

15、Girshick,Ross,etal."Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation."20

16、每个Transformerencoderblock包含2个子层。第1子层为multi-headattentionlayer，第2子层(MLP)为全连接层。每个子层之间使用残差连接。Transformerencoderblock增加了捕获不同局部信息的能力。它还可以利用自注意力机制来挖掘特征表征潜能。在VisDrone2021数据集中，Transformerencoderblock在高密度闭塞对象上有更好的性能。

17、R-CNN被提出不久后，它又延伸出了一个完全使用深度学习的版本——就在一年后，RossGirshick(目前在微软研究中心)发表了FastR-CNN。 

18、全局上下文利用场景作为目标检测的附加信息源。对于早期的目标检测器，集成全局上下文的一种常见方法是集成组成场景的元素的统计和，比如Gist。对于现代的基于深度学习的检测器，有两种方法来集成全局上下文。第一种方法是利用大的感受野(甚至比输入图像更大)或CNN特征的全局池化；第二种方法是把全局上下文看作是一种序列信息，然后用递归神经网络来学习它

19、之所以使用两种不同的目标框信息表达格式，是因为两种格式会分别在后续不同场景下更加便于计算。

20、将results中的20改为自定义数据集的类别个数：

21、2)windowscoringapproaches

22、(18)知乎：你有哪些deeplearning(rnn、cnn)调参的经验？：https://www.zhihu.com/question/41631631

23、One-Stage目标检测算法可以在一个stage直接产生物体的类别概率和位置坐标值，相比于Two-Stage的目标检测算法不需要RegionProposal阶段，整体流程较为简单。如下图所示，在Testing的时候输入图片通过CNN网络产生输出，解码(后处理)生成对应检测框即可；在Training的时候需要将GroundTruth编码成CNN输出对应的格式以便计算对应损失loss。

24、在proposal之间也使用GCN来增强特征的学习能力。

25、此外，对于小目标，平均能够匹配的anchor数量为1个，平均最大的IoU为0.这说明很多情况下，有些小目标是没有对应的anchor或者对应的anchor非常少的，即使有对应的anchor，他们的IoU也比较小，平均最大的IoU也才0.

26、最终在test-set-challenge上取得了18的好成绩，远远高于VisDrone2020的最高成绩

27、在Anchor上做文章(FasterRcnn，SSD,FPN都有各自的anchor设计)，anchor在设置方面需要考虑三个因素：

28、SoftNMS(17)：SoftNMS相对于NMS的改进即每次并不是直接排除掉和已选框重叠大于一定阈值的框，而是以一定的策略降低对应框的得分，直到低于某个阈值，从而不至于过多删除拥挤情况下定位正确的框。

29、FPN(13)：FasterR-CNN只采用顶层特征做预测，但我们知道低层的特征语义信息比较少，但是目标位置准确;高层的特征语义信息比较丰富，但是目标位置比较粗略。FPN算法把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息，然后在不同尺度的特征层上进行预测，使得生成Proposals的效果优于只在顶层进行预测的FasterR-CNN算法。如下图所示。

30、CascadeR-CNN(14)：类似于FasterR-CNN、FPN等，其Proposal网络对于正样本只设置了一个阈值，只做了一次较为宽松的约束，得到的Proposals结果较为粗糙，当对检测框的定位结果要求更为精确的时候就稍显不足。而CascadeR-CNN在获取Proposals的时候也采用逐步求精的策略，前一步生成的Proposals作为后一步的输入，通过控制正样本的交并比阈值不断提高Proposals的质量，如下图所示。准确来说，CascadeR-CNN应该不能算Two-Stage检测算法，应该是多Stage检测算法，多步求精。

31、SSD(5)：SSD检测算法的网络结构如下图所示，其中Backbone为VGG网络，使用不同阶段不同分辨率的featuremap进行预测。

32、当然，这些都可以在工程上用一些方法来平滑掉。

33、阿里天池：天池新品实验室-淘宝直播商品识别 (3)

34、点击“系统管理—事件配置—smart事件—人脸比对”，进入人脸比对配置界面。

35、计算机视觉属于人工智能领域的传统六大研究方向之如果本科期间有一定的机器学习、深度学习基础，那么主攻计算机视觉方向往往会更容易一些，如果没有机器学习基础，在入学前应该重点学习一下机器学习。

36、如上图所示，损失函数分为坐标预测(蓝色框)、含有物体的边界框的confidence预测(红色框)、不含有物体的边界框的confidence预测(黄色框)、分类预测(紫色框)四个部分。

37、比如车载平台的话，功率都是受限的，然而一份功率一份算力。离线的运算还可以增加batchsize提升利用率，在线的都是一张张图片，实际GPU利用率也是有折扣的。

38、将VoteNet中的PointNet++换成特征捕捉能力更强的GCN；

39、FastR-CNN大幅提速继2014年的R-CNN推出之后，RossGirshick在2015年推出FastR-CNN，构思精巧，流程更为紧凑，大幅提升了目标检测的速度。FastR-CNN和R-CNN相比，训练时间从84小时减少到5小时，测试时间从47秒减少到0.32秒，并且在PASCALVOC2007上测试的准确率相差无几，约在66%-67%之间。

40、投稿或寻求报道：content@jiqizhixin.com

41、(SIGAI推荐：经典卷积神经网络结构GoogleNet,ResNet,DenseNet，SENet的原理)

42、目标检测是机器视觉研究方向主要有：图像与视频，图像处理,图像分。单标签分，多标签分类、细粒度分类。目标检测与分割，检测定位、语义分割、实例分割、全景分割、图像超分辨重建，图像恢复与增强，去雾、去雨、增强。

43、这种方法效率很低，实在太耗时了。那有没有高效的目标检测方法呢？

44、连检测框都不要了？莫慌，PaddleDetection0带你紧跟全球科研动向。SOTA(最先进)的AnchorFree算法：PAFNet(PaddleAnchorFree)&PAFNet-Lite，从理论到直接使用，保证把你安排的明明白白！

45、MaskR-CNN便是这种“图像分割”的重要模型。

46、CBAM是一个简单但有效的注意力模块。它是一个轻量级模块，可以即插即用到CNN架构中，并且可以以端到端方式进行训练。给定一个特征映射，CBAM将沿着通道和空间两个独立维度依次推断出注意力映射，然后将注意力映射与输入特征映射相乘，以执行自适应特征细化。

47、某边界框的置信度定义为：某边界框的confidence=该边界框存在某类对象的概率pr(object)*该边界框与该对象的groundtruth的IOU值，若该边界框存在某个对象pr(object)=否则pr(object)=0。由于一幅图中大部分网格中是没有物体的，这些网格中的边界框的confidence置为0，相比于有物体的网格，这些不包含物体的网格更多，对梯度更新的贡献更大，会导致网络不稳定。为了平衡上述问题，YOLO损失函数中对没有物体的边界框的confidenceerror赋予较小的权重，记为noobj，对有物体的边界框的confidenceerror赋予较大的权重。在pascalVOC训练中noobj=0.有物体的边界框的confidenceerror的权重设为

48、YOLOv2对YOLOv1的缺陷进行优化，大幅度高了检测的性能，但仍存在一定的问题，如无法解决重叠问题的分类等。

49、YOLOv1利用全连接层直接对边界框进行预测，导致丢失较多空间信息，定位不准。YOLOv2去掉了YOLOv1中的全连接层，使用AnchorBoxes预测边界框，同时为了得到更高分辨率的特征图，YOLOv2还去掉了一个池化层。由于图片中的物体都倾向于出现在图片的中心位置，若特征图恰好有一个中心位置，利用这个中心位置预测中心点落入该位置的物体，对这些物体的检测会更容易。所以总希望得到的特征图的宽高都为奇数。YOLOv2通过缩减网络，使用416x416的输入，模型下采样的总步长为最后得到13x13的特征图，然后对13x13的特征图的每个cell预测5个anchorboxes，对每个anchorbox预测边界框的位置信息、置信度和一套分类概率值。使用anchorboxes之后，YOLOv2可以预测13x13x5=845个边界框，模型的召回率由原来的81%提升到88%，mAP由原来的5%降低到2%.召回率提升了7%，准确率下降了0.3%。

50、我们都知道深度学习模型是一种非线性方法。它们提供了更大的灵活性，并可以根据训练数据量的比例进行扩展。这种灵活性的一个缺点是，它们通过随机训练算法进行学习，这意味着它们对训练数据的细节非常敏感，每次训练时可能会得到一组不同的权重，从而导致不同的预测。这给模型带来了一个高方差。

51、在读研期间我一直强调要基于自身的能力特点来选择方向，而能力特点往往就体现在自身的科研基础上，所以对于本科期间有一定的科研经历的同学来说，到读研期间会有更明确的方向，也更容易找到与自身能力特点相契合的课题方向。

52、https://arxiv.org/abs/19007850v2?source=post_page

53、用来表达bbox的格式通常有两种，(x1,y1,x2,y2)和(c_x,c_y,w,h)，如图所示：

54、R-FCN(15)：同样只对原图提取一次特征，主要区别是提取目标特征的同时加上了位置信息(Position-Sensitive)，即目标的不同区域的特征维护在不同channels上，对于一个候选目标Proposal，其不同区域区域的特征需要映射到原图特征的不同channels上。如下图所示。

55、3M超超超轻量目标检测算法PP-YOLOTiny

56、如下图所示，MaskR-CNN在FasterR-CNN中添加了一个全卷积网络的分支(图中白色部分)，用于输出二进制mask，以说明给定像素是否是目标的一部分。所谓二进制mask，就是当像素属于目标的所有位置上时标识为其它位置标识为0

57、全面支持pip安装，动态图开发，压缩、部署等全流程方案打通，极大程度的提升了用户开发的易用性，加速了算法产业应用落地的速度。

58、论文地址：https://openaccess.thecvf.com/content_CVPR_2020/papers/Fan_Camouflaged_Object_Detection_CVPR_2020_paper.pdf 

59、效果比较好的方法是：无参估计背景减除法——ViBe.算法优点：思想简单，易于实现；样本衰减最优；运算效率高算法缺点：把阴影当做前景；运动目标不完整。

60、(10)BagofFreebiesforTrainingObjectDetectionNeuralNetworks：https://arxiv.org/abs/19004103

61、Soft-NMS是对NMS进行轻微的修改，使得Soft-NMS在标准基准数据集(如PASCALVOC和MSCOCO)上比传统NMS有了明显的改进。它根据IoU值对相邻边界box的置信度设置衰减函数，而不是完全将其置信度评分设为0并将其删除。

62、作者统计了VisDrone2021数据集，发现它包含了很多非常小的目标，所以增加了一个用于微小物体检测的预测头。结合其他3个预测头，4头结构可以缓解剧烈的目标尺度变化带来的负面影响。如图3所示，添加的预测头(Head1)是由low-level、高分辨率的featuremap生成的，对微小物体更加敏感。增加检测头后，虽然增加了计算和存储成本，但对微小物体的检测性能得到了很大的提高。

63、聚类分析法，包含支持向量机、神经网络、AdaptiveBoosting

64、局部上下文是指要检测的目标周围区域的视觉信息。长期以来，人们一直认为局部上下文有助于改进目标检测。在21世纪初，Sinha和Torralba发现，包含局部上下文区域(如面部边界轮廓)可以显著提高人脸检测性能。Dalal和Triggs还发现，加入少量的背景信息可以提高行人检测的准确性。最近的基于深度学习的检测器也可以通过简单地扩大网络的感受野或目标proposal的大小来根据局部上下文进行改进。

65、加入我们，亲身体验一家专业科技媒体采写的每个细节，在最有前景的行业，和一群遍布全球最优秀的人一起成长。坐标北京·清华东门，在大数据文摘主页对话页回复“招聘”了解详情。简历请直接发送至zz@bigdatadigest.cn

66、FasterR-CNN可以简单地看成是“区域生成网络+FastR-CNN”的模型，用区域生成网络(RegionProposalNetwork，简称RPN)来代替FastR-CNN中的SelectiveSearch(选择性搜索)方法。如下图

67、另外，也可以将上面步骤1-5修改的配置写在一个文件中。

68、我们在前面提到过对象数量可变，但是并没有解释为什么是个问题。当训练机器学习模型的时候，你经常需要把数据表示成固定长度的向量。如果在训练之前图片中的对象数量是未知的，模型的输出数量也就是未知的了。因此，一些增加模型复杂性的预处理是必要的。

69、在深度学习时代后期，由于计算能力的提高，在2014-2016年的目标检测中，bootstrap很快被丢弃。为了缓解训练过程中的数据不平衡问题，FasterRCNN和YOLO只是在正负样本之间平衡权重。然而，研究人员后来发现，权重平衡不能完全解决数据不平衡问题。为此，2016年以后，bootstrap被重新引入到基于深度学习的检测器中。例如，在SSD和OHEM中，只有很小一部分样本(损失值最大的样本)的梯度会被反向传播。在RefineDet中，一个anchorrefinementmodule用来过滤容易的负样本。另一种改进是设计新的损失函数，通过重新定义标准的交叉熵损失，使其更关注于困难的、分类错误的样本(比如RetinaNet中提出的FocalLoss)。

70、(2)特征提取：由于目标的形态多样性，光照变化多样性，背景多样性等因素使得设计一个鲁棒的特征并不是那么容易。然而提取特征的好坏直接影响到分类的准确性。其中，这个阶段常用的特征有SIFTHOG(4)等。

71、边界框聚合是针对NMS的另一种技术，其思想是将多个重叠的边界框组合或聚类成一个最终的检测结果。

72、全场八折优惠码：(A3BED88E9803)

73、ImageNet是在学术界使用的最受欢迎的数据集之它由数百万个已分类图像组成，部分数据用于ImageNet大规模视觉识别挑战赛(ILSVRC)。最近几年来，解决分类问题的模型已经有了超越人类的识别能力，所以分类问题实际上已经被解决了.

74、(14)CaiZ,VasconcelosN.CascadeR-CNN:DelvingintoHighQualityObjectDetection(J).20

75、设置合适的比对失败提示语(默认“身份验证失败”)；

76、(19)JiangB,LuoR,MaoJ,etal.AcquisitionofLocalizationConfidenceforAccurateObjectDetection(J).20

77、1)segmentationgroupingapproaches

78、熟悉Kaggle的人可能对「检测转分割」这个解决方案不是很陌生。检测问题用分割标签来做，性能就会提高很多。因为分割的表征能力真的很强——分割样本更少，得到的模型收敛更快，并且检测里的难题可以得到很好的解决。对于之前提到的第二个问题，论文给出了一个转化方法，即将检测的标签转化成一个二值化的多模态标注。

79、PSROIPool：即R-FCN采用的Pooling方式，与ROIPool的唯一区别在于PSROIPool需要每一个Proposal的不同区域对应到featuremap的不同channels进行取值。

80、Photometric和geometric被研究人员广泛使用。对于Photometric主要是对图像的色相、饱和度和值进行了调整。在处理geometric时主要是添加随机缩放、裁剪、平移、剪切和旋转。

81、作者统计了VisDrone2021数据集，发现它包含了很多非常小的目标，所以增加了一个用于微小物体检测的预测头。结合其他3个预测头，4头结构可以缓解剧烈的目标尺度变化带来的负面影响。如图3所示，添加的预测头(Head1)是由low-level、高分辨率的featuremap生成的，对微小物体更加敏感。增加检测头后，虽然增加了计算和存储成本，但对微小物体的检测性能得到了很大的提高。

82、从COCO上的统计图可以发现，小目标的个数多，占到了43%，但是含有小目标的图片只有82%，大目标所占比例为24%，但是含有大目标的图像却有28%。这说明有一半的图像是不含小目标的，大部分的小目标都集中在一些少量的图片中。这就导致在训练的过程中，模型有一半的时间是学习不到小目标的特性的。

83、CVPR2020会议上，有哪些目标检测论文值得关注？