kaggle竞赛记录-CowBoy Outfits Detection

update 进度

8月2日

• 将 Notebook 里面的 config 跑通了，训了 20 个epoch，cowfitsv1 在验证集上的 best_mAP 是 0.7070

8月3日

• 写好了训练集和验证结果的可视化脚本，发现了标注的区别，voc 标注是 xyxy，coco 标注是 xywh

• 将 cowfitsv1 提交至 codalab 上，public score 是 24.5599559956，出现了严重的线上线下不一致的问题

• 数据方面的排查：是否是训练集中较少的类在测试集上较多，导致拟合不完全

  • 训练集存在标注噪声
    • case id：67、72、77、84
    • 解决方案：使用伪标签+高阈值修正
  • md 原来 train 也是用的 valid 集合

• 模型方面的排查

  • cowfits_resnest50_cascade_rcnn_fp16_coslr.py

    • 在 cowfits.py 的基础上将 backbone 换成 resnest50，换为了训练 24 Epoch

  • cowfits_resnest50_cascade_rcnn_fp16_steplr.py

    • 在 cowfits_resnest50_cascade_rcnn_fp16_coslr.py 基础上换为 steplr

  • cowfits_resnest50_cascade_rcnn_fp16_steplr_augmentationv1.py

    • 在 cowfits_resnest50_cascade_rcnn_fp16_steplr.py 基础上添加 augmentation

  • cowfits_resnext101_cascade_rcnn_fp16_steplr.py

    • 在 cowfits.py 的基础上换为了训练 24 Epoch，并且使用 steplr

  • cowfits_resnest50_cascade_rcnn_fp16_steplr_augmentationv1。py

  • ``

8月4日

• 8月3日结果分析
  • cowfits_resnest50_cascade_rcnn_fp16_coslr
    • best_bbox_mAP: 22 epoch, 0.3980
    • 线上成绩：12.596259626
  • cowfits_resnest50_cascade_rcnn_fp16_steplr
    • best_bbox_mAP: 09 epoch, 0.4630
    • 线上成绩：16.1779035046
  • cowfits_resnest50_cascade_rcnn_fp16_steplr_augmentationv1
    • best_bbox_mAP: 21 epoch, 0.3880
    • 线上成绩：33.3626696003
  • cowfits_resnext101_cascade_rcnn_fp16_steplr
    • best_bbox_mAP: 06 epoch, 0.3520
    • 线上成绩：21.397139714

8月5日

• 对每个类别的数量作分析，探究类别不平衡问题

• 对目标的尺寸作分析，并做可视化分析（类似yolov5），可以去借鉴代码

• 对验证集的预测情况做混淆矩阵分析，看是哪部分样本容易预测错

• 对昨天的多个模型做 TTA 测试以及 NMS 集成

• 对模型进行调整

  • 调整训练尺度到1024

    • cowfits_resnest50_cascade_rcnn_fp16_steplr_augmentationv1_1024.py
      

      • best_bbox_mAP: 24 epoch, 0.4230
      • 线上成绩：33.2590759076

    • cowfits_resnest50_cascade_rcnn_fp16_steplr_augmentationv1_1024_epoch5.py

      • best_bbox_mAP: 5 epoch, 0.0880
      • 线上成绩： 4.9394939494

    • cowfits_resnest50_cascade_rcnn_fp16_steplr_augmentationv1_1024_epoch10.py

      • best_bbox_mAP: 10 epoch, 0.2250
      • 线上成绩：26.7409240924

    • cowfits_resnest50_cascade_rcnn_fp16_steplr_augmentationv1_1024_epoch15.py

      • best_bbox_mAP: 15 epoch, 0.3760
      • 线上成绩：30.0110011001

    • cowfits_resnest50_cascade_rcnn_fp16_steplr_augmentationv1_1024_epoch20.py

      • best_bbox_mAP: 20 epoch, 0.3320
      • 线上成绩：32.5043218608