Weakly-Supervised Semantic Segmentation via Sub-category Exploration

单位：UC Merced, eBay, NEC Labs Ameriva, Google Research.

作者： Yu-Ting Chang, Qiaosong Wang, Wei-Chih Hung, Robinson Piramuthu, Yi-Hsuan Tsai, Ming-Hsuan Yang

发表：CVPR 2020

摘要

阅读

论文的目的及结论

论文的实验

实验性能（3张表）

• Tab.1 是和 AffinityNet 的比较
• Tab.3 是和其他方法在每个类别上的性能比较
• Tab.4 是和 SOTA 方法的性能比较

消融实验（2个表）

上面两张表是对子类数量 $K$ 以及迭代次数的消融实验，最终K 取值为 10，round取值为3

可视化结果（4张图）

• Fig.3 展示了CAM的可视化结果
• Fig.5 展示了聚类的结果
• Fig.6 展示了特征空间上子类和父类的 t-SNE 结果，表明人这个子类别通常和其他的父类靠的很近，因为他们在同一张图里共同出现的概率很高
• Fig.7 是量化结果

论文的方法

论文的背景

总结

论文的贡献

将原始类别称为父类，在特征空间上对同父类样本的特征聚类后生成 $K$ 个子类，聚类的结果作为子类的groundtruth，用于计算子类的loss。相当于做了一个额外的任务约束，来激励模型学到更多的语义信息。

论文的不足

论文如何讲故事

参考资料

• https://arxiv.org/abs/2008.01183

• https://github.com/Juliachang/SC-CAM

• Refinement: We adopt the random walk method via affinity to refine the map as pixel-wise pseudo ground truths for semantic segmentation. Please refer to the repo of AffinityNet (opens new window) [1].

• Segmentation network: We utilize the Deeplab-v2 framework [2] with the ResNet-101 architecture [3] as the backbone model to train the segmentation network. Please refer to the repo (opens new window).