A Simple Framework for Contrastive Learning of Visual Representations

作者：Google Hinton组

摘要

阅读

论文的目的及结论

论文的实验

论文的方法

论文的背景

总结

论文的贡献

作者说很多 idea 以前都出现过

• idea1：Make two views of the same example agree

  • Becker & Hinton(1992)
  • instance discrimination -Dosovitskiy et al. (2014)
  • 

• idea2：Use random crop and color distortion for data augmentations

• idea3：Encoder + Projection head

• idea4：Use cross entropy loss as contrastive loss

SimCLRv1 把很多的设计合到一起确实就可以达到很好的性能

论文的不足

论文如何讲故事

参考资料

1、20201014 VALSE Webinar 自监督学习（有SimCLRv1的一作分享） (opens new window)