深度可分离卷积

Conv 和 BN 的结合

“结构重参数化”这个词的本意就是：用一个结构的一组参数转换为另一组参数，并用转换得到的参数来参数化（parameterize）另一个结构。只要参数的转换是等价的，这两个结构的替换就是等价的。

ACNet (ICCV-2019)：Reparam(KxK) = KxK-BN + 1xK-BN + Kx1-BN。这一记法表示用三个平行分支（KxK，1xK，Kx1）的加和来替换一个KxK卷积。注意三个分支各跟一个BN，三个分支分别过BN之后再相加。这样做可以提升卷积网络的性能。

RepVGG (CVPR-2021)：Reparam(3x3) = 3x3-BN + 1x1-BN + BN。对每个3x3卷积，在训练时给它构造并行的恒等和1x1卷积分支，并各自过BN后相加。

Diverse Branch Block (DBB) (CVPR-2021) ：Reparam(KxK) = KxK-BN + 1x1-BN + 1x1-BN-AVG-BN + 1x1-BN-KxK-BN。

ResRep (ICCV 2021) : Reparam(KxK) = KxK-BN-1x1。

为什么会work

ACNet

RepLKNet (CVPR 2022):

RMNet

https://zhuanlan.zhihu.com/p/453479354