Muyun99's wiki Muyun99's wiki
首页
学术搬砖
学习笔记
生活杂谈
wiki搬运
资源收藏
关于
  • 分类
  • 标签
  • 归档
GitHub (opens new window)

Muyun99

努力成为一个善良的人
首页
学术搬砖
学习笔记
生活杂谈
wiki搬运
资源收藏
关于
  • 分类
  • 标签
  • 归档
GitHub (opens new window)
  • 心情杂货

  • 学术杂谈

    • Data-centric vs Model-centric 的个人拙见
    • 重参数化宇宙的起源
    • 动态卷积
    • 从 Tesla AI Day 看自动驾驶的进展
  • 生活杂谈
  • 学术杂谈
Muyun99
2022-03-16

动态卷积

# 普通卷积

以 3x3 的卷积为例,padding = 1 代表输出输出尺寸不变

输入:N C1 W H 的 tensor

输出:N C2 W H 的 tensor

卷积核的参数:C1∗C2∗W∗HC_1 * C_2 * W * HC1​∗C2​∗W∗H

对于输出的 C2C_2C2​ 个通道,都需要一个 C1∗W∗HC_1 * W *HC1​∗W∗H 的卷积核去卷积得到特征图

  • 卷积核的通道数量 = 输入通道数量 C1C_1C1​

  • 卷积核的数量 = 输出通道个数 C2C_2C2​

  • 卷积核的尺寸 = 特征图的尺寸

# 深度可分离卷积(来自 MobileNet)

将标准卷积分解为逐深度卷积 Depthwise convolution 和逐点卷积 Pointwise convolution

输入:N∗C1∗W∗HN * C_1 * W * HN∗C1​∗W∗H 的 tensor

输出:N∗C2∗W∗HN * C_2 * W * HN∗C2​∗W∗H 的 tensor

卷积核的参数:C1∗C2∗W∗HC_1 * C_2 * W * HC1​∗C2​∗W∗H

逐深度卷积 Depthwise convolution

  • 每个通道进行卷积操作,就得到了和输入特征图通道数一致的输出特征图

  • 该步卷积核的参数是:C1∗1∗W∗HC_1 * 1 * W * HC1​∗1∗W∗H

逐点卷积 Pointwise convolution:

  • 使用 1x1 的卷积对上一步得到的特征图进行调整

  • 该步卷积核的参数是:C1∗1∗W∗HC_1 * 1 * W * HC1​∗1∗W∗H

# 空间可分离卷积(来自 ACNet)

# 动态卷积

下采样的方式

上采样的方式

网格效应

#

上次更新: 2023/03/25, 19:58:09
重参数化宇宙的起源
从 Tesla AI Day 看自动驾驶的进展

← 重参数化宇宙的起源 从 Tesla AI Day 看自动驾驶的进展→

最近更新
01
Structured Knowledge Distillation for Semantic Segmentation
06-03
02
README 美化
05-20
03
常见 Tricks 代码片段
05-12
更多文章>
Theme by Vdoing | Copyright © 2021-2023 Muyun99 | MIT License
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式
×