深度学习中常用的数据治理手段

维护一个数据版本

工程方面：

1、统一的数据读取接口

特性方面：

1、数据离线增强

• 数据增广

• 亮度调整

• 图像去噪

• 以及从数据中挖掘到的应当用的增强方式

2、标注是否存在噪声

• NLKD
• Label Smooth
• O2U-Net

3、是否存在类别不平衡的现象

• 过采样/降采样
• 平均采样（例如 ReID 中在一个 batch 中需要按照 id 来训练，效果会好一些）

4、是否存在类别之间难易程度不均衡的问题

• Focal loss

• OHEM

• S-OHEM

• GHM