您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识
fig是什么意思 论文中fig是什么意思
特征,信息,序列fig是什么意思 论文中fig是什么意思
发布时间：2019-02-08加入收藏来源：互联网点击：
很多朋友想了解关于fig是什么意思的一些资料信息，下面是小编整理的与fig是什么意思相关的内容分享给大家，一起来看看吧。
kaiming的MAE和年初的CLIP可能是今年CV领域唯二的重磅文章，有预感MAE会成为CV领域和BERT地位相当的一篇文章。从BERT和MAE的形态上来说，都引入了mask机制来做无监督预训练，但是又因为vision和language两种模态上本质的不同，导致mask的设计上和整体框架上有所区别。从NLP的Transformer到BERT，然后到CV的ViT、BEiT，CV领域的无监督预训练经历了漫长的探索，直到MAE的出现，才逐渐感觉到CV的大规模无监督预训练开始走向正轨。
本文先捋顺NLP和CV相关文章之间的关系脉络，然后探讨一下BEiT和MAE的关系，最后探讨一下BERT和MAE的关系。
1双子星BERT和MAEBERT和MAE的关系图。橙色虚线表示NLP和CV跨领域启发，绿色实线表示领域内启发。
Transformer是整个大规模无监督预训练的开端，Transformer改变了原有Seq2Seq的串行计算的方式，通过矩阵并行计算大幅度提升了长距离依赖的计算效率，并且由于整个框架完全采用attention，Transformer的拟合能力空前绝后。
BERT得益于Transformer强大的计算效率，构造一种类似完形填空的proxy task，可以将不同NLP任务的语料一起拿来做无监督预训练，然后将预训练好的transformer encoder应用于下游任务。
ViT巧妙的将图片构造成patch序列，可以将patch序列送入原始的transformer encoder进行图像分类，ViT直接启发了Transformer和BERT在CV领域的正确打开方式。
iGPT应该是第一个应用BERT-like的mask方式做CV领域无监督预训练的工作。iGPT把图片resize构建resize序列，同时将resize序列当作监督信号，可以直接使用BERT进行CV的无监督预训练，这给予了cv领域极大的想象空间。
BEiT对iGPT无监督预训练方法进行了改进，借鉴ViT的思路，将图片构建成patch序列，并且通过一个tokenizer得到visual token，用学习的方式得到更精确的监督信号，避免了resize导致的大量信息丢失。
重头戏来了！MAE做的更为极致，设计了一个encoder-decoder预训练框架，encoder只送入image token，decoder同时送入image token和mask token，对patch序列进行重建，最后还原成图片。相比于BEiT，省去了繁琐的训练tokenizer的过程，同时对image token和mask token进行解耦，特征提取和图像重建进行解耦，encoder只负责image token的特征提取，decoder专注于图像重建，这种设计直接导致了训练速度大幅度提升，同时提升精度，真称得上MAE文章中所说的win-win scenario了。
BEiT如今的处境就如同当年NLP的ELMO的处境，碰上MAE如此完美的方法，大部分影响力必然会被MAE给蚕食掉。BERT对整个大规模无监督预训练的发展影响巨大，MAE可能是NLP和CV更紧密结合的开始。
2MAEmask autoencoder在cv领域中起源于denoising autoencoder(DAE)，iGPT和BEiT实际上都包含了DAE的思想(DAE是bengio在08年提出来的，DAE认为对输入加噪声，模型可以学习到更鲁棒的特征)，MAE则略有不同，将image token和mask token解耦，encoder只对image token进行学习，mask token只在decoder图像重建中使用。
MAE整体上是一个encoder-decoder框架，encoder只对visible patches进行处理，decoder同时处理image token和mask token，得到重建序列，最后还原成图片。其中visible patches是通过shuffle所有patches然后采样前25%得到的(即mask ratio为75%)，decoder的输入image token和mask token通过unshuffle还原顺序，并且都需要添加positional embedding来保持patch的位置信息。
通过简单设计，MAE在mask ratio高达95%的时候，仍然能够还原出强语义的信息。
MAE文章中的fig2还有一行小字，意思是说之所以不把visible patches和reconstruction patches合起来显示，就是为了让你们看看我们的算法有多强，蚌埠住了。
3Main Properties接下来看一看最精彩的实验部分
Masking ratio
这是MAE最为关键的实验，随着mask ratio的增加，fine-tuning和linear probing的精度竟然逐渐攀升，直到75%的mask ratio还不大幅度掉点，这个实验结论跟之前的工作相差甚远(BEiT的mask ratio是40%)，违背直觉的结论往往是推动领域进步的开始。
Decoder design
MAE对decoder的depth和width进行探索，发现depth和width并不起决定作用，最后MAE为了兼顾linear probing精度选择8个blocks，512-d作为默认配置。
Mask token
MAE在encoder部分做mask token的消融实验，发现同时在encoder送入image token和mask token会导致fine-tuning和inear probling掉点，尤其是linear probling掉了10几个点，并且计算量增加了3.3倍，该实验表明encoder使用mask token会导致encoder的提取特征能力减弱。
Reconstruction target
MAE对reconstruction target做了消融实验，发现基于token的target相比于基于pixel的target不占优势，带norm的pixel的target同时在fine-tuning和linear-tuning达到最优，表明基于token的target存在信息丢失问题。
Data augmentation
通过data augmentation的消融实验，表明MAE对于数据增强的需求并不强烈，在较弱的数据增强下，反而能够取得最好的精度，推测是因为重建任务本身就不需要强烈的数据增强，过于强烈的数据增强会导致信息失真。
Mask sampling strategy
尝试不同的mask采样策略，发现随机采样效果是最好的，这也挺符合直觉的，随机采样得到的visible patches组合多样更好。
Training schedule
通过增加训练的epoch，MAE在fine-tuning和linear probing上可以持续提升精度，并且直到1600epoch还未见到衰退现象，说明了MAE抽象语义信息的能力之强。
Comparisons with self-supervised methods
和之前self-supervised方法进行比较，MAE在只使用ImageNet-1K(IN1k)的情况下，更具优势，并且在使用ViT-H488的backbone上取得了只使用IN1k的最好精度。
Comparisons with supervised pre-training
MAE和supervised pre-training的进行比较，发现MAE大幅度超过只使用IN1K的supervised pre-training，而且和使用JFT300M的supervised pre-training相差不多。
Partial Fine-tuning
MAE进一步指出linear probling指标对于非线能力强的深度学习来说是不合理的。为了用更合理的指标评估深度学习的非线能力，MAE建议使用partial fine-tuning的评价指标。使用partial fine-tuning评价指标，发现MAE在微调0层的时候，不如MoCov3，当微调层数大于0层的时候，MAE开始逐渐超过MoCov3的精度，这个实验证明了MAE的非线能力很强，同时也说明了linear probling指标的不合理。
Transfer Learning Experiments
将MAE的encoder迁移到下游任务中，通过COCO和ADE20K两个数据集，证明了MAE迁移目标检测和语义分割任务的优越。
同时MAE也比较了一下pixel和token的target对于下游任务的影响，实验发现token的target对于下游任务来说也同样没有优势，甚至会轻微掉点。
下面试图解释一下MAE能work的4点原因：
图片构建成patch序列。构建成patch序列的方式，带来了许多优势：相比于self-supervised的global对比学习，patch序列可以学习到更细粒度的语义信息；相比于pixel序列，计算量大幅度降低，并且减少了pixel level的大量噪声；相比于iGPT的resize序列，避免了resize的信息丢失。
下一篇：返回列表
相关链接 |
||
| 网友回复（共有 0 条回复） |