MAE: Mascarar 75% da Imagem e Reconstruir o que Falta

Esconder $15\mathrm{\%}$ dos tokens já basta para dar trabalho ao BERT. em uma imagem natural, esconder $15\mathrm{\%}$ dos patches pode deixar informação demais: textura, cor e contornos vizinhos denunciam facilmente o que falta. O MAE, de Masked Autoencoder (autoencoder mascarado), responde com uma medida pouco tímida. Esconde $75\mathrm{\%}$ da imagem e entrega ao encoder apenas o quarto restante.

Antes de atravessar a ponte entre modalidades, vale ler Masked Language Modeling: Esconder Tokens para Aprender Contexto e BERT: O Encoder que Lê dos Dois Lados. Eles separam o objetivo MLM da arquitetura BERT. Aqui faremos a mesma distinção entre mascaramento e modelo. Palavras são símbolos discretos e densos em significado; pixels vizinhos carregam muita redundância. A taxa de $75\mathrm{\%}$ não é uma excentricidade decorativa. É o que impede a tarefa visual de virar preenchimento local com diploma de pós-graduação.

1. Da imagem para 196 patches

Considere uma imagem de $224\times 224$ pixels dividida em patches de $16\times 16$. Cada lado contém

$$\frac{224}{16}=14$$

posições. Chamaremos de $N$ o número total de patches:

$$N={14}^2=196$$

patches. Com taxa de máscara $r=0,75$, chamaremos de $N_m$ o número de patches ocultos e de $N_v$ o número dos visíveis. Sorteamos

$$N_m=0,75\cdot 196=147$$

patches ocultos. Restam

$$N_v=196-147=49$$

visíveis.