SimCLR: Aprender por Contraste e Pagar pelos Negativos

Vamos mostrar à rede duas fotografias do mesmo cão: uma recortada, outra desfocada e com as cores alteradas. Depois vamos mostrar a fotografia de outro cão. Se a representação aproximar as duas primeiras e afastar a terceira, talvez tenha aprendido algo sobre identidade visual. Talvez tenha aprendido apenas nossa escolha de recortes e cores. O SimCLR é interessante justamente porque transforma essa ambiguidade em uma tarefa precisa.

O autoencoder organiza um latente para reconstrução. A difusão latente organiza um espaço para geração. O SimCLR abandona ambos os contratos. Em vez de perguntar “consigo refazer a entrada?”, pergunta “duas transformações da mesma imagem chegam ao mesmo lugar, e imagens diferentes permanecem separadas?”. Não há decoder de pixels. Há geometria, temperatura e um lote cheio de adversários involuntários.

1. Duas views definem o positivo

Para cada imagem $x_k$, sorteamos duas transformações $t$ e $t^{\prime }$ de uma família $\mathcal{T}$:

$${\tilde{x}}_{2k}=t(x_k),{\tilde{x}}_{2k+1}=t^{\prime }(x_k).$$

Essas duas views formam um par positivo. As views de outras imagens no lote funcionam como negativos. Com $B$ imagens, o modelo processa $2B$ entradas.

O encoder $f$ produz uma representação $h_i=f({\tilde{x}}_i)$. Um pequeno projection head $g$ produz

$$z_i=g(h_i).$$