Prever, não gerar: o template JEPA e o problema do colapso

Se, em algum momento, a esforçada leitora estudou modelos de difusão, encontrou modelos que aprendem uma distribuição por meio de um processo de corrupção e remoção de ruído. Vou reforçar: corrupção e remoção de ruído.

Dada uma amostra corrompida, a rede aprende a estimar o ruído, o score ou uma parametrização equivalente e, na amostragem, reverte a corrupção passo a passo até que um gato, uma galáxia ou um rosto emerjam do ruído. Como se fosse Michelangelo, tirando do bloco de mármore tudo que não era David.

É uma filosofia generativa.

A expressão gramática generativa foi popularizada por Chomsky para descrever sistemas formais capazes de gerar sentenças, mas isso não estabelece uma linhagem etimológica direta para o uso estatístico moderno de modelo generativo. Mas, sem dúvida, indica uma relação.

Em aprendizado de máquina, o termo, generativa, designa modelos da distribuição dos dados, ou de um mecanismo de amostragem equivalente, não modelos que criam conteúdo “a partir de nada”. É preciso cuidado com este “a partir do nada”. Esta expressão é popular, simpática, simples e enganosa.

Na criação de imagens, diferentes famílias generativas recebem objetivos diferentes: autoencoders podem reconstruir pixels, GANs usam um objetivo adversarial e modelos de difusão costumam prever ruído, score ou velocidade. A qualidade das amostras é uma medida importante, mas verossimilhança, cobertura da distribuição e desempenho em tarefas posteriores também têm o seu valor.